JP2002152492A - 画像処理装置、方法及び記録媒体 - Google Patents

画像処理装置、方法及び記録媒体

Info

Publication number
JP2002152492A
JP2002152492A JP2000347177A JP2000347177A JP2002152492A JP 2002152492 A JP2002152492 A JP 2002152492A JP 2000347177 A JP2000347177 A JP 2000347177A JP 2000347177 A JP2000347177 A JP 2000347177A JP 2002152492 A JP2002152492 A JP 2002152492A
Authority
JP
Japan
Prior art keywords
image
area
size
trimming
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000347177A
Other languages
English (en)
Other versions
JP3983469B2 (ja
Inventor
Yukari Sakuramoto
ゆかり 桜本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2000347177A priority Critical patent/JP3983469B2/ja
Priority to DE60135428T priority patent/DE60135428D1/de
Priority to EP01126880A priority patent/EP1206118B1/en
Priority to US09/987,127 priority patent/US7072526B2/en
Publication of JP2002152492A publication Critical patent/JP2002152492A/ja
Application granted granted Critical
Publication of JP3983469B2 publication Critical patent/JP3983469B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking
    • H04N1/3873Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming

Abstract

(57)【要約】 【課題】 顔領域が所定のサイズ比でトリミング領域内
の所定位置に位置するようにトリミング領域を設定する
際のオペレータ等の負担を軽減する。 【解決手段】 証明写真作成対象の画像に存在する人物
の頭頂部位置を検出し(140)、両眼部位置を検出し(14
2)、人物の顎の先端に相当する位置のY方向(天地方
向)位置を推定し(144)、頭上領域・顔領域・顎下領域
のY方向のサイズ比が、証明写真種毎に定められた所定
の比率となるようにトリミング領域のY方向位置及びサ
イズを設定する(146〜154)。また、両眼部の中央に相当
する位置がX方向に沿ったトリミング領域の中央に一致
し、トリミング領域のアスペクト比が証明写真種に対応
するアスペクト比に一致するように、トリミング領域の
X方向位置及びサイズを設定し(156〜162)、設定したト
リミング領域を画像に重ねて表示する(164)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像処理装置、方法
及び記録媒体に係り、特に、原画像中の人物の顔に相当
する顔領域が適切なサイズ比で適切な位置に位置するよ
うにトリミング領域を設定する画像処理装置、該画像処
理装置に適用可能な画像処理方法、及びコンピュータを
前記画像処理装置として機能させるためのプログラムが
記録された記録媒体に関する。
【0002】
【従来の技術】現在、例えばパスポートや免許証等の交
付申請、或いは履歴書の作成等のように、本人の顔等が
写っている予め定められたサイズの写真(証明写真)の
添付又は提出が求められる機会は多い。このため、利用
者の撮影を行うための撮影室が設けられ、撮影室内の椅
子に着座した利用者を撮影し、利用者の証明写真用の画
像を単一のシートに複数記録した証明写真シートを作成
することを自動的に行う証明写真の自動作成装置が従来
より利用されている。
【0003】また、証明写真のサイズは、例えばパスポ
ート用であれば35mm×45mm、一般用であれば30mm×40mm
等のように、証明写真の使用目的によって異なっている
ので、特開平9−27897号公報には、上記装置にお
いて、証明写真シートから目的のサイズの証明写真を切
り出すことを容易に行えるようにするため、証明写真シ
ートにカットマークを記録することが提案されている。
しかし、証明写真の自動作成装置は、上記公報の図1か
らも明らかなように非常に大型で設置場所が限られると
いう欠点があり、利用者が証明写真を取得するために
は、証明写真の自動作成装置が設置されている箇所を利
用者が探し、探し出した設置箇所へ利用者が出向く必要
があり、利用者の負担が大きいという問題がある。
【0004】また近年、写真フィルムに記録されている
フィルム画像を読み取ることによって得られた画像デー
タや、デジタルカメラ等から入力された画像データに対
し、各種の画像処理を行った後に、印画紙等の記録材料
に画像を記録したり、その他の出力形態(例えばスマー
トメディア等の情報記録媒体に画像データを格納する
等)で画像を出力可能な画像処理システムも一般的とな
ってきている。
【0005】この種の画像処理システムに適用可能な技
術として、特開平11−341272号公報には、証明
写真の作成に用いる画像(人の顔が写された画像)が表
示装置に表示されている状態で、表示されている画像中
の顔の2つの位置(頭の頂点位置と顎の先端位置)を指
示すると、コンピュータが、指示された2つの位置に基
づいて顔の拡大縮小率、顔の位置を求めて画像を拡大縮
小し、拡大縮小した画像中の顔が証明写真の画面におけ
る所定位置に配置されるように拡大縮小した画像をトリ
ミングし、証明写真の画像を形成する、という一連の処
理を自動的に行うことが提案されている。
【0006】上記技術によれば、利用者は、証明写真の
自動作成装置よりも多数存在しているDPE店等に証明
写真の作成を依頼することができると共に、手持ちの写
真のうち、写りが良い等のように気に入った写真が記録
されている写真フィルム又は情報記録媒体をDPE店等
に持ち込むことで、気に入った写真から証明写真を作成
させることも可能となる。
【0007】
【発明が解決しようとする課題】しかしながら、上記公
報に記載の技術では、表示装置に表示されている原画像
中の頭の頂点位置と顎の先端位置を各々指示する、とい
う煩雑な操作をオペレータが行う必要があるので、特に
多数の利用者の証明写真を順次作成する等の場合にオペ
レータに多大な負担が加わるという問題がある。また、
特に表示されている画像中の人の顔に相当する領域の面
積が小さい場合や、画像の解像度が粗い等の場合には、
頭の頂点位置及び顎の先端位置をオペレータが迅速かつ
正確に指示することは困難であり、証明写真の迅速な作
成の障害となっていた。
【0008】本発明は上記事実を考慮して成されたもの
で、人物の顔に相当する顔領域が所定のサイズ比でトリ
ミング領域内の所定位置に位置するようにトリミング領
域を設定する際のオペレータ等の負担を軽減することが
できる画像処理装置、画像処理方法及び記録媒体を得る
ことが目的である。
【0009】
【課題を解決するための手段】本願発明者は、人物の顔
に相当する顔領域が所定のサイズ比でトリミング領域内
の所定位置に位置するようにトリミング領域を設定する
際のオペレータ等の負担を軽減するためには、トリミン
グ領域の設定対象の原画像中に存在する顔領域を自動的
に認識し、認識した顔領域の位置及びサイズに応じてト
リミング領域を自動的に設定することが有効であること
に想到した。
【0010】また、画像中に存在する顔領域を検出する
方法としては以前より様々な方法が提案されているた
め、本願発明者は、トリミング領域の自動設定に好適な
検出方法の検討及び実験を行った。その結果、トリミン
グ領域の自動設定を前提とすると、顔領域の位置及びサ
イズは比較的高精度に検出する必要があるものの、顔領
域自体は必ずしも精密に検出しなくてもよい(例えば顔
領域の境界位置を全周に亘って認識する必要はない)こ
とに想到し、顔領域を部分的に検出する種々の検出方法
のうち、比較的抽出精度の高い頭頂部の検出と眼部の検
出を組み合わせれば、これらの検出結果に基づいて顔領
域の位置及びサイズを比較的精度良く検出できることを
見出して、本発明を成すに至った。
【0011】上記に基づき請求項1記載の発明に係る画
像処理装置は、人物の顔に相当する顔領域を含む原画像
の画像データに基づいて、前記原画像中の人物の頭頂部
に相当する位置及び眼部に相当する位置を各々検出する
検出手段と、前記検出手段によって検出された原画像中
の人物の頭頂部に相当する位置及び眼部に相当する位置
に基づき、前記顔領域が所定のサイズ比でトリミング領
域内の所定位置に位置するように、前記原画像に対する
トリミング領域を設定する設定手段と、を含んで構成さ
れている。
【0012】請求項1記載の発明では、顔領域を含む原
画像の画像データに基づいて、原画像中の人物の頭頂部
に相当する位置及び眼部に相当する位置が検出手段によ
って各々検出される。なお、検出手段による原画像中の
人物の頭頂部に相当する位置の検出には、例えば被写体
の天地方向に直交する横方向に沿った原画像上の複数箇
所において、前記天地方向上方側から下方側へ向けて原
画像をスキャンしながら濃度変化量を繰り返し演算し、
濃度変化量が最初に所定値以上となった位置を候補とし
て記憶し、前記天地方向に沿って候補の数が集中してい
る部分のうちの最も上方に位置している候補を頭頂部に
相当する位置として検出するアルゴリズムが好適である
が、他のアルゴリズムを用いてもよい。
【0013】また、検出手段による原画像中の人物の眼
部に相当する位置の検出には、例えば特開2000−2
42768号公報に記載されているように、眼部に相当
する明暗のパターンを検出するフィルタによりフィルタ
リング処理を施し、一方の眼部に相当する領域が含まれ
る所定領域を設定し、設定した所定領域の中央部に黒目
部分を含む特定領域を設定し、前記所定領域のうち前記
特定領域を除いた領域を原画像中の被写体の天地方向に
平行な軸を対称軸として反転し、特定領域と合成するこ
とによってテンプレートを作成し、他方の眼部に相当す
る領域が存在していると推定される探索エリア内でテン
プレートを走査させながら相互相関係数を求めることに
より、他方の眼部に相当する領域が含まれる所定領域を
設定するアルゴリズムが好適であるが、他のアルゴリズ
ムを用いてもよい。
【0014】人物の頭頂部に相当する位置を検出するア
ルゴリズムや人物の眼部に相当する位置を検出するアル
ゴリズムは、顔領域の境界位置を全周に亘って検出する
等のアルゴリズムと比較して、処理が簡単でかつ検出精
度が高いので、検出手段による検出を短時間かつ高精度
に行うことができる。
【0015】そして請求項1記載の発明に係る設定手段
は、検出手段によって検出された原画像中の人物の頭頂
部に相当する位置及び眼部に相当する位置に基づき、顔
領域が所定のサイズ比でトリミング領域内の所定位置に
位置するように、原画像に対するトリミング領域を設定
する。先にも述べたように、本願発明者は、原画像中の
人物の頭頂部に相当する位置及び眼部に相当する位置が
精度良く検出されれば、これらの位置に基づいて原画像
中の顔領域の位置及びサイズを比較的精度良く認識でき
ることを実験によって確認しており、設定手段は、顔領
域が所定のサイズ比でトリミング領域内の所定位置に位
置するように、原画像に対するトリミング領域を適正に
設定することができる。
【0016】このように、請求項1記載の発明によれ
ば、顔領域が所定のサイズ比でトリミング領域内の所定
位置に位置するトリミング領域を、オペレータの介在な
しに自動的に設定することができるので、顔領域が所定
のサイズ比でトリミング領域内の所定位置に位置するよ
うにトリミング領域を設定する際のオペレータ等の負担
を軽減することができる。
【0017】なお、原画像中の被写体の天地方向につい
てのトリミング領域の設定は、例えば請求項2に記載し
たように、トリミング領域内のうち前記天地方向に沿っ
て顔領域よりも上方に存在する頭上領域、顔領域、トリ
ミング領域内のうち前記天地方向に沿って顔領域よりも
下方に存在する顎下領域の各々の、前記天地方向に沿っ
たサイズ比の適正値を記憶手段に記憶しておき、設定手
段は、検出された原画像中の人物の頭頂部に相当する位
置及び眼部に相当する位置に基づいて、人物の顎の先端
に相当する位置を推定し、頭頂部に相当する位置と顎の
先端に相当する位置の原画像上での距離に基づき、トリ
ミング領域内のうち頭上領域、顔領域、及び顎下領域の
各々の前記天地方向に沿ったサイズ比が、記憶手段に記
憶されているサイズ比の適正値に一致するように、前記
天地方向に沿ったトリミング領域の位置及びサイズを設
定することにより実現できる。
【0018】請求項2記載の発明では、トリミング領域
内のうち頭上領域、顔領域、及び顎下領域の各々の天地
方向に沿ったサイズ比が、記憶手段に記憶されているサ
イズ比の適正値に一致するように、天地方向に沿ったト
リミング領域の位置が設定されるので、被写体の天地方
向について、顔領域が所定のサイズ比でトリミング領域
内の所定位置に位置するようにトリミング領域の位置及
びサイズを設定することができる。
【0019】また本願発明者は、原画像中の人物の顎の
先端に相当する位置については、既存の検出方法では検
出精度が不充分であること、及び、原画像中の人物の頭
頂部に相当する位置及び眼部に相当する位置から比較的
精度良く推定可能であることを実験により確認してい
る。請求項2記載の発明では、原画像中の人物の顎の先
端に相当する位置を原画像中の人物の頭頂部に相当する
位置及び眼部に相当する位置から推定しているので、原
画像中の人物の顎の先端に相当する位置が誤検出される
ことで、設定手段によって設定されるトリミング領域の
位置やサイズが不適正となることを回避することができ
る。
【0020】また、被写体の天地方向に直交する横方向
についてのトリミング領域の設定については、例えば請
求項3に記載したように、検出手段が原画像中の人物の
両眼部に相当する位置を各々検出し、記憶手段にはトリ
ミング領域のアスペクト比を表す情報(例えばアスペク
ト比そのものを表す情報であってもよいし、トリミング
領域内に相当する画像領域を記録材料に記録する際の記
録画像の縦横のサイズを表す情報であってもよい)が記
憶されており、設定手段は、検出手段によって各々検出
された両眼部に相当する位置の前記横方向に沿った略中
央に相当する位置を、前記横方向に沿ったトリミング領
域の中心位置とし、前記天地方向に沿ったトリミング領
域のサイズに基づき、トリミング領域のアスペクト比が
記憶手段に記憶されている情報が表すアスペクト比に一
致するように、前記横方向に沿ったトリミング領域の位
置及びサイズを設定することにより実現できる。
【0021】請求項3記載の発明では、検出された両眼
部に相当する位置の天地方向に直交する横方向に沿った
略中央に相当する位置を、横方向に沿ったトリミング領
域の中心位置とし、天地方向に沿ったトリミング領域の
サイズに基づき、トリミング領域のアスペクト比が記憶
手段に記憶されている情報が表すアスペクト比に一致す
るように、横方向に沿ったトリミング領域の位置を設定
するので、顔領域が被写体の横方向に沿って望ましい位
置、すなわち横方向に沿ったトリミング領域内の略中央
に位置するように、横方向に沿ったトリミング領域の位
置及びサイズを設定することができる。
【0022】なお本発明において、原画像のうち設定さ
れたトリミング領域内に相当する画像領域を記録材料に
記録する際の記録画像のサイズ(プリントサイズ)とし
ては複数種のプリントサイズが用意されていることが望
ましいが、プリントサイズによってトリミング領域内の
顔領域の望ましい位置やサイズ比が相違していたり、ア
スペクト比が相違している可能性がある。これを考慮す
ると、請求項4に記載したように、複数種のプリントサ
イズの中から所望のプリントサイズを選択するための選
択手段を設けると共に、サイズ比の適正値及びトリミン
グ領域のアスペクト比を表す情報を、複数種のプリント
サイズと対応付けて記憶手段に各々記憶し、設定手段
は、選択手段を介して選択されたプリントサイズと対応
付けされて記憶手段に記憶されているサイズ比の適正値
及びアスペクト比を表す情報を用いてトリミング領域の
位置及びサイズを設定することが好ましい。
【0023】これにより、選択手段を介して何れのプリ
ントサイズが選択された場合にも、トリミング領域のア
スペクト比を、選択されたプリントサイズに対応するア
スペクト比に一致させることができると共に、被写体の
天地方向についての顔領域のサイズ比を、プリントサイ
ズに対応する適正なサイズ比とすることができ、トリミ
ング領域内における被写体の天地方向についての顔領域
の位置を、プリントサイズに対応する適正な位置とする
ことができる。
【0024】なお、本発明を適用したとしても、例えば
人物の髪型等によってはトリミング領域を適正に設定で
きない場合がある(例えば人物の頭髪部に相当する領域
の天地方向に沿ったサイズが極端に大きい等の場合)。
このため、請求項5に記載したように、設定手段によっ
て設定されたトリミング領域を原画像に重ねて表示手段
に表示させる表示制御手段と、設定手段によって設定さ
れたトリミング領域の位置及びサイズの少なくとも一方
を修正するための修正手段と、を設け、設定手段は、修
正手段を介してトリミング領域の位置及びサイズの少な
くとも一方の修正が指示された場合に、該指示に応じて
トリミング領域の位置及びサイズの少なくとも一方を修
正することが好ましい。
【0025】請求項5記載の発明では、トリミング領域
を原画像に重ねて表示手段に表示するので、設定手段に
よって設定されたトリミング領域が適正か否かをオペレ
ータ等が目視により検定することができる。なお、トリ
ミング領域は、例えばトリミング領域の外縁を表す線画
として表示するようにしてもよいし、トリミング領域外
に相当する部分の表示をトリミング内に相当する部分の
表示と相違させる(例えばモノクロで表示する等)こと
で表示させるようにしてもよい。
【0026】そして、請求項5記載の発明に係る設定手
段は、修正手段を介してトリミング領域の位置及びサイ
ズの少なくとも一方の修正が指示された場合に、該指示
に応じてトリミング領域を修正するので、原画像中の人
物の頭頂部に相当する位置及び眼部に相当する位置から
適正なトリミング領域を自動的に設定することが困難な
原画像についても、トリミング領域の位置及びサイズが
適正となるようにトリミング領域を修正することが可能
となる。
【0027】なお、トリミング領域の位置及びサイズの
少なくとも一方の修正が指示された場合、表示制御手段
についても、設定手段によって修正されたトリミング領
域に基づいて、トリミング領域の表示を修正するか、又
は原画像の表示を修正することが好ましい。これによ
り、トリミング領域の位置及びサイズの少なくとも一方
の修正を指示した結果をオペレータが確認することがで
きる。
【0028】なお、本発明に係る画像処理装置は、原画
像のうち設定手段によって設定されたトリミング領域内
の画像領域を記録材料に画像として記録する記録手段を
備えていてもよい。この場合、請求項6に記載したよう
に、記録材料に記録すべき文字情報を指定するための指
定手段を設け、記録手段は、指定手段を介して指定され
た文字情報を同一の記録材料(画像を記録した記録材
料)上に記録するよう構成することが好ましい。上記の
文字情報としては、例えば請求項7に記載したように、
記録画像の種類及びプリントサイズの少なくとも一方を
文字で表す情報を用いることができる。上記の文字情報
を記録材料に記録することにより、記録手段によって記
録材料に記録された画像の分類等の取扱いが容易にな
る。
【0029】請求項8記載の発明に係る画像処理方法
は、人物の顔に相当する顔領域を含む原画像の画像デー
タに基づいて、前記原画像中の人物の頭頂部に相当する
位置及び眼部に相当する位置を各々検出し、検出した原
画像中の人物の頭頂部に相当する位置及び眼部に相当す
る位置に基づき、顔領域が所定のサイズ比でトリミング
領域内の所定位置に位置するように、前記原画像に対す
るトリミング領域を設定するので、請求項1記載の発明
と同様に、人物の顔に相当する顔領域が所定のサイズ比
でトリミング領域内の所定位置に位置するようにトリミ
ング領域を設定する際のオペレータ等の負担を軽減する
ことができる。
【0030】請求項9記載の発明に係る記録媒体は、人
物の顔に相当する顔領域を含む原画像の画像データに基
づいて、前記原画像中の人物の頭頂部に相当する位置及
び眼部に相当する位置を各々検出する第1のステップ、
及び、検出した原画像中の人物の頭頂部に相当する位置
及び眼部に相当する位置に基づき、顔領域が所定のサイ
ズ比でトリミング領域内の所定位置に位置するように、
前記原画像に対するトリミング領域を設定する第2のス
テップを含む処理をコンピュータに実行させるためのプ
ログラムが記録されている。
【0031】請求項9記載の発明に係る記録媒体には、
上記第1及び第2のステップを含む処理、すなわちコン
ピュータを、請求項1記載に記載の画像処理装置として
機能させるためのプログラムが記録されているので、コ
ンピュータが前記記録媒体に記録されたプログラムを読
み出して実行することにより、請求項1記載の発明と同
様に、顔領域が所定のサイズ比でトリミング領域内の所
定位置に位置するようにトリミング領域を設定する際の
オペレータ等の負担を軽減することができる。
【0032】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態の一例を詳細に説明する。図1には本実施形態に
係る画像処理システム10の概略構成が示されている。
画像処理システム10は、画像データを入力する入力装
置として、フィルムスキャナ12、メディアドライバ1
4及び画像データ受信装置16を各々備え、入力装置か
ら入力された画像データを処理する画像処理装置18が
設けられていると共に、画像処理装置18による処理を
経た画像データ(又は画像)を出力する出力装置とし
て、画像を表示するためのCRT20、印画紙に画像を
露光記録するレーザプリンタ22、CD−Rに画像デー
タを書き込むCD−R書込装置24を各々備えている。
【0033】メディアドライバ14は、例えばフロッピ
ー(登録商標)ディスク(FD)等の磁気ディスクやC
D−R等の光ディスク、光磁気ディスク(MO)、デジ
タルスチルカメラ(DSC)に装填可能なPCカードや
スマートメディア、ICカード(以下、これらを「デジ
タルカメラカード」と総称する)等の各種情報記憶媒体
の何れかがセットされ、セットされた情報記憶媒体に記
憶されている画像データを読み出して出力する。また、
画像データ受信装置16は、インターネット等のコンピ
ュータネットワークに接続されており、コンピュータネ
ットワークを介して情報処理装置(例えばパーソナルコ
ンピュータ(PC))からR,G,Bの画像データを受信
し、受信した画像データを出力する。
【0034】フィルムスキャナ12は、写真フィルム3
8(例えばネガフィルムやリバーサルフィルム)等の写
真感光材料(以下単に写真フィルムと称する)に記録さ
れているフィルム画像(被写体を撮影後、現像処理され
ることで可視化されたネガ画像又はポジ画像:本発明の
原画像に相当)を読み取り、該読み取りによって得られ
た画像データを出力するものであり、LED光源30か
ら射出され光拡散ボックス34によって光量むらが低減
された光が、フィルムキャリア36にセットされている
写真フィルム38に照射され、写真フィルム38を透過
した光がレンズ40を介してエリアCCDセンサ42
(ラインCCDセンサでもよい)の受光面上に結像され
るように構成されている。
【0035】フィルムキャリア36は、フィルム画像が
LED光源30からの射出光の光軸上(読取位置)に順
に位置するように写真フィルム38を間欠搬送する。ま
たLED光源30は、R光を射出する多数個のLED、
G光を射出する多数個のLED、B光を射出する多数個
のLEDが、図示しない基板の全面に一定かつ高い密度
で各々配列されて成り、単一の画像が読取位置に位置し
ている状態でR,G,Bの光を順に射出するようにドラ
イバ32によって駆動される。これにより、写真フィル
ム38に記録されているフィルム画像がCCDセンサ4
2によって順に読み取られ、CCDセンサ42からはフ
ィルム画像に対応するR,G,Bの信号が出力される。
CCDセンサ42から出力された信号はA/D変換器4
4によってデジタルの画像データに変換されて画像処理
装置18に入力される。
【0036】先に説明したフィルムスキャナ12、メデ
ィアドライバ14及び画像データ受信装置16は、図1
に示すように、画像処理装置18の画像データ前処理部
50に接続されており、これらの画像データ入力装置か
ら出力された画像データは画像データ前処理部50に入
力される。
【0037】画像データ前処理部50は、入力された画
像データに対し、画像データ入力元に応じて異なる所定
の前処理を行う。フィルムスキャナ12から入力された
画像データに対する前処理としては、例えば暗補正や濃
度変換、シェーディング補正、欠陥画素補正等が挙げら
れる。また、メディアドライバ14から入力された画像
データに対する前処理としては、例えば情報記憶媒体に
圧縮されて記録されていた画像データの解凍や、鮮鋭度
向上等の画像処理が挙げられる。また、画像データ受信
装置16から入力された画像データに対する前処理とし
ては、例えば画像データ受信装置16が受信した圧縮画
像データ(例えばJPEG形式の画像データ)の解凍等が挙
げられる。
【0038】ところで、本実施形態に係るフィルムスキ
ャナ12は、写真フィルムに記録されている個々のフィ
ルム画像に対して異なる解像度で2回の読み取りを行
う。1回目の比較的低解像度での読み取り(以下、プレ
スキャンという)では、フィルム画像の濃度が非常に低
い場合(例えばネガフィルムにおける露光アンダのネガ
画像)にも、CCDセンサ42で蓄積電荷の飽和等の不
都合が生じないように決定した読取条件で読み取りが行
われる。
【0039】画像データ前処理部50にはプレスキャン
メモリ52及びファインスキャンメモリ54が接続され
ており、プレスキャンメモリ52には第1の画像処理部
56及び画像処理制御部58が接続され、ファインスキ
ャンメモリ54には第2の画像処理部60が接続されて
いる。画像データ前処理部50は、プレスキャンが行わ
れることでフィルムスキャナ12から入力される低解像
度の画像データに対し、所定の前処理を施した後にプレ
スキャンメモリ52へ出力する。
【0040】また画像データ前処理部50は、メディア
ドライバ14から入力された画像データ及び画像データ
受信装置16から入力された画像データについては、プ
レスキャンメモリ52及びファインスキャンメモリ54
へ各々出力するが、このうちプレスキャンメモリ52に
出力する画像データについては、プレスキャンによって
得られた低解像度画像データと同等の低解像度の画像デ
ータに変換した後にプレスキャンメモリ52へ出力す
る。プレスキャンメモリ52に出力された低解像度画像
データはプレスキャンメモリ52を介して画像処理制御
部58へ入力される。
【0041】画像処理制御部58及び第1の画像処理部
56は、CPU、ROM、RAM及び入出力ポートがバ
スを介して互いに接続されていると共に、入出力ポート
にハードディスク装置(HDD)等の記憶装置が接続さ
れた構成の単一の画像処理用PCによって実現すること
ができ、この画像処理用PCに所定のプログラムを実行
させることで、画像処理用PCを第1の画像処理部56
及び画像処理制御部58として各々機能させることがで
きる。
【0042】画像処理制御部58は、プレスキャンメモ
リ52を介して入力された低解像度画像データが、フィ
ルムスキャナ12でプレスキャンが行われることで得ら
れた画像データである場合には、該低解像度画像データ
に基づいて濃度等の画像特徴量を演算し、プレスキャン
を行った写真フィルムに対し、フィルムスキャナ12が
比較的高解像度での再度の読み取り(以下、ファインス
キャンという)を行う際の読取条件を決定し、決定した
読取条件をフィルムスキャナ12に出力する。
【0043】また、画像処理制御部58は、入力された
低解像度画像データに基づいて、画像データ前処理部5
0からファインスキャンメモリ54を介して第2の画像
処理部60へ出力される同一の画像の高解像度画像デー
タ(ファインスキャンを行うことでフィルムスキャナ1
2から入力された画像データ、又はメディアドライバ1
4から入力された画像データ、又は画像データ受信装置
16から入力された画像データ)に対し、第2の画像処
理部60によって行われる各種の画像処理の処理条件を
演算により自動的に決定し(セットアップ演算)、決定
した処理条件を第1の画像処理部56へ通知する。
【0044】なお、第2の画像処理部60で実行される
画像処理としては、例えば画像のグレーバランス調整、
濃度調整、階調コントロール、画像の超低周波輝度成分
の階調を圧縮するハイパートーン処理、粒状を抑制しな
がらシャープネスを強調するハイパーシャープネス処理
等の出力画像の画質向上のための画像処理が挙げられ
る。また、画調を意図的に変更する画像処理(例えば出
力画像をポートレート調に仕上げる画像処理等)や、画
像を加工する画像処理(例えば原画像中に存在する人物
を主画像上で細身に仕上げるための画像処理等)等の画
像処理も実行可能としてもよい。
【0045】第1の画像処理部56はプレスキャンメモ
リ52に記憶されている低解像度画像データに対し、画
像処理制御部58から通知された処理条件に基づき、高
解像度画像データを対象として第2の画像処理部60で
行われる画像処理と等価な画像処理を低解像度画像デー
タに対して行ってシミュレーション画像データを生成す
る。第1の画像処理部56には色再現変換部62、CR
T20が順に接続されている。またCRT20は、入力
された画像データを保持するバッファを備え、バッファ
に保持した画像データに基づいてアナログの電気信号を
生成し、前記画像データが表す画像をCRT20に表示
する機能を有している。第1の画像処理部56で生成さ
れたシミュレーション画像データは色再現変換部62へ
出力され、色再現変換部62によって濃度変換等の色再
現変換処理が行われた後にCRT20へ出力され、シミ
ュレーション画像(出力画像)としてCRT20に表示
される。CRT20に表示された出力画像は、オペレー
タによって画像の仕上がり等の検定に供せられる。
【0046】また、画像処理制御部58にはキー入力部
64が接続されている。このキー入力部64は、例えば
キーボードやマウス(これらは前述の画像処理用PCの
入出力ポートに接続される)で構成することができる。
CRT20に表示された出力画像を検定したオペレータ
はキー入力部64を操作し、検定結果を入力する。そし
て画像処理制御部58は、オペレータによる検定を経て
処理条件が確定すると、確定した処理条件を第2の画像
処理部60へ通知する。
【0047】第2の画像処理部60は、前述した各種の
画像処理を行う複数種の画像処理回路を各々備えてお
り、画像データ前処理部50からファインスキャンメモ
リ54を介して高解像度画像データが入力されると、入
力された高解像度画像データに対し、画像処理制御部5
8から通知された処理条件に従って各種の画像処理を行
う。第2の画像処理部60は色再現変換部62に接続さ
れており、第2の画像処理部60から出力された画像デ
ータは、色再現変換部62における色再現変換処理を経
て、レーザプリンタ22又はCD−R書込装置24へ出
力され、レーザプリンタ22による印画紙への画像の記
録に用いられるか、又はCD−R書込装置24によって
CD−Rに書込まれる。
【0048】なお、レーザプリンタ22は、R,G,B
のレーザ光源を備えており、前記レーザ光源から射出さ
れるR,G,Bのレーザ光を、画像処理装置18から入
力された画像データに基づいて変調すると共に、ポリゴ
ンミラー等の偏向手段によって偏向させて印画紙上を走
査させることで、印画紙に画像を露光記録する。画像が
露光記録された印画紙は、ペーパプロセッサへ送られて
発色現像、漂白定着、水洗、乾燥の各処理が施される。
これにより、印画紙に露光記録された画像が可視化され
る。
【0049】次に本実施形態の作用として証明写真の作
成について説明する。証明写真の作成は、例えば証明写
真作成対象の画像が記録された写真フィルムや、証明写
真作成対象の画像の画像データが記録されたスマートメ
ディア等の情報記録媒体がユーザによってDPE店等に
持ち込まれ、ユーザから証明写真の作成が依頼されるこ
とによって行われる。証明写真の作成依頼時には、同時
に作成すべき証明写真の種類や種別(カラー/モノク
ロ)毎の枚数等の条件が指定される。なお、証明写真の
作成依頼を、証明写真作成対象の画像の画像データの受
信を含めてオンランで受付可能としてもよい。
【0050】証明写真の作成が依頼された場合、オペレ
ータは、持ち込まれた写真フィルム38に記録されてい
る証明写真作成対象の画像に対しフィルムスキャナ12
によってファインスキャンが行われるか、或いは情報記
録媒体から証明写真作成対象の画像の画像データが読み
出されることにより、前記証明写真対象の画像の高解像
度画像データがファインスキャンメモリ54に記憶され
た状態で、証明写真の作成を指示する。以下、この指示
に応じて画像処理制御部58で実行される証明写真作成
処理について、図2のフローチャートを参照して説明す
る。
【0051】なお、この証明写真作成処理は本発明に係
る画像処理方法が適用された処理であり、詳しくは、画
像処理制御部58及び第1の画像処理部56を構成する
画像処理用PCのCPUが証明写真作成プログラムを実
行することによって実現される。証明写真作成プログラ
ムは、当初は情報記憶媒体68(図1参照)に記憶され
ている。図1では情報記憶媒体68をフロッピーディス
クとして示しているが、CD−ROMやメモリカード等
で構成してもよい。
【0052】画像処理用PCが内蔵している情報読出装
置(図示省略)に情報記憶媒体68が装填され、情報記
憶媒体68から画像処理装置18へのプログラムの移入
(インストール)が指示されると、情報読出装置によっ
て情報記憶媒体68から証明写真作成プログラムが読み
出され、画像処理用PCのHDDに記憶される。そし
て、証明写真作成処理を実行すべきタイミングが到来す
ると、HDDから証明写真作成プログラムが読み出さ
れ、該プログラムがCPUによって実行される。これに
より、画像処理装置18は本発明に係る画像処理装置と
して機能する。このように、証明写真作成プログラムを
記憶している情報記憶媒体68は請求項9に記載の記録
媒体に対応している。
【0053】証明写真作成処理では、まずステップ10
0において、証明写真作成対象として指定された画像の
高解像度画像データを、第2の画像処理部60を経由し
てファインスキャンメモリ54から取り込み、次のステ
ップ102では、ステップ100で取り込んだ画像デー
タを用いて、例として図4に示すように、証明写真の作
成条件を指定するための作成条件指定画面をCRTに表
示させる。
【0054】図4に示す作成条件指定画面は、証明写真
作成対象の画像を表示するための表示領域70A、トリ
ミング領域の設定を自動で行うか手動で行うかを選択す
るための選択欄70B、作成する証明写真の種類(サイ
ズ)を選択するための選択欄70C、証明写真の種別
(カラー/モノクロ)毎の作成枚数を入力するための入
力欄70D、表示領域70Aに表示されている画像の拡
縮を指示するための指示ボタン群70E、トリミング領
域の位置の移動を指示するための指示ボタン群70F、
及び、証明写真の作成条件を確定させるための決定ボタ
ン70Gが各々設けられている。また、証明写真の画質
を調整するための選択欄や入力欄も設けられている。
【0055】なお、本実施形態では、互いにサイズが異
なる複数種の証明写真を作成可能とされており、HDD
には、次の表1に示すように、作成可能な各種の証明写
真について、「種類(名称)」「プリントサイズ」「頭
上/顔/顎下比率(詳細は後述)」が各々設定された証
明写真情報が記憶されている。なお、証明写真情報のう
ち「頭上/顔/顎下比率」は請求項2に記載の「サイズ
比の適正値」に、「実プリントサイズ」は請求項3に記
載の「トリミング領域のアスペクト比を特定するための
情報」に各々対応しており、HDDは請求項2及び請求
項3に記載の記憶手段に対応している。
【0056】
【表1】
【0057】CRT20に作成条件指定画面が表示され
ている状態において、上記の証明写真情報は、選択欄7
0Cの右端に「▼」と表記されているボタンをクリック
する等の操作をオペレータが行うことで参照され、作成
可能な証明写真の種類(名称)が選択欄70Cに選択肢
として一覧表示される。
【0058】次のステップ104では、オペレータがキ
ー入力部64(キーボードやマウス等)を介して何らか
の情報を入力したか否か判定し、判定が肯定される迄待
機する。何らかの情報が入力されると、ステップ104
の判定が肯定されてステップ106へ移行し、入力され
た情報の内容を判定し判定結果に応じて処理を分岐す
る。
【0059】オペレータが選択欄70Bの「自動トリミ
ング」を選択したことを表す情報が入力された場合には
ステップ110へ移行し、オペレータが決定ボタン70
Gを選択したことを表す情報が入力された場合にはステ
ップ112へ移行する(何れも詳細は後述)が、それ以
外の操作が有ったことを表す情報が入力された場合に
は、ステップ106からステップ108へ移行し、入力
された情報に応じた処理を行い(例えば作成すべき証明
写真の種類が選択された場合は選択された証明写真の種
類を記憶し、種別毎の証明写真の作成枚数が入力された
場合は入力された種別毎の作成枚数を記憶する等)、そ
の後ステップ104に戻る。
【0060】また、オペレータによって選択欄70Bの
「自動トリミング」が選択された場合には、ステップ1
10でトリミング領域自動設定処理を行う。以下、この
処理について図3のフローチャートを参照して説明す
る。ステップ140では、証明写真作成対象の画像(本
発明の原画像)の画像データに基づいて、前記画像中の
人物の頭頂部に相当する点(以下、単に頭頂点という)
の位置を検出する。頭頂点の位置は、例えば以下のよう
にして検出することができる。
【0061】すなわち、証明写真作成対象の画像(一例
を図5(A)に示す)を、画像中の被写体(人物)の天
地方向を長手方向とする一定幅(例えば数画素分程度の
幅)の多数本の長尺状領域に分割し(分割線の一部を図
5(B)に破線で示す)、長尺状領域を被写体の天地方
向上方側から下方側へスキャンしながら濃度変化量を繰
り返し演算し、濃度変化量が最初に所定値以上となった
位置を頭頂点候補として記憶することを、各長尺状領域
について各々行う。なお、被写体の天地方向は、例えば
画像の長辺方向及び短辺方向の何れか一方を固定的に天
地方向としてもよいし、公知の技術を適用して天地方向
を検出するようにしてもよいし、オペレータによって天
地方向を指定させるようにしてもよい。以下では、天地
方向をY方向、天地方向に直交する横方向をX方向と称
する。
【0062】これにより、図5(B)においては分割線
が破線で示されている各長尺状領域毎に、頭髪部と背景
との境界位置が頭頂点候補として各々記憶される。そし
て、Y方向に沿って頭頂点候補の数が集中している部分
のうちの最も上方に位置している頭頂点候補を頭頂点と
し、そのX座標値及びY座標値を検出する(図5(C)
も参照)。これにより、画像中の頭頂点位置を短時間で
精度良く検出することができる。
【0063】次のステップ142では、証明写真作成対
象画像の画像データに基づいて、前記画像中の人物の両
眼部に相当する位置を検出する。すなわち、まず図6
(A)に破線で示すように、Y方向に平行でステップ1
40で検出した頭頂点位置を通る軸Lを設定し、軸Lを
境界として一方の側(ここでは図6(A)〜(D)にお
ける左側とする)に対し、例えば図6(E)又は(F)
に示すような明暗のパターンを検出するフィルタを用い
てフィルタリング処理を施すことにより、左目に相当す
る眼部領域を含む第1の所定領域A1を設定する(図6
(B)参照)。
【0064】次に、図6(G)に示すように、第1の所
定領域A1の中央部に、黒目に相当する領域を含むと推
定される特定領域N1を設定し、特定領域N1以外の領
域N2の左右を反転(Y方向に平行な軸を線対称軸とし
て反転)して特定領域N1と合成することにより、図6
(H)に示すようなテンプレートTを作成する。続いて
軸Lを境界として他方の側(図6(A)〜(D)におけ
る右側)に、テンプレートTよりも面積が充分大きい探
索エリアEを設定し(図6(C)参照)、探索エリアE
内でテンプレートTを走査させながら相互相関係数を繰
り返し演算し、相関係数が最大となった領域を第2の所
定領域A2として設定する。
【0065】そして、所定領域A1の中心座標値(X
1,Y1)を左眼部の位置とし、所定領域A2の中心座
標値(X2,Y2)を右眼部の位置とする。これによ
り、画像中の両眼部の位置を短時間で精度良く検出する
ことができる。
【0066】なお、証明写真作成対象の画像中の人物の
両眼部に相当する位置の検出は、上記のアルゴリズムに
限定されるものではない。例えば軸Lは所定領域A1,
A2の設定時に処理対象範囲を絞るためのものであるの
で、軸Lとして頭頂点を通らない軸(例えば横方向に沿
った証明写真作成対象の画像の中央を通る軸)を用いて
もよいし、軸Lを用いることなく証明写真作成対象の画
像全面を処理対象範囲とするフィルタリング処理によっ
て第1の所定領域A1を設定し、テンプレートTを作成
し、第1の所定領域A1の近傍に設定した探索エリア内
でテンプレートTを走査させることで、第2の所定領域
A2の設定を行うようにしてもよい。
【0067】次のステップ144では、ステップ140
で検出した頭頂点位置(詳しくは頭頂点のY座標値)及
びステップ142で検出した両眼部の位置(詳しくは何
れか一方の眼部のY座標値、又は両眼部のY座標値の平
均値)に基づいて、画像中の人物の顎の先端に相当する
位置のY座標値を推定する。本願発明者は、眼部位置と
顎の先端部の位置とのY方向に沿った距離が、頭頂点位
置と眼部位置とのY方向に沿った距離に対して略一定の
比率(例えば2.1倍程度)になることを経験的に見出
した。
【0068】HDDには経験的に見出された上記の比率
が記憶されており、ステップ144では、頭頂点位置と
眼部位置とのY方向に沿った距離と上記の比率に基づ
き、眼部位置と顎の先端部の位置とのY方向に沿った距
離を演算し、眼部位置から前記演算した距離だけY方向
に隔てた位置のY座標値を、顎の先端部の位置のY座標
値として求めている。なお、上記の比率は、オペレータ
の指示やその他をトリガとして変更可能としてもよい。
【0069】ステップ146では、証明写真作成対象の
画像中の人物の顔に相当する顔領域は、ステップ140
で検出した頭頂点位置とステップ144で推定した顎先
端位置との間に分布しているものとみなし、顔領域のY
方向長さとして、頭頂点位置と顎先端位置とのY方向に
沿った距離(例えば証明写真作成対象の画像上での画素
数に換算した距離)を演算する。
【0070】次のステップ148では、証明写真を作成
するために作成対象画像に対して設定するトリミング領
域のY方向長さを演算する。先の表1に示した証明写真
情報のうちの「頭上/顔/顎下比率」は、トリミング領
域内のうち顔領域よりも上方に存在する頭上領域と、顔
領域と、トリミング領域内のうち顔領域よりも下方に存
在する顎下領域の各々のY方向長さの適正比率を表して
おり、証明写真の種類によって証明写真中の顔領域の望
ましい大きさ(サイズ比)が相違している場合があるこ
とを考慮し、本実施形態では「頭上/顔/顎下比率」が
証明写真の種類毎に各々記憶されている。このため、ス
テップ148では、作成条件指定画面上で選択された証
明写真の種類に対応して記憶されている「頭上/顔/顎
下比率」を取り込み、取り込んだ比率と、先のステップ
146で演算した顔領域のY方向長さに基づいて頭上領
域及び顎下領域のY方向長さを各々求め、トリミング領
域のY方向長さとして、これらの領域のY方向長さの合
計を演算する。
【0071】そしてステップ150では、頭頂点位置の
Y座標値と頭上領域のY方向長さに基づき証明写真作成
対象の画像上でのトリミング領域の上端位置を演算する
か、又は顎先端位置のY座標値と顎下領域のY方向長さ
に基づき証明写真作成対象の画像上でのトリミング領域
の下端位置を演算することで、トリミング領域のY方向
位置を設定する。これにより、トリミング領域内の頭上
領域、顔領域、及び顎下領域の各々のY方向に沿ったサ
イズ比が、証明写真の種類毎に定められた適正比率に一
致するように、Y方向に沿ったトリミング領域の位置が
設定されることになる。
【0072】次のステップ156では、作成条件指定画
面上で選択された証明写真の種類に対応するトリミング
領域のアスペクト比を取得する。トリミング領域のアス
ペクト比は作成すべき証明写真のアスペクト比と同一で
あり、ステップ156では、HDDに記憶されている証
明写真情報の中から選択された証明写真の種類に対応す
る「実プリントサイズ」を取り込み、取り込んだ「実プ
リントサイズ」が表す縦横の長さからアスペクト比を演
算することでトリミング領域のアスペクト比を取得す
る。
【0073】ステップ158では、ステップ152で演
算したトリミング領域のY方向長さと、ステップ156
で取得したトリミング領域のアスペクト比に基づき、ト
リミング領域のX方向長さを演算する。ステップ160
では、ステップ142で演算した左眼部のX座標値(=
X1)と右眼部のX座標値(=X2)の平均値、すなわ
ちX方向に沿った両眼部の中央に相当する位置のX座標
値を演算する。
【0074】そしてステップ162では、ステップ16
0で演算したX方向に沿った両眼部の中央に相当する位
置が、X方向に沿ったトリミング領域の中央に一致する
ように、X方向に沿ったトリミング領域の位置を設定す
る。これにより、顔領域がX方向に沿ったトリミング領
域内の略中央に位置するように、トリミング領域のX方
向位置が設定されることになる。
【0075】上記のようにしてトリミング領域のY方向
に沿った位置及び長さ、X方向に沿った位置及び長さが
各々設定されると、次のステップ164において、作成
条件指定画面の表示領域70A内に表示している証明写
真作成対象の画像に重ねて、X方向及びY方向について
各々位置及び長さを設定したトリミング領域の外縁を表
す矩形状の図形(以下、トリミング枠という:図4に太
線で示す枠も参照)を表示し、図2のステップ104に
戻る。
【0076】上記のように「自動トリミング」が選択さ
れた場合に、証明写真作成対象の画像の頭頂点位置及び
眼部位置を自動的に検出し、検出した頭頂点位置及び眼
部位置から自動的にトリミング領域を設定するので、証
明写真を作成するためのオペレータの負担を軽減するこ
とができる。また、証明写真作成対象の画像にトリミン
グ枠を重ねて表示することにより、オペレータは、表示
されているトリミング枠(すなわちトリミング領域自動
設定処理によって設定されたトリミング領域)の位置及
びサイズが適正か否かを目視により容易に検定すること
ができる。
【0077】そして、例えば画像中に存在する人物の頭
髪部に相当する領域のY方向長さが極端に大きい等の理
由により、トリミング枠の位置が適正でないと判断した
場合には、指示ボタン群70Fの何れかのボタンをクリ
ックする等の操作をオペレータが行うことでトリミング
枠(領域)の位置の移動を指示することができる。な
お、トリミング枠(領域)のサイズの変更は、表示され
ているトリミング枠に対してドラッグ&ドロップ等の操
作をオペレータが行うことで指示することができる。ト
リミング枠(領域)の位置又はサイズの変更が指示され
ると、ステップ104からステップ106を経由してス
テップ108へ移行し、入力された情報に応じた処理と
して、表示領域70A内に表示しているトリミング枠の
位置又はサイズを変更する処理が行われる。
【0078】一方、表示領域70A内に表示されている
トリミング枠の位置及びサイズが適正であると判断され
ると、オペレータによって決定ボタン70Gが選択され
る。これにより、ステップ104からステップ106を
経由してステップ112へ移行し、証明写真として記録
すべき全ての画像の指定が完了したか否かをオペレータ
に問い合わせるメッセージをCRT20に表示し、この
メッセージに応答してオペレータが入力した情報に基づ
いて、全ての画像の指定が完了したか否かを判定する。
【0079】本実施形態では、単一の証明写真作成対象
の画像から複数種の証明写真を各々作成することも可能
とされており、複数種の証明写真を作成する場合には、
個々の種類毎にトリミング領域の設定を含む作成条件の
指定を行う必要がある。作成すべき複数種の証明写真の
うち作成条件を未指定のものがあればステップ112の
判定が否定されてステップ102に戻り、ステップ10
2以降の処理を繰り返す。また、作成すべき全種類の証
明写真について、トリミング枠の設定を含む作成条件の
指定が完了している場合には、ステップ112の判定が
肯定されてステップ114へ移行する。
【0080】ステップ114では、証明写真として記録
する画像の数及び個々の画像の実プリントサイズに基づ
いて、記録フレーム(例えばLサイズの写真プリントと
同一サイズのフレーム)内に記録する個々の画像の位置
や向き等のレイアウトを決定する。そしてステップ11
6では、例として図8に示すように、先のステップ11
4で決定したレイアウトをオペレータが確認するための
レイアウト確認画面をCRT20に表示させる。
【0081】図8に示すレイアウト確認画面は、作成が
指示された証明写真に対応する画像が、印画紙上にどの
ように記録されるかを表すシミュレーション画像を表示
するための表示領域72A、選択された証明写真の種類
に対応する実プリントサイズに対し印画紙上に実際に記
録する画像のサイズを微調整するための選択欄72B、
証明写真(画像)の記録間隔を選択するための選択欄7
2C、画像の配置順序の変更を選択するための選択欄7
2D、画像と共に印字すべき文字情報の種類を選択する
ための選択欄72E、及び、画像のプリントを指示する
ためのプリントボタン72Fが各々設けられている。
【0082】そしてステップ116では、証明写真作成
対象の画像の高解像度画像データから、先に設定したト
リミング領域内に相当する画像領域のデータを抽出し、
抽出した画像データを実プリントサイズに応じて拡大又
は縮小し、先のステップ114で決定したレイアウトに
従い、指示された作成枚数と同数だけ台紙画像(例えば
全面が白色の画像)上に貼り付ける(種別としてモノク
ロが指定された画像については、モノクロ化した後に貼
り付ける)ことを、作成が指示された証明写真の種類数
分繰り返すことで、印画紙への証明写真の記録に用いる
記録用画像データを生成する。そして、生成した記録用
画像データをCRT20に表示するために低解像度化
し、レイアウト確認画面の表示領域72Aに画像として
表示させる。これにより、表示領域72Aに表示された
画像を目視することで、オペレータは、作成を指示した
証明写真が印画紙上にどのようなレイアウトで記録され
るのかを容易に把握することができる。
【0083】次のステップ118ではオペレータが何ら
かの情報を入力したか否か判定し、判定が肯定される迄
待機する。何らかの情報が入力されると、ステップ11
8の判定が肯定されてステップ120へ移行し、入力さ
れた情報の内容を判定し判定結果に応じて処理を分岐す
る。オペレータが選択欄72Eに表示されている複数の
選択肢の何れかを選択したことを表す情報が入力された
場合にはステップ124へ移行する。
【0084】選択欄72Eに表示されている選択肢は、
画像と共に印字可能な文字情報の種類を表しており、図
8では一例として「日付」「サイズ」「コメント」の3
種類が選択肢として表示されている。ステップ124で
は、オペレータによって選択された文字情報を表示領域
72Aに表示されている画像上の所定位置に付加させ、
ステップ118に戻る。なお、日付を表す文字情報は画
像処理用PCのオペレーティングシステムから日付情報
を入手することで生成することができ、サイズを表す文
字情報は証明写真情報から取得することができる。ま
た、コメント等のようにオプションで付加する文字情報
は、画像処理用PCのレジストリ等に設定しておいても
よいし、HDDに保存しておいてもよい。これにより、
例として図8に示すように、付加された文字情報をオペ
レータが目視で確認することが可能となる。なお、図9
にも示すように、証明写真の種類や店名等の他の文字情
報を印字可能としてもよいことは言うまでもない。
【0085】また、画像の記録サイズや記録間隔、配置
順序の変更等がオペレータから指示された場合は、ステ
ップ118からステップ120を経由してステップ12
2へ移行し、オペレータの指示に応じて表示領域72A
に表示している画像を変更する処理が行われる。そし
て、オペレータによってプリントボタン72Fが選択さ
れた場合には、ステップ118からステップ120を経
由してステップ126へ移行し、表示領域72A内に表
示している画像と同一の画像を印画紙に記録するため
に、前述した記録用画像データの生成を再度行う。
【0086】そしてステップ128では、ステップ12
6で生成した記録用画像データを、第2の画像処理部6
0及び色再現変換部62を経由してレーザプリンタ22
へ出力する。これにより、レイアウト確認画面の表示領
域72Aに最終的に表示された画像と同一の画像がレー
ザプリンタ22によって印画紙上に露光記録され、ペー
パプロセッサによる現像等の処理を経て可視化されるこ
とになる。証明写真は画像が記録されている印画紙から
所定のサイズで画像を切り出すことによって得られる
が、オペレータによってサイズ等の印字が指示された場
合には、図8にも示すように、個々の画像の近傍に規定
のサイズを表す文字情報が印字されているので、画像切
り出し時の切り出しサイズの誤認等が生ずることを防止
することができる。
【0087】なお、上記ではトリミング領域を矩形状と
していたが、これに限定されるものではなく、任意の形
状を採用可能である。
【0088】また、上記では本発明を画像処理システム
10に適用した場合を説明したが、これに限定されるも
のではなく、ユーザが自宅のPCに証明写真作成プログ
ラムをインストールし、ユーザのデジタルスチルカメラ
で被写体を撮像するか、又は通常のカメラによって被写
体を写真フィルムに露光記録し、該写真フィルムに対し
て撮像等の処理を行った後に可視化された画像をスキャ
ナ等で読み取ることで得られた画像データを用いて、証
明写真作成処理を実行することにより、前記PCに接続
されたプリンタによって証明写真を作成するようにして
もよい。
【0089】また、上記では証明写真の作成を例に説明
したが、本発明はこれに限定されるものではなく、学校
のアルバムに掲載する個々の生徒の写真の作成等にも適
用可能である。
【0090】
【発明の効果】以上説明したように本発明は、原画像中
の人物の頭頂部に相当する位置及び眼部に相当する位置
を各々検出し、原画像中の人物の頭頂部に相当する位置
及び眼部に相当する位置に基づき、人物の顔に相当する
顔領域が所定のサイズ比でトリミング領域内の所定位置
に位置するようにトリミング領域を設定するので、人物
の顔に相当する顔領域が所定のサイズ比でトリミング領
域内の所定位置に位置するようにトリミング領域を設定
する際のオペレータ等の負担を軽減することができる、
という優れた効果を有する。
【図面の簡単な説明】
【図1】 画像処理システムの概略構成を示すブロック
図である。
【図2】 証明写真作成処理の内容を示すフローチャー
トである。
【図3】 トリミング領域自動設定処理の内容を示すフ
ローチャートである。
【図4】 作成条件指定画面の一例を示すイメージ図で
ある。
【図5】 頭頂点の検出を説明するための概念図であ
る。
【図6】 両眼部の検出を説明するための概念図であ
る。
【図7】 頭上/顔/顎下比率を説明するためのイメー
ジ図である。
【図8】 レイアウト確認画面の一例を示すイメージ図
である。
【図9】 証明写真の画像と共に印字可能な文字情報の
他の例を示すイメージ図である。
【符号の説明】
10 画像処理システム 18 画像処理装置 22 レーザプリンタ 58 画像処理制御部 64 キー入力部 68 情報記憶媒体
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H106 AA64 AA66 AA87 BA23 BA36 BA37 BA55 BA58 2H109 BA02 BA04 5B057 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CD05 CE09 DA07 DB02 DB09 DC03 5C076 AA02 AA16 AA21 AA22 BA03 CA02 CA10 CB02

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 人物の顔に相当する顔領域を含む原画像
    の画像データに基づいて、前記原画像中の人物の頭頂部
    に相当する位置及び眼部に相当する位置を各々検出する
    検出手段と、 前記検出手段によって検出された原画像中の人物の頭頂
    部に相当する位置及び眼部に相当する位置に基づき、前
    記顔領域が所定のサイズ比でトリミング領域内の所定位
    置に位置するように、前記原画像に対するトリミング領
    域を設定する設定手段と、 を含む画像処理装置。
  2. 【請求項2】 トリミング領域内のうち原画像中の被写
    体の天地方向に沿って前記顔領域よりも上方に存在する
    頭上領域、前記顔領域、トリミング領域内のうち前記天
    地方向に沿って前記顔領域よりも下方に存在する顎下領
    域の各々の、前記天地方向に沿ったサイズ比の適正値を
    記憶する記憶手段を更に備え、 前記設定手段は、前記検出された原画像中の人物の頭頂
    部に相当する位置及び眼部に相当する位置に基づいて、
    原画像中の人物の顎の先端に相当する位置を推定し、前
    記頭頂部に相当する位置と前記顎の先端に相当する位置
    の原画像上での距離に基づき、トリミング領域内のうち
    前記頭上領域、前記顔領域、及び前記顎下領域の各々の
    前記天地方向に沿ったサイズ比が、前記記憶手段に記憶
    されているサイズ比の適正値に一致するように、前記天
    地方向に沿ったトリミング領域の位置及びサイズを設定
    することを特徴とする請求項1記載の画像処理装置。
  3. 【請求項3】 前記検出手段は、前記原画像中の人物の
    両眼部に相当する位置を各々検出し、 前記記憶手段にはトリミング領域のアスペクト比を表す
    情報が記憶されており、 前記設定手段は、前記検出手段によって各々検出された
    両眼部に相当する位置の前記天地方向に直交する横方向
    に沿った略中央に相当する位置を、前記横方向に沿った
    トリミング領域の中心位置とし、前記天地方向に沿った
    トリミング領域のサイズに基づき、トリミング領域のア
    スペクト比が前記記憶手段に記憶されている情報が表す
    アスペクト比に一致するように、前記横方向に沿ったト
    リミング領域の位置及びサイズを設定することを特徴と
    する請求項1記載の画像処理装置。
  4. 【請求項4】 原画像のうち設定されたトリミング領域
    内に相当する画像領域を記録材料に記録する際の記録画
    像のサイズとして予め定められた複数種のプリントサイ
    ズの中から、所望のプリントサイズを選択するための選
    択手段を更に備え、 前記記憶手段には、前記サイズ比の適正値及び前記トリ
    ミング領域のアスペクト比を表す情報が、前記複数種の
    プリントサイズと対応付けて各々記憶されており、 前記設定手段は、前記選択手段を介して選択されたプリ
    ントサイズと対応付けされて前記記憶手段に記憶されて
    いるサイズ比の適正値及び前記アスペクト比を表す情報
    を用いてトリミング領域の位置及びサイズを設定するこ
    とを特徴とする請求項3記載の画像処理装置。
  5. 【請求項5】 前記設定手段によって設定されたトリミ
    ング領域を原画像に重ねて表示手段に表示させる表示制
    御手段と、前記設定手段によって設定されたトリミング
    領域の位置及びサイズの少なくとも一方を修正するため
    の修正手段と、を更に備え、 前記設定手段は、前記修正手段を介してトリミング領域
    の位置及びサイズの少なくとも一方の修正が指示された
    場合に、該指示に応じてトリミング領域の位置及びサイ
    ズの少なくとも一方を修正することを特徴とする請求項
    1記載の画像処理装置。
  6. 【請求項6】 記録材料に記録すべき文字情報を指定す
    るための指定手段と、 原画像のうち前記設定手段によって設定されたトリミン
    グ領域内に相当する画像領域を記録材料に画像として記
    録すると共に、前記指定手段を介して指定された文字情
    報を同一の記録材料上に記録する記録手段と、 を更に備えたことを特徴とする請求項1記載の画像処理
    装置。
  7. 【請求項7】 前記文字情報は、記録画像の種類及びプ
    リントサイズの少なくとも一方を文字で表す情報である
    ことを特徴とする請求項6記載の画像処理装置。
  8. 【請求項8】 人物の顔に相当する顔領域を含む原画像
    の画像データに基づいて、前記原画像中の人物の頭頂部
    に相当する位置及び眼部に相当する位置を各々検出し、 検出した原画像中の人物の頭頂部に相当する位置及び眼
    部に相当する位置に基づき、前記顔領域が所定のサイズ
    比でトリミング領域内の所定位置に位置するように、前
    記原画像に対するトリミング領域を設定する画像処理方
    法。
  9. 【請求項9】 人物の顔に相当する顔領域を含む原画像
    の画像データに基づいて、前記原画像中の人物の頭頂部
    に相当する位置及び眼部に相当する位置を各々検出する
    第1のステップ、 及び、検出した原画像中の人物の頭頂部に相当する位置
    及び眼部に相当する位置に基づき、前記顔領域が所定の
    サイズ比でトリミング領域内の所定位置に位置するよう
    に、前記原画像に対するトリミング領域を設定する第2
    のステップを含む処理をコンピュータに実行させるため
    のプログラムが記録された記録媒体。
JP2000347177A 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体 Expired - Fee Related JP3983469B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2000347177A JP3983469B2 (ja) 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体
DE60135428T DE60135428D1 (de) 2000-11-14 2001-11-12 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Aufzeichnungsmedium
EP01126880A EP1206118B1 (en) 2000-11-14 2001-11-12 Image processing apparatus, image processing method and recording medium
US09/987,127 US7072526B2 (en) 2000-11-14 2001-11-13 Image processing apparatus, image processing method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000347177A JP3983469B2 (ja) 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体

Publications (2)

Publication Number Publication Date
JP2002152492A true JP2002152492A (ja) 2002-05-24
JP3983469B2 JP3983469B2 (ja) 2007-09-26

Family

ID=18820949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000347177A Expired - Fee Related JP3983469B2 (ja) 2000-11-14 2000-11-14 画像処理装置、方法及び記録媒体

Country Status (4)

Country Link
US (1) US7072526B2 (ja)
EP (1) EP1206118B1 (ja)
JP (1) JP3983469B2 (ja)
DE (1) DE60135428D1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310397A (ja) * 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc マスク着用判定装置
JP2006072506A (ja) * 2004-08-31 2006-03-16 Noritsu Koki Co Ltd 写真処理装置
JP2006215685A (ja) * 2005-02-02 2006-08-17 Funai Electric Co Ltd フォトプリンタ
JP2010068470A (ja) * 2008-09-12 2010-03-25 Dainippon Printing Co Ltd 顔画像の自動トリミング装置
JP2017191323A (ja) * 2017-05-22 2017-10-19 フリュー株式会社 写真シール作成装置、表示制御方法、およびプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
DK1456810T3 (da) 2001-12-18 2011-07-18 L 1 Secure Credentialing Inc Multiple billedsikkerhedstræk til at identificere dokumenter og fremgangsmåder til fremstilling deraf
US7152786B2 (en) * 2002-02-12 2006-12-26 Digimarc Corporation Identification document including embedded data
JP2003264775A (ja) * 2002-03-08 2003-09-19 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
EP1558015B1 (en) * 2002-08-30 2009-10-07 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
JP3809411B2 (ja) * 2002-09-27 2006-08-16 キヤノン株式会社 画像処理方法及び装置並びに印刷装置
US7454707B2 (en) * 2002-09-30 2008-11-18 Canon Kabushiki Kaisha Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
DE602004002723T2 (de) * 2003-05-21 2007-02-08 Nec Corp. Mobiltelefon, Drucksystem und korrespondierendes Druckverfahren
US20050117802A1 (en) * 2003-09-09 2005-06-02 Fuji Photo Film Co., Ltd. Image processing method, apparatus, and program
US7920725B2 (en) * 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
WO2005043466A1 (ja) * 2003-10-30 2005-05-12 Nec Corporation 物体の状態を推定する推定システム、推定方法および推定プログラム
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
JP4344925B2 (ja) * 2003-12-15 2009-10-14 富士フイルム株式会社 画像処理装置、画像処理方法およびプリントシステム
JP2005244572A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 不良トリミング画像検出方法および装置並びにプログラム
JP2005242640A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 対象物検出方法および装置並びにプログラム
JP2005250556A (ja) * 2004-03-01 2005-09-15 Fuji Photo Film Co Ltd トリミング処理方法および装置並びにプログラム
JP2006088388A (ja) * 2004-09-21 2006-04-06 Fuji Photo Film Co Ltd プリントシステム及びプリント制御プログラム
JP4534249B2 (ja) * 2005-02-01 2010-09-01 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2006254229A (ja) * 2005-03-11 2006-09-21 Fuji Photo Film Co Ltd 撮像装置、撮像方法及び撮像プログラム
JP4683339B2 (ja) * 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
JP2008165561A (ja) * 2006-12-28 2008-07-17 Fuji Xerox Co Ltd 画像処理装置、情報管理システム及び画像処理プログラム
JP4663699B2 (ja) * 2007-09-27 2011-04-06 富士フイルム株式会社 画像表示装置、及び画像表示方法
JP4850818B2 (ja) * 2007-11-30 2012-01-11 キヤノン株式会社 画像処理装置およびその方法
NL2001073C2 (nl) * 2007-12-11 2009-06-15 Jan Arie Frederik Grootveld Werkwijze en systeem voor het bewerken van een fotografische gelaatsafbeelding.
JP5404130B2 (ja) * 2009-03-30 2014-01-29 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
CN102339457B (zh) * 2010-07-16 2016-02-03 腾讯科技(深圳)有限公司 一种图片的裁剪方法及系统
KR101795601B1 (ko) * 2011-08-11 2017-11-08 삼성전자주식회사 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
JP6617418B2 (ja) * 2015-03-17 2019-12-11 フリュー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US11275819B2 (en) 2018-12-05 2022-03-15 Bank Of America Corporation Generative adversarial network training and feature extraction for biometric authentication

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3545875A1 (de) * 1985-12-23 1987-07-02 Anger Wilhelm Vorrichtung zum fotogrammetrischen erfassen des menschlichen kopfes
JP2983545B2 (ja) * 1988-03-16 1999-11-29 アイシン精機株式会社 映像信号の増幅処理装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US6049674A (en) * 1992-08-24 2000-04-11 Fuji Photo Film Co., Ltd. Self-photography apparatus for making identification photograph
US5835616A (en) * 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5781650A (en) * 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
JPH0927897A (ja) 1995-05-09 1997-01-28 Noritsu Koki Co Ltd カットマーク入り証明写真及びその製造装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
JP3436473B2 (ja) * 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
US5990901A (en) * 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JPH11341272A (ja) 1998-05-22 1999-12-10 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP3992867B2 (ja) 1999-02-19 2007-10-17 富士フイルム株式会社 位置検出方法および装置並びに記録媒体
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310397A (ja) * 2003-04-07 2004-11-04 Toyota Central Res & Dev Lab Inc マスク着用判定装置
JP2006072506A (ja) * 2004-08-31 2006-03-16 Noritsu Koki Co Ltd 写真処理装置
JP2006215685A (ja) * 2005-02-02 2006-08-17 Funai Electric Co Ltd フォトプリンタ
JP2010068470A (ja) * 2008-09-12 2010-03-25 Dainippon Printing Co Ltd 顔画像の自動トリミング装置
JP2017191323A (ja) * 2017-05-22 2017-10-19 フリュー株式会社 写真シール作成装置、表示制御方法、およびプログラム

Also Published As

Publication number Publication date
DE60135428D1 (de) 2008-10-02
EP1206118A2 (en) 2002-05-15
US20020085771A1 (en) 2002-07-04
EP1206118B1 (en) 2008-08-20
EP1206118A3 (en) 2005-08-17
US7072526B2 (en) 2006-07-04
JP3983469B2 (ja) 2007-09-26

Similar Documents

Publication Publication Date Title
JP3983469B2 (ja) 画像処理装置、方法及び記録媒体
US7751640B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
US7756343B2 (en) Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program
US7848588B2 (en) Method and apparatus for judging direction of blur and computer-readable recording medium storing a program therefor
JP2005310068A (ja) 白目補正方法及びこの方法を実施する装置
JP3913604B2 (ja) 証明写真の作成方法
JP2009237977A (ja) 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
JP4496465B2 (ja) 赤目補正方法、プログラム、及びこの方法を実施する装置
JP2005141477A (ja) 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
US20060103887A1 (en) Printer and print
US20090231627A1 (en) Image Processing Apparatus, Image Processing Method, Computer Program for Image Processing
JP2009237976A (ja) 顔画像出力制御装置、顔画像出力制御方法、顔画像出力制御プログラムおよび印刷装置
JP2005148915A (ja) 適正顔判別方法及びこの方法を実施する装置
JP2006113658A (ja) 画像処理装置及び方法、及びプログラムを記録した記憶媒体
JP2003187257A (ja) 画像作成システム
JP2001155174A (ja) 画像処理方法および装置
JP2004054898A (ja) 印刷データ生成装置、印刷データ生成方法およびそのプログラム
JP2005148916A (ja) 濃度補正のための顔選別方法及びこの方法を実施する装置
JP3869635B2 (ja) 画像処理装置、画像処理方法、記録媒体およびプリントシステム
JP2007200091A (ja) 画像処理装置
JP2007200069A (ja) 写真画像処理方法及びその装置
JP2007200068A (ja) 写真画像処理方法及びその装置
JP2007074664A (ja) 画像処理方法と画像処理プログラムと画像処理装置
JP2009237978A (ja) 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置
JP4250498B2 (ja) 画像処理サービス方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050908

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3983469

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees