JP2005184129A - 画像撮影システムおよび証明用媒体発行システム - Google Patents

画像撮影システムおよび証明用媒体発行システム Download PDF

Info

Publication number
JP2005184129A
JP2005184129A JP2003418444A JP2003418444A JP2005184129A JP 2005184129 A JP2005184129 A JP 2005184129A JP 2003418444 A JP2003418444 A JP 2003418444A JP 2003418444 A JP2003418444 A JP 2003418444A JP 2005184129 A JP2005184129 A JP 2005184129A
Authority
JP
Japan
Prior art keywords
photographing
image
face
face image
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003418444A
Other languages
English (en)
Other versions
JP4357951B2 (ja
Inventor
Yoshinori Misumi
佳範 三角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2003418444A priority Critical patent/JP4357951B2/ja
Publication of JP2005184129A publication Critical patent/JP2005184129A/ja
Application granted granted Critical
Publication of JP4357951B2 publication Critical patent/JP4357951B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Credit Cards Or The Like (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被撮影者の顔画像の撮影を円滑に行なうことができる画像撮影システムを提供する。
【解決手段】免許証などの顔画像付き証明用媒体に印刷する顔画像を撮影する画像撮影システムにおいて、被撮影者の顔画像を撮影した際、証明用媒体に印刷を行なう前の事前確認として被撮影者自信が顔画像の良否、選択を行なうために、撮影装置とは別に設けられた複数の確認装置で行なう。
【選択図】 図1

Description

本発明は、たとえば、自動車の運転免許証(以後、単に免許証と称す)や各種証明書(カードタイプや冊子タイプを含む)などの顔画像付き証明用媒体に印刷する顔画像を撮影する画像撮影システム、および、この画像撮影システムを用いて顔画像付き証明用媒体を発行する証明用媒体発行システムに関する。
一般に、この種の画像撮影システムにおいて、免許証などの証明用媒体に印刷するために撮影した顔画像は、証明用媒体に印刷を行なった後に良否を確認したり、事前に撮影時の顔画像を表示して確認することができる場合、被撮影者は撮影を行なった後、その場で撮影装置を占有し、撮影した顔画像の良否を確認することを行なっている。
特開2000−258832号公報 特開2000−292834号公報
しかしながら、従来の画像撮影システムでは、証明用媒体に顔画像を印刷した後に顔画像の良否を確認した結果、当該顔画像の出来が悪かった場合、再度撮影し、再度証明用媒体に印刷を行なうため、証明用媒体を無駄に消費してしまうという問題がある。
また、事前に撮影時の顔画像を表示して確認することができた場合、被撮影者が撮影以外にも顔画像の良否の確認まで含めた時間、撮影装置を占有してしまうため、他に撮影待ちしている被撮影者が渋滞してしまうという問題がある。
そこで、本発明は、被撮影者の顔画像の撮影を円滑に行なうことができる画像撮影システムを提供することを目的とする。
また、本発明は、証明用媒体を発行する人物の顔画像の撮影から証明用媒体への印刷を円滑に行なうことができる証明用媒体発行システムを提供することを目的とする。
本発明の画像撮影システムは、被撮影者の少なくとも顔画像を撮影する撮影装置と、この撮影装置により撮影された被撮影者の顔画像を当該被撮影者が確認する確認装置とを有して構成され、前記撮影装置は、被撮影者の少なくとも顔画像を複数撮影する撮影手段と、この撮影手段により撮影された複数の顔画像を一時記憶する一時記憶手段と、前記確認装置から送信される撮影画像アクセス要求信号を受信したことに応答し、前記一時記憶手段に記憶された複数の顔画像を前記確認装置へ送信する第1の送信手段とを有し、前記確認装置は、前記撮影装置へ撮影画像アクセス要求信号を送信する第2の送信手段と、この第2の送信手段による撮影画像アクセス要求信号の送信に対し前記撮影装置の第1の送信手段により送信された複数の顔画像を受信し、この受信した複数の顔画像を表示する表示手段と、この表示手段により表示された複数の顔画像の中から1つの顔画像を選択する選択手段と、この選択手段による顔画像の選択結果を前記撮影装置へ送信する第3の送信手段とを有し、前記撮影装置は、さらに、前記確認装置の第3の送信手段により送信された顔画像の選択結果を受信し、この受信した選択結果に基づき、前記一時記憶手段に記憶された複数の顔画像の中から当該選択結果に対応した1つの顔画像を出力する出力手段を有する。
また、本発明の証明用媒体発行システムは、人物の証明用媒体発行に必要な個人情報を取得する個人情報取得手段と、前記人物の少なくとも顔画像を撮影する撮影装置と、この撮影装置により撮影された人物の顔画像を当該人物が確認する確認装置と、この確認装置により確認された顔画像および前記個人情報取得手段により取得された個人情報を証明用媒体の表面に印刷する印刷装置とを有して構成され、前記撮影装置は、人物の少なくとも顔画像を複数撮影する撮影手段と、この撮影手段により撮影された複数の顔画像を一時記憶する一時記憶手段と、前記確認装置から送信される撮影画像アクセス要求信号を受信したことに応答し、前記一時記憶手段に記憶された複数の顔画像を前記確認装置へ送信する第1の送信手段とを有し、前記確認装置は、前記撮影装置へ撮影画像アクセス要求信号を送信する第2の送信手段と、この第2の送信手段による撮影画像アクセス要求信号の送信に対し前記撮影装置の第1の送信手段により送信された複数の顔画像を受信し、この受信した複数の顔画像を表示する表示手段と、この表示手段により表示された複数の顔画像の中から1つの顔画像を選択する選択手段と、この選択手段による顔画像の選択結果を前記撮影装置へ送信する第3の送信手段とを有し、前記撮影装置は、さらに、前記確認装置の第3の送信手段により送信された顔画像の選択結果を受信し、この受信した選択結果に基づき、前記一時記憶手段に記憶された複数の顔画像の中から当該選択結果に対応した1つの顔画像を前記印刷装置へ出力する出力手段とを有する。
本発明によれば、被撮影者の顔画像の撮影を円滑に行なうことができる画像撮影システムを提供できる。
また、本発明によれば、証明用媒体を発行する人物の顔画像の撮影から証明用媒体への印刷を円滑に行なうことができる証明用媒体発行システムを提供できる。
以下、本発明の実施の形態について図面を参照して説明する。
図1は、本実施の形態に係る画像撮影システムが適用される、たとえば免許証などの顔画像付き証明用媒体(以降、IDカードと略称する)を発行する証明用媒体発行システムの構成を概略的に示すものである。図1において、この証明用媒体発行システムは、全体的な制御を司る汎用コンピュータで構成されるホストコンピュータ101、このホストコンピュータ101に接続され、少なくともカード発行申請者(以後、被撮影者あるいは人物とも言う)1のIDカードに記載する各種情報を含む個人情報を、カード発行申請者1が持つ固有の識別情報としての個人番号(ID番号)と対応させて記憶している記憶手段としてのデータベース102、カード発行申請者1の顔画像を撮影する撮影装置103、撮影装置103により撮影されたカード発行申請者(被撮影者)1の顔画像をIDカードに印刷する前に当該カード発行申請者1が確認するための複数(この例では3つ)の確認装置104,104,104、撮影装置103からの指令により、確認装置104で確認されたカード発行申請者1の顔画像と個人番号、氏名、年齢、住所などの個人情報を、未発行状態のIDカードに印刷することによりIDカード105を作成する印刷手段としての印刷装置106、その際に顔画像、個人番号、氏名、年齢、住所などの個人情報をファイリングするファイリング装置107、これらホストコンピュータ101、撮影装置103、確認装置104、印刷装置106、および、ファイリング装置107を相互接続するネットワーク108から構成されている。
証明用媒体としてのIDカード105は、たとえば、磁気カードやICカードなどが用いられ、その表面には、顔画像109や個人番号、氏名、年齢、住所などの個人情報110などがそれぞれ印刷される。
図2は、撮影装置103の外観構成を概略的に示すものである。この撮影装置103は、カード発行申請者である被撮影者(人物)1を照明する照明器2、被撮影者1の少なくとも顔画像を撮影して入力する画像入力手段としてのCCD形のビデオカメラ3、被撮影者1に対し撮影状態やガイダンスなどを案内表示する表示器(モニタディスプレイ)4、同様に被撮影者1に対しガイダンスなどを音声で案内するスピーカ5、操作者による操作指示により、カメラ3からの入カ画像を加工したり、表示器4や内蔵する記憶部などに対して出力を行なう制御台(制御部)6、被撮影者1が撮影の際に着座する椅子7、撮影の際に被撮影者1の背景となる背景板8、および、被撮影者1の顔画像を撮影している最中に、被撮影者1側から強制的に撮影延長あるいは撮影停止を行なうための指示を行なうスイッチ手段としての撮影停止スイッチ(押釦スイッチ)9から構成されている。
なお、スピーカ5は、背景板8の裏側の被撮影者1と対応する部位に取着されていて、背景板8に設けられた音放出孔から音声が放出されるようになっている。また、背景板8の色は、証明用写真の背景として好適な色(たとえば、青色)に設定されている。
図3は、図2に示した撮影装置103の全体的な構成を示すブロック図である。すなわち、カメラ3からのアナログ信号(入力画像)をリアルタイムにデジタル信号に変換し、ビデオメモリやメインメモリなどに転送するビデオキャプチャ部11、ビデオキャプチャ部11の画像データ、および、その他の描画処理を行ない、表示器4への表示制御を行なうビデオアクセラレート部12、スピーカ5へのガイダンス用の音声を制御するサウンドコントロール部13、画像データおよびその他への各種の演算処理や各種制御などを行なうCPU(セントラル・プロセッシング・ユニット)、画像データや演算結果などを一時保存するメインメモリ、各種周辺機器とのインターフェイスを備えたCPU部14、各種周辺機器を接続する外部バス(たとえば、SCSIなど)を制御する外部バス制御部15、撮影停止スイッチ9とのインターフェイスを備えたI/Oコントロール部16、各種OSやアプリケーション、制御用データ、画像データなどを保存する記憶手段としてのハードディスク装置などの大容量記憶装置17、制御台6の出力データなどを保存する可搬性のある記憶媒体(たとえば、光磁気ディスクなど)18に対してデータの読み書きを行なうリーダライタ部19、カード発行申請者固有の識別情報である個人番号をカード発行申請書から光学的に読取って入力する識別情報入力手段としての光学式読取装置(OCR)20、操作者が操作する入力手段としてのキーボード21やマウス22、および、ネットワーク108上の他の各種機器(ホストコンピュータ101、確認装置104、印刷装置106、ファイリング装置107など)との間で相互通信を行なうためのネットワークアダプタ(LANカードなど)23などによって構成されている。
図4は、図2に示した確認装置104の全体的な構成を示すブロック図である。すなわち、画像データおよびその他の描画処理を行ない、表示器(モニタディスプレイ)41への表示制御を行なうビデオアクセラレート部42、スピーカ43へのガイダンス用の音声を制御するサウンドコントロール部44、画像データおよびその他への各種の演算処理や各種制御などを行なうCPU(セントラル・プロセッシング・ユニット)、画像データや演算結果などを一時保存するメインメモリ、各種周辺機器とのインターフェイスを備えたCPU部45、各種OSやアプリケーション、制御用データ、画像データなどを保存する記憶手段としてのハードディスク装置などの大容量記憶装置46、操作者が操作する入力手段としてのキーボード47やマウス48、および、ネットワーク108上の他の各種機器(ホストコンピュータ101、確認装置104、印刷装置106、ファイリング装置107など)との間で相互通信を行なうためのネットワークアダプタ(LANカードなど)48などによって構成されている。
このような構成において、撮影装置103のメイン処理について図5および図6に示すフローチャートを参照して説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS1にて、IDカードを作成するカード発行申請者1の持参したカード発行申請書を光学式読取装置20にセットすることにより、カード発行申請者固有の識別情報である個人番号をカード発行申請書から読取って入力する。カード発行申請書から読取った個人番号はCPU部14へ送られ、メインメモリに格納される。
次に、ステップS2にて、カード発行申請書から読取った個人番号をキーとして、データベース102から当該カード発行申請者1の個人情報を検索して読出し、メインメモリに格納する。なお、この場合の個人情報とは、あらかじめ登録してあるカード発行申請者の名前や住所等の文字データで表現できるものである。ここに、このステップS2の処理が本発明における個人情報取得手段に対応している。
次に、ステップS3にて、操作者は、キーボード21あるいはマウス22により、撮影処理開始の指示を行なう。撮影処理開始の指示が行なわれると、ステップS4にて撮影準備処理(後で詳細を説明する)を行なう。次に、ステップS5にて、ステップS4の撮影準備処理がNGタイムアウトかどうかを判定し、NGタイムアウトであれば再びステップS3に戻って撮影指示待ちの状態に戻る。
ステップS4の撮影準備処理がOKタイムアウトであれば、ステップS6にて、カード発行申請者1に対して顔画像の第1回目の撮影処理(後で詳細を説明する)を行なう。
以下、上記ステップS4,S5,S6と同様な処理を2回繰り返すことにより(ステップS7〜S12)、カード発行申請者1の顔画像を連続的に3回撮影する。
次に、ステップS13にて、ステップS6,S9,S12の撮影処理が正常に終了したかを判定し、この判定の結果、エラーがあった場合は、ステップS14にて、表示器4やスピーカ5により、操作者とカード発行申請者1に対し所定のガイダンスを行ない、ステップS3に戻って撮影指示待ちの状態に戻る。
ステップS13における判定の結果、ステップS6,S9,S12の撮影処理が正常に終了した場合、ステップS15にて、前述のカード発行申請者1に対する撮影処理3回分の顔画像を表示器4に表示する。
次に、ステップS16にて、操作者は、表示器4に表示された全撮影顔画像内(この場合は3つの顔画像内)に、当該IDカードへ印刷出力することがふさわしくないと判断するものがあれば、それを削除する。
次に、ステップS17にて、ステップS16の結果、顔画像の残分があるかいなかを判定し、顔画像の残分がなかった場合は、ステップS3に戻って撮影指示待ちの状態に戻り、再度撮影を行なうことになる。
ステップS17における判定の結果、顔画像の残分があれば、大容量記憶装置17内に構築された確認待ちキューデータベース(図示しない)に、ステップS2で取得した個人情報とともに、その顔画像(撮影された3つの顔画像)を一時記憶(登録)する。その後、ステップS1に戻り、次の撮影準備に備える。ここに、このステップS18の処理が本発明における一時記憶手段に対応している。
以下、図7に示すフローチャートを参照して図5および図6におけるステップS4,S7,S10の撮影準備処理について説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS21にて、被撮影者(カード発行申請者)1に対するガイダンスとして、これから撮影を行なう旨をスピーカ5により報知する。次に、ステップS22にて、実際の撮影処理を行なうまでの時間待ちするための撮影タイマ(図示しない)をリセットする。次に、ステップS23にて、被撮影者1が準備が整わないために操作する撮影停止スイッチ9を押下している長さを判定するための停止スイッチタイマ(図示しない)をリセットする。
次に、ステップS24にて、撮影タイマの動作をスタートさせる。この撮影タイマの時間は、特くに規定はしないが、たとえば、1〜2秒程度に設定される。次に、ステップS25にて、撮影タイマがタイムアウトしたかどうかを判定し、タイムアウトした場合は、ステップS26にてOKタイムアウトリターンを行なう。
ステップS25において、撮影タイマがタイムアウトではなかった場合、ステップS27にて撮影停止スイッチ9が押されたかどうかを確認する。確認の結果、撮影停止スイッチ9が押されていた場合、ステップS28にてカウント中の撮影タイマを一旦ストップし、ステップS29にて停止スイッチタイマをスタートさせる。この停止スイッチタイマの時間は、特くに規定はしないが、たとえば、3〜4秒程度に設定される。
次に、ステップS30〜32において、撮影停止スイッチ9が再び非押下状態になるのを待機し、再び撮影タイマをスタートさせる。その間、ステップS33にて停止スイッチタイマがタイムアウトしたかどうか判定し、タイムアウトした場合は、NGタイムアウトリターンを行なう。
すなわち、この撮影準備処理は、被撮影者1に対し撮影するために撮影準備を促し、実際の撮影までの間、被撮影者1の準備が整わなかった場合、撮影停止スイッチ9により撮影までの時間を延長させ、ある程度その時間が長い場合は、最初から撮影をやり直すことを行なうことを実現するためにある。
図8は、カメラ3からの入力画像(顔画像)31と、その入力画像31中の顔輪郭領域32からの相対位置である目の概略領域33を特定し、その概略領域33から両目の位置34,35をそれぞれ検出し、出力画像の切出し領域を決定する様子を示すものである。
以下、図9に示すフローチャートおよび図8を参照して図5および図6におけるステップS6,S9,S12の撮影処理について説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS101にて、図示しないカウンタによって計数されるリトライ回数やその他のデータの初期化を行ない、ステップS102に進む。ステップS102では、ビデオキャプチャ部11を介してカメラ3からの入力画像31(図8参照)を取込み、CPU部14内のメインメモリに一時格納し、ステップS103に進む。
ステップS103では、後で詳細を説明する顔輪郭位置検出処理により、入力画像31中に背景色と異なる画素を持った領域(被撮影者1)を探索することにより、被撮影者1の顔輪郭領域32の位置を検出する。次に、ステップS104にて、ステップS103で検出した顔輪郭領域32の位置が適正な範囲に入っているか否かを判定する。
この判定の結果、検出した顔輪郭領域32の位置が適正な範囲に入っていない場合(たとえば、カメラ3の前に被撮影者1がいない場合、あるいは、顔輪郭領域32の位置が上下左右に大きく外れている場合)は、ステップS102に戻り、再び入力画像31の取込みを行なう。
ステップS104の判定の結果、検出した顔輪郭領域32の位置が適正な範囲に入っている場合、ステップS105に進む。ステップS105では、ステップS103で検出した顔輪郭領域32から、統計的に求めた、瞳が必ず存在するであろう瞳位置概略領域33へ絞り込むことにより、瞳位置概略領域33中から、瞳と同形状の丸い形状をした部位34,35を抽出する。
次に、ステップS106にて、ステップS105で抽出した瞳と同形状の丸い形状をした部位の数が規定数あるか否かを判定する。この判定の結果、規定数に満たない場合は、瞳が開いていないと判定し、ステップS107にて規定時間(たとえば、0.1秒程度)待ち、ステップS108に進む。ステップS108では、リトライ回数があらかじめ設定される規定値以内か否かをチェックし、規定値以内であればステップS109に進む。ステップS109では、前記リトライ回数をインクリメントして、ステップS102に戻り、リトライ処理として再度、ステップS102からの処理を行なう。
ステップS106の判定の結果、抽出数が規定数を満たす場合は、ステップS110に進む。ステップS110では、抽出したそれぞれの部位周辺の形状と左右瞳の標本データとを比較し、類似度合いが最も高い抽出部位を左右瞳分抽出する。次に、ステップS111にて、類似度合いがあらかじめ設定される閾値以上であるか否かを判定し、閾値以上であれば正常に開いている瞳位置と判断し、もし閾値以下であれば、ステップS107に進み、前述同様のリトライ処理を行なう。
瞳は2箇所あるため、標本は左右の瞳分用意されており、上記判定を左右瞳両標本との比較により行ない、左右両瞳の状態を認識する。
次に、ステップS112にて、後で詳細を説明する出力画像生成処理により、出力画像を生成し、リターンする。
なお、ステップS108におけるチェックの結果、リトライ回数が規定値以内でなかった場合(リトライ回数が規定数以上となった場合)、撮影処理を断念し、ステップS113にてエラー処理を行ない、リターンする。
以上、撮影処理を要約すると、もし被撮影者1を撮影した際、瞬きまたは目つぶりであった場合、ステップS110の処理にて判定し、リトライ処理を行ないつつ、目が開くのを待つことを行なう。もし被撮影者1が、目は開いているがよそ見その他の正面をしっかり向いていないような、正常に開いた目ではない場合は、ステップS110〜S111の処理にて判定し、正常に開いた目になるのを待つ。また、ステップS110〜S111の処理は、ステップS1105の処理にて誤判定したものに対しての補正処理としても動作する。さらに、ステップS110〜S111の処理は、ステップS105の処理では判定できない不正常な開きすぎの目(びっくり目)に対しても作用し、リトライ処理を行なう。
図10は、後述する顔輪郭位置検出処理時に使用する領域や座標値、数値名を示したものである。図10において、
XSTILLSIZE:カメラ3から入力した画像の横方向の画素数
YSTILLSIZE:カメラ3から入力した画像の縦方向の画素数
XFMGSIZE:印刷装置106やファイリング装置107に出力する際の画像横
長さの画素数
YFMGSIZE:印刷装置106やファイリング装置107に出力する際の画像縦
長さの画素数
FACESIZE:撮影距離固定で撮影したときの被撮影者の平均的な顔縦長さ画素

OVERHEAD:FACESIZEの顔をXFMGSIZE×YFMGSIZEの
出力画像サイズに収めたときに顔位置のバランスをよくするため
に必要となる背景板8が写る縦方向の画素数
である。
また、図10において、探索領域(測定領域)FEは、左上頂点を(XSTART,YTOP)、右下頂点を(XST0P,YTOP+測定高さ)とする領域である。XSTARTおよびXST0Pの値は、椅子7に被撮影者1が着座した際に、入力画像中に必ず入るであろう、あらかじめ設定される範囲の左端x座標と右端x座標である。また、上記測定高さは、被撮影者1の肩や長髪者などの顔下部分で大きく左右に広がった領域の影響を受けないであろう範囲として、あらかじめ設定される値である。
以下、図11に示すフローチャートおよび図10を参照して図9におけるステップS103の顔輪郭位置検出処理について説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS121にて、CPU部14内のメインメモリに格納されている入力画像31の右上領域REおよび左上領域LEにて背景板8の色成分を測定し、ステップS122に進む。ステップS122では、ステップS121で測定した結果が、背景板8らしい色成分(青成分)か否か判定し、ステップS123に進む。この際、非青背景(青成分でないもの)を被撮影者1の顔画像の部分と判定する。
ステップS123では、後述する頭頂高さ位置検出処理を行なうことにより、縦方向頭頂縦方向ライン番号headtopを求め、ステップS124に進む。ステップS124では、頭頂位置が規定範囲内か否かを確認し、ステップS125に進む。ステップS125では、後述する左右顔中心位置検出処理を行なうことにより、顔中心位置横方向ライン番号centerを求め、ステップS126に進む。
ステップS126では、顔中心位置が規定範囲内か否かを確認し、ステップS127に進む。ステップS127では、横方向ライン番号centerと縦方向ライン番号headtopとの交差した位置を顔輪郭基準位置に設定し、ステップS128に進む。ステップS128では、処理結果を「顔輪郭位置規定範囲内」に設定し、リターンする。もし、ステップS122、ステップS124、ステップS126にてNGだった場合はステップS129に進む。ステップS129では、処理結果を「顔輪郭位置規定範囲外」に設定し、リターンする。
次に、図11におけるステップS123の頭頂高さ位置検出処理について、図12に示すフローチャートおよび図10を参照して説明する。
まず、ステップS131にて、少なくとも披撮影者1の頭頂部が存在していい規定範囲(OVERHEAD+1ライン〜YRANGEライン)に、被撮影者1の頭頂部があることを確認する。ここに、YRANGE=(YSTILLSIZE−YFMGSIZE+OVERHEAD)である。
また、入力画像中の縦方向ライン番号OVERHEADの横ラインを構成する画素のうち、背景板8の色成分と異なる画素(すなわち、被撮影者1の顔部分)を数え、その数が規定値以上あるか否かを確認する。
さらに、同様に、YRANGEの横ラインを構成する画素のうち、背景板8の色成分と異なる画素が規定値以上あるか否かを確認し、OVERHEADライン上に背景板8の色成分と異なる画素が規定値未満で、YRANGEライン上に背景板8の色成分と異なる画素が規定値以上であることを確認する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板8にその色とは違う異物が付いていたりした場合に、その部分を無視させるための数値である。
次に、ステップS132にて、入力画像の縦方向ライン番号OVERHEADをiに、同じくYRANGEをjに設定し、ステップS133に進む。ステップS133では、iラインからjラインの間に0ラインよりも多くラインが存在することを確認した後、ステップS134に進む。ステップS134では、iラインとjラインとの中央のライン((i+j)/2)をkに設定し、ステップS135に進む。
ステップS135では、kの横ラインを構成している画素のうち、背景板8の色成分と違う画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板8にその色とは違う微小な異物が付いていたりした場合に、その部分を無視させるための数値である。
ステップS135の判定結果が規定値以上ありの場合、ステップS136にてkをjに設定して、ステップS133に戻り、また、ステップS135の判定結果が規定値以上なしの場合、ステップS137にてkをiに設定して、ステップS133に戻り、上記同様な動作を繰り返す。
このようにして、入力画像のOVERHEADからYRANGEまでの探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満(ライン数の差がなくなったとき、0ライン)となった際に、つまり、ステップS133の判定結果が0ラインよりも少なくなった場合、ステップS138に進む。
ステップS138では、頭頂部Yラインのiを頭頂位置headtopに設定し、ステップS139に進む。ステップS139では、処理結果を「頭頂位置規定範囲内」に設定し、リターンする。
ステップS131における判定の結果、YRENGEに顔画像のデータがなく、OVERHEADに顔画像のデータがある場合、顔画像が規定範囲内にないと判断した場合、ステップS140に進む。ステップS140では、処理結果を「頭頂位置規定範囲外」に設定し、リターンする。
次に、図11におけるステップS125の左右方向顔中心位置検出処理について、図13に示すフローチャートおよび図10を参照して説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS151にて、入力画像31の左端縦ライン番号0をiに設定し、入力画像31の中心縦ライン番号(XSTILLSIZE/2)をjに設定し、ステップS152に進む。ステップS152では、iラインからjラインの間に0ラインよりも多くラインが存在するか否かを確認し、多い場合、ステップS153に進む。
ステップS153では、iラインとjラインとの中央の縦ライン((i+j)/2)をkに設定し、ステップS154に進む。ステップS154では、kの縦ラインを構成している画素のうち、ステップS121で測定した背景板8の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板8にその色とは違う微小な異物が付いていたりした場合に、その部分を無視させるための数値である。
ステップS154の判定結果が規定値以上ありの場合、ステップS155にてkをjに設定し、ステップS152に戻り、また、ステップS154の判定結果が規定値以上なしの場合、ステップS156にてkをiに設定して、ステップS152に戻り、上記同様な動作を繰り返す。
このようにして、入力画像31の左半分の探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満となった際に、つまり、ステップS152の判定結果が0ラインよりも少なくなった場合、ステップS157に進む。
ステップS157では、ステップS152にてj−iが1未満となったところで、iを顔左端縦ラインheadleftに設定し、ステップS158に進む。ステップS158では、入力画像31の中心縦ライン番号(XSTART+XSTOP/2)をiに設定し、入力画像31の右端縦ライン番号(XSTOP)をjに設定し、ステップS159に進む。ステップS159では、iラインからjラインの間に0ラインよりも多くラインが存在するか否かを確認し、多い場合、ステップS160に進む。
ステップS160では、iラインとjラインとの中央の縦ライン((i+j)/2)をkに設定し、ステップS161に進む。ステップS161では、kの縦ラインを構成している画素のうち、ステップS121で測定した背景板8の色成分と違う色の画素を数え、その数が規定値以上あるか判定する。この規定値とは、被撮影者1の髪が横に毛羽立っていたり、背景板8にその色とは違う微小な異物が付いていたりした場合に、その部分を無視させるための数値である。
ステップS161の判定結果が規定値以上ありの場合、ステップS162にてkをjに設定し、ステップS159に戻り、また、ステップS161の判定結果が規定値以上なしの場合、ステップS163にてkをiに設定して、ステップS159に戻り、上記同様な動作を繰り返す。
このようにして、入力画像31の右半分の探索領域から、1処理ループごとに探索領域を半分にしていき、j−iが1未満となった際に、つまり、ステップS159の判定結果が0ラインよりも少なくなった場合、ステップS164に進む。
ステップS164では、ステップS159にてj−iが1未満となったところで、iを顔右端縦ラインheadrightに設定し、ステップS165に進む。ステップS165では、ステップS157により設定された顔左端縦ラインheadleftとステップS164により設定された顔右端縦ラインheadrightとに基づいて中央位置を計算し、この計算した値をcenterの値として、リターンする。
以上説明した図9、図11、図12、図13の処理により、ステップS104での判定は、顔基準位置(center、headtop)の値を判定することによって行なわれ、この基準位置から印刷装置106やファイリング装置107に出力する際の写真サイズ(トリミングサイズ)が取得できるかどうかを、以下の式により判定し、式が成立すれば、ステップS104の判定は顔輪郭領域32の位置が適正な範囲に入っている、成立しなければ、ステップS104の判定は顔輪郭領域32の位置が適正な範囲に入っていないとなる。
XFMGSIZE/2 < center < (XSTILLSIZE
−XFMGSIZE/2)
OVERHEAD < headtop < YRANGE
図14は、図9におけるステップS112の出力画像生成処理の詳細を示すフローチャートであり、以下それについて図8も参照して説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS171にて、ステップS110で検出した左右瞳位置34,35の中心位置36を算出する。次に、ステップS172にて、左右両瞳の中心位置36からの相対位置として、顔部のトリミング位置を算出する。この左右両瞳とトリミング位置との相対位置関係は、トリミング後の顔画像が、左右両瞳の中心が証明写真としてふさわしい位置にくるべく決定されている。
次に、ステップS173にて、決定したトリミング位置にしたがい、トリミング画像37を生成する。次に、ステップS174にて、トリミング画像37に対し印刷データ用にデータ圧縮処理を行なうことにより圧縮画像38を生成し、CPU部14のメインメモリに格納する。ここでの圧縮処理は、この後、印刷装置106への印刷指示の際に、データを送信する際におけるシステムのスループットからくる通信時間の制約と、印刷装置106でのカード表面への印刷品質を維持するための制約から求められた圧縮率で行なう必要がある。
以上、ステップS112の出力画像生成処理を要約すると、入力した顔画像からトリミングを行ない、印刷用にスループットと画質の両面を考慮した圧縮画像データを生成している。
次に、被撮影者(カード発行申請者)1が確認装置104を用いて、撮影装置103で撮影された自分の顔画像を確認する顔画像選択処理について図15に示すフローチャートを参照して説明する。
撮影装置103で撮影処理を終了した被撮影者1は、次の被撮影者に対し撮影装置103を明渡し、複数の確認装置104が設置された場所に移動し、確認装置104のガイダンスにしたがい操作する。
まず、ステップS181にて、確認装置104のCPU部45は、撮影装置103の大容量記憶装置17内に構築された確認待ちキューデータベース(図示しない)に対し撮影画像アクセス要求信号を送信する。ここに、このステップS181の処理が本発明における第2の送信手段に対応している。
次に、ステップS182にて、撮影装置103のCPU部14は、現在他の確認装置104からのアクセス要求がなければ、当該確認装置104に対しアクセス許可を応答する。他の確認装置104による確認待ちキューデータベースへのアクセス要求があれば、アクセス不可の応答をする。アクセス不可であればステップS181に戻る。
次に、ステップS183において、CPU部14は、排他コントロールとして確認待ちキューデータベースアクセスを占有するための処理を行なう。次に、ステップS184にて、CPU部14は、確認待ちキューデータベースのデータ有無を確認し、データがなければステップS185にて、排他コントロールとして確認待ちキューデータベースの占有状態を開放し、再び確認待ちキューデータベースアクセス要求に戻る。
ステップS184において、データがあければステップS186に進む。ステップS186では、CPU部14は、確認待ちキューデータベースの先頭データ、すなわち、図5および図6の撮影装置103の処理にてもっとも古い撮影顔画像データ(最大3画像)および個人情報を取得し、これらを確認装置104に送信する。ここに、このステップS186の処理が本発明における第1の送信手段に対応している。
次に、ステップS187にて、CPU部45は、撮影装置103から送信された個人情報から、個人番号および氏名などを表示器41に表示するか、またはスピーカ43からの同様な情報のアナウンスにより、確認待ち状態の被撮影者1を呼び出す。
次に、ステップS188にて、CPU部45は、ステップS186で取得した全ての顔画像データを、ステップS187での表示に加え表示器41に表示する。ここまでの状態での、表示器41の表示イメージを図16に示す。図16において、51は案内文、52,53,54は撮影された顔画像、55,56,57は表示された顔画像52,53,54を選択する画像選択ボタン、58は表示された顔画像を全てキャンセルするキャンセルボタンである。ここに、このステップS188の処理が本発明における表示手段に対応している。
次に、ステップS189にて、ステップS187での案内により確認装置104まで呼び出された被撮影者1は、表示器41の表示にしたがい、表示された顔画像52,53,54のうち最も気に入った顔画像を、画面上の画像選択ボタン55,56,57で選択する。また、表示された顔画像52,53,54に気に入った顔画像が存在しなければキャンセルボタン58を押す。ここに、このステップS189の処理が本発明における選択手段に対応している。
次に、CPU部45は、ステップS190にてキャンセルボタン58が押されたか判定し、キャンセルボタン58が押された場合、ステップS191にて表示器41の表示内容を消去するとともに、撮影装置103に対し画像キャンセル要求信号を送信する。
この画像キャンセル要求信号を受信した撮影装置103のCPU部14は、ステップS192にて確認待ちキューデータベース内の該当キューデータ(顔画像)を削除し、ステップS185を経由してステップS181に戻る。
ステップS190において、キャンセルボタン58が押されていない場合、CPU部45は、ステップS193にて撮影装置103に対し顔画像の選択結果を送信する。ここに、このステップS193の処理が本発明における第3の送信手段に対応している。
確認装置104から送信された顔画像の選択結果を受信した撮影装置103のCPU部14は、ステップS194にて、その選択結果に基づき、確認待ちキューデータベース内の該当キューデータにおいて、選択された顔画像以外の顔画像を消去する。
次に、ステップS195にて、CPU部14は、排他コントロールとして確認待ちキューデータベースの占有状態を開放する。
次に、ステップS196にて、CPU部14は、選択された顔画像の出力処理(後で詳細を説明する)を行なう。
上記実施の形態では、確認装置104は、1つの撮影装置103に対し3台設置された構成となっている。ここで、たとえば、撮影装置103を使用し、撮影処理+顔画像選択を行なった場合、撮影装置103の処理サイクルが長くなる。特に大規模なIDカード発行システムの場合、被撮影者となるIDカード発行申請者の数が多く、このような撮影装置103では待ち時間が長くなる。
そのため、撮影装置103と撮影した顔画像を選択する確認装置104とを別に配置する必要がある。また、撮影装置103での撮影時間に対し、被撮影者による顔画像の選択時間は長くなる。このことより、1つの撮影装置103に対し1つの確認装置104だと、確認装置104での待ち時間がボトルネックとなり、全体の処理の流れが悪くなる。そのため、1つの撮影装置103に対し、全体の処理時間のバランスをとるべく確認装置104は複数台設置するものである。
図13は、図15におけるステップS196の出力処理の詳細を示すフローチャートであり、以下それについて説明する。なお、以下に説明する処理は、主にCPU部14内のCPUの制御によって実行される。
まず、ステップS201にて、出力データの生成として、確認装置104により選択された顔画像、および、これに対応する個人情報から、印刷装置106でのIDカード105への印刷や、ファイリング装置107への登録に対応するデータ変換を行ない、印刷装置106およびファイリング装置107へ転送する。
次に、ステップS202にて、印刷装置106は、撮影装置103から転送された印刷データをIDカード105の表面に対し印刷する。
次に、ステップS203にて、ファイリング装置107は、撮影装置103から転送された登録データを登録する。
以上説明したように、上記実施の形態によれば、以下のような作用効果が期待できる。
(1) 証明用媒体に印刷する顔画像を撮影した際に、証明用媒体に印刷を行なう前の事前確認として撮影した顔画像の良否を被撮影者が確認する際、撮影装置とは別に複数設けられた確認装置を用いることにより、撮影→証明用媒体印刷を円滑に行なうことができる。
(2) 撮影した複数の顔画像から被撮影者に選択させることを目的に、複数の連続での撮影を行なう際、連続撮影中に被撮影者側から強制的に撮影延長または停止を行なうことにより、不要な撮影を防止することができる。
(3) 撮影した顔画像を被撮影者が確認、選択を行なう前に、事前に操作者が証明用顔画像としてふさわしいかどうかをチェックすることにより、証明用顔画像として不適な顔画像の出力を防止することができる。
(4) 連続撮影中に被撮影者側から撮影処理を操作する際、ボタンを押下する時間の長さにより、撮影延長か撮影中止かを判別することで、操作が容易となる。
本発明の実施の形態に係る画像撮影システムが適用される証明用媒体発行システムの構成を概略的に示すブロック図。 撮影装置の外観構成を概略的に示す構成図。 図2に示した撮影装置の全体的な構成を概略的に示すブロック図。 図2に示した確認装置の全体的な構成を示すブロック図。 撮影装置のメイン処理を説明するためのフローチャート。 撮影装置のメイン処理を説明するためのフローチャート。 撮影装置の撮影準備処理を説明するためのフローチャート。 カメラからの入力画像と、その入力画像中の顔輪郭領域からの相対位置である目の概略領域を特定し、その概略領域から両目の位置をそれぞれ検出し、出力画像の切出し領域を決定する様子を説明する図。 撮影装置の撮影処理を説明するためのフローチャート。 顔輪郭位置検出処理時に使用する領域や座標値、数値名を説明するための図。 顔輪郭位置検出処理を説明するためのフローチャート。 頭頂高さ位置検出処理を説明するためのフローチャート。 左右方向顔中心位置検出処理を説明するためのフローチャート。 出力画像生成処理を説明するためのフローチャート。 確認装置による顔画像選択処理を説明するためのフローチャート。 確認装置における顔画像の表示イメージを示す模式図。 出力処理を説明するためのフローチャート。
符号の説明
1…被撮影者(人物、カード発行申請者)、101…ホストコンピュータ、102…個人情報データベース、103…撮影装置、104…確認装置、105…IDカード(証明用媒体)、106…印刷装置、107…ファイリング装置、108…ネットワーク、3…ビデオカメラ(撮影手段)、4,41…表示器(表示手段)、6…制御台(制御部)、9…撮影停止スイッチ(スイッチ手段)、14…CPU部、17…大容量記憶装置(一時記憶手段)、45…CPU部。

Claims (6)

  1. 被撮影者の少なくとも顔画像を撮影する撮影装置と、この撮影装置により撮影された被撮影者の顔画像を当該被撮影者が確認する確認装置とを有して構成され、
    前記撮影装置は、
    被撮影者の少なくとも顔画像を複数撮影する撮影手段と、
    この撮影手段により撮影された複数の顔画像を一時記憶する一時記憶手段と、
    前記確認装置から送信される撮影画像アクセス要求信号を受信したことに応答し、前記一時記憶手段に記憶された複数の顔画像を前記確認装置へ送信する第1の送信手段とを有し、
    前記確認装置は、
    前記撮影装置へ撮影画像アクセス要求信号を送信する第2の送信手段と、
    この第2の送信手段による撮影画像アクセス要求信号の送信に対し前記撮影装置の第1の送信手段により送信された複数の顔画像を受信し、この受信した複数の顔画像を表示する表示手段と、
    この表示手段により表示された複数の顔画像の中から1つの顔画像を選択する選択手段と、
    この選択手段による顔画像の選択結果を前記撮影装置へ送信する第3の送信手段とを有し、
    前記撮影装置は、さらに、
    前記確認装置の第3の送信手段により送信された顔画像の選択結果を受信し、この受信した選択結果に基づき、前記一時記憶手段に記憶された複数の顔画像の中から当該選択結果に対応した1つの顔画像を出力する出力手段を有することを特徴とする画像撮影システム。
  2. 前記撮影装置は、さらに、
    前記撮影装置により被撮影者の顔画像を撮影している最中に、被撮影者側から強制的に撮影延長あるいは撮影停止を行なうための指示を行なうスイッチ手段と、
    このスイッチ手段が操作されると強制的に当該撮影をあらかじめ定められた時間延長し、あるいは当該撮影を停止する制御手段とを有することを特徴とする請求項1記載の画像撮影システム。
  3. 前記制御手段は、前記スイッチ手段が操作されている時間の長さにより撮影延長であるか撮影停止であるかを判別することを特徴とする請求項2記載の画像撮影システム。
  4. 人物の証明用媒体発行に必要な個人情報を取得する個人情報取得手段と、前記人物の少なくとも顔画像を撮影する撮影装置と、この撮影装置により撮影された人物の顔画像を当該人物が確認する確認装置と、この確認装置により確認された顔画像および前記個人情報取得手段により取得された個人情報を証明用媒体の表面に印刷する印刷装置とを有して構成され、
    前記撮影装置は、
    人物の少なくとも顔画像を複数撮影する撮影手段と、
    この撮影手段により撮影された複数の顔画像を一時記憶する一時記憶手段と、
    前記確認装置から送信される撮影画像アクセス要求信号を受信したことに応答し、前記一時記憶手段に記憶された複数の顔画像を前記確認装置へ送信する第1の送信手段とを有し、
    前記確認装置は、
    前記撮影装置へ撮影画像アクセス要求信号を送信する第2の送信手段と、
    この第2の送信手段による撮影画像アクセス要求信号の送信に対し前記撮影装置の第1の送信手段により送信された複数の顔画像を受信し、この受信した複数の顔画像を表示する表示手段と、
    この表示手段により表示された複数の顔画像の中から1つの顔画像を選択する選択手段と、
    この選択手段による顔画像の選択結果を前記撮影装置へ送信する第3の送信手段とを有し、
    前記撮影装置は、さらに、
    前記確認装置の第3の送信手段により送信された顔画像の選択結果を受信し、この受信した選択結果に基づき、前記一時記憶手段に記憶された複数の顔画像の中から当該選択結果に対応した1つの顔画像を前記印刷装置へ出力する出力手段とを有することを特徴とする証明用媒体発行システム。
  5. 前記撮影装置は、さらに、
    前記撮影装置により人物の顔画像を撮影している最中に、人物側から強制的に撮影延長あるいは撮影停止を行なうための指示を行なうスイッチ手段と、
    このスイッチ手段が操作されると強制的に当該撮影をあらかじめ定められた時間延長し、あるいは当該撮影を停止する制御手段とを有することを特徴とする請求項4記載の証明用媒体発行システム。
  6. 前記制御手段は、前記スイッチ手段が操作されている時間の長さにより撮影延長であるか撮影停止であるかを判別することを特徴とする請求項5記載の証明用媒体発行システム。
JP2003418444A 2003-12-16 2003-12-16 画像撮影システムおよび証明用媒体発行システム Expired - Fee Related JP4357951B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003418444A JP4357951B2 (ja) 2003-12-16 2003-12-16 画像撮影システムおよび証明用媒体発行システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003418444A JP4357951B2 (ja) 2003-12-16 2003-12-16 画像撮影システムおよび証明用媒体発行システム

Publications (2)

Publication Number Publication Date
JP2005184129A true JP2005184129A (ja) 2005-07-07
JP4357951B2 JP4357951B2 (ja) 2009-11-04

Family

ID=34780658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003418444A Expired - Fee Related JP4357951B2 (ja) 2003-12-16 2003-12-16 画像撮影システムおよび証明用媒体発行システム

Country Status (1)

Country Link
JP (1) JP4357951B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197373A (ja) * 2013-03-05 2014-10-16 大日本印刷株式会社 インターネットアンケートシステム、コンピュータプログラム
JP2016215509A (ja) * 2015-05-21 2016-12-22 大日本印刷株式会社 Idカード作成装置及びidカード作成システム
JP2021026173A (ja) * 2019-08-08 2021-02-22 フリュー株式会社 撮影装置、撮影方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197373A (ja) * 2013-03-05 2014-10-16 大日本印刷株式会社 インターネットアンケートシステム、コンピュータプログラム
JP2016215509A (ja) * 2015-05-21 2016-12-22 大日本印刷株式会社 Idカード作成装置及びidカード作成システム
JP2021026173A (ja) * 2019-08-08 2021-02-22 フリュー株式会社 撮影装置、撮影方法、およびプログラム
JP7406065B2 (ja) 2019-08-08 2023-12-27 フリュー株式会社 撮影装置、撮影方法、およびプログラム

Also Published As

Publication number Publication date
JP4357951B2 (ja) 2009-11-04

Similar Documents

Publication Publication Date Title
KR100522514B1 (ko) 안면화상 촬영장치 및 안면화상 촬영방법
JP2006115406A (ja) 撮像装置
JP2006309562A (ja) 生体情報登録装置
JP4762324B2 (ja) 顔画像撮影装置および顔画像撮影方法
JP4357951B2 (ja) 画像撮影システムおよび証明用媒体発行システム
JP2020144692A (ja) 顔照合装置、顔照合システム、顔照合方法、及び情報記録媒体の発行システム
JP2007093843A (ja) 顔画像取得方法および装置
JP2007156768A (ja) 個人認証装置,個人認証情報登録装置,個人認証方法,個人認証情報登録方法,およびコンピュータプログラム
JP4091184B2 (ja) 撮影機と画像生成方法
JP2000292852A (ja) 顔画像撮影装置
JP3732881B2 (ja) 画像の特徴点検出方法およびその装置
JP2007141018A (ja) 画像取得方法および画像取得装置
JP2001215605A (ja) 顔画像撮影装置および顔画像撮影方法
JP4709812B2 (ja) 画像生成方法と画像処理装置
JP4454841B2 (ja) 顔画像撮影装置および顔画像撮影方法
JP2003317036A (ja) 証明用媒体発行装置および証明用媒体発行方法
JP2009216890A (ja) 画像表示システム、プロジェクタおよび画像表示装置の制御方法
KR20230088280A (ko) 반려 동물의 생체 정보를 취득하는 전자 장치 및 그 동작 방법
WO2020183518A1 (ja) オブジェクトを書き込んだユーザを特定する情報処理装置
JP4475005B2 (ja) 撮影画像出力方法及び、これを用いる画像出力装置
JP2008234377A (ja) 画像ソート装置および方法並びにプログラム
JP2019185349A (ja) 検索装置、検索方法及びプログラム
JP2001177740A (ja) 人物画像撮影方法および人物画像撮影装置
JP2002218360A (ja) 証明用媒体発行装置および証明用媒体発行方法
JP2000206591A (ja) 顔画像撮影方法および顔画像撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees