JP2005244572A - 不良トリミング画像検出方法および装置並びにプログラム - Google Patents

Abstract

【課題】 自動トリミング処理により得られた多量のトリミング画像から不良トリミング画像の検出を迅速かつ精度良く行う。
【解決手段】 自動トリミング処理により得られた多量のトリミング画像を３０枚／秒の再生レートで３回循環再生する。各回の再生は、前回の再生の再生順番をランダムに変えて得た順番で行われる。各回の再生において、オペレータにより不良トリミング画像を発見したことを示す入力がなされたとき、この入力に応じて、入力時に再生中のトリミング画像より６枚から１５枚前までの計１０枚のトリミング画像を、不良トリミング画像を含む画像群としてマーキングする。そして、３回の再生のいずれにおいてもマーキングされたトリミング画像のみを、不良トリミング画像の候補として抽出する。
【選択図】 図５

Description

本発明は自動トリミング処理により得られた多量のトリミング画像から不良トリミング画像を検出するための不良トリミング画像検出方法および装置並びにそのためのプログラムに関するものである。

パスポートや免許証の交付申請、あるいは履歴書の作成などの場合において、本人の顔が写っている予め定められた出力規格の写真（以下証明写真という）の提出が要求されることが多い。このため、利用者の撮影を行うための撮影室が設けられ、撮影室内の椅子に着座した利用者を撮影し、利用者の証明写真用の顔写真画像をシートに記録した証明写真シートを作成することを自動的に行う証明写真の自動作成装置が従来より利用されている。このような自動作成装置は、大型であり、設置場所が限られているため、利用者が証明写真を取得するためには、自動作成装置が設置された場所を探して出向く必要があり、不便である。

この問題を解決するために、例えば、特許文献１に記載されたように、証明写真の作成に用いる顔写真画像（顔が写されている画像）がモニタなどの表示装置で表示されている状態で、表示されている顔写真画像における頭頭部位置と顎の先端位置を指示すると、コンピュータが指示された２つの位置および証明写真の出力規格に基づいて顔の拡大縮小率、顔の位置を求めて画像を拡大縮小すると共に、拡大縮小した画像中の顔が証明写真における所定の位置に配置されるように拡大縮小した顔写真画像をトリミングして得たトリミング画像を証明写真画像として形成する方法が提案されている。このような方法によって、利用者は、証明写真の自動作成装置よりも多数存在しているＤＰＥ店などに証明写真の作成を依頼することができると共に、手持ちの写真のうち、写りが良いなどのような気に入った写真が記録された写真フィルムまたは記録媒体をＤＰＥ店などに持ち込むことで、気に入った写真から証明写真を作成させることも可能となる。

しかしながら、この技術では、表示されている顔写真画像に対して頭頭部位置と顎の先端位置を各々指示する、という煩雑な操作をオペレータが行う必要があるので、特に多数の利用者の証明写真を作成するなどの場合にオペレータの負担が大きい。また、特に表示されて顔写真画像中の顔の領域の面積が小さい場合や、顔写真画像の解像度が粗いなどの場合には、頭頭部位置と顎の先端位置をオペレータが迅速かつ正確に指示することは困難であり、適切な証明写真の迅速な作成ができないという問題がある。

そこで、オペレータの負担を減らし、迅速かつ正確にトリミング領域を設定する方法が数多く提案されている。特に近年、写真画像から顔や、目などの自動検出技術の進歩に伴い、写真画像から顔、目などを検出して、それに基づいてトリミング領域を設定してトリミングを行う自動トリミング処理方法が脚光を浴びている。これらの方法によれば、オペレータにより頭頭部位置と顎の先端位置を指示することを必要とせずに顔写真画像から証明写真の作成ができる。例えば、特許文献２には、顔写真画像中の頭頭部位置および両目の位置を検出すると共に、検出された頭頭部位置と両目の位置から顎の先端位置を推定してトリミング領域を設定する方法を提案している。

一方、例えば、多人数の社員を有する企業の社員証の更新や、運転免許試験場における運転免許の新規発行、更新などに際して、対象者を撮像して写真画像を得、その写真画像をトリミングしてトリミング画像を得、このトリミング画像を用いて社員証、免許など（以下合わせてカードという）を作成する作業を一人ずつ行う作業フローよりも、撮像処理と、トリミング処理と、カードの作成処理とを別々に分けて、各々の対象者を夫々撮像して写真画像を得、これらの多量の写真画像に対してトリミング処理をし、得られた多量のトリミング画像を用いて夫々のカードを発行することが望まれる。こうすることによって、トリミング処理、カード発行処理を担う装置、人員の専門化を図ることができ、効率が良いからである。
特開平１１―３４１２７２号公報 特開２００２−１５２４９２号公報

しかしながら、自動トリミング処理は、成功率が高いものの、写真画像から人の顔、目などの検出が必ず１００パーセントに成功するとは限らないため、失敗するケースもある。例えば、自動トリミング処理の対象となる写真画像の被写体の人物は、髪型が特殊であったり、メガネに色が付いていたりするなどの場合において、上述の検出の失敗によって、自動トリミング処理を行う際に、間違ったトリミング領域を設定したり、トリミング画像における目的部位（人物の場合は顔）のサイズが大きかったりまたは小さかったりするなどの失敗が生じる可能性がある。そのため、自動トリミング処理によって得られた多量のトリミング画像に対して、オペレータの目視による良否の確認が希望される。

オペレータによるトリミング画像の良否の確認は、例えば、オペレータが多量のトリミング画像を１枚ずつ表示させて目視によって良否の判断を行うことができる。この方法は単純で実行しやすいが、トリミング処理がオペレータにより行われる場合と同じように処理時間がかかり、オペレータの負担も大きいという問題がある。また、処理時間を短縮するために、トリミング画像を縮小して得たサムネイル画像を１つの画面に複数表示させ、これらの複数のサムネイル画像のうち、目的部位の大きさや、位置などが他のサムネイル画像のそれと異なるサムネイル画像の有無を確認することによって、不良トリミング画像を検出する方法も考えられる。しかし、この方法では、一度に複数の画像の確認ができ、処理時間を短縮することができるが、トリミング画像を縮小して得たサムネイル画像を用いるため、確認の精度が良くないという問題がある。

本発明は、上記事情に鑑み、自動トリミング処理により得られた多量のトリミング画像の良否を判断し、不良トリミング画像を迅速かつ精度良く検出することができる不良トリミング画像検出方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の不良トリミング画像検出方法は、同種類の被写体を夫々撮像して得た複数の写真画像に対して、目的部位がトリミング領域の所定の位置に所定の大きさで配置されるように該トリミング領域の切取りおよび／または拡大縮小を行う自動トリミング処理により得られた所定のサイズのトリミング画像のうち、前記自動トリミング処理の失敗による不良トリミング画像の検出を行うための不良トリミング画像検出方法であって、
多量の前記トリミング画像を所定の位置に所定の再生レートで順次連続再生し、
該再生中に前記不良トリミング画像を発見したことを示す入力がなされたとき、該入力に応じて、前記不良トリミング画像を含む画像群を特定するマーキング処理を行うことを特徴とするものである。

同じ種類の被写体（例えば人間）を夫々撮影して得た複数の写真画像に対して自動トリミング処理を行って得たトリミング画像群には、２つの特徴がある。前述したように、自動トリミング処理の基礎となる顔検出処理や、目検出処理などの技術の進歩により、自動トリミング処理の成功率が高い。実験レベルでは、９９％程度の成功率が得られている。そのため、このような自動トリミング処理により得られたトリミング画像群は、その大部分が自動トリミング処理の成功による良好なトリミング画像であり、自動トリミング処理の失敗による不良トリミング画像が極僅かであることとなる第１の特徴を有する。また、各々の良好なトリミング画像における目的部位（人間の場合は顔）の大きさ、位置は略同じである一方、不良トリミング画像における目的部位の大きさ、位置は良好なトリミング画像のそれと異なることを第２の特徴として挙げることができる。本発明は、自動トリミング処理により得られた不良トリミング画像群のこの２つの特徴、および人間の視覚上の残像効果、すなわち人間の目がある物を見た直後に、その物の残像が視覚上に残ることを利用して迅速かつ精度良く不良トリミング画像の検出を図るものである。本発明の不良トリミング画像検出方法は、まず、自動トリミング処理により得られた多量のトリミング画像を所定の位置（例えばモニタなどの表示装置の中央）に所定の再生レートで順次連続再生する。上述したトリミング画像群の２つの特徴により、連続再生されるトリミング画像を目視するオペレータの視界には、長時間に同じような画像（良好なトリミング画像）が流れ、極稀にしか不良トリミング画像が入ってこない。目的部位の大きさ、位置が良好なトリミング画像における目的部位の大きさ、位置と異なる不良トリミング画像がオペレータの視界に現れた時、オペレータの視覚には、この不良トリミング画像の前に再生された良好なトリミング画像の残像が残っているため、オペレータは違和感を感じ、不良トリミング画像の存在を発見する。

本発明の不良トリミング画像検出方法は、オペレータが違和感を感じ、例えば表示装置と接続された入力手段（例えばコンピュータのキーボード、マウスなど）を介して不良トリミング画像を発見したことを示す入力（例えばキーボードの所定のキーの押下、マウスのクリックなど）がなされたとき、この入力に応じて、不良トリミング画像を含む画像群を特定するマーキング処理を行う。

不良トリミング画像検出処理の時間を短縮する視点からは、トリミング画像を再生する再生レートが大きいほど良いが、再生レートが大き過ぎると、人間であるオペレータの視覚の限界から、良好なトリミング画像と不良トリミング画像の区別ができなくなるため、本発明においては、トリミング画像を再生する再生レートを５０枚／秒以下とすることが望ましい。また、人間の視覚上の残像効果による残像の残留時間が約０．２秒であるため、再生レートが小さ過ぎると残像効果を利用することができず、反って良否の判断精度が下がってしまうという虞があるので、本発明においては、トリミング画像の再生レートを１０枚／秒以上にすることが望ましい。

また、前記マーキング処理は、前記入力時より前の所定の時間範囲内で再生された複数の前記トリミング画像を前記画像群として特定するようにすればよい。人間が違和感を感じた（ここでは、すなわち不良トリミング画像を発見した）時と、その違和感を感じたことを示すための入力をした時との間には、時間差（以下反応時間という）がある。そのため、オペレータの入力に対応する不良トリミング画像は、この入力がなされた際に再生中のトリミング画像よりも前に再生されたものである。本発明は、このことに着目して、オペレータの入力時よりも前の所定の時間範囲内で再生された複数のトリミング画像を不良トリミング画像を含む画像群として特定する。

ここで、前記入力に対応する不良トリミング画像が確実に前記画像群に含まれるようにするため、前記「所定の時間範囲」は、前記入力時から前述した反応時間分遡った時点を含むことが必要である。反応時間は個人差があるため、無難のために、前記時点を絶対含む範囲、例えば入力時から該入力時前の数秒までの範囲を「所定の時間範囲」としてもよいが、この所定の時間範囲が大きいほどマーキング処理された画像群に含まれるトリミング画像の数が多くなり、後の処理に負担をかけるので、本発明においては、人間の反応時間は、個人差があるものの、平均的に凡そ０．３秒であるから、入力時より０．３秒前の時点を略中心とする長さが０．２秒〜０．６秒の範囲、例えば入力時〜入力時より０．６秒前の時点、入力時より０．１秒前の時点〜入力時より０．５秒前の時点、入力時より０．２秒前の時点〜入力時より０．４秒前の時点、または入力時より０．２秒前の時点〜入力時より０．５秒前の時点などの範囲を「所定の時間範囲」とすることが望ましい。

本発明の不良トリミング画像検出方法において、前記再生を行う際に、前記自動トリミング処理が正しく行われたときの、前記目的部位が前記トリミング領域に配置される位置を示す補助画像を前記トリミング画像と重ねて表示することが好ましい。

ここで、前記「補助画像」は、前記位置を示すことができるものであればいかなる画像であってもよく、前記位置を示す補助線、枠、または良好なトリミング画像であるサンプルトリミング画像などを例として挙げることができる。

また、前記「補助画像」は、前記位置を示すことができるものであればよいが、前記自動トリミング処理が正しく行われたときの、前記目的部位の大きさも示すものができるものであればより好ましい。

本発明の不良トリミング画像検出装置は、同種類の被写体を夫々撮像して得た複数の写真画像に対して、目的部位がトリミング領域の所定の位置に所定の大きさで配置されるように該トリミング領域の切取りおよび／または拡大縮小を行う自動トリミング処理により得られた所定のサイズのトリミング画像のうち、前記自動トリミング処理の失敗による不良トリミング画像の検出を行うための不良トリミング画像検出装置であって、
多量の前記トリミング画像を所定の位置に所定の再生レートで順次連続再生する再生手段と、
該再生中に前記不良トリミング画像を発見したことを示す入力を行うための入力手段と、
該入力手段から前記入力がなされたとき、該入力に応じて、前記不良トリミング画像を含む画像群を特定するマーキング処理を行うマーキング手段とを有してなることを特徴とするものである。

また、前記再生手段の前記所定の再生レートは、１０枚／秒以上５０枚／秒以下の範囲内であることが好ましい。

また、前記マーキング手段は、前記入力時より前の所定の時間範囲内で再生される複数の前記トリミング画像を前記画像群として特定するものとすることができる。

本発明の不良トリミング画像検出装置は、前記再生レートを設定するための再生レート設定手段をさらに有し、前記再生手段が、前記再生レート設定手段により設定された再生レートで前記再生を行うものであることが好ましい。

また、前記再生手段は、前記自動トリミング処理が正しく行われたときの、前記目的部位が前記トリミング領域に配置される位置を示す補助画像を前記トリミング画像と重ねて表示するものであることがより好ましい。

本発明の不良トリミング画像検出装置は、前記再生手段に、異なる再生順番および／または再生レートで前記多量のトリミング画像を複数回循環再生させる再生制御手段をさらに有し、前記マーキング手段は、前記再生手段による各回の前記再生において前記マーキング処理を行うものであることが好ましい。また、再生順番を変える際に、ランダムに変えることが好ましい。さらに、各回の前記再生において前記マーキング手段による得られた各々の前記画像群のいずれにおいても含まれるトリミング画像のみを、前記不良トリミング画像の候補として抽出する抽出手段をさらに備えることが好ましい。

本発明のプログラムは、本発明の不良トリミング画像検出方法をコンピュータに実行させるものである。

本発明によれば、まず、自動トリミング処理により得られた多量のトリミング画像が所定の再生レートで順次連続再生される。これらのトリミング画像の多くは良好なトリミング画像であり、それらにおけるトリミング目的部分の大きさや、位置が略同じである一方、極僅かに存在する不良トリミング画像では、トリミング目的部位の大きさや、位置は良好なトリミング画像のそれと異なるため、連続再生されるトリミング画像の良否を確認する際に、不良トリミング画像がオペレータの視界に入るとき、残像効果により、長時間に同じような画像（良好なトリミング画像）を見てきたオペレータに視覚的な違和感を与えてしまう。オペレータは、この違和感により、不良トリミング画像を発見し、この発見を示す入力を行うことができる。本発明によれば、オペレータにより入力がなされたとき、入力時より前の所定の時間範囲内に再生された複数のトリミング画像を、不良トリミング画像を含む画像群として特定する。こうすることによって、後にオペレータによる再確認や、自動トリミング処理のやり直しなどの処置をするときに、マーキング処理により得られた画像群内のトリミング画像のみを対象とすればよく、効率がよい。また、多量のトリミング画像を連続再生しているので、処理時間が短く、オペレータの負担が少ない。さらに、多量のトリミング画像を縮小せずに、元のサイズで再生することができるので、不良トリミング画像の検出精度が高い。

また、トリミング画像を再生する際に、自動トリミング処理が正しく行われたときの、目的部位がトリミング領域における位置、大きさを示す補助画像も重ねて表示するようにすれば、例えば、目的部位が少しずつずれたり、少しずつ大きく、または小さくなったりするような、残像効果のみによっては発見し難い不良トリミング画像の発見も可能とする。

本発明の不良トリミング画像検出装置に、再生手段の再生レートを設定する再生レート設定手段を設ければ、オペレータが自分にとって最適な再生レートを設定することができるので、個人差による検出の失敗を防ぐことができる。

本発明の不良トリミング画像検出装置に、再生手段に、異なる再生順番および／または再生レートで処理対象の多量のトリミング画像を複数回循環再生させる再生制御手段をさらに設けると共に、マーキング手段が各回の再生においてマーキング処理を行うようにすれば、より検出の精度を高めることができる。さらに、この場合、抽出手段を設け、各回の再生においてマーキング手段により得られた各々の画像群のいずれにおいても存在するトリミング画像のみを、不良トリミング画像の候補として抽出するようにすれば、後の再確認などの対象となる画像の数をより絞り込むことができ、効率が良い。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態となるＩＤカード発行システムの構成を示すブロック図である。図示のように、本実施形態のカード発行システムは、ＩＤ作成対象の人物を撮像して写真画像を得る複数の撮像ポイント１と、各撮像ポイント１からの写真画像を用いて夫々のＩＤカードを作成するＩＤカード製作センター１００とを有し、各撮像ポイント１とＩＤカード製作センターとがネットワーク１０により接続されており、撮像ポイント１において得られた写真画像は、ネットワーク１０を介してＩＤカード製作センター１００に送信される。

ＩＤカード製作センター１００は、トリミング処理部２０と、検出部５０と、カード作成部６０と、トリミング処理部２０、検出部５０、およびカード作成部６０の動作を制御する制御部７０とからなる。

トリミング処理部２０は、各撮像ポイント１から送信されてきた写真画像に対してトリミング処理を行うものである。ここでは、全国に支社があり、５０００人ほどの社員を有する会社の社員証の更新のために、ＩＤカード製作センターに本社、各支社のための撮像ポイントから送信されてきた社員の写真画像を例にする。トリミング処理部２０は、送信されてきたこのような５０００枚ほどの写真画像に対して、各写真画像から顔検出処理と目検出処理を行うと共に、社員証に貼付される顔写真画像の規格に応じて、肩から頭頂部までの部位が所定の位置、所定の大きさで配置されるようにトリミング領域を設定して、トリミング処理を行う。なお、このトリミング処理により得られたトリミング画像のサイズが前述規格に合致する必要があるため、トリミング処理部２０は、必要に応じて写真画像の拡大縮小処理も行う。

制御部７０は、トリミング処理部２０により得られたトリミング画像を図示しない記憶部に保存させると共に、後述する検出部５０の入力手段３０を介してオペレータが検出開始の指示がなされたとき、これらのトリミング画像を検出部５０に出力させて検出を行わせる。

図２は、ＩＤカード製作センター１００における検出部５０の構成を示すブロック図である。なお、図２に示すような検出部５０の構成は、補助記憶装置に読み込まれた検出プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この検出プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図２に示すように、検出部５０は、入力手段３０と、設定手段３４と、再生手段４０と、マーキング処理手段４２と、抽出手段４４と、これらの各手段の制御を行う制御手段４６とを有してなるものである。以下、検出部５０の各手段の詳細について説明する。

入力手段３０は、オペレータの各種入力を行うためのものであり、例えば、コンピュータのキーボードや、マウスなどからなる。本実施形態における検出部５０の入力手段３０を介して、オペレータは、設定手段３４（その詳細については後述する）により提供される各種設定、例えば再生レートの設定、再生回数の設定などのための入力、不良トリミング画像を発見した場合の入力、検出開始および停止を指示する入力などを行うことができる。

設定手段３４は、トリミング画像を再生する再生レート、再生する回数を設定するためのものであり、図３は、設定手段３４により提供される設定メニューの例を示している。なお、この設定メニューは、制御手段４６により再生手段４０に表示させられる。図示の例のように、設定手段３４により提供された設定メニュー画面において、オペレータは、入力手段３０を用いて数字の直接入力または三角ボタン▲、▼のクリックを行うことにより、再生レート、再生回数を設定することができる。また、図示の例においては、設定手段３４は、再生レートが３０枚／秒、再生回数が３回である設定をデフォルト設定としている。また、再生レートの設定可能な範囲を１０〜５０枚／秒に制限している。設定メニュー画面の下部に、「キャンセル」、「デフォルト」、「確定」の３つのボタンが用意されており、「確定」ボタンが押下されると、オペレータの入力通りに画面に表示された設定が確定され、「キャンセル」ボタンが押下されると、画面に表示された設定がキャンセルされ、最後に確定された設定が保持されたことになる。また、「デフォルト」ボタンが押下されると、前述したデフォルトの設定が画面に表示され、この状態で「確定」ボタンが押下されると、デフォルトの各設定が確定される。ここでは、例として、デフォルトの設定が確定されたこととする。

制御手段４６は、設定手段３４において設定された再生レート、再生回数に応じて再生手段４０、マーキング処理手段４２、抽出手段４４の制御を行い、夫々の処理を行わせる。以下の説明において、再生手段４０、マーキング処理手段４２、抽出手段４４の動作は、制御手段４６の制御に従って行われたものである。

再生手段４０は、３０枚／秒の再生レートで、制御部７０により図示しない記憶部から出力させられたトリミング画像を３回繰り返し再生する。なお、２回目と３回目の再生におけるトリミング画像の順序は、制御手段４６により、１回目の再生順序をランダムに変えて得た夫々異なるものである。

図４は、再生手段４０によりトリミング画像を再生するときの表示画面の例を示している。再生手段４０は、各トリミング画像を再生する際に、良好なトリミング画像の場合において、目的部位（ここでは人物の肩から頭頂部までの部位）の大きさおよび配置されるべき位置を示す基準枠Ｗをトリミング画像と共に表示している。なお、図中の矢印は、再生されるトリミング画像の再生順序を示しており、すなわち、図中右側のトリミング画像からの順に各々のトリミング画像が再生される。

図４に示す例においては、画像（ａ）、（ｂ）、（ｄ）が良好なトリミング画像であり、画像（ｃ）が不良トリミング画像となる。オペレータは、３０枚／秒の再生レートで再生されるこれらのトリミング画像を目視し、画像（ｃ）が視界に入るとき、違和感を感じて、入力手段３０から違和感を感じたこと、すなわち不良トリミング画像を発見したことを示す入力を行う。この入力は、例えば、入力手段３０のマウスを１回クリックすることとすることができる。

マーキング処理手段４２は、再生手段４０によるトリミング画像の再生中に、マウスがクリックされたことに応じて、不良トリミング画像を含む画像群（画像群Ｆという）をマーキングする。本実施形態において、マーキング処理手段４２は、クリックされたときより前の所定の範囲内の複数の画像を画像群Ｆとしてマーキングする。この所定の範囲が、制御手段４６により再生レートに応じて決められたものである。本実施形態において、制御手段４６は、クリックされた時点より０．２秒前から０．５秒前の時間範囲内に再生された画像をマーキングすべき画像とし、ここでは、再生レート（ここでは３０枚／秒）に応じて、クリックされた時点に再生中の画像より６枚前から１５枚前までの計１０枚の画像をマーキングする範囲としている。

このようにして、例えば１回目の再生において、夫々１０枚のトリミング画像を含む画像群Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４がマーキングされたとする。また、２回目と３回目の再生において、画像群Ｆ２１、Ｆ２２、Ｆ２３と画像群Ｆ３１、Ｆ３２、Ｆ３３が夫々マーキングされたとする。

制御手段４６は、再生手段４０により３回の再生が終わると、抽出手段４４に不良トリミング画像の候補の抽出を行わせる。

抽出手段４４は、画像群Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４に含まれた全ての画像と、Ｆ２１、Ｆ２２、Ｆ２３に含まれた全ての画像と、Ｆ３１、Ｆ３２、Ｆ３３に含まれた全ての画像を比較し、各回の再生のいずれにおいてもマーキングされた画像、すなわち、１回目の再生においてマーキングされた画像群Ｆ１１、Ｆ１２、Ｆ１３、Ｆ１４の各々の画像から構成される画像グループと、２回目の再生においてマーキングされた画像群Ｆ２１、Ｆ２２、Ｆ２３の各々の画像により構成される画像グループと、３回目の再生においてマーキングされた各々の画像により構成される画像グループとの３つのグループのうちのいずれにおいても存在する画像のみを、不良トリミング画像の候補として抽出する。

制御手段４６は、抽出手段４４により抽出された不良トリミング画像を図示しない記憶部に記憶させ、それ以外の画像、すなわち、良好なトリミング画像をカード作成部６０に出力させる。

ＩＤカード作成部６０は、検出部５０から出力されてきた画像、すなわち良好なトリミング画像を用いてＩＤカード、ここでは社員証を作成する。

図５は、図１に示すＩＤカード発行システムにおけるＩＤカード製作センター１００において行われる処理の詳細を示すフローチャートである。なお、ここでは、検出部５０の入力手段３０と設定手段３４を介して、再生レートと再生回数の設定が既にオペレータによりなされ、デフォルトの設定（再生レート：３０枚／秒、再生回数：３回）が確定されたとする。図示のように、各撮像ポイント１にから送られてきた、本社、各支社の社員を撮像して得た社員人数分の写真画像は、まず、ＩＤカード製作センター１００のトリミング処理部２０によりトリミング処理が施されて、同じ数のトリミング画像となる（Ｓ１０）。これらのトリミング画像は、図示しない記憶部に例えば「○○会社」というフォルダの下に、「トリミング画像」といフォルダに保存される。なお、同じ「○○会社」フォルダの下に、トリミング前の写真画像も「原画像」というフォルダに保存されている。検出部５０の入力手段３０を介して、オペレータが「○○会社」のフォルダを指定して、検出開始の指示をすると（Ｓ１５：Ｙｅｓ）、「トリミング画像」フォルダにある各々のトリミング画像が、制御部７０により検出部５０に出力させられ、検出部５０の制御手段４６は、再生手段４０に、設定された再生レートでこれらのトリミング画像の１回目の連続再生を行わせる（Ｓ２０、Ｓ３２）。再生手段４０による連続再生中に、オペレータが違和感を感じたことを示すマウスのクリックがなされる（Ｓ４２：Ｙｅｓ）、検出部５０のマーキング処理手段４２は、クリックがなされた時に再生中の画像より６枚前から１５枚前までの計１０枚の画像をマーキングする（Ｓ４４）。トリミング画像の再生およびマーキング処理（ステップＳ３２〜Ｓ４４までの処理）が全てのトリミング画像の再生終了まで続けられる。検出部５０の制御手段４６は、今回の再生の回数を確認し（Ｓ５０）、この回数が設定された再生回数Ｎ（ここではデフォルトの３）であれば（Ｓ５０：Ｙｅｓ）、処理を次の抽出処理（Ｓ６０）に進めるが、まだ設定された再生回数Ｎに達していなければ、トリミング画像の再生順番をランダムに変える（Ｓ５２）と共に、変えられた再生順番で再生手段４０にトリミング画像の再生、マーキング処理手段４２によるマーキング処理を行わせる。これにより、再生手段４０とマーキング処理手段４２によるステップＳ３２〜Ｓ４４までの処理がもう一度実行される（Ｓ５４、Ｓ３２〜Ｓ４４）。

再生手段４０により、設定された再生回数Ｎ回の再生が終了する（Ｓ５０：Ｙｅｓ）、検出部５０の制御手段４６は、抽出手段４４に不良トリミング画像の抽出処理を行わせる。抽出手段４４は、再生手段４０による３回の再生のいずれにおいても、マーキング処理手段４２によりマーキングされた画像を不良トリミング画像の候補として抽出する（Ｓ６０）。なお、抽出された不良トリミング画像の候補は、図示しない記憶部の例えば「○○会社」フォルダの下の「不良トリミング画像候補」フォルダに記憶保存される。

検出部５０の制御手段４６は、抽出手段４４により不良トリミング画像の候補が抽出されると、他のトリミング画像を良好なトリミング画像としてカード作成部６０に出力する（Ｓ６５）。ＩＤカード製作センター１００の制御部７０は、カード作成部６０に、検出部５０から出力されてきた良好なトリミング画像を用いたＩＤカード（ここでは社員証）の作成を行わせる（Ｓ７０）。

このように、本実施形態のＩＤカード作成システムによれば、自動トリミング処理により得られた多量のトリミング画像の前述した２つの特徴および人間の視覚上の残像効果を利用し、トリミング処理部２０による自動トリミング処理により得られた多量のトリミング画像が所定の再生レートで順次連続再生され、再生中にオペレータが違和感を感じたことを示す入力（クリック）がなされたときに、この入力時に再生中の画像より前に再生された所定の範囲のトリミング画像は不良トリミング画像を含む画像群として特定される。こうすることによって、多量のトリミング画像が連続再生されるので、一度に多量なトリミング画像の良否を確認することができ、効率が良い。また、トリミング画像を縮小せいずに、元のサイズで再生することができるので、サムネイルを確認に用いる方法より精度が高い。

以上、本発明の望ましい実施形態について説明したが、本発明の不良トリミング画像検出方法および装置並びにそのためのプログラムは、上述した実施形態に限られるものではなく、本発明の主旨を逸脱しない限り、様々な増減、変更を行うことができる。

例えば、図１に示す実施形態のＩＤカード発行システムにおけるＩＤカード製作センター１００において、検出部５０の制御手段４６は、再生手段４０にトリミング画像の連続再生を行わせるときに、毎回の再生の再生順番を変えるようにしているが、再生順番に加え、再生レートを変えるようにしてもよい。この場合、２回目と３回目の再生レートを１回目の再生レートより夫々早い再生レートと遅い再生レートにすることが好ましい。また、３回循環再生させるが、再生順番も、再生レートも変えずに再生させることは勿論、再生順番を変えずに再生レートのみを変えるようにしてもよい。

例えば、図１に示す実施形態のＩＤカード発行システムにおけるカード製作センター１００において、検出部５０により検出された不良トリミング画像の候補は図示しない記憶部の例えば「不良トリミング画像候補」フォルダに記憶保存されるようになっている。これら記憶保存された不良トリミング画像の候補に対して、オペレータにより再生手段４０に１枚ずつ再生させて最終確認をし、不良トリミング画像として判断した画像に対してはトリミング処理のやり直し（自動トリミングでやり直してもよいが、この場合、オペレータによるトリミング領域の指定などを行う手動トリミング処理が好ましい）などを行う一方、不良トリミング画像ではないと判断した画像をカード作成部６０に出力させるように不良トリミング画像の候補の取り扱いをオペレータに任せるようにしてもよいが、例えば不良トリミング画像の候補として抽出された画像以外の画像がカード作成部６０に出力された後に、検出部５０の制御手段４６が図示しない記憶部の例えば「不良トリミング画像」フォルダに記憶された画像を再生手段４０に自動的に再生させるようにしてもよい。この場合、連続再生の代わりに、１枚のみを再生させ、再生中に、オペレータにより「良好なトリミング画像である」と判断したことを示す入力（例えばクリック）がなされたときには当該画像をカード作成部６０に出力し、オペレータにより「不良トリミング画像である」と判断したことを示す入力（例えばキーボードの所定のキーの押下）がなされたときには当該画像をトリミング処理部２０に出力して再トリミングさせると共に、オペレータの判断を示す入力（良好なトリミング画像である判断を示すクリックおよび不良トリミング画像である判断を示す所定のキーの押下）に応じて次の１枚の画像を再生するようにしてもよい。勿論、再生中にオペレータにより「不良トリミング画像である」と判断したことを示す入力がなされた画像を真の不良トリミング画像として「不良トリミング画像」フォルダに記憶保存させるようにしてもよい。

また、図１に示す実施形態のＩＤカード発行システムにおけるＩＤカード製作センター１００における検出部５０は、オペレータが不良トリミング画像を発見したことを示す入力がなされたときに、該入力時に再生中の画像より前に再生された所定の範囲の複数のトリミング画像を、不良トリミング画像を含む画像群としてマーキングするようにしているが、マーキングすると共に、後のトリミング画像の再生を一時停止し、マーキングされた画像群を遅い再生レート（例えば１枚画像につき３秒表示など）で再生するようにしてオペレータに再確認させたり、前述した「不良トリミング画像候補」フォルダに記憶保存されたトリミング画像に対する処理と同じように、１枚ずつのみを表示させ、オペレータの操作（前述したクリックや所定のキーの押下など）により相対応する処理を行うと共に表示する画像を切り替えるようにしてもよい。なお、この場合、マーキングされた画像の再確認が終了し、オペレータにより入力手段３０を介して「再スタート」指示を示す入力がなされたとき、再生が一時中止されたときの画像から連続再生されるようにしてもよい。こうすることによって、不良トリミング画像のマーキングと、真の不良トリミング画像を検出するための再確認が交互にして行われることができる。

さらに、不良トリミング画像は、良好なトリミング画像のうちの極僅かな存在であるため、例えば、トリミング画像の連続再生中に、オペレータにより、不良トリミング画像を発見したことを示す入力がなされたとき、連続再生を一時中止し、入力時に再生中の画像から、既に再生された画像を遅い再生レート（例えば前述したように１枚画像を３秒表示など）でバックして表示しながら、この表示に応じたオペレータの再確認により、真の不良トリミング画像を確認したことを示す入力がなされたとき、再生中のトリミング画像を真の不良トリミング画像として保存させたり、トリミング処理部２０に出力した再トリミングさせたりするなどを行うと共に、オペレータにより「再スタート」の指示がなされれば、再生が一時中止された時に再生中の画像から後の画像の連続再生を続行させるようにしてもよい。なお、この場合、不良トリミング画像を含む画像群としては、一時中止されたときより前に再生された画像がマーキングされたこととなる。

また、本実施形態のＩＤカード発行システムは、説明上の便宜のため、例えば写真画像、トリミング画像とＩＤカード上の記載事項（氏名、生年月日、入社日、部署、肩書きなど）との対応付けについての処理を説明していないが、例えば各社員の社員番号と社員の個人データ（少なくともＩＤカード上の記載事項を含む）とを対応付けて記憶したデータベースを設けると共に、各社員の社員番号をＩＤ番号として写真画像、トリミング画像に付属させるようにすればよい。そして、カード作成部６０は、社員証を作成するに際して、トリミング画像に付属された社員番号に対応する個人データをデータベースから読み出して社員証を作成すればよい。

また、本発明は、本実施形態のＩＤカード発行システムのように、人物の顔部位を目的部位とする利用形態に限らず、例えば中古車のカタログ作成など、同種類の被写体を撮像して得た写真画像を自動トリミング処理して得られた多量のトリミング画像に対して、自動トリミング処理の失敗に起因する不良トリミング画像の有無を確認することを必要とするいかなるシステムにも適用することができる。

本発明の実施形態となるＩＤカード発行システムの構成を示すブロック図 図１に示すＩＤカード発行システムにおけるＩＤカード製作センター１００の検出部５０構成を示すブロック図 図２に示す検出部５０の設定手段３４により提供される設定画面の例を示す図 トリミング画像の例を示す図 図１に示すＩＤカード発行システムにおけるＩＤカード製作センター１００において行われる処理を示すフローチャート

符号の説明

１ 撮像ポイント
１０ ネットワーク
２０ トリミング処理部
３０ 入力手段
３４ 設定手段
４０ 再生手段
４２ マーキング処理手段
４４ 抽出手段
４６ 制御手段
５０ 検出部
６０ カード作成部
７０ 制御部
１００ ＩＤカード製作センター

Claims (12)

1. 同種類の被写体を夫々撮像して得た複数の写真画像に対して、目的部位がトリミング領域の所定の位置に所定の大きさで配置されるように該トリミング領域の切取りおよび／または拡大縮小を行う自動トリミング処理により得られた所定のサイズのトリミング画像のうち、前記自動トリミング処理の失敗による不良トリミング画像の検出を行うための不良トリミング画像検出方法であって、
   多量の前記トリミング画像を所定の位置に所定の再生レートで順次連続再生し、
   該再生中に前記不良トリミング画像を発見したことを示す入力がなされたとき、該入力に応じて、前記不良トリミング画像を含む画像群を特定するマーキング処理を行うことを特徴とする不良トリミング画像検出方法。
2. 前記所定の再生レートが、１０枚／秒以上５０枚／秒以下であることを特徴とする請求項１記載の不良トリミング画像検出方法。
3. 前記マーキング処理が、前記入力時より前の所定の時間範囲内で再生された複数の前記トリミング画像を前記画像群として特定する処理であることを特徴とする請求項１または２記載の不良トリミング画像検出方法。
4. 前記再生を行う際に、前記自動トリミング処理が正しく行われたときの、前記目的部位が前記トリミング領域に配置される位置を示す補助画像を前記トリミング画像と重ねて表示することを特徴とする請求項１から３のいずれか１項記載の不良トリミング画像検出方法。
5. 同種類の被写体を夫々撮像して得た複数の写真画像に対して、目的部位がトリミング領域の所定の位置に所定の大きさで配置されるように該トリミング領域の切取りおよび／または拡大縮小を行う自動トリミング処理により得られた所定のサイズのトリミング画像のうち、前記自動トリミング処理の失敗による不良トリミング画像の検出を行うための不良トリミング画像検出装置であって、
   多量の前記トリミング画像を所定の位置に所定の再生レートで順次連続再生する再生手段と、
   該再生中に前記不良トリミング画像を発見したことを示す入力を行うための入力手段と、
   該入力手段から前記入力がなされたとき、該入力に応じて、前記不良トリミング画像を含む画像群を特定するマーキング処理を行うマーキング手段とを有してなることを特徴とする不良トリミング画像検出装置。
6. 前記再生手段の前記所定の再生レートが、１０枚／秒以上５０枚／秒以下の範囲内であることを特徴とする請求項５記載の不良トリミング画像検出装置。
7. 前記マーキング手段が、前記入力時より前の所定の時間範囲内で再生される複数の前記トリミング画像を前記画像群として特定するものであることを特徴とする請求項５または６記載の不良トリミング画像検出装置。
8. 前記再生レートを設定するための再生レート設定手段をさらに有し、
   前記再生手段が、前記再生レート設定手段により設定された再生レートで前記再生を行うものであることを特徴とする請求項５から７のいずれか１項記載の不良トリミング画像検出装置。
9. 前記再生手段が、前記自動トリミング処理が正しく行われたときの、前記目的部位が前記トリミング領域に配置される位置を示す補助画像を前記トリミング画像と重ねて表示するものであることを特徴とする請求項５から８のいずれか１項記載の不良トリミング画像検出装置。
10. 前記再生手段に、異なる再生順番および／または再生レートで前記多量のトリミング画像を複数回循環再生させる再生制御手段をさらに有し、
    前記マーキング手段が、前記再生手段による各回の前記再生において前記マーキング処理を行うものであることを特徴とする請求項５から９のいずれか１項記載の不良トリミング画像検出装置。
11. 各回の前記再生において前記マーキング手段による得られた各々の前記画像群のいずれにおいても含まれるトリミング画像のみを、前記不良トリミング画像候補として抽出する抽出手段をさらに有することを特徴とする請求項１０記載の不良トリミング画像検出装置。
12. 同種類の被写体を夫々撮像して得た複数の写真画像に対して、目的部位がトリミング領域の所定の位置に所定の大きさで配置されるように該トリミング領域の切取りおよび／または拡大縮小を行う自動トリミング処理により得られた所定のサイズのトリミング画像のうち、前記自動トリミング処理の失敗による不良トリミング画像の検出を行うための不良トリミング画像検出処理をコンピュータに実行させるプログラムであって、
    前記不良トリミング画像検出処理が、多量の前記トリミング画像を所定の位置に所定の再生レートで順次連続再生する処理と、
    該再生中に前記不良トリミング画像を発見したことを示す入力がなされたとき、該入力に応じて、前記不良トリミング画像を含む画像群を特定するマーキング処理とを有してなることを特徴とするプログラム。

Images