JP2010219932A

JP2010219932A - 画像処理装置及び画像処理プログラム

Info

Publication number: JP2010219932A
Application number: JP2009064907A
Authority: JP
Inventors: Toshie Misu; 俊枝三須; Masato Fujii; 真人藤井; Masahiro Shibata; 正啓柴田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-03-17
Filing date: 2009-03-17
Publication date: 2010-09-30

Abstract

【課題】入力画像の背景と前景とを区別したキー画像の品質を向上させる。
【解決手段】キー画像生成装置１は、閾値θに基づいて入力画像から暫定キー画像を生成するキー画像生成手段１０と、暫定キー画像に基づいて評価値Ｅを設定する評価手段２０と、閾値θを変更し、この閾値θにより生成された暫定キー画像の評価値Ｅに基づいて、入力画像が背景と前景とに適正に区別されていると判定できる最適な閾値θ_ＯＰＴを特定し、許可信号Ｋを出力する閾値設定手段３０と、許可信号Ｋを入力し、最適な閾値θ_ＯＰＴに基づいて生成された暫定キー画像をキー画像として出力するキー画像出力手段４０とを備える。これにより、背景が変動しても、キー画像が出力される前に、閾値θが最適な閾値θ_ＯＰＴに調整される。最適な閾値θ_ＯＰＴにより生成された暫定キー画像がキー画像として出力されるから、背景の変動に伴ってノイズを含むキー画像が出力されることがない。
【選択図】図１

Description

本発明は、入力画像の背景と前景とを区別したキー画像を生成する画像処理装置に関し、特に、キー画像の品質を向上させることが可能な装置及びプログラムに関する。

従来、動画像（入力画像）から動物体のみを検出する手法の研究開発が進められており、その手法として、例えば、クロマキー法、赤外光を用いた手法、背景差分法が知られている。クロマキー法は、ブルーバック等の特定の色を背景とするスタジオ等において被写体（動物体）を撮像し、撮像により得られた画像（入力画像）から、特定の色を判別して背景画像を生成し、背景画像以外を動物体であるとして、入力画像から動物体を検出するものである。赤外光を用いた手法は、被写体に赤外光を照射して距離画像を生成し、この距離画像を用いて入力画像から動物体を検出するものである。背景差分法は、入力画像には背景画像及び動物体の画像が含まれているとして、入力画像から背景画像を生成し、入力画像と背景画像との間の差異を求めることにより、入力画像から動物体を検出するものである。

クロマキー法を用いた例として、背景色の色の範囲を指定し、その指定した背景色に属するか否かを入力画像中において画素毎に判定することにより、キー画像を生成するクロマキー装置が知られている（特許文献１、特許文献２を参照）。

また、赤外光を用いた手法の例として、被写体に赤外光を照射することにより赤外光の往復遅延時間を算出し、往復遅延時間に基づいて画素毎の距離情報を抽出し、距離情報に基づいてキー画像を生成する装置が知られている（特許文献３を参照）。

また、背景差分法を用いた例として、過去の入力画像から背景画像を生成し、背景画像と入力画像との間の差分に基づいて、画素値変化が閾値未満の領域を背景とみなすことにより、キー画像を生成する背景差分装置（ディファレンスキー装置）が知られている（特許文献４、特許文献５、特許文献６を参照）。

さらに、前述したクロマキー法を用いた例において、背景色の色範囲の調整を自動的に行う装置も知られている（特許文献７）。

ここで、キー画像とは、入力画像の背景と前景とを区別した画像をいい、例えば、背景と前景とを２値により区別した画像、または多値により区別した画像をいう。入力画像を分析してキー画像を生成する画像処理装置においては、入力画像の背景と前景とを正しく判別することが可能な品質の高いキー画像を生成することが重要視されている。

特許第４００４８６３号公報特開２００７−１４２７２６号公報特許第４０３１３０６号公報特許第３２２８６３８号公報特許第３１２３５８７号公報特許第２８２８３８０号公報特開２００８−９２０８５号公報

前述した特許文献１，２のクロマキー装置では、クロマキーバックまたはクロマキースクリーン等と呼ばれる緑色または青色等の一様な色を有する布、板、壁等を背景として使用するか、または、芝生等の一様な自然物または人工物を背景として使用する。これらの布、自然物、人工物等を背景として使用する際には、使用者（オペレータ）は、背景色の色範囲を手動で設定する必要がある。

また、前述した特許文献３の、赤外光による往復遅延時間を用いた装置では、抽出した距離情報に対して閾値処理を行うことにより、キー画像を生成する。この閾値処理に用いる閾値は、使用者が手動で設定する必要がある。

さらに、前述した特許文献４，５の背景差分装置では、入力画像の空間的に局所的な特徴に基づいて背景画像の更新を制御し、閾値処理による背景差分を行うことによりキー画像を生成する。この背景画像の更新は自動的に制御されるが、キー画像は、閾値処理が行われることにより生成されるものである。この閾値処理に用いる閾値は、同様に、使用者が手動で設定する必要があった。

このように、背景色の色範囲、及びキー画像を生成するための閾値処理に用いる閾値は、使用者が手動で設定する必要があるため、手間になるという問題があった。また、使用者は、必ずしも最適な色範囲及び閾値を設定することができるとは限らず、品質の高いキー画像を生成することができない恐れがあるという問題もあった。

また、前述した特許文献６の背景差分装置では、キー画像に含まれる意図しないノイズを除去するためのフィルタを用いている。しかしながら、このフィルタは、生成されたキー画像に対して処理を行い、キー画像のノイズを軽減するものであり、閾値を最適な値に修正するものではない。このため、閾値が最適な値に設定されていない場合は、キー画像内の必要な前景領域が除去されてしまう等、意図しないキー画像が生成されてしまうという問題があった。

また、前述した特許文献７のクロマキー装置は、背景色の色範囲を自動的に設定する装置であり、具体的には、すでに生成したキー画像の判別状況が適正でなかったことを検知して、後からその色範囲を自動調整する。これにより、キー画像を良好に生成する状態に復帰させることができる。しかしながら、このクロマキー装置では、短期間的に乱れたキー画像が生成され、出力されてしまうという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、入力画像の背景と前景とを区別したキー画像の品質を向上させることが可能な画像処理装置及び画像処理プログラムを提供することにある。

本発明では前記課題を解決するために、以下の構成に係るものとした。

請求項１に記載の画像処理装置は、入力画像の背景と前景とを区別したキー画像を生成する画像処理装置において、閾値に基づいて、前記入力画像から暫定的なキー画像を、暫定キー画像として生成するキー画像生成手段と、前記暫定キー画像に基づいて、入力画像が背景と前景とに区別されていることの程度を示す評価値を設定する評価手段と、前記キー画像生成手段が使用する閾値を変更し、前記閾値により生成された暫定キー画像に対する評価値に基づいて、最適な閾値を特定する閾値設定手段と、前記キー画像生成手段により最適な閾値に基づいて生成された暫定キー画像を、キー画像として出力するキー画像出力手段と、を備える構成とした。

かかる構成によれば、画像処理装置は、キー画像生成手段において、閾値に基づいて入力画像に対し前景か背景かを判別し、暫定キー画像を生成する。また、画像処理装置は、評価手段において、暫定キー画像が適正であるのか否かの程度を定量化した評価値を設定する。さらに、画像処理装置は、閾値設定手段において、暫定キー画像を生成するための閾値を変更しながら、その閾値に対する評価値を得る。そして、評価値に基づいて、暫定キー画像が適正であると判定されたときの最適な閾値を特定する。さらに、画像処理装置は、キー画像出力手段において、最適な閾値に基づいて生成された暫定キー画像をキー画像として出力する。

請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記評価手段が、暫定キー画像に含まれる前景領域、背景領域、または、前景領域及び背景領域に基づいて、評価値を設定するように構成した。

かかる構成によれば、評価手段において、暫定キー画像に含まれる前景領域、背景領域、または、前景領域及び背景領域に対する過不足の程度を評価値に反映することができ、暫定キー画像の品質を評価することができる。

また、請求項３に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記評価手段が、暫定キー画像に含まれる前景領域の数、背景領域の数、または、前景領域及び背景領域のそれぞれの数に基づいて、評価値を設定するように構成した。

また、請求項４に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記評価手段が、暫定キー画像に含まれる前景領域と背景領域との間の境界の長さに基づいて、評価値を設定するように構成した。

かかる構成によれば、評価手段において、暫定キー画像に含まれる前景領域及び背景領域に対する過不足の程度を評価値に反映することができ、暫定キー画像の品質を評価することができる。

本発明を画像処理装置として説明したが、本発明はこれらに実質的に相当するプログラムとしても実現し得るものであり、本発明には、画像処理プログラムも包含される。すなわち、請求項５に記載の画像処理プログラムは、入力画像の背景と前景とを区別したキー画像を生成する画像処理プログラムであって、コンピュータに、閾値に基づいて、前記入力画像から暫定的なキー画像を、暫定キー画像として生成するステップと、前記暫定キー画像に基づいて、入力画像が背景と前景とに区別されていることの程度を示す評価値を設定するステップと、前記暫定キー画像を生成するときに使用する閾値を変更し、前記閾値により生成した暫定キー画像に対する評価値に基づいて、最適な閾値を特定するステップと、前記最適な閾値に基づいて生成した暫定キー画像を、キー画像として出力するステップと、を実行させる構成とした。

以上のように、本発明によれば、キー画像を出力する前に、入力画像の背景変動が反映した閾値を調整するようにした。これにより、背景変動に伴ってノイズを含むキー画像が出力されることがない。したがって、キー画像の品質を向上させることが可能となる。

本発明の実施形態によるキー画像生成装置の構成を示すブロック図である。入力画像及びキー画像の例を示す図である。閾値θと境界線長Ｌ（θ）との間の関係を示すグラフである。記憶手段に記憶された閾値及び評価値を説明する図である。キー画像生成装置による処理を説明するフローチャートである。キー画像生成装置による他の処理を説明するフローチャートである。

以下、本発明の実施形態について図面を参照して詳細に説明する。
〔キー画像生成装置の構成〕
まず、キー画像生成装置の構成について説明する。図１は、本発明の実施形態によるキー画像生成装置の構成を示すブロック図である。このキー画像生成装置（画像処理装置）１は、キー画像生成手段１０、評価手段２０、閾値設定手段３０及びキー画像出力手段４０を備えている。

キー画像生成手段１０は、入力画像を入力すると共に、閾値設定手段３０から閾値θを入力し、閾値θに基づいて暫定キー画像を生成する。キー画像生成手段１０により生成された暫定キー画像は、評価手段２０及びキー画像出力手段４０に出力される。ここで、暫定キー画像は、キー画像生成装置１が出力するキー画像の元となる画像である。そのキー画像中の画素において、画素が前景または背景のいずれかに属するかを表わす数値（画素値）をキー値という。キー値は、２値であってもよいし、多値であってもよい。２値の場合、例えば、前景に属する画素のキー値には１が割り当てられ、背景に属する画素のキー値には０が割り当てられる。多値の場合、キー値には、前景に属するかまたは背景に属するか、またはそれらの中間に属するかを示す数値が与えられる。例えば、キー画像中の画素におけるキー値を［０，１］とし、キー値が１に近いほどその画素は前景に属する可能性が高く、キー値が０に近いほど背景に属する可能性が高く、キー値が中間にあるときは中間的な状態に属するものとされる。後述するキー画像も、暫定キー画像と同様である。

キー画像生成手段は、予め設定された手法により、暫定キー画像における各画素のキー値を生成する。例えば、キー画像生成手段１０は、従来のクロマキー法、赤外光の反射から得た距離情報による手法、背景差分法等を用いることにより、閾値処理を行い、暫定キー画像を生成する。キー画像生成手段１０は、この閾値処理を行うために必要な閾値θを、閾値設定手段３０から入力する。

キー画像生成手段１０により生成される暫定キー画像は、閾値設定手段３０から入力する閾値θに基づいて生成される。つまり、暫定キー画像における画素のキー値は、外部の閾値設定手段３０が閾値θを調整することにより、閾値θに応じた値になる。

例えば、クロマキー法を用いる場合、キー画像生成手段１０は、背景領域として判断される背景色の範囲の大きさ（例えば、色空間における半径）を、閾値θとして閾値設定手段３０から入力する。

また、例えば、赤外光の反射から得た距離情報による手法を用いる場合、キー画像生成手段１０は、前景と背景との間の境界における距離値に対する閾値θを閾値設定手段３０から入力する。この場合、キー画像生成手段１０は、距離値と閾値θとを比較し、距離値が閾値θよりも小さい場合、その画素が前景に属することを示す値をキー値に与え、距離値が閾値θ以上の場合、その画素が背景に属することを示す値をキー値に与え、暫定キー画像を生成する。

また、例えば、背景差分法を用いる場合、キー画像生成手段１０は、入力画像と背景画像との間の絶対値差分に対する閾値θを、閾値設定手段３０から入力する。

尚、キー画像生成手段１０は、閾値設定手段３０により調整された最適な閾値θ_ｏｐｔを入力し、その閾値θ_ｏｐｔに基づいて暫定キー画像を生成した場合には、暫定キー画像がキー画像として、キー画像生成装置１から出力される。

ここで、キー画像生成手段１０において、入力画像を入力すると共に閾値θを入力してから、閾値θに基づいて暫定キー画像を生成して出力するまでの間の処理時間は、キー画像生成装置１が入力画像を入力してから、最終的にキー画像を出力するまでの間の時間間隔の１／２未満であるものとする。例えば、フレームレートが２９．９７Ｈｚ（フレーム周期が約３３．３７ミリ秒）の場合、キー画像生成手段１０の処理時間は、約１６．６８ミリ秒未満（５９．９４Ｈｚ超）でなければならない。この時間条件は、キー画像生成手段１０が、２つ以上の閾値θに対しそれぞれの暫定キー画像を生成して出力する処理を行い、評価手段２０が、これらの暫定キー画像を評価する処理を行うことにより、キー画像生成装置１により出力されるべきキー画像を選定するために必要なものである。

評価手段２０は、キー画像生成手段１０から暫定キー画像を入力し、暫定キー画像がキー画像として妥当な（適正な）パターンを有するか否かを評価し、評価値Ｅを設定する。評価値Ｅは、暫定キー画像が入力画像の背景と前景とを適正に区別した画像であるか否かを示す程度を数値化した値である。評価手段２０により設定された評価値Ｅは、閾値設定手段３０に出力される。例えば、評価手段２０は、暫定キー画像に含まれる、連結した（互いに孤立した）前景領域群、及び連結した（互いに孤立した）背景領域群に注目し、それらの領域の数または幾何学的特徴に基づいて評価値Ｅを設定する。

図２は、入力画像及びキー画像の例を示す図である。キー画像生成装置１が、図２（ａ）に示す入力画像を入力し、理想的には、人物及びボールの領域を前景領域とし、それ以外を背景領域として、図２（ｂ）に示す適正なキー画像を出力するものとする。ここで、キー画像（暫定キー画像）における画素のキー値は２値であり、前景領域をキー値１とし（図２（ｂ）（ｃ）（ｄ）では白色の領域）、背景領域をキー値０とする（図２（ｂ）（ｃ）（ｄ）では黒色の領域）。

閾値設定手段３０による閾値θの設定が不適切な場合、キー画像生成手段１０により生成される暫定キー画像は、図２（ｃ）に示すように、背景領域に偽の前景領域が現れたり、図２（ｄ）に示すように、前景領域に偽の背景領域が現れたりする。図２（ｂ）を参照して、真の前景領域の総面積は、真の背景領域の総面積より狭いことが多い。前景領域が存在するという前提では、前景領域の数は１個以上である。

また、図２（ｃ）に示すように、本来の背景領域に現れる偽の前景領域は、細かい独立した領域が互いに孤立して、多数の独立領域となることが多い。その独立領域は、例えば、面積が１画素乃至Ｓ_０＝５０画素程度であり、個数がＭ_０＝１００個以上である。一方、図２（ｄ）に示すように、本来の前景領域に現れる偽の背景領域は、真の前景領域が分断されて、細かい独立した領域の集合となることが多い。その独立領域は、例えば、面積が１画素乃至Ｓ_１＝１００画素程度であり、個数がＭ_１＝３個以上である。

そこで、評価手段２０は、以下の式を用いて、範囲の狭い（細かい）前景領域の数と、範囲の広い（大きな）前景領域の数とに基づいて、評価値Ｅを設定する。範囲の広い（大きな）前景領域は、例えば、面積１０００画素以上の範囲を有する。

ここで、０＜Ｓ_０＜Ｌ_０かつ０＜Ｓ_１＜Ｌ_１とする。例えば、Ｓ_０＝５０画素、Ｍ_０＝１００個、Ｌ_０＝１０００画素、Ｎ_０＝１個、Ｓ_１＝１００画素、Ｍ_１＝３個、Ｌ_１＝１０００画素、Ｎ_１＝１個とすることができる。

図２（ｃ）を参照して、評価手段２０は、式（１）に示したように、面積Ｓ_０以下の前景領域がＭ_０個以上存在し、かつ面積Ｌ_０以上の前景領域がＮ_０個以上存在するときに（第一の条件を満たすときに）、評価値Ｅ＝＋１に設定する。ここで、前者における、面積Ｓ_０以下の前景領域がＭ_０個以上存在するか否かの条件が、範囲の狭い（細かい）前景領域の数の条件に相当し、後者における、面積Ｌ_０以上の前景領域がＮ_０個以上存在するか否かの条件が、範囲の広い（大きい）前景領域の数の条件に相当する。

図２（ｄ）を参照して、評価手段２０は、式（１）に示したように、面積Ｓ_１以下の前景領域がＭ_１個以上存在し、かつ面積Ｌ_１以上の前景領域がＮ_１個未満存在するときに（第二の条件を満たすときに）、評価値Ｅ＝−１に設定する。ここで、前者における、面積Ｓ_１以下の前景領域がＭ_１個以上存在するか否かの条件が、範囲の狭い（細かい）前景領域の数の条件に相当し、後者における、面積Ｌ_１以上の前景領域がＮ_１個未満存在するか否かの条件が、範囲の広い（大きい）前景領域の数の条件に相当する。

評価手段２０は、前景領域がないときに（第三の条件を満たすときに）、評価値Ｅ＝０に設定する。また、評価手段２０は、第一〜第三の条件のうちのいずれの条件も満たなさいときに、または、第一の条件及び第二の条件を同時に満たすときに（第四の条件を満たすときに）、評価値Ｅ＝０に設定する。

また、評価手段２０は、以下の式を用いて、範囲の狭い（細かい）前景領域（面積Ｓ_０以下の領域）の数と、範囲の広い（大きな）前景領域（面積Ｌ_０以上の領域）の数と、範囲の狭い（細かい）背景領域（面積Ｓ_１以下の領域）の数と、範囲の広い（大きな）背景領域（面積Ｌ_１以上の領域）の数とに基づいて、評価値Ｅを設定するようにしてもよい。

ここで、０＜Ｓ_０＜Ｌ_０かつ０＜Ｓ_１＜Ｌ_１とする。例えば、Ｓ_０＝５０画素、Ｍ_０＝１００個、Ｌ_０＝１０００画素、Ｎ_０＝１個、Ｓ_１＝１００画素、Ｍ_１＝１個、Ｌ_１＝１０００画素、Ｎ_１＝１個とすることができる。

図２（ｃ）を参照して、評価手段２０は、式（２）に示したように、面積Ｓ_０以下の前景領域がＭ_０個以上存在し、かつ面積Ｌ_０以上の前景領域がＮ_０個以上存在するときに（第一の条件を満たすときに）、評価値Ｅ＝＋１に設定する。これは、式（１）における第一の条件と同じである。ここで、前者における、面積Ｓ_０以下の前景領域がＭ_０個以上存在するか否かの条件が、範囲の狭い（細かい）前景領域（面積Ｓ_０以下の領域）の数の条件に相当し、後者における、面積Ｌ_０以上の前景領域がＮ_０個以上存在するか否かの条件が、範囲の広い（大きな）前景領域（面積Ｌ_０以上の領域）の数の条件に相当する。

図２（ｄ）を参照して、評価手段２０は、式（２）に示したように、面積Ｓ_１以下の背景領域がＭ_１個以上存在し、かつ面積Ｌ_１以上の背景領域がＮ_１個以上存在するときに（第二の条件を満たすときに）、評価値Ｅ＝−１に設定する。ここで、前者における、面積Ｓ_１以下の背景領域がＭ_１個以上存在するか否かの条件が、範囲の狭い（細かい）背景領域（面積Ｓ_１以下の領域）の数の条件に相当し、後者における、面積Ｌ_１以上の背景領域がＮ_１個以上存在するか否かの条件が、範囲の広い（大きな）背景領域（面積Ｌ_１以上の領域）の数の条件に相当する。

評価手段２０は、第一及び第二の条件をいずれも満たなさいときに、または、第一の条件及び第二の条件を同時に満たすときに（第三の条件を満たすときに）、評価値Ｅ＝０に設定する。

尚、評価手段２０は、前景領域、または、前景領域及び背景領域に基づいて評価値Ｅを設定するようにしたが、背景領域のみに基づいて評価値Ｅを設定するようにしてもよい。

また、評価手段２０は、以下の式を用いて、評価値Ｅを設定するようにしてもよい。

すなわち、評価手段２０は、面積Ｌ_０以上の前景領域がＮ_０個以上のときに（第一の条件を満たすときに）、面積Ｓ_０以下の前景領域の数を算出し、その数をプラスの数にして評価値Ｅに設定する。また、評価手段２０は、第一の条件を満たさないときに（第二の条件を満たすときに）、面積Ｓ_１以下の背景領域の数を算出し、その数をマイナスの数にして評価値Ｅに設定する。

また、評価手段２０は、前景領域と背景領域との境界の長さ（境界線長）を算出し、その境界線長を評価値Ｅに設定するようにしてもよい。境界線長を評価値Ｅに設定するのは、後述する図３に示すように、閾値θの増加に対する境界線長が、増加、減少、増加、減少という変化を示すことが多く、その変化から最適な閾値θ_ＯＰＴを容易に特定することができるからである。評価値Ｅは、以下の式で表される。
Ｅ＝Ｌ（θ）・・・（４）

閾値設定手段３０は、予め設定された閾値θをキー画像生成手段１０に出力し、評価手段２０から、その閾値θに基づいて生成された暫定キー画像の評価値Ｅを入力し、閾値θの出力と評価値Ｅの入力を繰り返し、評価値Ｅに基づいて最適な閾値θ_ＯＰＴを特定する。そして、閾値設定手段３０は、その最適な閾値θ_ＯＰＴをキー画像生成手段１０に出力し、許可信号Ｋをキー画像出力手段４０に出力する。許可信号Ｋの出力タイミングにおいて、キー画像出力手段４０により暫定キー画像がキー画像として出力される。

具体的には、閾値設定手段３０は、予め設定された閾値θ（ｎ）をキー画像生成手段１０に出力し、その後に結果として評価値Ｅ（θ（ｎ））を評価手段２０から入力し、記憶手段（図示せず）に記憶する。そして、閾値設定手段３０は、時分割的にＮ回繰り返して、予め設定された閾値θ（１）〜θ（Ｎ）をそれぞれ出力する。また、閾値設定手段３０は、閾値θ（１）〜θ（Ｎ）に対する評価値Ｅ（θ（１））〜Ｅ（θ（Ｎ））をそれぞれ入力し、閾値θ（１）〜θ（Ｎ）及び評価値Ｅ（θ（１））〜Ｅ（θ（Ｎ））をそれぞれ対にして記憶手段に記憶する。

図４は、閾値設定手段３０により記憶手段に記憶された閾値θ（ｎ）及び評価値Ｅ（θ（ｎ））を説明する図である。図４に示すように、アドレス１には閾値θ（１）及びそれに対する評価値Ｅ（θ（１））が格納され、アドレスｎには閾値θ（ｎ）及びそれに対する評価値Ｅ（θ（ｎ））が格納され、アドレスＮには閾値θ（Ｎ）及びそれに対する評価値Ｅ（θ（Ｎ））が格納される。

閾値設定手段３０は、閾値θの出力及び評価値Ｅの入力をＮ回分終了すると、記憶手段から閾値θ（１）〜θ（Ｎ）及び評価値Ｅ（θ（１））〜Ｅ（θ（Ｎ））を読み出し、評価値Ｅ（θ（１））〜Ｅ（θ（Ｎ））に基づいて、閾値θ（１）〜θ（Ｎ）の中から最適な閾値θ_ＯＰＴを特定する。または、閾値の最大値と最小値との間のいずれかの値を最適な閾値θ_ＯＰＴとして特定する。最適なθ_ＯＰＴの特定手法については後述する。

閾値設定手段３０は、特定した閾値θ_ＯＰＴをキー画像生成手段１０に出力し、キー画像生成手段１０に、その閾値θ_ＯＰＴに基づいて暫定キー画像を生成させる。そして、閾値設定手段３０は、所定時間経過後、許可信号Ｋをキー画像出力手段４０に出力する。閾値設定手段３０が許可信号Ｋを出力するタイミングは、キー画像生成手段１０が閾値θ_ＯＰＴに基づいて暫定キー画像を生成してキー画像出力手段４０に出力し、キー画像出力手段４０がその暫定キー画像を入力して記憶手段（図示せず）に記憶した後である。

キー画像出力手段４０は、キー画像生成手段１０から暫定キー画像を入力すると共に、閾値設定手段３０から許可信号Ｋを入力する。キー画像出力手段４０は、許可信号Ｋを入力したタイミングで、入力している暫定キー画像を記憶手段に記憶し、記憶手段から暫定キー画像を読み出し、この暫定キー画像をキー画像として出力する。このようにしてキー画像出力手段４０により出力されたキー画像は、キー画像生成装置１により生成された最終的なキー画像として外部に出力される。

このように、キー画像生成装置１は、Ｎ回の試行によって閾値θ（１）〜θ（Ｎ）に対する評価値Ｅ（θ（１））〜Ｅ（θ（Ｎ））を得て、評価値Ｅ（θ（１））〜Ｅ（θ（Ｎ））に基づいて最適な閾値θ_ＯＰＴを特定する。そして、この最適な閾値θ_ＯＰＴに基づいて生成した暫定キー画像を最終的なキー画像として出力する。

尚、最適な閾値θ_ＯＰＴを特定する手法は、前述したようなＮ回の試行による手法だけでなく、様々な手法がある。例えば、閾値θを増減させることにより得られた評価値Ｅが所定の値になったときに、そのときの閾値θを最適な閾値θ_ＯＰＴとして特定するようにしてもよい。

〔キー画像生成装置の処理〕
次に、図１に示したキー画像生成装置１の処理について説明する。図５は、キー画像生成装置１による処理を説明するフローチャートである。この処理は、Ｎ回の試行によって最適な閾値θ_ＯＰＴを特定し、キー画像を出力するものである。

閾値設定手段３０は、繰り返し回数計数用のカウンタにｎ＝１を設定する（ステップＳ５０１）。そして、閾値設定手段３０は、予め設定された閾値θ（ｎ）をキー画像生成手段１０に出力し、キー画像生成手段１０は、閾値θ（ｎ）に基づいて暫定キー画像を生成し（ステップＳ５０２）、評価手段２０は、暫定キー画像に基づいて評価値Ｅ（θ（ｎ））を設定する（ステップＳ５０３）。そして、閾値設定手段３０は、評価手段２０から評価値Ｅ（θ（ｎ））を入力し、閾値θ（ｎ）及び評価値Ｅ（θ（ｎ））を対にして、記憶手段のアドレスｎに記憶する（ステップＳ５０４）。

閾値設定手段３０は、予め設定されたＮと繰り返し回数計数用のカウンタｎとを比較する（ステップＳ５０５）。Ｎ＞ｎであると判定した場合、ｎをインクリメントし（ステップＳ５０６）、ステップＳ５０２へ移行する。Ｎ＝ｎであると判定した場合、ステップＳ５０７へ移行する。このように、記憶手段には、閾値θ（１）〜θ（Ｎ）及び評価値Ｅ（θ（１））〜評価値Ｅ（θ（Ｎ））がそれぞれ対になって記憶される。

閾値設定手段３０は、記憶手段から閾値θ（１）〜θ（Ｎ）及び評価値Ｅ（θ（１））〜評価値Ｅ（θ（Ｎ））を読み出し、評価値Ｅ（θ）、または評価値Ｅ（θ）と閾値θとの対が最適な値となる閾値θ_ｏｐｔを特定する（ステップＳ５０７）。

例えば、評価手段２０において、評価値Ｅ（θ（ｎ））が、前述した式（１）乃至式（３）のうちのいずれかの式により設定される場合には、閾値設定手段３０は、評価値Ｅ（θ（ｎ））の値が０に最も近い閾値θ（ｎ）を探索し、その閾値θ（ｎ）を最適な閾値θ_ｏｐｔとして特定する。

また、評価手段２０において、評価値Ｅ（θ（ｎ））が、前述した式（４）により設定される場合には、閾値設定手段３０は、閾値θ（ｎ）と、評価値Ｅ（θ（ｎ））である境界線長Ｌ（θ（ｎ））との間の変化曲線により、増加、減少、増加、減少という変化を捉え、最初の減少から増加に変化する曲線から極小点を与える閾値θ（ｎ）を、最適な閾値θ_ｏｐｔとして特定する。

図３は、閾値θと、評価値Ｅ（θ）である境界線長Ｌ（θ）との間の関係を示すグラフである。図３に示すように、境界線長Ｌ（θ）は、閾値θ（ｎ）の増加に伴い、増加、減少、増加、減少という変化となることが多い。閾値設定手段３０は、２つの極大点を与える閾値θ_ｌｅｆｔ及び閾値θ_{ｒｉｇｈｔ}を求め、これらに挟まれた極小点を与える閾値θを求め、この閾値θを最適な閾値θ_ｏｐｔとして特定する。具体的には、閾値設定手段３０は、閾値θを最小値から増加させていき、境界線長Ｌ（θ）が０より大きく、かつ、閾値θの増加に対して境界線長Ｌ（θ）が増加しなくなる直前の閾値を求め、これを、極大点を与える閾値θ_ｌｅｆｔ（閾値θの小さい側）とする。また、閾値設定手段３０は、閾値θを最大値から減少させていき、境界線長Ｌ（θ）が０より大きく、かつ、閾値θの減少に対して境界線長Ｌ（θ）が増加しなくなる直前の閾値を求め、これを、極大点を与える閾値θ_{ｒｉｇｈｔ}（閾値θの大きい側）とする。そして、閾値設定手段３０は、閾値θ_ｌｅｆｔと閾値θ_{ｒｉｇｈｔ}との間において、境界線長Ｌ（θ）が最小となる閾値θを求め、これを最適値θ_ｏｐｔとする。

図５に戻って、閾値設定手段３０は、最適な閾値θ_ｏｐｔをキー画像生成手段１０に出力し、キー画像生成手段１０は、最適な閾値θ_ｏｐｔに基づいて暫定キー画像を生成する（ステップＳ５０８）。

閾値設定手段３０は、許可信号Ｋをキー画像出力手段４０に出力し（ステップＳ５０９）、キー画像出力手段４０は、許可信号Ｋを入力すると、キー画像生成手段１０から入力している暫定キー画像を記憶手段に記憶し、記憶手段から暫定キー画像を読み出し、キー画像として出力する（ステップＳ５１０）。このようにして、キー画像生成装置１は、キー画像出力手段４０により出力されたキー画像を、最終的なキー画像として外部に出力する。

次に、図１に示したキー画像生成装置１による他の処理について説明する。図６は、キー画像生成装置１による他の処理を説明するフローチャートである。この処理は、閾値θを増減させることにより得られた評価値Ｅが所定の値になったときに、そのときの閾値θを最適な閾値θ_ＯＰＴとして特定し、キー画像を出力するものである。

閾値設定手段３０は、繰り返し回数計数用のカウンタにｍ＝１を設定する（ステップＳ６０１）。そして、閾値設定手段３０は、閾値θに初期値を設定する（ステップＳ６０２）。例えば初期値として、閾値θが取りうる範囲の中央値が設定される。閾値設定手段３０は、閾値θをキー画像生成手段１０に出力し、キー画像生成手段１０は、閾値θに基づいて暫定キー画像を生成し（ステップＳ６０３）、評価手段２０は、暫定キー画像に基づいて評価値Ｅ（θ）を設定する（ステップＳ６０４）。

閾値設定手段３０は、評価手段２０から評価値Ｅ（θ（ｎ））を入力し、評価値Ｅ（θ）と０とを比較する（ステップＳ６０５）。評価値Ｅ（θ）＜０であると判定した場合、閾値θを減少させ（例えば１を減じ）（ステップＳ６０６）、評価値Ｅ（θ）＞０であると判定した場合、閾値θを増加させる（例えば１を増ずる）（ステップＳ６０７）。そして、閾値設定手段３０は、予め設定された回数Ｍと、繰り返し回数計数用カウンタｍとを比較し（ステップＳ６０８）、Ｍ＞ｍであると判定した場合、ｍをインクリメントし（ステップＳ６０９）、ステップＳ６０３へ移行する。一方、Ｍ＝ｍであると判定した場合、ステップＳ６１０へ移行する。つまり、繰り返し回数計数用カウンタｍが、予め設定された回数Ｍに達した場合、すなわち、ステップＳ６０３からステップＳ６０７までの処理をＭ回繰り返した場合、ステップＳ６１０へ移行する。

閾値設定手段３０は、ステップＳ６０５において、評価値Ｅ（θ）＝０であると判定した場合、ステップＳ６１０へ移行する。

例えば、評価手段２０において、評価値Ｅ（θ）が、前述した式（１）乃至式（３）のうちのいずれかの式により設定される場合には、この評価値Ｅ（θ）の符号は、最適な閾値θ_ｏｐｔへ至るための閾値θの変化の方向性を反映していることになる。そこで、閾値設定手段３０は、評価値Ｅ（θ）＜０のときは、ステップＳ６０６において閾値θを減少させ、評価値Ｅ（θ）＞０のときは、ステップＳ６０７において閾値θを増加させる。このように、閾値設定手段３０は、閾値θを変化させることにより、評価値Ｅ（θ）＝０となる最適な閾値θ_ｏｐｔを探索し特定する。また、閾値設定手段３０は、ステップＳ６０３からステップＳ６０７までの処理をＭ回繰り返しても、評価値Ｅ（θ）＝０に達しない場合には、Ｍ回目の増減により設定した閾値θを、最適な閾値θ_ｏｐｔとして特定する。

閾値設定手段３０は、許可信号Ｋをキー画像出力手段４０に出力し（ステップＳ６１０）、キー画像出力手段４０は、許可信号Ｋを入力すると、キー画像生成手段１０から入力している暫定キー画像を記憶手段に記憶し、記憶手段から暫定キー画像を読み出し、キー画像として出力する（ステップＳ６１１）。尚、記憶手段に記憶されて読み出される暫定キー画像は、最適な閾値θ_ｏｐｔに基づいて生成された画像である。このようにして、キー画像生成装置１は、キー画像出力手段４０により出力されたキー画像を、最終的なキー画像として外部に出力する。

以上のように、本発明の実施形態によるキー画像生成装置１によれば、キー画像出力手段４０がキー画像を出力する前に、キー画像生成手段１０が閾値θに基づいて暫定キー画像を生成し、評価手段２０が暫定キー画像に基づいて評価値Ｅを設定する。そして、閾値設定手段３０が評価値Ｅに基づいて閾値θを調整して、最適な閾値θを設定するようにした。これにより、照明等の変化によって入力画像の背景が変動した場合に、キー画像が出力される前に、キー画像を生成するための閾値θが最適な閾値θになるように調整される。そして、その最適な閾値θにより生成されたキー画像が出力されるから、背景の変動に伴ってノイズを含むキー画像が出力されることがなく、キー画像の品質を向上させることが可能となる。

尚、キー画像生成装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。キー画像生成装置１に備えたキー画像生成手段１０、評価手段２０、閾値設定手段３０及びキー画像出力手段４０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１キー画像生成装置
１０キー画像生成手段
２０評価手段
３０閾値設定手段
４０キー画像出力手段

Claims

入力画像の背景と前景とを区別したキー画像を生成する画像処理装置において、
閾値に基づいて、前記入力画像から暫定的なキー画像を、暫定キー画像として生成するキー画像生成手段と、
前記暫定キー画像に基づいて、入力画像が背景と前景とに区別されていることの程度を示す評価値を設定する評価手段と、
前記キー画像生成手段が使用する閾値を変更し、前記閾値により生成された暫定キー画像に対する評価値に基づいて、最適な閾値を特定する閾値設定手段と、
前記キー画像生成手段により最適な閾値に基づいて生成された暫定キー画像を、キー画像として出力するキー画像出力手段と、を備えることを特徴とする画像処理装置。
前記評価手段は、暫定キー画像に含まれる前景領域、背景領域、または、前景領域及び背景領域に基づいて、評価値を設定することを特徴とする請求項１に記載の画像処理装置。
前記評価手段は、暫定キー画像に含まれる前景領域の数、背景領域の数、または、前景領域及び背景領域のそれぞれの数に基づいて、評価値を設定することを特徴とする請求項１に記載の画像処理装置。
前記評価手段は、暫定キー画像に含まれる前景領域と背景領域との間の境界の長さに基づいて、評価値を設定することを特徴とする請求項１に記載の画像処理装置。
入力画像の背景と前景とを区別したキー画像を生成する画像処理プログラムであって、コンピュータに、
閾値に基づいて、前記入力画像から暫定的なキー画像を、暫定キー画像として生成するステップと、
前記暫定キー画像に基づいて、入力画像が背景と前景とに区別されていることの程度を示す評価値を設定するステップと、
前記暫定キー画像を生成するときに使用する閾値を変更し、前記閾値により生成した暫定キー画像に対する評価値に基づいて、最適な閾値を特定するステップと、
前記最適な閾値に基づいて生成した暫定キー画像を、キー画像として出力するステップと、を実行させることを特徴とする画像処理プログラム。