JP2006301855A - 画像検出装置 - Google Patents

Abstract

【課題】 画像上の、所定種別の被写体の存在領域の検出に要する時間の短縮化が図られた画像検出装置を提供する。
【解決手段】 一連の画像のうちキーとなる飛び飛びの複数のキー画像上における、所定種別の被写体の存在領域を検出する所定被写体検出部と、一連の画像のうち、相前後する２つのキー画像間に存在する画像における、所定種別の被写体の存在領域を推測する所定被写体推定部とを備え、一連の画像のうちのキー画像における、所定種別の被写体の存在領域については検出を逐一行うものの、相前後する２つのキー画像間に存在する画像における、この所定種別の被写体の存在領域については推測する。
【選択図】 図１

Description

本発明は、画像上における、所定種別の被写体の存在領域を検出する画像検出装置に関する。

近年、デジタルカメラやデジタルムービによるデジタル撮影が一般に普及している。

しかし、撮影者が初心者の場合には、被写体と背景とのバランスがとれていない場合も多く、特に、ムービーによる撮影において被写体が動体の場合には、その傾向が顕著となりがちである。

デジタル撮影では、撮影した画像はデジタルデータとして保存されており、このため、背景に対し被写体の割合が小さい場合には、被写体を切り出すことにより構図を手作業で最適化することは可能である。

ところで、近年、画像上の人間の顔の存在領域を自動的に検出する顔領域検出システムが提案されている（例えば、特許文献１参照）。

上記提案では、人間の皮膚色を検出することで、画像上の顔の存在領域を検出している。

そこで、上記提案に示すような、人間の顔の存在領域を自動的に検出する手法を用いて上記被写体の切り出しを自動的に行うことが考えられる。
特表２００２−５０１２３４号公報

ところが、記録した一連の画像について顔の存在領域の検出を逐一行うと時間がかかるという問題がある。

尚、上記問題は、記録した一連の画像について顔の存在領域の検出を行う際に限り発生するものではなく、顔以外の被写体の存在領域の検出を行う際にも同様に発生する。

本発明は、上記事情に鑑み、画像上の、所定種別の被写体の存在領域の検出に要する時間の短縮化が図られた画像検出装置を提供することを目的とする。

上記目的を達成するための本発明の画像検出装置は、
一連の画像のうちキーとなる飛び飛びの複数のキー画像上における、所定種別の被写体の存在領域を検出する所定被写体検出部と、
上記一連の画像のうち、相前後する２つのキー画像間に存在する画像における、上記所定種別の被写体の存在領域を推測する所定被写体推定部とを備えたことを特徴とする。

一連の画像のうちキーとなる飛び飛びの複数のキー画像上における、所定種別の被写体の存在領域が検出できれば、相前後する２つのキー画像間に存在する画像における、この所定種別の被写体の存在領域については、検出を逐一行わなくても検出を行ったのとほぼ同様の結果を推測によって短時間で得ることができる。本発明の画像検出装置では、一連の画像のうちのキー画像における、所定種別の被写体の存在領域については検出を逐一行うものの、相前後する２つのキー画像間に存在する画像における、この所定種別の被写体の存在領域については推測する。したがって、本発明の画像検出装置によれば、一連の画像全てに対して、所定種別の被写体の存在領域の検出を行う場合と比べ、所定種別の被写体の存在領域の検出にかかる時間を短縮することができる。

ここで、上記所定種別の被写体が、人間の顔であってもよく、また、上記一連の画像のうちの相前後する２つのキー画像間に存在する画像が、キー画像に対する差分を表す、このキー画像を表すキー画像情報よりも相対的に情報量が圧縮された差分画像情報で表されるものであってもよい。

また、相前後する２つのキー画像が互いに同一であるか否かを比較判定する画像比較判定部を備え、
上記所定被写体推定部は、上記画像比較判定部による、相前後する２つのキー画像が互いに同一であるとの判定結果を受けて、この２つのキー画像間に存在する画像における上記所定種別の被写体の存在領域を、この２つのキー画像におけるこの所定種別の被写体の存在領域と同一とすることで上記推測を省略するものであることが好ましい。

このようにすると、所定種別の被写体の存在領域の検出にかかる時間を一層短縮することができる。

本発明の画像検出装置によれば、画像上の、所定種別の被写体の存在領域の検出に要する時間を短縮することができる。

以下、本発明の実施形態について説明する。

図１は、本発明の画像検出装置の一実施形態である顔領域検出装置を含む画像処理装置の内部ブロック図である。

図１に示す画像処理装置１は、顔領域検出装置１０、画像記憶部２１、Ｉフレーム抽出部２２、Ｉフレームデコーダ２３、ＭＰＥＧデコーダ２４、画像処理部２５、および液晶パネル２６で構成されている。

この画像処理装置１は、画像記憶部２１にＭＰＥＧ方式で情報量が圧縮されて記憶されている動画像情報から人間の顔の存在領域（以下では、人間の顔の存在領域を、顔領域と称す。）を自動検出すると共に、検出した顔を画角の中央に据えた画像に編集する機能を有するものである。

この画像処理装置１では、画像記憶部２１に記憶された一連の動画像のうちキーとなる飛び飛びの複数のキー画像を表すＩ（アイ）フレームと呼ばれる低圧縮画像情報のみを選択的に抽出およびデコードした上でそれらについての顔領域の検出を行う一方、これら一連の画像のうち、相前後する２つのキー画像間に存在する画像を表す、情報量がＩフレームよりも高率に圧縮されたＢフレームまたはＰフレームと呼ばれる高圧縮画像情報については顔領域の検出は行わず、相前後する２つのキー画像から検出した顔領域に基づいてそれらにおける顔領域を推測する。このようにすることで、この画像処理装置１では、顔領域の検出に要する時間の短縮化が図られており、このことは、画像処理に要する時間の短縮にも寄与している。

この画像処理装置１の顔領域検出装置１０は、顔領域検出部１１、比較判定部１２、および顔領域予測部１３で構成されている。

以下、上述した画像処理装置１における画像処理の流れについて説明する。

画像記憶部２１にＭＰＥＧ方式で記憶されている圧縮動画像情報は、Ｉフレーム情報抽出部２２とＭＰＥＧデコーダ２４とに入力される。Ｉフレーム情報抽出部２２は、動画像情報からＩフレーム情報を抽出し、抽出したＩフレーム情報をＩフレーム情報デコーダ２３に入力する。Ｉフレーム情報デコーダ２３に入力されデコード処理がなされた後のＩフレーム情報に基づくキー画像情報は、顔領域検出装置１０の、比較判定部１２と顔領域検出部１１とに入力される。

一方、ＭＰＥＧデコーダ２４に入力された圧縮動画像情報は、フレームの種類に拘らずデコードされた後、画像処理部２５に入力される。

顔領域検出部１１は、公知の技術であるので説明は省略するが、Ｉフレームに基づくキー画像における顔領域を座標値で検出する。

比較判定部１２は、相前後して入力されてきた、２つのＩフレームに基づくキー画像情報が同一か否かを比較判定し、これらが同一であると判定すると、そのことを顔領域予測部１３に通知する。

また、顔領域検出部１１は、得られた座標値を、顔領域予測部１３および画像処理部２５に入力する。

顔領域予測部１３は、顔領域検出部１１から入力された、相前後する２つの、Ｉフレームに基づくキー画像情報で表されるキー画像における顔領域の座標値に基づいて、これら２つのキー画像の間に存在する画像における顔領域の座標値の推測処理を行う。

以下、顔領域予測部１３における推測処理について説明する。

ここで、相前後して顔領域予測部１３に入力されてきた、相前後する２つのキー画像における顔領域（第１座標点Ｐ１、第２座標点Ｐ２、第３座標点Ｐ３、第４座標点Ｐ４）の座標値（Ｘ、Ｙ）をそれぞれ以下のように定義する。

Ｐ１＝（Ｘ１１、Ｙ１１）、Ｐ２＝（Ｘ２１、Ｙ２１）、Ｐ３（Ｘ３１、Ｙ３１）、Ｐ４＝（Ｘ４１、Ｙ４１）
Ｐ１＝（Ｘ１２、Ｙ１２）、Ｐ２＝（Ｘ２２、Ｙ２２）、Ｐ３＝（Ｘ３２、Ｙ３２）、Ｐ４＝（Ｘ４２、Ｙ４２）
また、相前後する２つのキー画像同士の時間間隔をＴ、相前後する２つのキー画像の間に存在する画像同士の時間間隔をΔＴとし、２つのキー画像の間に存在する画像数をＮ−１とすると、ΔＴ＝Ｔ／Ｎ
まず、相前後する２つのキー画像における顔領域の座標値が同一である場合、すなわち、Ｘ１１＝Ｘ１２、Ｘ２１＝Ｘ２２、Ｘ３１＝Ｘ３２、Ｘ４１＝Ｘ４２、Ｙ１１＝Ｙ１２、Ｙ２１＝Ｙ２２、Ｙ３１＝Ｙ３２、Ｙ４１＝Ｙ４２が成り立つ場合には推測を省略し、相前後する２つのキー画像の間に存在する画像における顔領域の座標値をこれらと同一の値にする。

次に、相前後する２つのキー画像における顔領域の座標値が同一でない場合の１つ目のキー画像から数えてＮ番目の画像上の第１座標点Ｐ１の座標値（Ｘ、Ｙ）は、
Ｘ＝（Ｘ１２−Ｘ１１）＊N＊ΔＴ／Ｔ＋Ｘ１１
Ｙ＝（Ｙ１２−Ｙ１１）＊N＊ΔＴ／Ｔ＋Ｙ１１
となる。

以下同様に、１つ目のキー画像から数えてＮ番目の画像上の第２座標点Ｐ２、第３座標点Ｐ３、および第４座標点Ｐ４の座標値（Ｘ、Ｙ）を示す。

Ｘ＝（Ｘ２２−Ｘ２１）＊N＊ΔＴ／Ｔ＋Ｘ２１
Ｙ＝（Ｙ２２−Ｙ２１）＊N＊ΔＴ／Ｔ＋Ｙ２１
Ｘ＝（Ｘ３２−Ｘ３１）＊N＊ΔＴ／Ｔ＋Ｘ３１
Ｙ＝（Ｙ３２−Ｙ３１）＊N＊ΔＴ／Ｔ＋Ｙ３１
Ｘ＝（Ｘ４２−Ｘ４１）＊N＊ΔＴ／Ｔ＋Ｘ４１
Ｙ＝（Ｙ４２−Ｙ４１）＊N＊ΔＴ／Ｔ＋Ｙ４１
顔領域予測部１３では、上述の座標値推測の際に、相前後する２つのキー画像が同一であるとの判定が比較判定部１２でなされていると、座標値をこれら相前後する２つのキー画像における顔領域の座標値と同一の座標値とすることで上述の予測を省略する。相前後する２つのキー画像が互いに同一であれば、相前後する２つのキー画像の間に存在する画像における顔領域の座標値も同一の座標値を有すると考えられることから、このようにすることで、より一層顔領域検出に要する時間を短縮することができる。

画像処理部２５では、顔領域検出部１１からの、キー画像における顔領域の座標値と、顔領域予測部１３からの、相前後する２つのキー画像の間に存在する画像における顔領域の座標値とに基づいて、ＭＰＥＧデコーダ２４からデコードされて入力されてきた一連の動画像を表す動画像情報に対し、画面の中央に顔画像が捉えられた動画像を表す動画像情報となるように編集処理が施される。画像処理部２５で編集処理された動画像情報は、液晶パネル２６に入力されて画像表示される。

図２は、本実施形態の画像処理装置の電源の投入と共に顔領域検出装置において起動されるルーチンのフローチャートである。

図２に示すステップＳ１では、カウンタｎがゼロリセットされ、ステップＳ２において、Ｉフレーム情報に基づくキー画像情報がＩフレーム情報デコーダ２３から送信されてきたか否かを判定する。ステップＳ２において、未だ送信されていないと判定すると、ステップＳ２を繰り返し、ステップＳ２において、送信されていると判定すると、ステップＳ３に進み、カウンタｎの値を１インクリメントする。ステップＳ４では、不図示のサブルーチン‘顔領域検出’を起動し、キー画像上における顔領域の座標値が検出され、その後、ステップＳ５で、検出された座標値の記憶を行う。ステップＳ６では、カウンタｎの値が２であるか否かを判定し、ステップＳ６において、カウンタｎが２ではない、即ち、相前後する２つのキー画像上における顔の座標値のうちの２つ目の座標値が得られていないと判定してステップＳ２に戻る。一方、ステップＳ６において、カウンタｎが２であると判定すると、ステップＳ７に進み、相前後するこれら２つのキー画像は同一か否かを判定する。ステップＳ７においてキー画像同士が同一であると判定すると、ステップＳ８に進み、同一であることを表すフラグをアサートし、ステップＳ１０に進む。ステップＳ７において、キー画像同士が同一ではないと判定すると、ステップＳ１１に進み、相前後する２つのキー画像間に存在する画像上における顔領域の予測座標値を算出するサブルーチン‘顔領域予測’を起動する。

ここで、図３は、サブルーチン‘顔領域予測’のフローチャートである。

図３に示すステップＳ２１では、カウンタｋをゼロリセットし、ステップＳ２２では、カウンタｋを１インクリメントする。ステップＳ２３では、相前後する２つのキー画像における顔領域の座標値、および、これら２つのキー画像間に存在する、Ｂフレーム情報およびＰフレーム情報に基づく画像数を取得する。ステップＳ２４では、前述したように、１つ目のキー画像から数えて、カウンタｋの値と同じ値の番目の画像における顔領域の座標値の演算を行い、ステップＳ２５では、算出した座標値を記憶する。ステップＳ２６では、カウンタｋの値が、２つ目のキー画像の１つ手前の画像を指す値に到達したか否かを判定し、ステップＳ２６において、カウンタｋの値が、２つ目のキー画像の１つ手前の画像を指す値に到達した、すなわち、相前後する１つのキー画像の間に存在する最終の画像ではないと判定するとステップＳ２２に進み、最終野画像であると判定すると、図２に示すステップＳ１０に戻る。ここで、図２に戻って説明を続ける。

図２に示すステップＳ１０では、サブルーチン‘画像処理’を起動する。

図４は、サブルーチン‘画像処理’のフローチャートである。

図４に示すステップＳ３１では、ＭＰＥＧデコーダ２４から入力された動画像情報において、図１に示す顔領域検出部１１から入力された、Ｉフレーム情報に基づくキー画像情報と同一の画像情報を検出したか否かを判定する。ステップＳ３１において、検出していないと判定すると、ステップＳ３１を得り返し、検出したと判定とすると、ステップＳ３２に進む。ステップＳ３２では、検出したキー画像情報に対して顔領域を中央に据えるための所定の処理を実施し、ステップＳ３３では、図２に示すステップＳ８のフラグがアサートされているか否か、即ち、当該キー画像と次のキー画像との間で画像が同一であるとの判定がなされているか否かを判定する。ステップＳ３３において、フラグがアサートされていないと判定すると、ステップＳ３４に進み、これら２つのキー画像間に存在する画像に対し、顔領域予測部１３で予測した顔領域の座標値を反映させた処理を実施する。その後、図２に示すステップＳ１１に戻る。一方、ステップＳ３３において、フラグがアサートされていると判定すると、ステップＳ３５に進み、これら２つのキー画像間に存在する画像に対し、ステップＳ３２において行った処理と同じ処理を施し、その後、図２に示すステップＳ１１に戻る。再び、図２に戻って説明を続ける。

図２に示すステップＳ１１では、フラグをネゲートし、ステップＳ１に戻る。

尚、以上に説明した実施形態では、一連の画像のうちキーとなる飛び飛びの複数のキー画像としてＭＰＥＧ方式で圧縮された動画像情報の中のＩフレーム情報を用いた場合を例に挙げて説明したが、本発明はこれに限るものではなく、飛び飛びに抽出した複数のキー画像についてのみ顔領域の検出を行うのであれば、一連の画像が他の方式で圧縮された画像情報に基づくものであってもよく、あるいは、圧縮されていない画像情報に基づくものであってもよい。また、その抽出が不規則であっても本発明の基本的な効果は減却されない
また、以上に説明した実施形態では、相前後する２つにキー画像が互いに同一であると判定した場合には、これら２つのキー画像の間に存在する画像における顔領域の座標値の予測を省略する例を挙げて説明したが、これらが同一の場合にも予測を行うものであってもよい。

本発明の画像検出装置の一実施形態である顔領域検出装置を含む画像処理装置の内部ブロック図である。 本実施形態の画像処理装置の電源の投入と共に顔領域検出装置において起動されるルーチンのフローチャートである。 サブルーチン‘顔領域予測’のフローチャートである。 サブルーチン‘画像処理’のフローチャートである。

符号の説明

１ 画像処理装置
１０ 顔領域検出装置
１１ 顔領域検出部
１２ 比較判定部
１３ 顔領域予測部
２１ 画像記憶部
２２ Ｉフレーム情報抽出部
２３ Ｉフレーム情報デコーダ
２４ ＭＰＥＧデコーダ
２５ 画像処理部
２６ 液晶パネル

Claims (4)

1. 一連の画像のうちキーとなる飛び飛びの複数のキー画像上における、所定種別の被写体の存在領域を検出する所定被写体検出部と、
   前記一連の画像のうち、相前後する２つのキー画像間に存在する画像における、前記所定種別の被写体の存在領域を推測する所定被写体推定部とを備えたことを特徴とする画像検出装置。
2. 前記所定種別の被写体が、人間の顔であることを特徴とする請求項１記載の画像検出装置。
3. 前記一連の画像のうちの相前後する２つのキー画像間に存在する画像が、キー画像に対する差分を表す、該キー画像を表すキー画像情報よりも相対的に情報量が圧縮された差分画像情報で表されるものであることを特徴とする請求項１記載の画像検出装置。
4. 相前後する２つのキー画像が互いに同一であるか否かを比較判定する画像比較判定部を備え、
   前記所定被写体推定部は、前記画像比較判定部による、相前後する２つのキー画像が互いに同一であるとの判定結果を受けて、該２つのキー画像間に存在する画像における、前記所定種別の被写体の存在領域を、該２つのキー画像における該所定種別の被写体の存在領域と同一とすることで前記推測を省略するものであることを特徴とする請求項１記載の画像検出装置。

Images