JP2015097321A - 撮影装置 - Google Patents

Abstract

【課題】画像の内部に別の画像を合成した場合であっても、信頼度を考慮して顔検出結果を使用することで顔の誤検出を減らすことができ、かつ複数の画像から同時に顔検出を行うことができる撮影装置を提供する。【解決手段】撮影装置は、画像を出力する少なくとも２つ以上の画像出力部と、画像のサイズを変倍する変倍処理部８と、少なくとも２枚以上の画像を合成し１枚の画像として出力する合成処理部９と、画像に含まれる顔領域を検出する顔検出部１０と、前記顔検出部１０の結果より前記結果の信頼度を算出する信頼度算出部１１と、を備え、前記合成処理部９は前記変倍処理部８で縮小した画像を第一画像中に合成し、合成した画像を使用して顔検出する際は、前記信頼度算出部１１で前記結果の信頼度を算出後に算出した信頼度を考慮して前記結果を使用する。【選択図】図１

Description

本発明は、被写体の顔検出機能を有する撮影装置に関する。

インカメラとアウトカメラとを備えた撮影装置で、被写体の顔と撮影者の顔を同時に撮影し、被写体および撮影者の顔検出を行う公知技術がある。特許文献１では、はじめにアウトカメラで撮影した画像（以下、アウトカメラ画像）の顔検出と、インカメラで撮影した画像（以下、インカメラ画像）の顔検出を交互に行い、インカメラ画像に顔が存在する場合、アウトカメラ画像とインカメラ画像の顔を照合し、一致した場合になりすましと判断する技術が開示されている。

特許文献１に記載された公知技術では、１つの顔検出部において２枚の画像を交互に処理することで、アウトカメラ画像およびインカメラ画像の顔検出を実現している。したがって、１枚の画像を１つの顔検出部で処理する場合に比べて、顔検出部に入力する画像のフレームレートが低下する問題があった。

そこで、アウトカメラ画像の内部にインカメラ画像を合成して、１枚の画像データとしてアウトカメラ画像及び、インカメラ画像を同時に顔検出する方法が考えられる。

特開２００８−１０７９４２号公報

しかし、上記のアウトカメラ画像の内部にインカメラ画像を合成して顔検出を行った場合、画像を合成した境界領域で顔でない領域を顔として誤検出してしまう問題があった。

本発明の目的は、画像の内部に別の画像を合成した場合であっても、顔を誤検出することなく、複数の画像から同時に顔検出することである。

上記目的を達成するために、本発明に係わる撮影装置は、画像を出力する少なくとも２つ以上の画像出力部と、画像のサイズを変倍する変倍処理部と、少なくとも２枚以上の画像を合成し１枚の画像として出力する合成処理部と、画像に含まれる顔領域を検出する顔検出部と、前記顔検出部の結果より前記結果の信頼度を算出する信頼度算出部と、を備え、前記合成処理部は前記変倍処理部で縮小した画像を第一画像中に合成し、合成した画像を使用して顔検出する際は、前記信頼度算出部で前記結果の信頼度を算出後に算出した信頼度を考慮して前記結果を使用すること、を特徴とする。

本発明によれば、画像の内部に別の画像を合成した場合であっても、信頼度を考慮して顔検出結果を使用することで顔の誤検出を減らすことができ、かつ複数の画像から同時に顔検出を行うことができる。

本発明を適用したデジタルカメラの構成例を示すブロック図である。 アウトカメラ画像、インカメラ画像、顔検出部入力画像の関係を示す図である。 空き領域の判定処理を説明するための図である。 実施例１における顔検出結果の信頼度の算出処理を説明するための図である。 実施例１におけるデジタルカメラの処理を説明するためのフローチャートである。 実施例２におけるマスク処理の説明をするための図である。 実施例２におけるデジタルカメラの処理を説明するためのフローチャートである。

本発明を実施する為の好ましい形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明を適用したデジタルカメラの構成例を示すブロック図である。図１における細い実線はブロック間の結線を示す。太い矢印はメモリと各ブロック間のデータの入出力の方向を示す。

図１において、１及び２はレンズ及び絞り機構からなる撮像光学系である。３及び４は光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等からなる固体撮像素子である。２０ａは光学系１及び撮像素子３からなる第一撮像ユニットで、２０ｂは光学系２及び撮像素子４からなる第二撮像ユニットである。第一及び第二の撮像ユニットはそれぞれ異なる被写体を撮影できるように設置されており、例えば、第一撮像ユニットを被写体側に、第二撮像ユニットを撮影者側に向けるなど、別々の被写体を同時に撮影できるような構成にすることも可能である。

１６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１６には、システム制御部１５の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述するフローチャートを実行するためのプログラムのことである。

１５はシステム制御部であり、デジタルカメラ全体を制御する。前述した不揮発性メモリ１６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

４１は処理された画像データを記憶する画像メモリである。

７は前記第一撮像ユニット２０ａ及び２０ｂで撮影された画像データに画像処理を行う信号処理回路であり、所定の画素補間処理や色変換処理を行う。また、信号処理回路７においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部１５が光学系駆動回路５及び撮像系駆動回路６に対して制御を行い、露出制御・オートフォーカス制御を行っている。

８は、信号処理回路７から出力された画像に対して所定の画素補間、縮小といった変倍処理を行い、メモリ４１に出力する変倍処理部である。

９は２枚の画像を入力とし、１枚に合成した画像をメモリ１２に出力する合成処理部である。

１０は入力した画像に含まれる顔の数、顔の位置、顔の大きさを検出し、結果をメモリ４１に出力する顔検出部である。本実施例では顔検出部の入力画像は６４０×４８０画素とする。顔検出部１０がメモリ４１に出力する結果を顔検出結果と呼ぶ。

１１は顔検出部１０で検出された顔検出結果を用いて、結果に対する信頼度を算出する。

１２は合成処理部９で出力された画像に対して、合成部分の境界領域に所定の色で塗りつぶし処理（以下、マスク処理）を行うマスク処理部である。

１３は画像データの圧縮・伸張を行う記録回路である。３１はメモリカード、内蔵メモリからなる記録媒体、２１は画像データを表示する表示装置である。

なお、図１に示して説明した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。

以下、図２〜図６を参照して、本発明の各実施例の動作を説明する。

＜実施例１＞
実施例１では、顔検出結果信頼度算出部１１を用いて誤検出を防ぐ例を述べる。

図２は、第一撮像ユニットで撮影したアウトカメラ画像、第二撮像ユニットで撮影したインカメラ画像、顔検出部入力画像の関係を示す図である。

図２（ａ）は、アウトカメラ画像を示し、サイズは６４０ｘ４８０である。

図２（ｂ）は、インカメラ画像を示し、サイズは６４０ｘ４８０である。

図２（ｃ）は、顔検出部入力画像を示し、アウトカメラ画像の領域を０〜１５の計１６領域に分割した領域に対し、インカメラ画像が分割した領域内におさまるように変倍され、配置されている。

２００は実施例１における顔検出部入力画像を示し、顔検出部１０に入力可能なサイズである６４０ｘ４８０であり、アウトカメラ画像のサイズと等しい。

２０１はアウトカメラ画像の領域を分割した分割領域を示す。分割領域２０１のサイズは１６０ｘ１２０であり、インカメラ画像は、分割領域２０１のサイズにするよう変倍率４分の１で変倍され、位置（４８０，０）に配置されている。以降、それぞれの分割領域２０１を領域０〜領域１５と呼ぶ。

２０２は、顔検出部入力画像において検出したアウトカメラ画像に含まれる人物の領域を示し、その位置は（３００，８０）、大きさは水平１００画素、垂直１００画素（以降、１００ｘ１００）であり、領域４、領域５、領域８、領域９に相当する。

なお、分割領域２０１のサイズ及び、位置は図２（ｃ）に示す値に限定しない。例えば、アウトカメラ画像の領域を０〜３の計４領域に分割することにより、領域０〜領域３のサイズは３２０ｘ２４０となる。従って、この場合のインカメラ画像の変倍率は２分の１であり、図２（ｃ）に示す値に比べてインカメラ画像の顔検出精度を向上させることが可能となる。

図３は、後述するフローチャートで説明する、アウトカメラ画像における空き領域の判定処理を説明するための図である。

３０１は、顔検出部入力画像の推移を示し、左上の番号はフレーム番号である。以降、図６に示す顔検出部入力画像をフレーム１、フレーム２、フレーム３と呼ぶ。

３０２は、顔検出部入力画像に含まれる人物の顔領域の推移を示す。白抜きの領域は、顔検出部入力画像に含まれる人物の顔領域を示す。

顔領域とは、図２（ｃ）に示す分割領域において、顔検出部１０が検出した領域が重畳する領域を示す。フレーム１に含まれる人物の顔領域は、領域０、領域５、領域９である。フレーム２に含まれる人物の顔領域は、領域１、領域９、領域１３である。フレーム３に含まれる人物の顔領域は、領域０、領域５、領域９である。

３０３は、アウトカメラ画像における空き領域の推移を示す。白抜きの領域は、顔検出部入力画像に含まれる人物の顔領域を示す。太枠の領域は、縮小したインカメラ画像を合成する領域を示す。フレーム１における空き領域は、領域０〜領域１５であり、縮小したインカメラ画像を合成する位置は領域０である。フレーム２における空き領域は、領域０、領域５、領域９以外の領域であり、縮小したインカメラ画像を合成する位置は領域１である。フレーム３における空き領域は、領域１、領域９、領域１３以外の領域であり、縮小したインカメラ画像を合成する位置は領域１である。

図４は、後述するフローチャートで説明する、顔検出結果の信頼度の算出処理を説明するための図である。ここで、信頼度とは顔検出結果の結果に対する信頼性の評価値を表しており、信頼度が低いほど顔でないものを顔として誤検出していることを示す。

図４（ａ）は顔検出部１０で検出された結果の信頼度を低く算出する領域を示した図である。アウトカメラ画像にインカメラ画像を合成した場合、合成領域の境界で顔の誤検出が起こりやすくなるため、検出された顔の中心座標が境界付近であった場合に信頼度を低く算出する。 図４（ｂ）は顔検出部１０で検出された顔領域が合成領域にまたがる場合を示した図である。図４（ｂ）において顔１〜４の４つの顔が検出されたとすると、顔１〜３においては検出された顔領域が合成領域にまたがらないため、信頼度は高く算出される。しかし、顔４においては合成領域にまたがるため、信頼度が低く算出される。

図５は、実施例１におけるデジタルカメラの処理を説明するためのフローチャートである。図５のフローチャートは、システム制御部１５が不揮発性メモリ１６に格納されたプログラムを実行することにより実現される。

処理の開始後のステップＳ５０１において、第一撮像ユニット２０ａにおいて撮影された光信号を信号処理回路７で画像に変換し、変換した画像をアウトカメラ画像としてメモリ４１に出力する。

次に、ステップＳ５０２に進み、ステップＳ５０１と同様の制御を行うことで、第二撮像ユニット２０ｂから変換した画像をインカメラ画像としてメモリ４１に出力する。

ステップＳ５０２の処理完了後、ステップＳ５０３に進み、変倍処理部８の変倍率を図２（ｃ）に示す４分の１に設定し、変倍処理部８を介してメモリ４１に格納されたインカメラ画像の変倍処理を行い、メモリ４１に出力する。

次にステップＳ５０４に進み、変数ｉに０を代入する。変数ｉは、図２（ｃ）に示す領域０〜１５が空き領域であるか否かを順次判定する際のカウンタを示す変数であり、０〜１５の値が、それぞれ領域０〜領域１５に対応する。以降、変数ｉが示す領域を領域ｉと呼ぶ。

次にステップＳ５０５に進み、変数ｉが１６未満であるか否かを判定する。１６未満であると判定した場合、図２（ｃ）に示す領域０〜領域１５の全ての領域に対する判定が終了していないとみなし、ステップＳ５３０に進み、領域ｉが空き領域であるか否かを判定する。

空き領域を決定するために、システム制御部１５は１フレーム前の顔検出結果に基づいてインカメラ画像の重畳位置を決定する。図３に示すフレーム１において、顔検出部１０は顔検出結果を出力していない。従って、図３に示すフレーム１における空き領域は、領域０〜領域１５であり、領域０に縮小したインカメラ画像を合成する。

図３に示すフレーム２において、システム制御部１５はフレーム１の顔検出結果に基づいてインカメラ画像の重畳位置を決定する。フレーム１における顔領域は、領域０、領域５、領域９である。従って、フレーム２における空き領域は、領域０、領域５、領域９以外の領域であり、領域１に縮小したインカメラ画像を合成する。

図３に示すフレーム３において、システム制御部１５はフレーム２の顔検出結果に基づいてインカメラ画像の重畳位置を決定する。フレーム２における顔領域は、領域１、領域９、領域１３である。従って、フレーム３における空き領域は、領域１、領域９、領域１３以外の領域であり、領域１に縮小したインカメラ画像を合成する。

ステップＳ５３０において領域ｉが空き領域であると判定しなかった場合、ステップＳ５１１に進み、変数ｉをカウントアップし、処理をステップＳ５０５に戻す。

一方、ステップＳ５３０において領域ｉが空き領域であると判定した場合、ステップＳ５０７に進み、ステップＳ５０１において出力したアウトカメラ画像の領域ｉに対し、ステップＳ５０３において出力した画像が重畳するように合成処理部９を制御し、合成した画像を顔検出部入力画像としてメモリ４１に出力する。図２（ｃ）に示す配置になるよう制御する場合、変数ｉは０を示しており、アウトカメラ画像を位置（０，０）、ステップＳ５０３において出力した画像を位置（０，０）に配置するよう合成処理部９を制御する。ステップＳ５０７の処理完了後、ステップＳ５０８に進む。

次にステップＳ５０８に進み、顔検出部入力画像を顔検出部１０への入力とし、顔検出部１０を介して顔検出処理を行う。

次にステップＳ５０９に進み、Ｓ５０８で検出した顔検出結果の信頼度の算出を行う。図４（ａ）で示すように、検出した顔座標の中心座標が合成領域の境界と閾値より近い（図４（ａ）の灰色の領域）か否かの判定を行う。次に、図４（ｂ）に示すように検出された顔領域が合成領域にまたがっているか否かの判定を行う。上記の２点より、Ｓ５０８で検出した顔検出結果の信頼度を算出する。算出した信頼度が閾値より低い場合に、顔でないものを顔として誤検出したと判断し、顔検出結果を使用しない等の処理を行うことが可能である。

ステップＳ５１０において、処理の終了を受け付けた場合は処理を終了し、受け付けなかった場合はステップＳ５０１に処理を戻す。

一方、ステップＳ５０５において変数ｉが１６未満でないと判定した場合、図２（ｃ）に示す領域０〜領域１５の全ての領域において空き領域が存在しなかったとみなし、ステップＳ５５０に進み、アウトカメラ画像１２５を顔検出部１０への入力とし、顔検出部１０を介して顔検出処理を行い、ステップＳ５１０に進む。

さらに、図５のステップＳ５５０では、アウトカメラ画像を顔検出部１０への入力としたが、所定の評価値に基づいてアウトカメラ画像における主要被写体を決定し、主要被写体を含まない領域にインカメラ画像を重畳して出力するよう制御してもよい。

例えば、所定の評価値として前フレームで検出したアウトカメラ画像における被写体の顔の大きさを用いる場合、顔の大きさが最も大きい被写体を主要被写体と判断し、主要被写体以外の領域に縮小したインカメラ画像を重畳しないよう制御する。このようにすることで、アウトカメラ画像に空き領域が存在しなかった場合でも、アウトカメラ画像に含まれる主要被写体とインカメラ画像の顔検出を行うことが可能である。

さらに、所定の評価値として前フレームで検出したアウトカメラ画像における被写体の顔の位置を用いる場合、アウトカメラ画像における顔の位置が最も中心寄りの被写体を主要被写体と判断し、主要被写体以外の領域にインカメラ画像を重畳しないよう制御する。このようにすることで、アウトカメラ画像に空き領域が存在しなかった場合でも、アウトカメラ画像に含まれる主要被写体とインカメラ画像の顔検出を行うことが可能である。

＜実施例２＞
実施例２では、合成画像の境界領域にマスク処理を行うことで誤検出を防ぐ例を述べる。

図６は、合成領域のマスク処理を説明するための図である。アウトカメラ画像の内部にインカメラ画像を合成した場合、合成領域の境界部分で誤検出がおきやすくなるため、合成領域の境界に所定の色でマスク処理を行う。

図７は、実施例１におけるデジタルカメラの処理を説明するためのフローチャートである。

Ｓ７０１〜Ｓ７０７に関しては実施例１のＳ５０１〜Ｓ５０７の処理と同じため割愛する。

Ｓ７０８では、図６で示すように画像マスク部１２で合成領域にマスク処理を行い、マスク処理した画像を顔検出部入力画像とする。マスク処理を行った画像で顔検出を行うことで、誤検出を減らすことが可能である。

次にステップＳ７０９に進み、顔検出部入力画像を顔検出部１０への入力とし、顔検出部１０を介して顔検出処理を行う。

ステップＳ７１０において、処理の終了を受け付けた場合は処理を終了し、受け付けなかった場合はステップＳ７０１に処理を戻す。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０ａ 第一撮像ユニット
１ 第一撮像ユニット 光学系
３ 第一撮像ユニット 撮像素子
２０ｂ 第二撮像ユニット
２ 第二撮像ユニット 光学系
４ 第二撮像ユニット 撮像素子
７ 信号処理回路
８ 変倍処理部
９ 合成処理部
１０ 顔検出部
１１ 顔検出結果信頼度算出部
１２ 画像マスク部
２１ 表示部
１２ メモリ
１５ システム制御部
１６ 不揮発性メモリ
３１ 記録媒体

Claims (5)

1. 画像を出力する少なくとも２つ以上の画像出力部と、
   画像のサイズを変倍する変倍処理部と、
   少なくとも２枚以上の画像を合成し１枚の画像として出力する合成処理部と、
   画像に含まれる顔領域を検出する顔検出部と、
   前記顔検出部の顔検出結果より前記顔検出結果の信頼度を算出する信頼度算出部と、
   を備え、
   前記合成処理部は、第一の画像出力部で出力した画像を縮小した縮小画像を、第二の画像出力部で出力した画像の内部に合成し、
   合成した画像を使用して顔検出する際は、前記信頼度算出部で顔検出結果の信頼度を算出後に算出した信頼度を考慮して前記顔検出結果を使用すること、
   を特徴とする画像処理装置。
2. 前記合成画像は、前記第一画像内の人物に重畳しないように前記縮小した画像が配置された画像であることを特徴とする、請求項１に記載の撮影装置。
3. 前記信頼度算出部は検出した顔座標位置が合成領域の境界と閾値より近い場合に信頼度を低く算出することを特徴とする、請求項１に記載の撮影装置。
4. 前記信頼度算出部は検出した顔領域が合成領域の境界にまたがっていた場合に信頼度を低く算出することを特徴とする、請求項３に記載の撮影装置。
5. 画像を出力する少なくとも２つ以上の画像出力部と、
   画像のサイズを変倍する変倍処理部と、
   少なくとも２枚以上の画像を合成し１枚の画像として出力する合成処理部と、
   前記合成処理部から出力した合成画像の合成境界領域を所定の色で塗るマスク処理部と、
   画像に含まれる顔領域を検出する顔検出部と、
   を備え、
   前記合成処理部は、第一の画像出力部で出力した画像を縮小した縮小画像を、第二の画像出力部で出力した画像の内部に合成し、
   合成した画像を使用して顔検出する際は、前記合成画像に前記マスク処理部で境界領域を所定の色で塗りつぶした画像を用いて顔検出すること、
   を特徴とする画像処理装置。