JP2017098746A - 画像処理装置 - Google Patents

Abstract

【課題】顔認識を適切に行うことができるような画像処理を行う画像処理装置を提供する。【解決手段】認識対象となる顔を含む人物を撮像対象として撮像して人物の顔認識を行う。そして、その顔に関する顔情報を取得して人物の属性情報の推定が可能であるか否かを判断する。人物の属性情報の推定を行うことができないとき、取得した顔情報に基づいて撮像対象の撮像に用いられる撮像設定情報を調整する。【選択図】図２

Description

本発明は、画像処理装置に関する。

一般的に、カメラ等の撮像機器を用いて対象物を撮像したとき、カメラの向きや対象物との関係によっては、撮像した撮像画像（以下、単に「画像」、「写真」と称する）の精度が低下することとなる場合がある。例えば、ピントが合っていないことによるピンボケ、レンズに取り込む光の量が多すぎる露光オーバー、レンズに取り込む光の量が多すぎる露光アンダー等がある。

また、撮像した画像を元に、その画像に含まれる人物をもとに顔を認識する技術がある。顔の認識を行うためには撮像した画像に対して一定の精度が求められる。

これは、人間の顔が多様性に富んでおり、顔認識にはさまざまな情報を必要とされているためである。例えば、人種、年齢、性別などの個人ごとに異なる情報や、撮像した人物の向き、傾き等の撮像情報などの情報を用いて総合的に判断する必要がある。

このため、撮像した画像の露光量が適切でない場合や感度が低いような場合に顔認識が困難となってしまうことがある。

特許文献１では、露光量等を調整することによって画像を補正することが記載されている。

特願２０１４−２３９３９６号

しかしながら、このような特許文献１に示されるような技術では画像全体としてみた場合にはその補正によって適切な画像となっている反面、その一部においては必ずしも適切な画像となっているとは言えない場合がある。

例えば、背景とともに人物が撮像された画像から人物の顔認識を行うような場合、全体として適切な画像になっているものの、その一部である顔部分の画像では顔認識が困難である場合がある。

そこで、本発明は、顔認識を適切に行うことができるような画像処理を行う画像処理装置を提供することを目的とする。

上記目的を達成するため、請求項１に係る本発明は、認識対象となる顔を含む人物を撮像対象として撮像する撮像手段と、前記撮像手段で撮像した人物の顔認識を行う顔認識手段と、前記顔認識手段によって認識した顔に関する顔情報を取得する情報取得手段と、前記情報取得手段によって取得した顔情報をもとに人物の属性情報の推定が可能であるか否かを判断する可否判断手段と、前記可否判断手段により人物の属性情報の推定を行うことができないとき、前記情報取得手段で取得した顔情報に基づいて該顔情報の顔を含む前記撮像対象の撮像に用いられる撮像設定情報を調整する調整手段とを具備する。

本発明の実施の形態における画像処理装置を有する自動販売機を示す図。 本発明の実施の形態における画像処理装置を適用して構成したブロック図。 本発明の実施の形態における画像処理装置において画像処理の状態を表す図。 本発明の実施の形態における画像処理装置において行われる画像処理の流れを示すフローチャート。 図４において示す「調整確認処理１」の詳細な流れを示すフローチャート。 図４において示す「調整確認処理２」の詳細な流れを示すフローチャート。 本発明の実施の形態における画像処理装置において用いられる撮像設定情報変更テーブルを示す図。

以下、本発明に係わる画像処理装置の一実施例を添付図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置を有する自動販売機を示す図であって、図２は、本発明の実施の形態における画像処理装置を適用して構成したブロック図である。なお、この画像処理装置は、防犯用に設けられた撮像装置で撮像した画像に対して画像処理を行うほか、所定の画像に対しても行うことが可能である。

図１において、自動販売機は、対価の支払いにより容器に内包された飲料（缶飲料、ペットボトル飲料等）の払い出しや所定のサービスの提供を行うことが可能である。例えば、硬貨や紙幣のほか電子マネーなどの通貨により支払いが行われると、選択された種類の飲料を下部に設けられた排出口より排出されるほか、ディスプレイ等の表示部１１０に所定の情報（地図情報、飲食店情報、イベント情報等）を表示させて情報提供を行う。

この自動販売機には、ＣＣＤカメラやＣＭＯＳセンサー等の撮像装置（撮像機、撮影機）（以下、「撮像部１０１」と称する）が搭載されており、所定の撮像条件（撮像開始条件）の成立によって撮像設定情報に基づいて撮像部１０１が自動販売機でサービスの提供を受ける人物を含む撮像対象（撮像物）の撮像を行う。撮像対象は、人物のみであっても良いが、この人物のほか背景を含む。

また、所定の撮像条件は、人物がサービスの享受を指示したことのほか、任意の人物が撮像可能な撮像範囲に一定時間継続して位置したこととすることも可能である。

さらに、撮像設定情報は、撮像部１０１が撮像対象を撮像する際に用いられる設定情報であって、ＣＣＤカメラやＣＭＯＳセンサー等の感度（ゲイン）やＣＣＤカメラやＣＭＯＳセンサー等に入射される光量を調整する露光時間など等によって構成される。

上記の撮像条件が成立して予め指定された撮像設定情報（初期撮像設定情報）に基づき撮像部１０１が撮像対象を撮像すると、表示部１１０にその撮像対象に対する撮像画像を表示することが可能である。なお、撮像した画像を必ずしも表示部１１０に表示する必要はない。

図２では、撮像ユニット１００、表示部１１０が示されている。この撮像ユニット１００は、撮像対象を撮像することによってその撮像対象の撮像情報（後述する「色調データ」が該当）を取得して、その撮像情報に基づく最適な撮像設定情報を用いて撮像対象を撮像するユニットである。なお、この撮像対象に人物が含まれている場合、その人物の顔部分（以下、単に「顔」と称する）の撮像情報を含む顔情報を取得し、人物の顔の認識精度を高めるために顔情報を元に新たに設定した撮像設定情報を用いて撮像対象を撮像する。このときの顔は、人物より認識する認識対象であるほか、どのような属性情報を有する人物であるかを推定（特定）する属性推定対象（属性特定対象）でもある。このときの属性情報（単に、「属性」とも称する）とは、人物に関する情報であって、人種、年齢、性別等によって表される。

この撮像ユニット１００は、人物等を含む撮像対象を撮像するレンズや撮像素子等からなる撮像部１０１（上記の「撮像装置」が該当）、撮像部１０１で撮像対象を撮像した撮像画像を所定のタイミングでサンプリングした画像信号に対して所定の信号処理を行う信号処理部１０２、画像信号に対して画像処理を行う画像処理部１０３を具備して構成されている。

撮像部１０１では、各種フィルタを介してアレイ配列された撮像素子それぞれで撮像対象の入力信号を読み出し、読み出した入力信号を信号処理部１０２へと送出する。

信号処理部１０２は、サンプリング処理部１０２ａ、ジェネレータ１０２ｂ、レジスタ１０２ｃ、調整部１０２ｄを具備して構成される。

撮像部１０１によって読み出した信号はサンプリング処理部１０２ａに入力され、このサンプリング処理部１０２ａは、撮像部１０１から信号が入力された状態と入力されていない状態とから、入力された信号の内容（撮像画像）を明確にするサンプリング処理を行って調整部１０２ｄへと信号を送信する。このサンプリング処理部１０２ａは、信号レベルの低い入力信号によるノイズを最大限除去することが可能である。このサンプリング処理部１０２ａは、ジェネレータ１０２ｂからのクロック信号（パルス）を受け付けることでそのクロック信号に基づく処理タイミングにサンプリング処理を行う。

ジェネレータ１０２ｂは、所定の信号処理用のクロック信号を生成することが可能であって、このクロック信号をサンプリング処理部１０２ａに送信するほか、撮像部１０１に送信することとしてもよい。この場合、サンプリング処理部１０２ａにおいて行われるサンプリング処理および撮像部１０１において行われる撮像処理が、このクロック信号に基づくタイミングで処理されることとなる。このときのクロック信号を「３３ｍｓ（ミリ秒）」とすると、「１秒間（１０００ｍｓ）」当たり「３０フレーム」の画像が撮像部１０１によって撮像されることとなる。

サンプリング処理部１０２ａにおいてサンプリング処理が行われた信号（各フレーム単位の信号）は調整部１０２ｄに入力され、この調整部１０２ｄは、サンプリング処理部１０２ａから信号を受け付けることによって、その信号をもとに撮像設定情報が不適切であることで撮像画像が適切でないと判断する場合にその撮像設定情報の少なくとも一部を調整する処理を行うことで信号レベルを一定のレベルに保つ処理を行う。この調整部１０２ｄでは、調整処理が行われると、調整された調整後の撮像設定情報をレジスタ１０２ｃへと記憶する。なお、撮像画像が適切でないと判断しない場合（撮像画像が適切である場合）には撮像設定情報の少なくとも一部を調整する処理を行わないこととしてもよい。

このほか、調整部１０２ｄでは、以下に示すような画像処理部１０３において行われる画像処理によってレジスタ１０２ｃで記憶する顔情報（認識できた顔の位置座標、顔位置座標の明るさ情報）を元に撮像設定情報の調整確認処理を行うことも可能である。すなわち、撮像設定情報は、認識した顔から人物の属性情報の推定する際に撮像部１０１が用いる情報である。また、レジスタ１０２ｃに各種情報を記憶していない場合、撮像設定情報の調整確認処理を行わない。

撮像部１０１は、このレジスタ１０２ｃにおいて記憶している撮像設定情報に基づいて撮像対象の撮像を行うものである。

このような信号処理を行うと、信号処理部１０２は、撮像画像を画像処理部１０３へと送信する。

画像処理部１０３では、受信した撮像画像を元にその撮像画像から撮像対象に人物の顔が含まれているかの「顔認識処理」を行う。顔認識処理は、顔を認識する処理であって、撮像対象に人物（認識した顔を有する人物）が含まれていることを識別する処理である。あくまでも顔認識処理は、人物が撮像画像に含まれていることを認識する処理である。この顔認識処理は、例えば、撮像画像を複数の矩形領域に分けて矩形領域間の明度差を元に顔の特徴を把握することが可能であるほか、３次元モデルを形成することで顔の器官（目、鼻、口等）を検出して顔を認識する方法がある。

このように顔認識処理が行われて顔認識すると、画像処理部１０３は、認識した顔の位置座標を特定する処理を行う。このとき複数の顔が認識できた場合にはそれぞれの顔の位置座標を特定する。また、顔認識が行われて顔の位置座標が特定されると、画像処理部１０３では、その顔の位置座標に該当する画素（ピクセル）の色調データを取得する。この色調データは、撮像設定情報を決定するために用いられる撮像情報であって、例えば、明度（明るさ情報）や彩度によって表される。以下では、「明るさ情報」をもとに説明する。

この明るさ情報（色調データの一例、以下同様。）は、撮像画像をグレースケール画像としたときに１画素当たり１バイト（８ビット）で表され、画像の濃淡を２５６階調で表したものである。このとき、最も濃い状態を「０階調」とし、最も薄い状態を「２５５階調」としている。

続いて、画像処理部１０３では、各画素の濃淡を算出し、算出した各画素の濃淡から画像全体の平均値を計算する。この平均値を撮像画像の明るさ情報とする。すなわち、画像処理部１０３において顔認識が行われて顔位置座標が特定されている場合には、この顔位置座標の明るさ情報を算出することとなるのに対して、画像処理部１０３において顔認識ができない場合には、この撮像画像全体の明るさ情報を算出する。

このように、明るさ情報が算出されると、画像処理部１０３は、この明るさ情報をレジスタ１０２ｃへと記憶するほか、顔認識処理によって顔が認識できた場合には認識した顔がある顔位置座標（顔位置情報）をレジスタ１０２ｃへと記憶する。すなわち、画像処理部１０３４における顔認識処理において顔が認識できた場合、レジスタ１０２ｃには、顔認識ができたこと、認識できた顔の位置座標、顔位置座標の明るさ情報を顔情報として記憶した状態となる。それに対して、顔が認識できない場合には顔が認識できないこと、撮像画像全体の明るさ情報を記憶した状態となる。なお、レジスタ１０２ｃには初期値として「顔が認識できないこと（顔認識フラグ＝ＯＦＦ）」を記憶している。このときの顔位置情報とは、顔全体の位置情報や顔を構成する器官（目、鼻、口等）ごとの位置情報および形状情報のほか、各器官間の位置関係に関する情報をも含むこととしてもよい。

このようにレジスタ１０２ｃにおいて所定のフレーム数分の明るさ情報が記憶されると、調整部１０２ｄは、これらの明るさ情報をもとに（広い概念では顔情報をもとに）撮像設定情報の調整確認処理を行う。

この調整確認処理は、色調データである明るさ情報が、認識した顔から人物の属性情報の推定することが可能であると指定されている有効範囲内となるように撮像装置が用いる撮像設定情報を変更する処理である。より具体的には、調整確認処理は、図７に示すような撮像設定情報変更テーブルを用いて明るさ情報であるゲイン、露光時間等の撮像設定情報を、所定の変更幅で変更する処理である。

このことから、所定の変更幅で、明るさ情報であるゲイン、露光時間等の撮像設定情報を変更していき、明るさ情報が、指定されている有効範囲内となったときに、認識した顔の顔情報をもとに人物の属性情報を推定することが可能となったことで撮像処理を終了する撮像終了条件が成立したと判断する。調整確認処理の詳細については図５および図６に示し、後述する。

また、所定のフレーム数とは、例えば、任意の複数のフレーム数とすることができるほか、クロック信号に基づく時間に撮像した複数のフレーム数とすることができる。なお、複数のフレーム数分の明るさ情報がレジスタ１０２ｃに記憶されたことによって調整部１０２ｄが調整確認処理を行うこととしているが、これに限定されることなく、単一のフレームの明るさ情報が記憶されたときに調整部１０２ｄが調整確認処理を行うこととしてもよい。つまり、撮像した単一のフレーム毎に調整確認処理を行うこととなる。

図３は、本発明の実施の形態における画像処理装置において画像処理の状態を表す図である。

図３において、図３（ａ）は、所定のフレーム数分の撮像画像のうち１フレーム分を示した撮像画像を示す図であって、この撮像画像においては顔認識処理によって適切に顔を認識することができない撮像画像を示している。図３（ｂ）は、図３（ａ）に示す撮像画像を用いて顔認識処理を行って、顔位置座標を抽出した状態を示す図である。

図３（ｃ）は、図３（ｂ）に示すような顔の色調データ（明るさ情報）を算出してその算出した色調データを用いて撮像設定情報（ゲイン、露光時間）を設定後、その撮像設定情報を用いて撮像部が撮像対象を撮像した撮像画像を示す図である。図３（ｃ）に示す撮像画像は、図３（ａ）に示す撮像画像と比べて撮像画像全体が、顔部分の色調データを用いて設定された撮像設定情報によって顔認識の可能性を高めた状態を示している。

図４は、本発明の実施の形態における画像処理装置において行われる画像処理の流れを示すフローチャートである。

図４において、画像処理装置の一例である画像処理部は、撮像開始条件が成立すること等によって処理が開始されると、まず、初期化処理を行う（Ｓ４０１）。この初期化処理は、レジスタに記憶している情報を初期状態とする処理である。

初期化処理（Ｓ４０１）が行われると、続いて、画像処理部は、撮像装置を用いて人物を含む撮像対象を撮像する処理を行う（Ｓ４０２）。撮像対象が撮像されると、画像処理部は、その撮像した撮像画像に含まれる人物から顔部分を認識する処理を行う（Ｓ４０３）。

続いて、画像処理部は、この顔認識処理において顔認識できたか否かを判断する（Ｓ４０４）。顔認識処理において顔認識ができたと判断する場合（Ｓ４０４でＹＥＳ）、画像処理部は、認識した顔に関する情報（顔情報）を取得する処理を行う（Ｓ４０５）。このときの顔情報は、認識した顔から人物の属性情報を推定するために必要な情報であって、顔部分の色調データや顔の位置座標等が該当する。

このようにして顔情報を取得すると、画像処理部は、顔情報を保存する処理を行う（Ｓ４０６）。これによって、撮像した撮像画像に対する顔情報が保存された状態となる。フレーム単位で撮像対象を撮像する場合にはフレーム単位で顔情報が保存された状態となる。

続いて、所定フレーム数分の顔情報を保存しているか否かを判断し（Ｓ４０７）、所定フレーム数分の顔情報を保存していると判断する場合（Ｓ４０７でＹＥＳ）、画像処理部は、続いて、人物の属性情報の推定の終了に伴う撮像終了条件が成立したか否かを判断する（Ｓ４１１）。これに対して、所定フレーム数分の顔情報を保存していると判断しない場合（Ｓ４０７でＮＯ）、画像処理部は、「調整確認処理１」を行う（Ｓ４０８）。所定フレーム数が単一のフレームである場合にはフレームごとにこれらの処理を行う。

この「調整確認処理１」は、図５に示すような処理であって、顔情報に含まれる色調データに基づいて新たな撮像設定情報を算出する処理である。

次に、顔認識処理において顔認識できたか否かを判断する処理（Ｓ４０４）において、顔認識処理において顔認識ができたと判断しない場合（Ｓ４０４でＮＯ）、画像処理部は、撮像画像の撮像対象全体から色調データを取得する処理を行い（Ｓ４０９）、「調整確認処理２」を行う（Ｓ４１１）。

この「調整確認処理２」は、図６に示すような処理であって、撮像画像全体の色調データに基づいて新たな撮像設定情報を算出する処理である。

このようにして、調整確認処理１が行われた場合、調整確認処理２が行われた場合、所定フレーム数分の顔画像を保存していない場合、これらいずれの場合において画像処理部は、人物の属性情報の推定の終了に伴う撮像終了条件が成立したか否かを判断する（Ｓ４１１）。この撮像終了条件は、人物の属性情報の推定に必要な処理が完了したこと等である。すなわち、人物の属性情報の推定を行うための適切な撮像設定情報が設定されたことを示す。

図５は、図４において示す「調整確認処理１」の詳細な流れを示すフローチャートである。この「調整確認処理１」では、顔情報の一部である色調データから撮像画像全体を撮像する撮像設定情報を算出する処理である。

図５において、画像処理部は、顔認識処理によって認識した顔部分の各ピクセルからそれぞれ顔情報の一部である色調データを取得する（Ｓ５０１）。この色調データは、上記に示すように階調値によって指定される。

色調データを取得すると、画像処理部は、各ピクセルの色調データから撮像画像全体の「平均色調データ」を算出する（Ｓ５０２）。この「平均色調データ」が顔部分の明るさ情報として示されることとなる。

続いて、画像処理部は、この「平均色調データ」、すなわち、顔部分の明るさ情報が、所定の有効範囲内にあって人物の属性情報の推定に必要な有効範囲内にあるか否かを判断する（Ｓ５０３）。「平均色調データ」が所定の範囲内にあると判断する場合（Ｓ５０３でＹＥＳ）、画像処理部は、処理を終了する。これに対して、所定の範囲内に「平均色調データ」があると判断しない場合（Ｓ５０３でＮＯ）、画像処理部は、続いて、撮像設定情報（ゲイン、露光時間）を所定の変更幅だけ変更して新たな撮像設定情報を算出する（Ｓ５０４）。そして、画像処理部は、この撮像設定情報をレジスタに保存（登録）する（Ｓ５０５）。

図６は、図４において示す「調整確認処理２」の詳細な流れを示すフローチャートである。この「調整確認処理２」では、撮像画像全体の色調データから撮像画像全体を撮像する撮像設定情報を算出する処理である。

図６において、画像処理部は、撮像画像全体の各ピクセルからそれぞれ色調データを取得する（Ｓ６０１）。

色調データを取得すると、画像処理部は、各ピクセルの色調データから撮像画像全体の「平均色調データ」を算出する（Ｓ６０２）。この「平均色調データ」が顔部分の明るさ情報として示されることとなる。

続いて、画像処理部は、この「平均色調データ」、すなわち、顔部分の明るさ情報が、所定の有効範囲内にあって人物の属性情報の推定に必要な有効範囲内にあるか否かを判断する（Ｓ６０３）。この「平均色調データ」が所定の範囲内にあると判断する場合（Ｓ６０３でＹＥＳ）、画像処理部は、処理を終了する。これに対して、所定の範囲内に「平均色調データ」があると判断しない場合（Ｓ６０３でＮＯ）、画像処理部は、続いて、撮像設定情報（ゲイン、露光時間）を所定の変更幅だけ変更して新たな撮像設定情報を算出する（Ｓ６０４）。そして、画像処理部は、この撮像設定情報をレジスタに保存（登録）する（Ｓ６０５）。

このように、図５および図６に示すような各調整確認処理によって最適な撮像設定情報がレジスタに保存された状態となり、この撮像設定情報を用いて人物の属性情報を推定することが可能となる。

図７は、本発明の実施の形態における画像処理装置において用いられる撮像設定情報変更テーブルを示す図である。

図７において、撮像設定情報変更テーブルは、撮像設定情報項目名称７０、優先度７１、設定範囲７２、変更幅７３によって構成されている。

撮像設定情報項目名称７０は、撮像設定情報を構成する項目である。また、優先度７１は、撮像設定情報項目名称７０のいずれかを変更する場合に優先する項目を指定する情報であって、設定範囲７２は、撮像設定情報を構成する各項目が取り得る範囲の値を示し、変更幅７３は、撮像設定情報を構成する各項目を変更していく変更幅である。

図７では、撮像設定情報項目名称７０として、「ゲイン（感度）」、「露光時間（シャッタースピード）」が示されており、優先度７１として、「ゲイン（感度）」に対して「高（１）」、「露光時間（シャッタースピード）」に対して「低（０）」が示されている。このことから、「ゲイン（感度）」が「露光時間（シャッタースピード）」よりも優先して変更されていくことを示している。

このときの変更幅が変更幅７３において示されるように、「ゲイン（感度）」が「５」の変更幅で変更されていき、「露光時間（シャッタースピード）」が「５００」の変更幅で変更されていくことを示している。そして、設定範囲７２には、「ゲイン（感度）」、「露光時間（シャッタースピード）」の取り得る設定範囲が示されており、「ゲイン（感度）」は「０−２５５」の範囲であって、「露光時間（シャッタースピード）」は「０−６５５３５」の範囲である。

以上のことから、撮像対象を撮像した撮像画像において、顔認識したとき、認識した顔の顔情報（色調データ（特に、明るさ情報））が所定の範囲内にない場合、「ゲイン（感度）」を優先して「５」の変更幅で変更し、その後、「露光時間（シャッタースピード）」を「５００」の変更幅で変更していく。この「ゲイン（感度）」と「露光時間（シャッタースピード）」とを交互に変更していくようにしてもよいし、一方のみを変更していくことで、顔の顔情報（色調データ（特に、明るさ情報））を所定の範囲内となるようにしてもよい。

このように、撮像設定情報である「ゲイン（感度）」、「露光時間（シャッタースピード）」を変更することで人物の属性情報を推定するための適切な明るさ情報を得ることが可能となる。

以上に示す実施の形態は、本発明の実施の一形態であって、これらの実施例に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

１０ 自動販売機
１００ 撮像ユニット
１０１ 撮像部
１０２ 信号処理部
１０３ 画像処理部
１１０ 表示部

Claims (4)

1. 認識対象となる顔を含む人物を撮像対象として撮像する撮像手段と、
   前記撮像手段で撮像した人物の顔認識を行う顔認識手段と、
   前記顔認識手段によって認識した顔に関する顔情報を取得する情報取得手段と、
   前記情報取得手段によって取得した顔情報をもとに人物の属性情報の推定が可能であるか否かを判断する可否判断手段と、
   前記可否判断手段により人物の属性情報の推定を行うことができないとき、前記情報取得手段で取得した顔情報に基づいて該顔情報の顔を含む前記撮像対象の撮像に用いられる撮像設定情報を調整する調整手段と
   を具備する画像処理装置。
2. 前記可否判断手段は、
   前記顔認識手段によって認識した顔の色調データが、人物の属性情報の推定が可能であると指定されている有効範囲内にあるか否かを判断し、
   前記調整手段は、
   前記可否判断手段によって前記色調データが有効範囲内になく人物の属性情報の推定を行うことができないと判断することによって前記撮像設定情報を調整する請求項１記載の画像処理装置。
3. 前記顔情報は、
   前記撮像手段の感度、露光時間を含み、
   前記調整手段は、
   前記情報取得手段で取得した前記顔に対する前記感度、前記露光時間の少なくとも一方を調整する請求項１記載の画像処理装置。
4. 前記調整手段によって調整された前記撮像設定情報に基づいて前記撮像対象を表示する表示手段と
   をさらに具備する請求項１乃至３のいずれかに記載の画像処理装置。