JP2016174203A - 半導体装置及びカメラ端末 - Google Patents

Abstract

【課題】撮像画像に基づく対象の認識の利便性を向上させることができる半導体パッケージ及びカメラ端末を提供する。
【解決手段】本実施形態による半導体パッケージは、画像処理部と認証部とを備える。画像処理部は、撮像画像を取得し、撮像画像の画素値を変更可能である。認証部は、撮像画像に含まれる対象画像と参照画像との類似度を認証する。認証部は、対象画像の座標情報を画像処理部に出力し、画像処理部により座標情報の画素値が変更された対象画像と参照画像との類似度を認証する。
【選択図】図１

Description

本発明の実施形態は、半導体装置及びカメラ端末に関する。

顔認証システムでは、カメラで撮像した被認証者の顔画像を、予め端末に蓄積された顔画像の辞書データと比較する。そして、被認証者の顔画像が、辞書データ中の顔画像に合致するか否かを判定する。

しかし、従来の顔認証システムにおいては、カメラの設置場所や照明条件が認証の精度に大きく影響していたため、認証の精度を確保するためにカメラの設置場所等の利用条件を制約する必要があった。このため、従来の顔認証システムには、撮像画像に基づく対象の認識の利便性を向上させることが困難であるといった問題があった。

特開２００１‐２０２５１６号公報

撮像画像に基づく対象の認識の利便性を向上させることができる半導体装置及びカメラ端末を提供する。

本実施形態による半導体装置は、画像処理部と認証部とを備える。画像処理部は、撮像画像を取得し、撮像画像の画素値を変更可能である。認証部は、撮像画像に含まれる対象画像と参照画像との類似度を認証する。認証部は、対象画像の座標情報を画像処理部に出力し、画像処理部により座標情報の画素値が変更された対象画像と参照画像との類似度を認証する。

本実施形態を示す画像処理システム１のブロック図である。 画像処理システム１の動作例を示すフローチャートである。

以下、図面を参照して本発明に係る実施形態を説明する。本実施形態は、本発明を限定するものではない。

図１は、本実施形態を示す画像処理システム１のブロック図である。本実施形態の画像処理システム１は、例えば、施設への入構を許可するための顔認証に用いることができる。画像処理システム１は、撮像画像に基づいて対象を認識（把握）する用途であれば、対象の認証（正当性の確認）以外の用途（例えば、ジェスチャ入力等）に適用してもよい。

図１に示すように、画像処理システム１は、撮像部１１と、画像処理部１２と、認証部１３と、記憶部１４とを備える。記憶部１４には、後述する認証処理のための参照画像が記憶されている。

図１の画像処理システム１は、カメラ端末である。撮像部１１、画像処理部１２、認証部１３および記憶部１４は、単一のカメラの筐体に収容されていてもよい。更に、画像処理部１２、認証部１３および記憶部１４は、半導体装置１０を構成している。半導体装置１０は、ＩＳＰ(Image Signal Processor)であってもよい。図１の画像伝送システム１によれば、後述する認証処理をカメラ単体で実現（自己完結）できる。なお、本実施形態の画像処理システムは、カメラ端末と、カメラ端末とデータ通信可能な外部装置（例えば、サーバ）とで構成してもよい。

撮像部１１は、被写体を撮像し、被写体の撮像画像データを画像処理部１２に出力する。被写体は、例えば人の顔である。撮像部１１は、例えば、レンズや固体撮像素子で構成されるカメラモジュールである。固体撮像素子は、例えば、ＣＭＯＳエリアイメージセンサであってもよい。撮像部１１は、画像処理部１２とともにカメラモジュールを構成してもよい。すなわち、画像処理部１２は、カメラモジュールに備えられていてもよい。

画像処理部１２は、画素値制御部１２１を有する。画像処理部１２は、撮像部１１から撮像画像データを取得し、取得された撮像画像データを画素値制御部１２１に入力する。画素値制御部１２１は、撮像画像データの画素値（すなわち、撮像画像の画素値）を変更（補正、修正）可能である。画素値は、例えば、輝度値である。なお、撮像画像中の最大輝度値と最小輝度値との差を変更することで、コントラストを変更することもできる。画素値制御部１２１は、色差値も変更可能であってもよい。画像処理部１２は、撮像画像データを認証部１３に出力する。

認証部１３は、画像入力部１３１と、対象画像検出部１３２と、特徴点検出部１３３と、認証処理部１３４と、制御部１３５とを有する。

画像入力部１３１は、画像処理部１２から出力された撮像画像データを入力する。

対象画像検出部１３２は、画像入力部１３１によって入力された撮像画像データに基づいて、撮像画像に含まれる対象画像を検出する。ここで、対象画像とは、撮像画像中に写り込んだ画像であって、後述する認証処理の対象となる画像である。例えば、対象画像は、人間の顔画像である。対象画像検出部１３２は、輝度差に基づいて対象画像の顔の輪郭を検出することで、対象画像を検出してもよい。対象画像検出部１３２は、対象画像の座標情報を算出する。

特徴点検出部１３３は、予め決められた対象画像の特徴点を検出する。対象画像が人の顔画像である場合、特徴点は、目や鼻などであってもよい。特徴点検出部１３３は、特徴点の領域の座標情報を算出する。

認証処理部１３４は、特徴点検出部１３３によって検出された対象画像の特徴点と、記憶部１４に記憶されている参照画像とに基づいて、対象画像の認証処理を実行する。ここで、認証処理とは、撮像画像に含まれる対象画像の特徴点が参照画像に該当するか否かを決定（判定）する処理である。認証処理は、対象画像と参照画像との類似度を認証する処理ということもできる。すなわち、認証処理部１３４は、撮像画像に含まれる対象画像が参照画像に該当するか否かを決定する。参照画像とは、認証処理の際に対象画像との類似度を照合される予め取得（登録）されている画像である。例えば、参照画像は、辞書データに登録されている目の画像であり、認証処理は、被認証者の目の画像が辞書データの目の画像との類似度と照合計算を行い、顔認証の判別を行う。ここで、対象画像が参照画像に該当するとは、対象画像と参照画像との類似度が一致することをいうが、完全に一致する場合だけでなく、所定以上の一致点があればよい。

制御部１３５は、認証処理部１３４によって対象画像が参照画像に該当しないと決定された場合に、画像処理部１２に対して、対象画像の領域を示す座標情報を出力（フィードバック）して画素値の変更（対象画像の加工）を指示する。また、制御部１３５は、特徴点検出部１３３によって特徴点が検出されなかった場合にも、画像処理部１２に対して、対象画像の領域を示す座標情報を出力して対象画像の画素値の変更を指示する。ここで、座標情報に示される対象画像の領域は、対象画像の全領域であってもよく、または、対象画像に特徴点が検出されている場合には特徴点の領域であってもよい。

画素値制御部１２１は、対象画像の画素値の変更を行う。認証部１３において対象画像が参照画像に該当しない場合、制御部１３５から得られた対象画像の座標情報の画素値を変更する。すなわち、画素値制御部１２１は、認証部１３が対象画像と参照画像との類似度を認証できない場合に、画素値の変更を行う。また、認証部１３において対象画像の特徴点が検出できなかった場合、制御部１３５から得られた対象画像の座標情報の画素値を変更する。画素値を変更した対象画像は、認証部１３に出力される。画素値の変更は、例えば輝度やコントラストを変更することで、画像を鮮明にすることであってもよい。なお、対象画像だけでなく、画素値を変更した対象画像を含む撮像画像を認証部１３へ出力してもよい。また、特徴点が検出されている場合であって、参照画像に該当しない場合は、特徴点の座標領域の画素値を変更し、特徴点の画像を認証部１３に出力してもよい。

認証部１３は、座標情報に基づいて画素値を変更した対象画像と参照画像を比較し、再度認証処理を行う。特徴点検出部１３３は、対象画像の特徴点を検出する。また、認証処理部１３４は、画素値を変更した対象画像に対する認証処理を実行する。画素値を変更した対象画像に対する認証処理を実行することで、真正な認証対象を認証する頻度を向上させることができる。なお、これらの認証処理は、参照画像と一致するまで繰り返すことができる。

次に、上述した構成を有する画像処理システム１の動作例について図２を参照して説明する。図２は、画像処理システム１の動作例を示すフローチャートである。

図２に示すように、先ず、撮像部１１は、被写体を撮像する（ステップＳ１）。画像処理部１２は、撮像画像データに所定の画像処理を施し、認証部１３に出力する。

次いで、画像入力部１３１は、画像処理部１２から出力された撮像画像を入力（画像入力）する（ステップＳ２）。

次いで、対象画像検出部１３２は、撮像画像から対象画像を検出する（ステップＳ３）。

次いで、特徴点検出部１３３は、対象画像の特徴点を検出する（ステップＳ４）。

次いで、認証処理部１３４は、特徴点が検出されたか否かを判定する（ステップＳ５）。そして、特徴点が検出された場合（ステップＳ５：Ｙｅｓ）、認証処理部１３４は、検出された特徴点に基づいて、対象画像を正規化する（ステップＳ６）。正規化は、例えば、対象画像を参照画像と比較できるように、対象画像の角度（回転）や大きさ（倍率）を参照画像の角度や大きさに整合させる処理であってもよい。

次いで、認証処理部１３４は、正規化された対象画像を、記憶部１４に記憶された参照画像と照合する（ステップＳ７）。照合は、対象画像と参照画像とを比較して、参照画像に対する対象画像の類似度を計算する処理であってもよい。類似度の具体的な態様は限定されない。例えば、認証処理部１３４は、対象画像と参照画像との間で座標および画素値が互いに一致する画素の個数などに基づいて類似度を計算してもよい。

次いで、認証処理部１３４は、照合の結果に基づいて、対象画像が参照画像に該当するか否かを決定（判定）する（ステップＳ８）。すなわち、認証処理部１３４（認証部１３）は、対象画像と参照画像との類似度を認証する。そして、対象画像が参照画像に該当すると決定された場合（ステップＳ８：Ｙｅｓ）、処理を終了する。この場合、画像処理システム１は、画像処理システム１に連携するセキュリティシステム（例えば、入構管理システム）に対して、対象画像が参照画像に該当する（本人確認が取れた）旨の情報を送信してよい。

一方、特徴点が検出されなかった場合（ステップＳ５：Ｎｏ）、制御部１３５は、対象画像の領域を示す座標情報を画像処理部１２に出力し、対象画像の加工を指示する（ステップＳ９）。なお、検出すべき特徴点が複数存在する場合、少なくとも１つの特徴点が検出されなかったことをもって、特徴点が検出されなかったとしてもよい。

次いで、画素値制御部１２１は、座標情報に示される対象画像の領域において対象画像の画素値を変更する（ステップＳ１０）。このとき、画素値制御部１２１は、対象画像の領域において、対象画像の輝度値を増加させてもよく、または、対象画像のコントラストを増加させてもよい。このように、対象画像の領域を示す座標情報に基づいて撮像画像の一部について行うことで、対象画像を簡便、適正かつ迅速に画素値を変更することができる。

そして、画像処理部１２は、画素値が変更された対象画像を認証部１３に出力する。また、画素値が変更された対象画像が含まれた撮像画像の態様で認証部１３に出力してもよい。その後は、画像入力（ステップＳ２）以後の処理を繰り返す。ここで、画像処理部１２から対象画像のみが認証部１３に出力された場合は、対象画像検出部１３２において対象画像を検出する必要がなく、処理の短縮を図ることができる。

また、対象画像が参照画像に該当しないと決定された場合（ステップＳ８：Ｎｏ）、制御部１３５は、対象画像の領域を示す座標情報を画像処理部１２に出力する（ステップＳ１１）。このとき、制御部１３５は、当該対象画像の特徴点の領域を示す座標情報を出力してもよい。

次いで、画素値制御部１２１は、座標情報に示される対象画像の領域において対象画像の画素値を変更する（ステップＳ１２）。このとき、画素値制御部１２１は、対象画像の領域において、対象画像の輝度値を増加させてもよく、または、対象画像のコントラストを増加させてもよい。このように、対象画像の領域を示す座標情報に基づいて撮像画像の一部について行うことで、対象画像を簡便、適正かつ迅速に画素値を変更することができる。

そして、画像処理部１２は、画素値が変更された対象画像を認証部１３に出力する。また、画素値が変更された対象画像が含まれた撮像画像の態様で認証部１３に出力してもよい。その後は、画像入力（ステップＳ２）以後の処理を繰り返す。ここで、画像処理部１２から対象画像のみが認証部１３に出力された場合は、対象画像検出部１３２において対象画像を検出する必要がなく、処理の短縮を図ることができる。また、特徴部の領域のみの画像を認証部１３に出力された場合は、対象画像検出部１３２及び特徴点検出部１３３における処理が不要となり、更なる処理の短縮を図ることができる。

カメラ端末の設置場所や照明条件によっては、参照画像の被写体と同一の被写体を撮像することで得られた対象画像が、画素値において参照画像と大きく異なる場合が生じ得る。例えば、対象画像の被写体の撮像時の照明条件が暗いことで、参照画像よりも暗い対象画像が得られる場合がある。対象画像の画素値が参照画像の画素値と大きく異なる場合、認証処理部１３４は、本来であれば参照画像に該当すると決定すべき対象画像を、参照画像に該当しないと決定してしまう。

しかるに、対象画像の画素値を変更することで、参照画像に該当すると決定できる可能性がある。したがって、撮像画像を取り直すことなく、認証する頻度を向上させること、すなわち、真正な認証対象に対する誤認証（本人拒否）の機会を低減することができる。また、対象画像に対して輝度値やコントラストを増加させた画像とすることで、認証する頻度を更に向上させることができる。

また、カメラ端末の設置場所や照明条件によっては、参照画像と同一の被写体であるにもかかわらず、対象画像の特徴点を検出できないために対象画像が参照画像に該当しない場合がある。

しかるに、対象画像の画素値を変更することで、特徴点を検出できる可能性がある。したがって、対象画像の画素値を変更することで、撮像画像を取り直すことなく、認証する頻度を更に向上させることができる。

なお、対象画像が参照画像に該当するまで画素値の変更と認証処理を繰り返せばよいが、繰り返しの回数には上限を設けることが望ましい。繰り返しの回数に上限を設けることで、参照画像が登録されていない認証対象への無駄な認証処理を徒に繰り返さないようにすることができる。

以上述べたように、本実施形態によれば、対象画像の画素値を変更することで、撮像画像を取り直すことなく、カメラ端末の設置位置や照明条件にかかわらず、速やかに対象画像の認証精度を確保することができる。これにより、カメラ端末の設置位置や照明条件の制約を緩和して、撮像画像に基づく対象の認識の利便性を向上させることができる。

また、実施形態によれば、認証処理をカメラ単体で実現することもできる。認証処理をカメラ単体で実現する場合、認証処理を高性能なエンターテイメント端末（中規模または大規模のサーバ）で実現する場合に比較して、コストを削減でき、かつ、利便性を向上できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 画像処理システム
１０ 半導体装置
１２ 画像処理部
１３ 認証部

Claims (5)

1. 撮像画像を取得し、前記撮像画像の画素値を変更可能な画像処理部と、
   前記撮像画像に含まれる対象画像と参照画像との類似度を認証する認証部と、を備え、
   前記認証部は、前記対象画像の座標情報を前記画像処理部に出力し、前記画像処理部により前記座標情報の画素値が変更された対象画像と前記参照画像との類似度を認証する、半導体装置。
2. 前記認証部が前記対象画像と前記参照画像との類似度を認証できない場合に、前記画素値の変更を行うことを特徴とする請求項１に記載の半導体装置。
3. 前記認証部が前記対象画像の特徴点を検出できない場合に、前記画素値の変更を行うことを特徴とする請求項１又は２に記載の半導体装置。
4. 前記画素値の変更は、前記対象画像の輝度値又はコントラストの増加である、請求項１乃至請求項３のいずれか１項に記載の半導体装置。
5. 被写体を撮像する撮像部と、
   前記撮像部により撮像された撮像画像に含まれる対象画像と参照画像との類似度を認証する認証部と、を備え、
   前記認証部は、前記対象画像と前記参照画像との類似度が認証できない場合、前記対象画像の座標情報に基づいて画素値が変更された対象画像と前記参照画像との類似度を認証する、カメラ端末。

Images