JP2021135758A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影された画像に含まれる被写体像から認識対象とすべき被写体を容易に特定できるようにすること。【解決手段】画像処理装置１０は、撮像部５１にて撮像された画像２０１に対応する画像データを取得する取得手段としての画像情報取得部１１３と、画像情報取得部１１３によって取得された画像２０１に大応する画像データから被写体像１０１ｓを検出すると、撮像部５１と前記検出された被写体像１０１ｓとの距離を取得する距離取得手段としての距離情報取得部１１４と、距離情報取得部１１４によって取得された距離に基づき、被写体像１０１ｓに対応する人物１０１を認識対象として特定する特定手段としての特定処理部１１５と、を備える。【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、撮影した画像から人の顔を検出し、認識対象として特定する技術が知られている。例えば特許文献１に記載された技術では、複数のカメラを備え、身長が異なる被写体がいる場合は画像合成を行うことで認証用の顔画像を検出することや、同一の人物の人物像を複数のカメラが撮影した場合、これら複数のカメラ夫々から得られた画像におけるこの人物像の大きさから三角測量の原理で複数のカメラが設置された位置とその人物のとの距離を測定することが記載されている。

特開２００１−０５６８５９号公報

しかしながら、上記の特許文献１に記載された技術では、撮影範囲内の全ての人物が認識対象ではない状況の場合、認識対象としたい人物を特定して処理させることは不可能である。

本発明は、このような状況に鑑みてなされたものであり、撮影された画像に含まれる被写体像から認識対象とすべき被写体を容易に特定できるようにすることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、撮像部にて撮像された画像を取得する取得手段と、前記取得手段によって取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得手段と、前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定手段と、を備えることを特徴とする。

本発明によれば、撮影された画像に含まれる被写体像から認識対象とすべき被写体を容易に特定できるようにすることができる。

本発明の一実施形態に係る画像処理システムの構成を示すシステム構成図である。 本発明の一実施形態に係る画像処理ユニットが適用される店舗内の様子を示した模式図である。 本発明の一実施形態に係る画像処理ユニットのハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る画像処理ユニットの機能的構成のうち、人を特定する処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る画像処理ユニットの画像情報取得部によって取得される画像の例を示す模式図である。 本発明の一実施形態に係る画像処理ユニットの距離情報取得部によって取得される画像の例を示す模式図である。 本発明の一実施形態に係る画像処理ユニットによる特定処理を説明する模式図である。 本発明の一実施形態に係る画像処理ユニットによる切出し処理を説明する模式図である。 本発明の一実施形態に係る画像処理ユニットによって生成される認証用画像の例を示す模式図である。 本発明の一実施形態に係る画像処理ユニットによる特定処理の流れの一例を示すフローチャートである。 第２の実施形態に係る画像処理ユニットの画像情報取得部によって取得される画像の例を示す模式図である。 本発明の第２の実施形態に係る画像処理ユニットによる特定処理の流れの一例を示すフローチャートである。 第２の実施形態に係る画像処理ユニットの距離測定部の起動条件が満たされた場合の模式図である。 第２の実施形態に係る画像処理ユニットの距離測定部の起動条件が満たされなかった場合の模式図である。 第２の実施形態に係る画像処理ユニットによる特定処理を説明する模式図である。 第２の実施形態に係る画像処理ユニットによって特定された人に付加情報を付した画像の一例を示す模式図である。

以下、本発明の実施形態について、図面を用いて説明する。

［システム全体構成］
図１は、本発明の一実施形態に係る画像処理システム１の構成を示すシステム構成図である。図１に示すように、画像処理システム１は、管理サーバ３と、レジ端末４と、画像処理ユニット５と、を含んで構成される。

管理サーバ３と、レジ端末４と、画像処理ユニット５は、相互に通信可能である。この通信は、任意の規格に準拠した通信であってよい。例えば、インターネット、ＬＡＮ（Local Area Network）、及び携帯電話網の何れか又はこれらを組み合わせたネットワーク２により実現される。

管理サーバ３は、演算処理機能や、通信機能を有する装置である。管理サーバ３は、例えば、サーバ装置や、パーソナルコンピュータ等の電子機器により実現される。

本実施形態の管理サーバ３は、予め設定される生体情報と画像から特定された生体情報の照合を実行する機能と、レジ端末４から送信される情報に基づく決済処理を実行する機能と、を有する。生体情報は、例えば、顔や瞳の虹彩等の個人を特定する情報である。

レジ端末４は、ユーザが会計を行うための決済機能や、決済情報を外部と通信する通信機能を有するコンピュータである。

画像処理ユニット５は、撮影した画像から認識すべき人を特定するための装置である。本実施形態の画像処理ユニット５は、画像処理エンジンである画像処理装置１０と、画像処理装置１０に被写体を含む映像を送信する撮像部５１と、画像処理装置１０に被写体までの距離を示す距離情報を送信する距離測定部５２と、を備える。

図２は、本発明の一実施形態に係る画像処理ユニット５が適用される店舗２００の様子を示した模式図である。図２に示すように、店舗２００内には、人物（被写体）１０１、１３１、１３２、１３３、１３４が、レジ端末４の前に並ぶように存在する。撮像部５１と距離測定部５２とは、夫々の画角がほぼ一致するように配置される。

図２の人物１０１、１３１、１３２、１３３、１３４のうち、レジ端末４で決済を行う位置にいる人物１０１が画像処理ユニット５が特定すべき人物である。一方、決済を行う位置の外側にいる人物１３１〜１３４はこの時点においては認証すべきでない人物である。なお、距離Ｌは撮像部５１から人物１０１までの距離を意味する。

［ハードウェア構成］
次に、画像処理ユニット５のハードウェア構成について、図３を参照して説明をする。図３は、本発明の一実施形態に係る画像処理ユニット５のハードウェアの構成を示すブロック図である。

画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備える。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行するプロセッサである。これらプログラムは、例えば、画像処理ユニット５の各部を動作させるためのオペレーティングシステムやファームウェア、或いは、後述の機能ブロックを実現するためのアプリケーションソフトウェアといったプログラムである。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、が接続されている。

入力部１７は、各種釦等で構成され、ユーザの指示操作を受け付け、受け付けた指示操作に応じて各種情報を入力する。出力部１８は、画像を表示するディスプレイや音声を拡声するスピーカ等を含む。尚、入力部１７にタッチパネルが含まれる場合は入力部１７と出力部１８とを一体にしてもよい。記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。通信部２０は、他の装置との間で行う通信を制御する。例えば、図１を参照して上述した、画像処理システム１に含まれる各装置の間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア１００適宜装着される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア１００は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

撮像部５１は、光学レンズ部５１１と、イメージセンサ５１２と、を主要な構成として備えるＣＭＯＳモジュールである。光学レンズ部５１１は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。イメージセンサ５１２はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。画像処理装置１０は、撮像部５１から出力される信号から画像を生成する。

距離測定部５２は、光学レンズ部５２１と、イメージセンサ５２２と、発光部５２３と、を主要な構成として備えるＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）モジュールである。本実施形態の発光部５２３は、画像処理装置１０から受信するタイミング信号に基づき近赤外光を発光する。発光部５２３で発光した近赤外光が対象物で反射した反射光が光学レンズ部５２１を経由して、ＴＯＦ用のイメージセンサ５２２に入射する。距離測定部５２は、発光してから反射光が戻るまでの時間により人物（被写体）までの距離を示す情報を取得する。本実施形態では、発光部５２３の反射光を撮像したイメージセンサ５２２の出力信号に基づいて画素ごとに距離情報を含んだＩＲ（ｉｎｆｒａｒｅｄ）画像が生成される。

［機能ブロック］
次に、図４を参照して画像処理ユニット５に含まれる各装置の機能ブロックについて、説明をする。図４は、画像処理ユニット５の機能的構成のうち、人を特定する処理を実行するための機能的構成を示す機能ブロック図である。

本実施形態では、ＣＰＵ１１において、設定部１１１、撮影制御部１１２、画像情報取得部１１３、距離情報取得部１１４、特定処理部１１５、画像切出し部１１６、認証用画像加工部１１７、通信処理部１１８が機能し、人物を検出する処理が実現される。

設定部１１１は、画像処理に関する各種の設定を実行する。例えば、設定部１１１は、距離情報が入力部１７を通じて入力されると、当該距離情報を記憶部１９の一領域である検出設定記憶部１９１に記憶する。距離情報は撮像部５１の位置と認識すべき人物１０１との間の距離Ｌを示す情報である。なお、撮像部５１と距離測定部５２の位置が略同じ位置にあれば、距離測定部５２から人物１０１までの距離を距離Ｌとして設定することもできる。また、実施例で定義される距離Ｌは概ねの距離であり、距離Ｌの長さに対し±５〜１０％の許容範囲は設定されているものとする。

撮影制御部１１２は、撮像部５１と距離測定部５２の撮影に関する処理を実行する。例えば、撮像部５１の撮影の開始や終了、距離測定部５２の撮影の開始や終了のタイミングを制御する。

画像情報取得部１１３は、撮像部５１の出力信号から得た画像データを取得する処理を実行する。画像情報取得部１１３が取得した画像データは、画像情報記憶部１９２に記憶されるデジタルデータであり、ＲＧＢの各色データを画素ごとに有する。

図５は、本発明の一実施形態に係る画像処理ユニット５の画像情報取得部１１３によって取得された画像データの例を示す模式図である。図５には、図２で示した店舗２００に設置された撮像部５１から出力された画像データに基づいて生成された画像２０１が示されている。当該画像２０１には、レジ端末４の前に立つ認識すべき人物１０１に対応する被写体像１０１ｓとともに、レジ端末４を待つ人物１３１〜１３４に対応する被写体像１３１ｓ〜１３４ｓが含まれている。また複数の被写体像１０１ｓ、１３１ｓ〜１３４ｓの何れにおいても、顔画像１０１ａ、１３１ａ〜１３４ａが存在する。

距離情報取得部１１４は、距離測定部５２からＩＲ画像データを取得する処理を実行する。本実施形態の距離情報取得部１１４は、距離測定部５２のＩＲ画像データに基づいて上記距離Ｌに存在しない物体は黒で表示されるＩＲ画像を生成する。

図６は、本発明の一実施形態に係る画像処理ユニット５の距離情報取得部１１４によって取得されるＩＲ画像データに基づくＩＲ画像２０２の例を示す模式図である。図６のＩＲ画像２０２には、上記距離Ｌの位置に立つ人物１０１のＩＲ被写体像１０１ｔのみが含まれる。一方で、図５に示す画像２０１に写り込んでいたレジ端末４を待つ人物１３１〜１３４については距離Ｌ以外の位置に存在するため、全て黒色となっており、ＩＲ画像２０２には人物１３１〜１３４に対応するＩＲ被写体像は存在しない。

図７は、本発明の一実施形態に係る画像処理ユニット５による被写体像の特定処理を説明する模式図である。図７に示すように、特定処理部１１５は、撮像部５１が取得した画像２０１に基づく画像データと、距離情報取得部１１４が取得したＩＲ画像データに基づくＩＲ画像２０２と、を用いて複数の被写体像１０１ｓ、１３１ｓ〜１３４ｓが含まれる画像２０１から認識すべき被写体像１０１ｓを特定する処理を実行する。

より具体的には、ＩＲ画像２０２には被写体像１０１ｓに対応する被写体像１０１ｔのみが含まれることから、このＩＲ画像２０２における被写体像１０１ｔ以外の領域をマスクして、画像２０１に重ね合わせるように合成し、被写体像１０１ｓの領域をトリミングする。これにより、距離Ｌの位置に存在しない被写体像１３１ｓ〜１３４ｓ全てを除去した特定画像２１０に対応する特定画像データが生成される。

図８は、本発明の一実施形態に係る画像処理ユニット５による切出し処理を説明する模式図である。図９は、本発明の一実施形態に係る画像処理ユニット５によって生成される認証用画像２１５の例を示す模式図である。

図８に示すように、画像切出し部１１６は、特定画像２１０から生体認証で用いる画像領域を切り出す処理を実行する。図８には、生体認証で用いる画像領域として顔画像１０１ａを切り出す例が示されている。画像切出し部１１６は、特定画像２１０の被写体像１０１ｓから顔画像１０１ａを含む画像領域１５０を切り出し、図９に示すような認証用画像２１５を生成する。なお、生体認証として虹彩認識を用いる場合は、顔画像から更に目（瞳）の画像領域を切り出す処理を実行する。

認証用画像加工部１１７は、管理サーバ３で実行される人物照合処理に適合するように、認証用画像２１５に対しての加工処理を実行する。例えば、認証用画像加工部１１７は、切り出した画像領域について、管理サーバ３で利用可能なサイズにリサイズする処理を実行する。また、認証用画像加工部１１７は、リサイズだけではなく、認証用画像２１５の明度、色合い、コントラストを調整する処理や、ノイズになる帯域をフィルタリングして削除する処理等を実行してもよい。例えば、認証用画像加工部１１７は、顔認証の場合は顔のコントラストを強調する処理を行ったり、虹彩認証の場合は瞳画像に重畳するまつ毛の画像を除去する処理等を行ったりする。

通信処理部１１８は、画像処理ユニット５の外部の機器と通信を行う。通信処理部１１８によって一連の処理により生成された認証用画像２１５が、通信部２０を介して管理サーバ３に送信される。

次に、図１０を参照して画像から人を特定する処理の流れについて説明する。図１０は、本発明の一実施形態に係る画像処理ユニットによる特定処理の流れの一例を示すフローチャートである。

処理が開始されると、撮影制御部１１２は、撮像部５１を起動して撮像を開始し、画像情報取得部１１３が取得した画像データ（画像２０１）から被写体像が検出されたか否かを判定する（ステップＳ１０１）。ステップＳ１０１で被写体像が検出されたと判定された場合（ステップＳ１０１でＹｅｓ）は、処理はステップＳ１０２に進む。一方、ステップＳ１０１で被写体像が検出されなかった場合（ステップＳ１０１でＮｏ）は、被写体像の検出処理を繰り返す。

ステップＳ１０１で被写体像が検出されたと判定されると、撮影制御部１１２は、距離測定部５２を起動する（ステップＳ１０２）。より具体的には、撮影制御部１１２は、距離測定部５２に距離測定を開始させるタイミング信号を送信する。タイミング信号を受信した距離測定部５２は、発光部５２３を点灯し、近赤外光を撮影範囲に照射してその反射光をイメージセンサ５２２で撮像する。

次に、距離情報取得部１１４は、距離測定部５２から出力される信号から、距離Ｌ以外に存在する物体を黒で表現したＩＲ画像２０２を生成する（ステップＳ１０３）。特定処理部１１５は、ＩＲ画像２０２から検出される被写体像の数が複数か否かを判定する（ステップＳ１０４）。ステップＳ１０４で被写体像を複数検出したと判定した場合は、処理はステップＳ１０５に進む。一方、被写体像を複数検出したと判定しない場合は、処理はステップＳ１０５を経ることなくステップＳ１０６に進む。

ステップＳ１０４で被写体像を複数検出したと判定した場合（ステップＳ１０４でＹｅｓ）、特定処理部１１５は画像２０１における複数の被写体像の検出位置に基づいて、今回認識すべき被写体像を選別する（ステップＳ１０５）。例えば、特定処理部１１５は、レジ端末４の前における距離Ｌの範囲内において予め基準位置を設定し、当該基準位置に最も近い被写体像を認識すべき被写体像として選別し、それ以外の被写体像を除去するように処理する。この除去の方法については、ＩＲ画像２０２においてマスクする領域を予め設定したり、画像２０１において認識処理する領域を予め設定したりすることで、選別するべき被写体像を決めることができる。また、ステップＳ１０４で被写体像を複数検出したと判定しなかった場合（ステップＳ１０４でＮｏ）、ステップＳ１０５を省略して次のステップＳ１０６に処理を進める。

特定処理部１１５は、ＩＲ画像２０２をマスク画像として用いて撮像部５１が撮像した画像２０１に含まれる複数の被写体像１０１ｓ、１３１ｓ〜１３４ｓから認識すべき被写体像１０１ｓのみをトリミングし、認証用画像２１５を生成する（ステップＳ１０６）。

画像切出し部１１６は、生成された特定画像２１０から認証用画像２１５を切り出し、認証用画像加工部１１７は、切り出した認証用画像２１５についてリサイズ等の加工処理をする（ステップＳ１０７）。

通信処理部１１８が加工した認証用画像２１５を管理サーバ３に送信する（ステップＳ１０９）。次に、撮影制御部１１２が、所定の終了条件を満たしたか否かを判定し、終了条件を満たしていない場合はステップＳ１０１に戻り、終了条件を満たしている場合は本フローを終了する。

管理サーバ３は、認証用画像２１５に基づいてレジ端末４の決済位置に立って決済処理を行った被写体像１０１ｓを予め登録済みの人物の画像データと照合して被写体像１０１ｓに対応する人物１０１を特定し、特定した人物に紐付けられた金額情報に基づいて決済処理を実行する。なお、管理サーバ３の認証や決済に関する処理は特に限定されるわけではなく、取引に応じて適宜の処理方法を採用できる。

次に、第２の実施形態に適用される画像処理ユニットついて説明する。なお、以下の説明において既に説明した構成と共通又は同様の構成については同じ符号を付して詳細な説明を省略する場合がある。

第２の実施の形態の画像処理システム１は、システム全体の構成は図１のレジ端末４を除いた構成であり、特定のフロアへの入退室管理システムに適用したものである。管理サーバ３は、特定のフロアに入った人の入退室を画像処理ユニット５から取得する認証用画像に基づいて管理する。この実施形態では、画像処理ユニット５は、監視カメラユニットとしても機能する。

図１１は、第２の実施形態に係る画像処理ユニット５の画像情報取得部１１３によって取得される画像データに基づく画像２２０の例を示す模式図である。図１１の画像２２０はロビー３００を俯瞰撮影したものであり、このロビー３００には出入口３０１が存在する。また、画像２２０には複数の被写体像１０１ｓ、１３１ｓ、１３２ｓが含まれ、被写体像１０１ｓ、１３１ｓについては、顔画像１０１ａ、１３１ａが存在する。

本実施形態の画像処理ユニット５は、画像処理装置１０の機能ブロックとして、第１の実施の形態における距離情報取得部１１４に代えて指定領域判定部を備える。指定領域判定部による判定処理は、図１０のフローチャートにおけるステップＳ１０１で実行される処理に対応するものであり、距離測定部５２の起動のトリガとなるものである。

まず、画像処理ユニット５による撮影が開始される前に、設定部１１１によって撮像部５１の撮影範囲内に指定領域１６０が設定される。図１１の例では、出入口３０１前の床の有る一部分が指定領域１６０として設定される。

次に、図１２を参照して画像から人を特定する処理の流れについて説明する。図１２は、本発明の一実施形態に係る画像処理ユニットによる特定処理の流れの一例を示すフローチャートである。尚、図１０のフローチャートと処理が同じステップについては説明を省略する。

処理が開始されると、撮影制御部１１２は、撮像部５１を起動して撮像を開始し、画像情報取得部１１３が取得した画像データ（画像２２０）から被写体像が検出されたか否かを判定する（ステップＳ１０１）。ステップＳ１０１で被写体像が検出されたと判定された場合（ステップＳ１０１でＹｅｓ）は、指定領域判定部が検出された被写体像に検出枠を設定し、更にこの検出枠の予め設定された一部が指定領域１６０と重なったか否かを判定する（ステップＳ１１１）。そして、検出枠の予め設定された一部が指定領域１６０と重なったと判定した場合（ステップＳ１１１でＹｅｓ）、撮影制御部１１２は、距離測定部５２を起動する（ステップＳ１０２）。検出枠の予め設定された一部が指定領域１６０と重なっていないと判定した場合（ステップＳ１１１でＮｏ）、ステップＳ１０１の処理へ戻る。

図１３は、第２の実施形態に係る画像処理ユニット５の距離測定部５２の起動条件が満たされた場合の模式図である。図１３に示すように、予め設定された検出枠１６１の一部として画像２２０の検出枠１６１の下端１６２が指定領域１６０に重なった場合は、人物１０１が出入口３０１付近に存在する可能性が高い。したがって、この条件を満たした場合は距離測定部５２を起動させる。

図１４は、第２の実施形態に係る画像処理ユニット５の距離測定部５２の起動条件が満たされなかった場合の模式図である。図１４に示すように、画像２２０の検出枠１６１の下端１６２ではなく、左端１６３の一部（上部）、右端１６４の一部（上部）、及び、上端１６５が指定領域１６０に重なった場合は、人物１０１が出入口３０１から離れた位置に存在する。したがって、この条件を満たした場合は距離測定部５２を起動させない。

更に特定処理部１１５がＩＲ画像から検出される被写体像に基づき画像データから被写体像を特定すると、画像切出し部１１６が備える顔画像検出機能を用いて、特定された被写体像から顔画像が検出されたか否かを判定する（ステップＳ１１４）。このステップＳ１１４の処理は、指定領域１６０に検出枠１６１の下端が重なった場合、この検出枠１６１が設定された被写体像１０１ｓの対応する人物１０１がロビー３００のフロアに入ろうとしているのか、逆に出ようとしているのかを判断するためのものである。顔画像検出機能が特定された被写体像から顔画像が検出されたと判定した場合（ステップＳ１１４でＹｅｓ）、ステップ１０６へ進む。尚、ステップＳ１０６以降の処理は上記第１の実施の形態と同様である。

図１５は、第２の実施形態に係る画像処理ユニット５による特定処理を説明する模式図である。本実施形態では、距離測定部５２の出力信号に基づいて生成されるＩＲ画像２２１をマスク画像と利用することにより、認識すべき被写体像２３０以外を除去した特定画像２３０を生成することができる。そして、本実施形態に係る画像処理ユニット５でも、生成された特定画像２３０に基づいて上記実施形態と同様に認証用画像が生成され、管理サーバ３で照合処理が実行される。管理サーバ３は、図略の人物データベースを参照し、認証用画像の人の所属や名称を特定する。

本実施形態では、図１６に示すように、所属や名称を付加した画像２３１を生成する。図１６は、第２の実施形態に係る画像処理ユニット５によって特定された人１２１に付加情報２５０を付した画像２３１の一例を示す模式図である。なお、本実施形態では、生体認証として顔の画像情報が用いられており、図１６中の破線の枠２４０は、検出処理で切り出された箇所を示している。

以上、説明したように、画像処理装置は、以下の効果を奏する。
即ち、本実施形態の画像処理装置１０は、撮像部５１にて撮像された画像２０１に対応する画像データを取得する取得手段としての画像情報取得部１１３と、画像情報取得部１１３によって取得された画像２０１に大応する画像データから被写体像１０１ｓを検出すると、撮像部５１と前記検出された被写体像１０１ｓとの距離を取得する距離取得手段としての距離情報取得部１１４と、距離情報取得部１１４によって取得された距離に基づき、被写体像１０１ｓに対応する人物１０１を認識対象として特定する特定手段としての特定処理部１１５と、を備える。これにより、認識すべき被写体像が特定できるため、この特定された被写体像に限定した認証用画像を生成でき、結果的に店舗における決済処理や入出力管理処理等の種々の用途に適用できる。

また、本実施形態の画像処理装置１０において、画像情報取得部１１３は被写体像を複数含む画像を取得するとともに、距離情報取得部１１４は、取得された画像から少なくとも一つの被写体像を検出すると、前記撮像部５１と前記検出された被写体像との距離を取得し、特定処理部１１５は、距離情報取得部１１４によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する。これにより、認識すべきではない人物１３１〜１３４を除去する処理をより効率的かつ正確に実行できる。

また、距離情報取得部１１４は、撮像部５１と所定の位置関係にある発光部５２３からの照射光に対する被写体からの反射光に基づき、前記被写体と前記撮像部５１との距離を取得する。これによりマスク画像としてのＩＲ画像を生成できる。そして、ＩＲ画像と撮像された画像とを重ね合わせ、認識すべき人物に対応する被写体像のみを特定できる。

また、画像処理装置１０は、画像情報取得部１１３によって取得された画像から被写体像を検出すると、発光部５２３に発光させるよう制御する発光制御手段としての撮影制御部１１２を更に備える。これにより、被写体像から検出されたときのみ近赤外光を照射することになるため不要な発光部５２３の発光を抑制できる。そして、上記第２の実施形態では、被写体像を囲う検出枠の一部が指定領域１６０に重なった場合に、発光部５２３が発光する。これにより、指定領域１６０内に人が侵入したときのみ近赤外光を照射することになるため不要な発光部５２３の発光をより抑制できる。

また、特定処理部１１５によって特定された被写体像から認識対象とするべき画像領域１５０を切り出す切出し手段としての画像切出し部１１６を更に備える。これにより、不要な部分を除去し、送信データを圧縮した状態で認証用画像２１５を管理サーバ３に送信できる。

また、画像処理装置１０は、特定処理部１１５によって特定された被写体像（特定画像）を認証用画像２１５に加工する加工手段としての認証用画像加工部１１７を備える。これにより、管理サーバ３での照合処理の精度を向上させた状態で、認証用画像２１５を管理サーバ３に送信できる。

以上、本発明の実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。

上記実施形態では、撮像部５１と距離測定部５２の数が１対１の関係を例として説明したが、これに限られない。撮像部を複数設け、一つの距離測定部によって複数の撮像部の数に応じた複数の被写体の位置を特定し、各撮像部の指定距離にある認識すべき被写体像を特定する構成としてもよい。例えば、撮像部付のレジ端末を複数台横に並べ、複数台のレジ端末の夫々の決済位置を撮影範囲に含むように距離測定部を配置する構成としてもよい。この場合、距離測定部は、複数のレジ端末に対して指摘距離に対応する距離情報を取得し、レジ端末の撮像部ごとに認識すべき被写体を特定する処理を実行することが好ましい。

上記実施形態では、指定領域１６０への侵入判定を監視カメラとして機能する撮像部５１で行ったが、出入口３０１に撮像部５１を配置し、生体認証をドア側で行う構成としてもよい。

上記実施形態では、店舗２００やビルのロビー３００に適用される例を説明したが、適用例はこれに限られない。通行人が多いウォークスルー用の顔認証システム等、種々の用途に本発明を適用することができる。

［他の変形例］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理ユニット５に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図３のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図３における、ＲＯＭ１２や、記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、上記実施形態と変形例の各構成を組み合わせることも可能である。更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像部にて撮像された画像を取得する取得手段と、
前記取得手段によって取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得手段と、
前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記取得手段は、被写体像を複数含む画像を取得するとともに、前記距離取得手段は、取得された画像から少なくとも一つの被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得し、前記特定手段は、前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記距離取得手段は、前記撮像部と所定の位置関係にある発光部からの照射光に対する被写体からの反射光に基づき、前記被写体と前記撮像部との距離を取得することを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
前記取得手段によって取得された画像から被写体像を検出すると、前記発光部に発光させるよう制御する発光制御手段を更に備えることを特徴とする付記３記載の画像処理装置。
［付記５］
前記特定手段によって特定された被写体像から認識対象とするべき画像領域を切り出す切出し手段を更に備えることを特徴とする付記１から４の何れかに記載の画像処理装置。
［付記６］
前記特定手段によって特定された被写体像を認証用画像に加工する加工手段を更に備えることを特徴とする付記１から５の何れかに記載の画像処理装置。
［付記７］
撮像部にて撮像された画像を取得する取得ステップと、
前記取得ステップにて取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得ステップと、
前記距離取得ステップにて取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定ステップと、
を含む画像処理方法。
［付記８］
コンピュータを、
撮像部にて撮像された画像を取得する取得手段、
前記取得手段によって取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得手段、
前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定手段、
として機能させることを特徴とする画像処理プログラム。

１０ 画像処理装置
５１ 撮像部
５２ 距離測定部
１１２ 撮影制御部（発光制御手段）
１１３ 画像情報取得部（取得手段）
１１４ 距離情報取得部（距離取得手段）
１１５ 特定処理部（特定手段）
５２３ 発光部

Claims (8)

1. 撮像部にて撮像された画像を取得する取得手段と、
   前記取得手段によって取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得手段と、
   前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、被写体像を複数含む画像を取得するとともに、前記距離取得手段は、取得された画像から少なくとも一つの被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得し、
   前記特定手段は、前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記距離取得手段は、前記撮像部と所定の位置関係にある発光部からの照射光に対する被写体からの反射光に基づき、前記被写体と前記撮像部との距離を取得することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得手段によって取得された画像から被写体像を検出すると、前記発光部に発光させるよう制御する発光制御手段を更に備えることを特徴とする請求項３記載の画像処理装置。
5. 前記特定手段によって特定された被写体像から認識対象とするべき画像領域を切り出す切出し手段を更に備えることを特徴とする請求項１から４の何れかに記載の画像処理装置。
6. 前記特定手段によって特定された被写体像を認証用画像に加工する加工手段を更に備えることを特徴とする請求項１から５の何れかに記載の画像処理装置。
7. 撮像部にて撮像された画像を取得する取得ステップと、
   前記取得ステップにて取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得ステップと、
   前記距離取得ステップにて取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定ステップと、
   を含む画像処理方法。
8. コンピュータを、
   撮像部にて撮像された画像を取得する取得手段、
   前記取得手段によって取得された画像から被写体像を検出すると、前記撮像部と前記検出された被写体像との距離を取得する距離取得手段、
   前記距離取得手段によって取得された距離に基づき、前記検出された被写体像に対応する被写体を認識対象として特定する特定手段、
   として機能させることを特徴とするプログラム。
   

Images