JP2021179890A

JP2021179890A - 画像認識装置、認証システム、画像認識方法及びプログラム

Info

Publication number: JP2021179890A
Application number: JP2020085798A
Authority: JP
Inventors: 抱石井; Idaku Ishii; 少鵬胡; Shaopeng Hu
Original assignee: Hiroshima University NUC
Current assignee: Hiroshima University NUC
Priority date: 2020-05-15
Filing date: 2020-05-15
Publication date: 2021-11-18
Anticipated expiration: 2040-05-15
Also published as: JP6951796B1

Abstract

【課題】簡素な構成で、対象領域内に複数の認識対象が存在する場合であっても、精度よく認証できる画像認識装置、認証システム、画像認識方法及びプログラムを提供する。【解決手段】画像認識装置１は、対象領域全体を撮影する広域カメラ１０と、広域カメラ１０で撮影された広域画像から認識対象を検出する第１制御ユニット２０と、撮影位置を調整する光偏向器を有し、対象領域の一部を、広域カメラ１０より精細に撮影するズームカメラ３０と、ズームカメラ３０で撮影されたズーム画像から認識対象を画像認識する第２制御ユニット４０と、を備える。第１制御ユニット２０は、広域画像に基づいて、認識対象の位置を算出し、第２制御ユニット４０は、認識対象の位置に基づいて光偏向器を制御し、認識対象のズーム画像を撮影する。【選択図】図１

Description

本発明は、画像認識装置、認証システム、画像認識方法及びプログラムに関する。

従来、本人認証の方法として、撮影された画像に基づいて本人認証を行う方法が開発されている。例えば、特許文献１では、店舗の入り口、廊下等を撮影する第１撮影装置で撮影された画像に基づいて顔認証を行い、個々の人の手を撮影する第２撮影装置で撮影された画像に基づいて静脈認証を行うこととしている。

特開２０１９−１２８８８０号公報

特許文献１の方法では、第１撮影装置で撮影された広域の画像に基づいて顔認証を行うので、画像内の任意の位置にある顔を画像認識するための高精細な画像を撮影することが必要となる。特に、広域にいる複数の人物について高精度な画像を撮影する場合、カメラのイメージャ画素数が不十分となるおそれがある。

また、第２撮影装置は、個々の人の手を撮影する装置として、決済装置ごとに設置されている。したがって、決済装置の台数分の撮影装置又は同時に認証を行う人数分の撮影装置が必要となるので、システムが複雑化する。

本発明は、上述の事情に鑑みてなされたものであり、簡素な構成で、対象領域内に複数の認識対象が存在する場合であっても、精度よく認証できる画像認識装置、認証システム、画像認識方法及びプログラムを提供することを目的とする。

上記目的を達成するために、この発明の第１の観点に係る画像認識装置は、
対象領域全体を撮影する広域カメラと、
前記広域カメラで撮影された広域画像から認識対象を検出する第１制御ユニットと、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を、前記広域カメラより精細に撮影するズームカメラと、
前記ズームカメラで撮影されたズーム画像から前記認識対象を画像認識する第２制御ユニットと、を備え、
前記第１制御ユニットは、前記広域画像に基づいて、前記認識対象の位置を算出し、
前記第２制御ユニットは、前記認識対象の位置に基づいて前記光偏向器を制御し、前記認識対象の前記ズーム画像を撮影する。

また、前記第１制御ユニットは、
前記広域画像から前記認識対象の種別を推定し、前記認識対象の座標とともに前記第２制御ユニットへ送信し、
前記第２制御ユニットは、
前記認識対象の種別に基づいて、前記認識対象の画像認識を行う、
こととしてもよい。

また、前記認識対象は、人の顔とコード情報とを含む、
こととしてもよい。

また、前記光偏向器は、ガルバノミラーである、
こととしてもよい。

また、本発明の第２の観点に係る認証システムは、
第１の観点に係る画像認識装置と、
本人認証を行う認証装置と、を備え、
前記画像認識装置は、画像認識によって特定された人の識別情報を前記画像認識装置へ送信し、
前記画像認識装置は、受信した前記識別情報に基づいて本人認証を行う。

また、本発明の第３の観点に係る画像認識方法では、
広域カメラで撮影された対象領域全体の広域画像から、認識対象を検出し、
検出された前記認識対象の位置に基づいて、光偏向器を有するズームカメラの撮影位置を調整して、前記広域カメラより精細に前記認識対象のズーム画像を撮影し、
前記ズーム画像に基づいて前記認識対象の画像認識を行う。

また、本発明の第４の観点に係るプログラムは、
コンピュータを、
対象領域全体を撮影する広域カメラで撮影された広域画像から認識対象を検出し、前記認識対象の種別及び位置を算出する第１制御ユニット、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラの前記光偏向器を、前記第１制御ユニットで算出された前記認識対象の位置に基づいて制御して撮影したズーム画像に基づいて、前記認識対象を画像認識する第２制御ユニット、
として機能させる。

本発明の画像認識装置、認証システム、画像認識方法及びプログラムによれば、対象領域全体を撮影した広域画像から検出された認識対象を、光偏向器を有するズームカメラで撮影して画像認識するので、簡素な構成で、対象領域内の任意の位置に複数の認識対象が存在する場合であっても、認識対象について精度よく画像認識を行うことが可能である。

本発明の実施の形態に係る認証システムの構成を示すブロック図である。実施の形態に係る画像認識装置の機能ブロック図である。（Ａ）は、ズームカメラの構成を示すブロック図であり、（Ｂ）は、広域カメラ及びズームカメラの外観図である。実施の形態に係る認証処理の流れを示すフローチャートである。広域画像及び認識対象の例を示す概念図である。第１制御ユニットと第２制御ユニットとを一体化した場合の制御ユニットの例を示す機能ブロック図である。

以下、図を参照しつつ、本発明の実施の形態に係る画像認識装置１を用いて本人認証を行う認証システム８０について説明する。

認証システム８０は、店舗において顧客の顔と、顧客の提示するスマートフォンに表示されたコード情報（１次元バーコード、２次元コード等）とを認識する画像認識装置１を用いて、本人認証を行う。図１のブロック図に示すように、認証システム８０は、画像認識装置１、認証装置８１、決済装置８２を備える。画像認識装置１は、広域カメラ１０、第１制御ユニット２０、ズームカメラ３０、第２制御ユニット４０を備える。

広域カメラ１０は、認識対象について画像認識を行う対象領域全体を撮影するカメラである。具体的には、広域カメラ１０は、認識対象である顧客の顔、顧客が保持するスマートフォン等を含む、店舗の決済装置８２付近を撮影する。言い換えると、画像認識を行う対象が含まれるように調整された広域カメラ１０の撮影領域が、対象領域全体である。本実施の形態に係る広域カメラ１０は、Imaging source社製 DMK 37BUX287であり、例えばフレームレート３０ｆｐｓ、７２０×５４０ピクセルで動画撮影を行う。また、広域カメラ１０は、撮影した広域画像Ｉ_ｂのデータを第１制御ユニット２０へ送信する。

第１制御ユニット２０は、例えばコンピュータ装置であり、図２に示すように、制御部２１、記憶部２２、表示部２３、入力部２４を備える。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、水晶発振器等から構成されており、広域カメラ１０の動作を制御する。また、制御部２１は、広域カメラ１０で撮影された広域画像Ｉ_ｂに基づいて認識対象を検出する。制御部２１は、制御部２１のＲＯＭ、記憶部２２等に記憶されている各種動作プログラム及びデータをＲＡＭに読み込んでＣＰＵを動作させることにより、図２に示される制御部２１の各機能を実現させる。これにより、制御部２１は、広域カメラ制御部２１１、検出部２１２として動作する。

広域カメラ制御部２１１は、広域カメラ１０を制御して、対象領域を撮影し、広域画像Ｉ_ｂを取得する。

検出部２１２は、取得された広域画像Ｉ_ｂに基づいて、認識対象を検出する。より具体的には、検出部２１２は、広域画像Ｉ_ｂから、認識対象の種別を検出する。認識対象の種別は、例えば機械学習等のＡＩ（Artificial Intelligence）技術を用いて行うことができる。画像認識ＡＩとしては、例えばディープラーニングを用いたオブジェクト検出アルゴリズムであるＹＯＬＯ、ＯｐｅｎＰｏｓｅ等を用いることができる。検出される認識対象は１つに限られず、複数人の顔と手など、複数であってもよい。

また、検出部２１２は、検出した認識対象の位置を算出する。認識対象の位置は、広域カメラ１０で撮影される対象領域に対応して予め設定された座標であり、記憶部２２に記憶されている。

記憶部２２は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、広域画像Ｉ_ｂから認識対象を検出する検出アルゴリズム、広域画像Ｉ_ｂに対応する対象領域の座標に関する情報等を記憶する。

表示部２３は、コンピュータ装置である第１制御ユニット２０に備えられた表示用デバイスであり、例えば液晶モニタである。表示部２３は、広域カメラ１０で撮影された広域画像Ｉ_ｂ、検出部２１２で検出された認識対象に関する情報等を表示する。

入力部２４は、広域カメラ１０の画角、露出などの撮影に関するパラメータ等を入力するための入力デバイスである。入力部２４は、第１制御ユニット２０に備えられたキーボード、タッチパネル、マウス等である。

また、第１制御ユニット２０は、通信インターフェース（以下、通信Ｉ／Ｆという。）を介して、広域カメラ１０、第２制御ユニット４０等と通信を行う。具体的には、広域カメラ制御部２１１は、広域カメラ１０へ制御情報を送信し、撮影された広域画像Ｉ_ｂの画像データを取得する。また、制御部２１は、検出された認識対象の種別及び位置を含む認識対象情報を第２制御ユニット４０へ送信する。

ズームカメラ３０は、第１制御ユニット２０で検出された認識対象付近の領域を、広域画像Ｉ_ｂより高精細に撮影するカメラである。図３（Ａ）、（Ｂ）に示すように、ズームカメラ３０は、イメージセンサ３１、レンズ３２、光偏向器３３を備える。本実施の形態に係るイメージセンサ３１は、Imaging source社製 DFK 37BUX287である。

イメージセンサ３１は、レンズ３２を介してズームカメラ３０に入射した光を、画像データに変換してズーム画像Ｉ_ｚを生成する。ズームカメラ３０で撮影されるズーム画像Ｉ_ｚの解像度は、例えば７２０×５４０ピクセルである。この解像度は、広域画像Ｉ_ｂと同等であるが、撮影される領域が認識対象付近に絞られるので、広域画像Ｉ_ｂより精細に認識対象を撮影することができる。

レンズ３２は、ズーム画像Ｉ_ｚの焦点調整を行うものであり、認識対象の検出が可能であれば固定焦点でも、自動焦点機能を有するものでもよい。

光偏向器３３は、レンズ３２へ入射する光の方向を調整するものである。本実施の形態に係る光偏向器３３は、２軸のガルバノミラー（Cambridge社製ガルバノスキャナ6240H）であり、ミラーの角度を制御することにより、対象領域内の任意の座標を撮影することができる。したがって、ズームカメラ３０は、対象領域内の任意の座標のズーム画像Ｉ_ｚを生成することができる。これにより、認識対象が複数存在する場合であっても、光偏向器３３を制御して各認識対象を順次撮影できるので、各認識対象を精細に撮影できる。

第２制御ユニット４０は、例えばコンピュータ装置であり、図２に示すように、制御部４１、記憶部４２、表示部４３、入力部４４を備える。

制御部４１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、水晶発振器等から構成されており、ズームカメラ３０の動作を制御する。また、制御部４１は、ズームカメラ３０で撮影されたズーム画像Ｉ_ｚに基づいて認識対象の画像認識を行う。制御部４１は、制御部４１のＲＯＭ、記憶部４２等に記憶されている各種動作プログラム及びデータをＲＡＭに読み込んでＣＰＵを動作させることにより、図２に示される制御部４１の各機能を実現させる。これにより、制御部４１は、ズームカメラ制御部４１１、画像認識部４１２として動作する。

ズームカメラ制御部４１１は、ズームカメラ３０を制御して、認識対象付近を撮影し、ズーム画像Ｉ_ｚを取得する。具体的には、第１制御ユニット２０から受信した認識対象の位置に基づいて、光偏向器３３を動作させ、認識対象を含む認識対象近傍の領域を撮影する。

画像認識部４１２は、ズームカメラ制御部４１１で取得されたズーム画像Ｉ_ｚに基づいて、認識対象の画像認識を行う。より具体的には、画像認識部４１２は、ズーム画像Ｉ_ｚ及び第１制御ユニット２０から受信した認識対象情報に含まれる、認識対象の種別情報に基づいて、画像認識を行う。例えば、認識対象の種別が人の顔である場合、画像認識部４１２は、記憶部４２に予め記憶されている顔画像データに基づいて、ズーム画像Ｉ_ｚに撮影されている人物の特定を行う。また、種別情報がコード情報を表すものであった場合、画像認識部４１２は、ズーム画像Ｉ_ｚに撮影されているコード情報を読み取る。

記憶部４２は、ハードディスク、フラッシュメモリ等の不揮発性メモリであり、ズーム画像Ｉ_ｚについて画像認識を行う認識アルゴリズム、人物の特定を行うために事前登録された顧客の顔画像データ等を記憶する。

表示部４３は、コンピュータ装置である第２制御ユニット４０に備えられた表示用デバイスであり、例えば液晶モニタである。表示部４３は、ズームカメラ３０で撮影されたズーム画像Ｉ_ｚ、画像認識部４１２で認識された認識対象に関する情報等を表示する。

入力部４４は、ズームカメラ３０の画角、露出などの撮影に関するパラメータ等を入力するための入力デバイスである。入力部４４は、第２制御ユニット４０に備えられたキーボード、タッチパネル、マウス等である。

また、第２制御ユニット４０は、通信Ｉ／Ｆを介して、ズームカメラ３０、第１制御ユニット２０、認証装置８１等と通信を行う。具体的には、第２制御ユニット４０は、第１制御ユニット２０から認識対象情報を受信し、ズームカメラ３０へ認識対象の座標等を含む制御情報を送信し、撮影されたズーム画像Ｉ_ｚの画像データを取得する。また、画像認識により、特定された人物の情報、コード情報を含む識別情報等を認証装置８１へ送信する。第１制御ユニット２０と第２制御ユニット４０との通信プロトコルは、例えば、高速転送可能なＵＤＰ（User Datagram Protocol）である。

認証装置８１は、第２制御ユニット４０と接続されており、第２制御ユニット４０で特定された人物の情報、コード情報等を取得して、本人認証を行う。例えば、認証装置８１内の記憶手段に予め記憶されている登録済み顧客と、顧客ごとに付与されているコード情報との組み合わせが、第２制御ユニット４０から受信した人物の情報とコード情報との組み合わせに一致する場合、正常に本人認証ができたものと判断する。

また、認証装置８１は、決済装置８２に接続されており、正常に本人認証が行えたか否かを示す認証情報を決済装置８２へ送信する。

決済装置８２は、店舗において商品の決済を行うＰＯＳ（Point Of Sales）レジスタである。決済装置８２は、認証装置８１から送信される認証情報に基づいて、決済処理を行う。

以下、図４のフローチャートを参照しつつ本実施の形態に係る画像認識方法を用いた認証処理について具体的に説明する。

本実施の形態に係る認証処理では、店舗において商品の決済を行う決済装置８２周辺で、顧客の顔、手等を撮影するのに十分な領域が対象領域として撮影されていることとする。本実施の形態において、広域カメラ１０で撮影される対象領域の広域画像Ｉ_ｂは、７２０×５４０ピクセルである。このような精細度の広域画像Ｉ_ｂは、実時間処理による認識対象の検出には適している。しかしながら、人の顔を識別したり、顧客が手に持っているスマートフォンに表示されたコード情報を画像認識によって読み取ったりすることは難しい。

画素数の多い広域カメラ１０を用いて、広域画像Ｉ_ｂの解像度を高めれば、対象領域の任意の位置に撮影される認識対象を画像認識することは可能となる。しかしながら、制御部２１の処理能力が不足して、広域画像Ｉ_ｂについて、複数人の顔、手等、複数の認識対象を検出する場合では処理できなくなるおそれがある。

本実施の形態では、広域画像Ｉ_ｂを用いて認識対象の検出を行い、ズーム画像Ｉ_ｚを用いて認識対象の画像認識を行う。したがって、安価な広域カメラ１０を用いることができる。

本実施の形態に係る画像認識装置１では、第１制御ユニット２０が、広域カメラ１０を制御して対象領域の広域画像Ｉ_ｂを撮影する（ステップＳ１１）。

第１制御ユニット２０は、撮影された広域画像Ｉ_ｂのデータを、広域カメラ１０から受け取り、認識対象を検出する（ステップＳ１２）。本実施の形態では、人の顔と人の手とを認識対象として検出する。上述したように、認識対象の検出アルゴリズムは特に限定されず、目的の認識対象を検出可能なアルゴリズムであればよい。本実施の形態では、ＹＯＬＯｖ３を用いる。ＹＯＬＯは、予め定められた所定の対象を高速に検出することが可能であるので、第１制御ユニット２０で行う認識対象の検出アルゴリズムとして好ましい。

第１制御ユニット２０は、検出された認識対象ごとの認識対象の種別と、位置（座標）とを含む認識対象情報を第２制御ユニット４０へ送信する（ステップＳ１３）。図５の概念図に示す例では、第１制御ユニット２０は、顧客の顔、顧客の手、店員の顔及び店員の手を認識対象として検出する。そして、第１制御ユニット２０は、認識対象の種別、すなわち顔又は手と認識対象の位置とを認識対象情報として第２制御ユニット４０へ送信する。

第２制御ユニット４０は、第１制御ユニット２０から受信した認識対象情報に含まれる、認識対象の位置に基づいて、ズームカメラ３０を制御して、認識対象付近のズーム画像Ｉ_ｚを撮影する（ステップＳ１４）。より具体的には、第２制御ユニット４０の制御部４１は、光偏向器３３であるガルバノミラーを制御して、ズームカメラ３０の撮影位置を調整し、認識対象の位置（座標）を中心としたズーム画像Ｉ_ｚを撮影する。認識対象の座標と、光偏向器３３の制御量、すなわち２軸ガルバノミラーの角度との関係は、予め関連付けられて、記憶部４２に記憶されている。

第２制御ユニット４０は、広域カメラ１０のフレーム間隔の間に、光偏向器３３で順次視点を切り替えて各認識対象の画像を撮影し、ズームカメラ３０からズーム画像Ｉ_ｚのデータを受信する。そして、第２制御ユニット４０の画像認識部４１２は、ズーム画像Ｉ_ｚごとに画像認識を行う。

具体的には、画像認識部４１２は、第１制御ユニット２０から受信した認識対象情報に含まれる認識対象の種別に基づいて画像認識を行う。本実施の形態では、認識対象の種別が顔である認識対象を優先して画像認識を行う。画像認識部４１２は、ズーム画像Ｉ_ｚと、予め記憶部４２に記憶されている登録顧客の顔画像データとに基づいて、ズーム画像Ｉ_ｚに撮影されている人を特定する（ステップＳ１５）。

画像認識部４１２は、特定された人物が予め登録された顧客である場合（ステップＳ１６のＹＥＳ）、特定された人物の手付近について画像認識を行う。より具体的には、顧客の手に把持されているスマートフォンの画面に表示されたコード情報を、手付近のズーム画像Ｉ_ｚから画像認識によって読み取る（ステップＳ１７）。本実施の形態に係るコード情報は、ＱＲコード（登録商標）である。

人物と手との組み合わせは、例えば、顔と手との距離に基づいて推定される。また、第１制御ユニット２０の検出部２１２の画像認識ＡＩとして、関節を検出可能なＯｐｅｎＰｏｓｅを用いることにより、顔と手との組み合わせを推定することとしてもよい。この場合、第１制御ユニット２０は、推定された組み合わせ情報を認識対象情報とともに、第２制御ユニット４０へ送信する。そして、第２制御ユニット４０は、受信した組み合わせ情報に対応する手付近のズーム画像Ｉ_ｚからＱＲコードを読み取る。

また、特定された人物が、予め登録された顧客でない場合、すなわち認証システム８０に登録されていない顧客、店員等である場合（ステップＳ１６のＮＯ）、種別が顔である他の認識対象の処理（ステップＳ１９）に進む。すなわち、登録された顧客でないことが特定された人物については、ＱＲコードの読み取りを行う必要がないので、より効率的に顧客の特定及び認証処理を行うことができる。

ステップＳ１７に戻り、ＱＲコードの読み取りに続いて、第２制御ユニット４０は、特定された人物の情報と読み取ったＱＲコード情報とを含む識別情報を認証装置８１へ送信する（ステップＳ１８）。

また、画像認識部４１２は、第１制御ユニット２０から受信した認識対象情報を参照し、他の認識対象のうち、種別が顔であるものがあれば（ステップＳ１９のＹＥＳ）、ステップＳ１５に戻って、該当する認識対象の画像認識を行う。他の認識対象がない場合（ステップＳ１９のＮＯ）、次のステップに進む。

受信した識別情報の人物情報とコード情報との組み合わせが、記憶装置等に予め記憶されている人物情報とコード情報との組み合わせと一致した場合、認証装置８１は、本人認証ができたものと判断し、決済装置８２に認証情報を送信する（ステップＳ２０）。決済装置８２は、認証装置８１から受信した情報をもとに、決済装置８２である店舗のＰＯＳレジスタで決済を実行する。

以上説明したように、本実施の形態に係る画像認識装置１では、広域カメラ１０で撮影された広域画像Ｉ_ｂを用いて検出された認識対象を、光偏向器３３を備えるズームカメラ３０を用いた時分割マルチスレッド処理で順次撮影する。そして、ズームカメラ３０で撮影されたズーム画像Ｉ_ｚを用いて、認識対象を認識する。したがって、広域カメラ１０として、対象領域の任意の位置の認識対象を画像認識可能な高解像度カメラを用いる必要はなく、一般的な解像度の安価なカメラを用いることができる。また、認識対象が複数ある場合であっても、１台のズームカメラ３０を用いて順次撮影されるズーム画像Ｉ_ｚに基づいて、複数の認識対象について画像認識を行うことができる。よって、簡素で安価な構成のシステムで複数の認識対象を精度よく認識することが可能である。

本実施の形態に係る画像認識装置１では、店員であることが特定された人物については、コード情報の読み取りを行わないこととしたが、これに限られない。例えば、店員の顔認証と、名札に記載されたコード情報等とによって、ＰＯＳレジスタである決済装置８２の操作者を認証することもできる。これにより、名札の認証情報をＰＯＳレジスタの読み取り装置で、都度読み取ることによって操作者の認証を行うという操作を省略できるので、効率的な決済処理を行うことができる。

本実施の形態では、１台の決済装置８２付近を対象領域として広域画像Ｉ_ｂを撮影する場合について説明したが、これに限られず、２台以上の決済装置８２付近の広域画像Ｉ_ｂを撮影して、複数人の顧客の画像認識を同時に行うこととしてもよい。この場合、複数の顧客の顔、手のズーム画像Ｉ_ｚを１台のズームカメラ３０で順次撮影して画像認識することができるので、少ない台数のカメラで複数の認識対象を精度よく認識することが可能である。

本実施の形態に係る画像認識装置１は、店舗における決済に用いる認証システム８０の一部として人の顔、コード情報等を読み取ることとしたが、これに限られない。例えば、オフィスビル、集合住宅等において、人の顔と、持ち物とを同時に認識することで、セキュリティシステムの一部として用いることもできる。具体的には、認識対象の人物が予め登録されている集合住宅の住人、オフィスの従業員等であるか、未登録の部外者であるかを判定するとともに、認識対象の持ち物がナイフ等の凶器となり得るものであるか否かを判定する。そして、人物が登録されているか否かと、持ち物の危険度との組み合わせで決定される警戒レベルとともに、監視システムのモニタへ表示させる。これにより、１台のズームカメラ３０で複数の認識対象を、同時に精度よく認識することが可能となるので、簡素で安価な監視システムを構成することができる。

本実施の形態に係る認証システム８０では、広域画像Ｉ_ｂに撮影されている顔とＱＲコードとを認識対象として検出し、ズーム画像Ｉ_ｚで認識対象を認識して本人認証を行うこととしたが、これに限られない。例えば、まず顔認識を行い、その情報を認証装置８１へ送信する。そして、認証装置８１から、認識された顧客の情報端末として予め登録されているスマートフォンに認証用コードを発行し、第２制御ユニット４０がズーム画像Ｉｚからスマートフォンに表示された認証用コードを読み取ることとしてもよい。これにより、認証の度に異なる認証用コードが発行されるので、よりセキュリティの高い本人認証を行うことが可能となる。

また、本実施の形態に係る認証システム８０では、コード情報を用いた本人認証を行うこととしたが、生体情報を用いた本人認証を行うこととしてもよい。例えば、ズームカメラ３０の精細度を高めて、指紋を認識することにより、顔認証と指紋認証とを組み合わせた本人認証を行うこととしてもよい。これにより、なりすましを困難にして、セキュリティレベルの高い本人認証を行うことができる。

また、本実施の形態に係る認証システム８０では、認識対象は、人の顔及びスマートフォン画面上のコード情報であることとしたが、これに限られない。例えば、道路を撮影するように設置された広域カメラ１０の広域画像Ｉ_ｂから、車両の運転者の顔と、車両のナンバープレートとを認識対象として検出し、運転者と車両とを特定することとしてもよい。これにより、１台のズームカメラ３０のズーム画像Ｉ_ｚで複数の認識対象を認識することができるので、画像認識に用いるカメラの台数を少なくすることができる。

また、本実施の形態では、第１制御ユニット２０と第２制御ユニット４０とが独立したコンピュータ装置であることとしたが、これに限られない。例えば、第１制御ユニット２０の機能と第２制御ユニット４０の機能とを有する制御ユニットが、一体的に構成されることとしてもよい。この場合、図６に示すように、１つの制御ユニットが、広域カメラ制御部２１１、検出部２１２、ズームカメラ制御部４１１、画像認識部４１２の機能を有する制御部を備える。これにより、認識装置１の構成を簡素化できるとともに、第１制御ユニット２０と第２制御ユニット４０との間の通信に要する時間を短縮することができるので、より高速に画像認識処理を行うことができる。

また、上記実施の形態に係る画像認識及びこれを用いた本人認証は、通常のコンピュータシステムを用いて実現可能である。例えば、上記実施の形態に係る画像認識を実行するためのコンピュータプログラムを、ＵＳＢメモリ、ＤＶＤ−ＲＯＭ等のコンピュータが読み取り可能な記録媒体に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、コンピュータ装置を上記の画像認識を実行する画像認識装置１又はこれを用いた本人認証を実行する認証装置８１として機能させることができる。

本発明は、複数の認識対象を認識する画像認識装置に好適である。特に、複数の認証を組み合わせた多段階認証を行う認証システムに好適である。

１画像認識装置、１０広域カメラ、２０第１制御ユニット、２１制御部、２１１広域カメラ制御部、２１２検出部、２２記憶部、２３表示部、２４入力部、３０ズームカメラ、３１イメージセンサ、３２レンズ、３３光偏向器、４０第２制御ユニット、４１制御部、４１１ズームカメラ制御部、４１２画像認識部、４２記憶部、４３表示部、４４入力部、８０認証システム、８１認証装置、８２決済装置

上記目的を達成するために、この発明の第１の観点に係る画像認識装置は、
対象領域全体を撮影する広域カメラと、
前記広域カメラで撮影された広域画像から認識対象を検出する第１制御ユニットと、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を、前記広域カメラより精細に撮影するズームカメラと、
前記ズームカメラで撮影されたズーム画像から前記認識対象を画像認識する第２制御ユニットと、を備え、
前記第１制御ユニットは、異なる種別の前記認識対象を含む前記広域画像に基づいて、前記認識対象の位置を算出するとともに、前記認識対象の種別を推定し、
前記第２制御ユニットは、前記認識対象の位置に基づいて前記光偏向器を制御し、前記認識対象の前記ズーム画像を撮影するとともに、前記認識対象の種別に基づいて、前記ズーム画像から前記認識対象の画像認識を行う。

また、前記第１制御ユニットは、
異なる種別の前記認識対象の組み合わせを推定し、組み合わせ情報を前記第２制御ユニットへ送信し、
前記第２制御ユニットは、
前記組み合わせ情報に基づいて、前記認識対象の画像認識を行う、
こととしてもよい。

また、本発明の第２の観点に係る認証システムは、
第１の観点に係る画像認識装置と、
本人認証を行う認証装置と、を備え、
前記画像認識装置は、画像認識によって特定された異なる種別の前記認識対象の情報を含む識別情報を前記認証装置へ送信し、
前記認証装置は、受信した前記識別情報の異なる種別の前記認識対象の情報の組み合わせに基づいて本人認証を行う。

また、本発明の第３の観点に係る画像認識方法では、
広域カメラで撮影された異なる種別の認識対象を含む対象領域全体の広域画像から、前記認識対象を検出し、
検出された前記認識対象の位置に基づいて、光偏向器を有するズームカメラの撮影位置を調整して、前記広域カメラより精細に前記認識対象のズーム画像を撮影し、
前記ズーム画像から、前記認識対象の種別に基づいて前記認識対象の画像認識を行う。

また、本発明の第４の観点に係るプログラムは、
コンピュータを、
対象領域全体を撮影する広域カメラで撮影された異なる種別の認識対象を含む広域画像から前記認識対象を検出し、前記認識対象の種別及び位置を算出する第１制御ユニット、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラの前記光偏向器を、前記第１制御ユニットで算出された前記認識対象の位置に基づいて制御して撮影したズーム画像から、前記認識対象の種別に基づいて、前記認識対象を画像認識する第２制御ユニット、
として機能させる。

上記目的を達成するために、この発明の第１の観点に係る画像認識装置は、
対象領域全体を撮影する広域カメラと、
前記広域カメラで撮影された広域画像から認識対象を検出する第１制御ユニットと、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を、前記広域カメラより精細に撮影するズームカメラと、
前記ズームカメラで撮影されたズーム画像から前記認識対象を画像認識する第２制御ユニットと、を備え、
前記第１制御ユニットは、異なる種別の前記認識対象を含む前記広域画像に基づいて、前記認識対象の位置の算出及び種別の推定を行い、異なる種別の前記認識対象の組み合わせを推定するとともに、組み合わせ情報を前記第２制御ユニットへ送信し、
前記第２制御ユニットは、前記認識対象の位置に基づいて前記光偏向器を制御し、前記認識対象の前記ズーム画像を撮影するとともに、前記認識対象の種別及び前記組み合わせ情報に基づいて、前記ズーム画像から前記認識対象の画像認識を行う。

また、本発明の第３の観点に係る画像認識方法では、
広域カメラで撮影された異なる種別の認識対象を含む対象領域全体の広域画像から、前記認識対象を検出し、前記認識対象の位置の算出及び種別の推定を行い、異なる種別の前記認識対象の組み合わせを推定し、
検出された前記認識対象の位置に基づいて、光偏向器を有するズームカメラの撮影位置を調整して、前記広域カメラより精細に前記認識対象のズーム画像を撮影し、
前記ズーム画像から、前記認識対象の種別及び組み合わせ情報に基づいて前記認識対象の画像認識を行う。

また、本発明の第４の観点に係るプログラムは、
コンピュータを、
対象領域全体を撮影する広域カメラで撮影された異なる種別の認識対象を含む広域画像から前記認識対象を検出し、前記認識対象の位置の算出及び種別の推定を行い、異なる種別の前記認識対象の組み合わせを推定する第１制御ユニット、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラの前記光偏向器を、前記第１制御ユニットで算出された前記認識対象の位置に基づいて制御して撮影したズーム画像から、前記認識対象の種別及び組み合わせ情報に基づいて、前記認識対象を画像認識する第２制御ユニット、
として機能させる。

Claims

対象領域全体を撮影する広域カメラと、
前記広域カメラで撮影された広域画像から認識対象を検出する第１制御ユニットと、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を、前記広域カメラより精細に撮影するズームカメラと、
前記ズームカメラで撮影されたズーム画像から前記認識対象を画像認識する第２制御ユニットと、を備え、
前記第１制御ユニットは、前記広域画像に基づいて、前記認識対象の位置を算出し、
前記第２制御ユニットは、前記認識対象の位置に基づいて前記光偏向器を制御し、前記認識対象の前記ズーム画像を撮影する、
ことを特徴とする画像認識装置。
前記第１制御ユニットは、
前記広域画像から前記認識対象の種別を推定し、前記認識対象の座標とともに前記第２制御ユニットへ送信し、
前記第２制御ユニットは、
前記認識対象の種別に基づいて、前記認識対象の画像認識を行う、
ことを特徴とする請求項１に記載の画像認識装置。
前記認識対象は、人の顔とコード情報とを含む、
ことを特徴とする請求項１又は２に記載の画像認識装置。
前記光偏向器は、ガルバノミラーである、
ことを特徴とする請求項１から３のいずれか一項に記載の画像認識装置。
請求項１から４のいずれか一項に記載の画像認識装置と、
本人認証を行う認証装置と、を備え、
前記画像認識装置は、画像認識によって特定された人の識別情報を前記画像認識装置へ送信し、
前記画像認識装置は、受信した前記識別情報に基づいて本人認証を行う、
ことを特徴とする認証システム。
広域カメラで撮影された対象領域全体の広域画像から、認識対象を検出し、
検出された前記認識対象の位置に基づいて、光偏向器を有するズームカメラの撮影位置を調整して、前記広域カメラより精細に前記認識対象のズーム画像を撮影し、
前記ズーム画像に基づいて前記認識対象の画像認識を行う、
ことを特徴とする画像認識方法。
コンピュータを、
対象領域全体を撮影する広域カメラで撮影された広域画像から認識対象を検出し、前記認識対象の種別及び位置を算出する第１制御ユニット、
撮影位置を調整する光偏向器を有し、前記対象領域の一部を前記広域カメラより精細に撮影するズームカメラの前記光偏向器を、前記第１制御ユニットで算出された前記認識対象の位置に基づいて制御して撮影したズーム画像に基づいて、前記認識対象を画像認識する第２制御ユニット、
として機能させるプログラム。