JP2021060691A - プログラム、映像処理装置及び認証方法 - Google Patents

Abstract

【課題】 カメラで撮像した顔画像を基に人物認証を行う場合に、認証対象の人物の顔画像を適切に撮像できるようにし、人物認証の精度を高めることができるプログラムを提供する。【解決手段】 カメラからの映像を分析し、あらかじめ登録した人物のデータと比較し、十分な精度で判定できているかの処理を行う。顔特徴データに付帯する情報（服装、骨格、歩行姿勢）は関与比率を低くして計算を行う、又は計算に加えない。可能性が低い場合、該当人物は含まれないとして、通常のデジタルサイネージとして機能するための、一般広告を表示する。該当の可能性がある場合、より精度をあげて特定の人物の撮影ができるように、特定の人物の視線を誘導する広告映像に切り替えて表示する。【選択図】 図５

Description

本発明は、プログラム、映像処理装置及び認証方法に関するものである。

近年の人工知能技術の普及により、監視カメラで特定の人物を検知できる顔認証カメラの利用も広がっている。例えば、警備会社においては、警備人員の不足の問題に対して、顔認証技術を用いた監視映像システムを導入する事で、人間に代わって不審な人物を検知するなどの需要が広がっている。

また、従来は人物認証システムは、監視カメラの映像用いて、人物の顔の特徴を検出し、特徴として抽出したデータの同一性を比較して個人を特定する、特徴抽出型の技術が用いられてきた。これに対して、近年急速に成長している人工知能技術で、ディープラーニングの手法を用いる事で、人物の顔に加え、人体の他の特徴も加えて判定することでカメラで撮影した顔の映像が十分でない場合でも、個人を特定できる技術が開発されている
人物認証の分野において、従来は、カメラと画像分析サーバを接続し、画像分析サーバにおいて、カメラの映像を分析し、予め登録された人物認証データと突合して人物を特定する。

複数の施設に渡って、同一の人物を発見するような用途では、従来のシステムでは、データセンターやクラウドセンターに大型のサーバを配備して、各施設には、画像処理サーバを配備して、人物の画像の切り出しを行い、切出した人物の画像を人物認証サーバに送信して、その後の処理をデーターセンター又はクラウドセンターに配備された人物認証サーバで行う。

ところで、顔認証の技術では、十分な顔認証精度を持つためには、対象人物を限りなく正面から撮影する必要がある。近年、３Ｄ顔認証技術により、横顔や斜め上下左右からの撮影でも可能とする技術が開発されているが、まだ十分な顔認識精度が得られていない。特に監視カメラは、天井など目立たない位置に設置されるため、顔認証を行う映像としては不適切な場所に設置せざるをえない問題がある。

また、従来のシステムでは、画像処理サーバから人物認証サーバに人物の映像が含まれるデータを送るため、個人情報保護の観点からとても高いセキュリティを保つ環境の構築が必要で、保守や運用のコストが大変高額になる問題がある。

また、ディープラーニングの技術を使う用途では、ディープラーニングの技術の特徴である「再学習による性能が向上する」利点を活かす仕組みが求められるため、システムのセキュリティの問題を回避すべく、各施設にはシステムを導入し、例えば再学習等により向上した人物認証データに入れ替える場合には、人為的に全ての施設を入れ替えて回る作業を行う方法もあるが、頻繁にデータを入れ替える必要のある場合、実運用上現実的ではない問題を抱えていた。

本発明はかかる事情に鑑みてなされたものであり、その目的は、カメラで撮像した顔画像を基に人物認証を行う場合に、認証対象の人物の顔画像を適切に撮像できるようにし、人物認証の精度を高めることができるプログラム、映像処理装置、映像処理方法及びに認証方法を提供することにある。
また、本発明の目的は、人物等の認証対象を認証する場合に、秘匿性の高いデータを高い信頼性で安価に扱うことができる認証方法を提供することにある。

上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明のプログラムは、ディスプレイの正面側を撮像するカメラの撮像画像を基に、前記ディスプレイの表示画面を制御する映像処理装置が実行するプログラムであって、前記撮像画像から顔画像を検出する顔検出工程と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、前記撮像画像に映し出された人物の認証処理を行う認証工程と、を有し、前記画像生成工程は、前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、前記人物判定工程で前記認証処理部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証処理部に行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、第３の条件に対応付けられた画像を前記ディスプレイに表示する第２の表示工程とを前記映像処理装置に実行させる。

好適には、前記第３の条件は、前記撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの条件である。

好適には、前記特徴データ生成工程は、前記顔画像を基に、前記特徴データとして顔特徴データを生成し、前記顔特徴データを基に、前記人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前工程をさらに有し、前記人物判定工程は、前記第１の人物判定前工程の結果を基に、前記人物判定処理を行う。

好適には、前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の服装特徴データを生成し、前記服装特徴データを基に、前記人物の服装判定処理を行う第２の人物判定前工程をさらに有し、前記人物判定工程は、前記第２の人物判定前工程の結果を基に、前記人物判定処理を行う。

好適には、前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の骨格特徴データを生成し、前記骨格特徴データを基に、前記人物の身長判定処理を行う第３の人物判定前工程をさらに有し、前記人物判定工程は、前記第３の人物判定前工程の結果を基に、前記人物判定処理を行う。

好適には、前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の歩行姿勢特徴データを生成し、前記歩行姿勢特徴データを基に、前記人物の歩行特徴判定処理を行う第４の人物判定前工程をさらに有し、前記人物判定工程は、前記第４の人物判定前工程の結果を基に、前記人物判定処理を行う。

好適には、前記特徴データ生成工程は、ＡＩソフトウェアの学習済モデルにより前記特徴データを生成する。

好適には、前記認証処理の結果を、監視センターに通知する認証結果送信工程をさらに前記映像処理装置に実行させる。

本発明の映像処理装置は、ディスプレイと、前記ディスプレイの正面側を撮像するカメラと、前記カメラの撮像画像を入力し、前記ディスプレイの表示画面を制御する処理部と
を有し、前記処理部は、前記撮像画像から顔画像を検出する顔検出部と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを抽出する特徴データ生成部と、前記抽出された特徴データを基に、前記人物の認証が可能か否かの判定処理を行う人物判定部と、前記判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成部と、前記撮像画像に映し出された人物の認証処理を行う認証処理部とを有し、前記画像生成部は、前記人物判定部が前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を第１の画像を前記ディスプレイに表示する表示処理を行い、前記人物判定部が前記認証処理部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証処理部に行わせ、
前記認証処理により人物が認証された場合に、人物の属性に依存しない第２の画像を前記ディスプレイに表示する。

本発明の認証方法は、ディスプレイの正面側を撮像するカメラの撮像画像を基に認証を行い、前記ディスプレイの表示画面を制御する認証方法であって、前記撮像画像から顔画像を検出する顔検出工程と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、予め保持する顔認証データを基に、前記撮像画像に映し出された人物の認証処理を行う認証工程と、を複数の映像処理装置がそれぞれ実行し、前記画像生成工程において、前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を表示する姿勢誘導工程と、前記人物判定工程で前記認証処理部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証処理部に行わせ、前記認証処理により人物が認証された場合に、人物の属性に依存しない画像を前記ディスプレイに表示する表示工程と、前記第２の条件を満たしたと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証工程で行わせ、前記認証処理により人物が認証された場合に、人物検知通知を監視センターに行う人物検知工程と、前記通知を受けた前記監視センターの顔認証データ登録装置に対し、前記認証された人物の前記特徴データを前記顔認証データとし登録する第１の登録工程と、前記人物検知通知に係る前記特徴データを、前記顔認証データとして、前記映像処理装置の顔認証データメモリに登録する第２の登録工程とを有する。

好適には、前記映像処理装置が複数拠点に存在し、監視センターがクラウドセンターに存在する場合において、前記第１の登録工程は、同期処理サーバを立ち上げて、当該同期処理サーバを経由して各々の前記映像処理装置の前記顔認証データメモリの内容を更新し、当該更新後に、前記同期処理サーバを消去する。

本発明によれば、カメラで撮像した顔画像を基に人物認証を行う場合に、認証対象の人物の顔画像を適切に撮像できるようにし、人物認証の精度を高めることができるプログラム、映像処理装置、映像処理方法及びに認証方法を提供することができる。
本発明によれば、人物等の認証対象を認証する場合に、秘匿性の高いデータを高い信頼性で安価に扱うことができる認証方法を提供することができる。

図１は、本発明の第１実施形態に係るサイネージステム６１の全体構成図である。 図２は、図1に示す視線誘導型顔認証カメラ装置の構成図である。 図３は、図２に示す映像処理装置の機能構成図である。 図４は、図３に示す処理部の機能ブロック図である。 図５は、図２に示す視線誘導型顔認証カメラ装置の動作を説明するためのフロー図である。 図６は、本発明の第１実施形態の変形例に係るサイネージステムの全体構成図である。 図７は、本発明の第1実施形態の変形例に係わる顔認証データ登録更新の全体構成図である。 図８は、同期処理サーバの機能ブロック図である。 図９は、顔認証データ登録サーバの機能ブロック図である。 図１０は、顔認証データ登録サーバの動作例を説明するためのフロー図である。

以下、本発明の実施形態に係わる映像処理装置が組みこまれたサイネージシステムを説明する。
本実施形態のサイネージシステムは、大型ディスプレイに複数の広告映像を切り替えて表示する装置（以下デジタルサイネージと言う）である

視線誘導型顔認証カメラ装置は、特定の人物を顔認証を中心として、人物に関係する特徴データを総合的に映像分析し、高い精度で特定の人物を検知する。
視線を誘導するために、監視カメラを設置した場合には、視聴者に威圧感を与えて、逆に顔を遠ざけてしまう傾向があり、デジタルサイネージに全て組み込んで一体化させた構造とする。

映像処理装置は、近年技術の進歩が著しい、人工知能（AI）の技術が利用できるものを利用する。
近年の人工知能の技術、特に深層学習を用いて、適切な学習を行う事により、人物に関係する各種分析データが同時に取り出すことが出来る。例えば 人物の顔の特徴データと同時に、性別を推定することが可能で、かつ年齢の推定も可能となる。
同時に服装の種類や色のデータ、骨格のデータ、及び歩行する姿勢のデータなどである。
これらのデータを用いて、年齢、性別の推定、顔の詳細な特徴判定、服装の判定、身長の判定や歩行姿勢の特徴を判定できる。

これらのデータを総合判断することで、高い精度で特定の人物を検知することができる。
手法として、カメラからの映像を分析し、あらかじめ登録した人物のデータと比較し、十分な精度で判定できているかの処理を行う。
この場合、顔特徴データに付帯する情報（服装、骨格、歩行姿勢）は関与比率を低くして計算を行う、又は計算に加えない。

可能性が低い場合、該当人物は含まれないとして、通常のデジタルサイネージとして機能するための、一般広告を表示する。
該当の可能性がある場合、より精度をあげて特定の人物の撮影ができるように、特定の人物の視線を誘導する広告映像に切り替えて表示する
例えば、より近い距離に誘導したい場合には、文字や表示内容を小さくする。
また、例えば、顔の向きを右から左に誘導したい場合には、画面の中心を左に移動する表示を行う。
また、例えば、犯罪の種類に応じて、心理学的に反応する映像を表示して、特定の犯罪に注意を喚起し、視線を誘導する。
また、例えば、本装置を適度な感覚で複数並べ、連動して映像が移動することで、特定の人物が視線を大きく振る動作を誘導する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るサイネージステム６１の全体構成図である。
図１に示すように、サイネージステム６１は、例えば、視線誘導型顔認証カメラ装置６５と、施設毎にある個別監視センター６７Ａとを有する。
監視センターには顔認証データ登録サーバ１７と、映像監視サーバ１６とを有する

図２は、図1に示す視線誘導型顔認証カメラ装置６５の構成図である。
図２に示すように、視線誘導型顔認証カメラ装置６５は、例えば、カメラ７１、ディスプレイ７３、電源装置７５及び映像処理装置７７を有する。

カメラ７１は、ディスプレイ７３の正面側を撮像する。カメラ７１は、例えばＵＳＢカメラである。
カメラ７１は、例えば、ディスプレイ７３の上部又は上方に設置さている。

ディスプレイ７３は、例えば、映像処理装置７７の制御により画面表示を行う。例えば、広告等の画像を画面表示する。

電源装置７５は、カメラ７１、ディスプレイ７３及び映像処理装置７７に駆動電力を供給する。

映像処理装置７７は、カメラ７１からの撮像画像を基に、人物認証・顔認証を行い、それに応じた画像を生成し、ディスプレイ７３に表示させる。
また、映像処理装置７７は、人物の認証結果を監視センター６７Ａの顔認証データ登録サーバ１７に登録したり、顔認証データ登録サーバ１７から人物の認証情報を受信する。
また、映像処理装置７７は、認証結果を映像監視サーバ１６にも出力する。

図３は、図２に示す映像処理装置７７の機能構成図である。
図３に示すように、映像処理装置７７は、例えば、映像録画メモリ８１、顔認証データメモリ８３、出力映像メモリ８５及び処理部８７を有する。

映像録画メモリ８１は、カメラ７１からの撮像画像（データ）を記憶する。
顔認証データメモリ８３は、処理部８７が生成したデータ等を記憶する。
さらには、処理部８７が生成したデータと、顔認証データメモリ８３に格納された人物の特徴データを照合することで、人物を特定して検知する。
出力映像メモリ８５は、ディスプレイ７３に表示する画像（画面画像）を記憶する。

処理部８７は、映像分析処理、通信制御及び映像出力処理を行う。
本明細書で記載した処理部８７の処理は、ＣＰＵとＧＰＵにおいてプログラムを実行することで実現される。

図４は、図３に示す処理部８７機能ブロック図である。
図４に示すように、処理部８７は、例えば、顔検出部９１、特徴データ生成部９３、人物判定部９５、データ分析部９４、表示画像生成部９７、認証部９９を、機能ブロックとして有している。
図５は、図２に示す視線誘導型顔認証カメラ装置の動作を説明するためのフロー図である。

顔検出部９１は、カメラ７１から入力して映像録画メモリ８１に記憶された撮像画像を読みだして、当該撮像画像から顔画像を検出する。

特徴データ生成部９３は、顔検出部９１で検出した顔画像を基に、撮像画像に映し出された人物の特徴データを生成する。
特徴データ生成部９３による処理は、例えば、AIソフトウェアの学習済モデルで実行する。
データ分析部９４は、特長データ生成部９３のデータを分析して、年齢、性別、顔の特徴判定、服装判定、身長判定、歩行特徴判定を行う。

人物判定部９５は、データ分析部９4の判定結果を基に、人物の認証が可能か否かの人物判定処理を行う。
具体的には、人物判定部９５は、撮像画像内に人物が映し出されている可能性が一定基準有るが認証部９９での認証が不可であるとの第１の条件を満たしたか否かの判定を行う。ここで、認証部９９での認証が不可か否かは、撮像画像について簡易的な人物認証処理あるいは人物検出処理を行い、一定の基準を満たすか否かを基に判断する。
また、人物判定部９５は、認証部９９での人物の認証が可能であるとの第２の条件を満たすか否かを判定する。
人物判定部９５は、人物判定部が撮像画像内に人物が映し出されている可能性が一定基準を満たさないとの第３の条件を満たすか否かの判定を行う。

画像生成部９７は、人物判定部９５の人物判定処理の結果を基に、ディスプレイ７３に表示する画像を生成する画像生成処理を行う。

認証部９９は、撮像画像に映し出された人物の認証処理を行う。
認証部９９は、例えば、データ分析部９4が判定結果を基に、認証処理を行う。
このとき、認証部９９は、当該生成した判定結果と、顔認証データメモリ８３から読み出した複数の人物の特徴データ(認証用特徴でータ)とを比較して人物の認証を行う。本実施形態の特徴データには、人物ＩＤが対応付けられている。

認証部９９は、例えば、複数の認証用データのうち、何れか一つでも第１の基準値（例えば９５％）を超えた一致度であれば認証成功とする。
ここで、認証用データが、本人が協力して適切な環境で取得したホワイトリストデータである場合には９９．５％以上の一致度で認証成功とし、ホワイトリストデータ以外のブラックリストデータであれば８０％以上の一致度で認証成功とする。

以下、画像生成部９７の処理を説明する。
画像生成部９７は、人物判定部９５において第１の条件を満たしたと判定された場合に、撮像画像に映し出された人物候補がカメラ７１に視線を合わせるように誘導する視線誘導画像を表示する視線誘導処理を行う。

具体的には、画像生成部９７は、ディスプレイ７３の正面に位置する人物がカメラ７１が位置する方向を見るように誘導する（カメラ７１が位置する方向に注目する画像が表示されるように）視線誘導画像を表示する。視線誘導画像は、広告画像や告知画像等、特に限定されない。
また、画像生成部９７は、人物判定部９５において認証部９９での人物の認証が可能であるとの第２の条件を満たすと判定された場合に、撮像画像を基にした認証処理を認証部９９に行わせる。

画像生成部９７は、認証部９９による認証処理により人物が認証された場合には、後述する所定の画像（人物の属性に対応付けられた画像）をディスプレイ７３に表示する第２の表示処理を行う。

画像生成部９７は、人物判定部９５が撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの第３の条件を満たすと判定した場合に、当該第３の条件に対応付けられた画像（人物の属性とは無関係のをディスプレイ７３に表示する第２の表示処理を行う。
当該第２の画像は、例えば、特定の属性の人物に対してではない、一般的な広告画像等である。

また、画像生成部９７は、図５に示すように、特徴データ生成部９３において、特徴データとして顔特徴データを生成する。
また、画像生成部９７は、特徴データ生成部９３が生成した顔特徴データを基に、人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前処理を行う。
そして、人物判定部９５は、第１の人物判定前処理の結果を基に、人物判定処理を行う。

また、特徴データ生成部９３は、顔画像が検出された撮像画像を基に、特徴データとして服装特徴データを生成する。
また、画像生成部９７は、当該服装特徴データを基に、人物の服装判定処理を行う第２の人物判定前処理を行う。
そして、人物判定部９５は、当該第２の人物判定前処理の結果を基に、人物判定処理を行う。

また、特徴データ生成部９３は、顔画像が検出された撮像画像を基に、特徴データとして人物の骨格特徴データを生成する。
また、画像生成部９７は、当該骨格特徴データを基に、人物の身長判定処理を行う第３の人物判定前処理を行う。
人物判定部９５は、当該第３の人物判定前工程の結果を基に、人物判定処理を行う。

また、特徴データ生成部９３は、顔画像が検出された前記撮像画像を基に、特徴データとして人物の歩行姿勢特徴データを生成する。
画像生成部９７は、当該歩行姿勢特徴データを基に、人物の歩行特徴判定処理を行う第４の人物判定前処理を行う。
人物判定部９５は、当該第４の人物判定前工程の結果を基に、人物判定処理を行う。

処理部８７は、認証部９９による認証処理の結果を、例えば、個別監視センター６７Ａやクラウド監視センター６７Ｂに送信する認証結果送信処理を行う。

以下、図５を参照しながら、視線誘導型顔認証カメラ装置６５の動作例を説明する。
図５に示す各ステップを説明する。
ステップＳＴＸ１：
図２に示すカメラ７１が撮像したディスプレイ７３の正面側の撮像画像が図３に示す映像録画メモリ８１に記憶される。

ステップＳＴＸ２：
図２に示す視線誘導型顔認証カメラ装置６５の図３に示す処理部８７がプログムを実行して図４に示す顔検出部９１の機能を実現する。
顔検出部９１は、カメラ７１からの当該撮像画像から顔画像を検出する。

ステップＳＴＸ３：
特徴データ生成部９３は、顔検出部９１で検出した顔画像を基に、撮像画像に含まれる人物の特徴データを生成する。
特徴データ生成部９３は、例えば、顔検出部９１で検出した顔画像と、当該顔画像及び撮像画像から得られる人物画像をAIソフトウェアの学習済モデルに入力し、顔特徴データ、服装特徴データ、骨格特徴データ、歩行姿勢特徴データを学習モデルにより出力する。

ステップＳＴＸ４：
画像生成部９７は、特徴データ生成部９３が生成した顔特徴データを基に、人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前処理を行う。
また、画像生成部９７は、当該服装特徴データを基に、人物の服装判定処理を行う第２の人物判定前処理を行う。
また、画像生成部９７は、当該骨格特徴データを基に、人物の身長判定処理を行う第３の人物判定前処理を行う。
また、画像生成部９７は、当該歩行姿勢特徴データを基に、人物の歩行特徴判定処理を行う第４の人物判定前処理を行う。

ステップＳＴＸ５：
人物判定部９５は、第１〜４の人物判定前処理の結果を基に、人物判定処理を行う。
具体的には、人物判定部９５は、撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたか否かの判定を行う。
このとき、人物判定部９５は、第１〜４の人物判定前処理の結果を予め決められた重み付けをして利用する。当該重み付けは、AIソフトウェアの学習モデルにより決定してもよい。
また、人物判定部９５は、認証部９９での人物の認証が可能であるとの第２の条件を満たすか否かを判定する。
人物判定部９５は、人物判定部が撮像画像内に人物が映し出されている可能性が一定基準を満たさないとの第３の条件を満たすか否かの判定を行う。

ステップＳＴＸ６：
表示画像生成部９７は、人物判定部９５において第１の条件を満たしたと判定された場合に、撮像画像に映し出された人物候補がカメラ７１に視線を合わせるように誘導する視線誘導画像を表示する視線誘導処理を行う。
具体的には、表示画像生成部９７は、ディスプレイ７３の正面に位置する人物がカメラ７１が位置する方向を見るように誘導する（カメラ７１が位置する方向に注目する画像が表示されるように）視線誘導画像を表示する。

ステップＳＴＸ７：
人物判定部９５において認証部９９での人物の認証が可能であるとの第２の条件を満たすと判定された場合に、撮像画像を基にした認証処理を認証部９９に行わせる。
処理部８７は、認証部９９の認証処理の結果（人物検知通知）を、図１に示す個別監視センター６７Aや、図６に示すクラウド監視センター６７Bに出力する。例えば、人物検知通知には、人物ＩＤが含まれる。

ステップＳＴＸ８：
表示画像生成部９７は、認証部９９による認証処理により人物が認証された場合に、当該認証された人物の属性に応じた所定の画像をディスプレイ７３に表示する第１の表示処理を行う。
当該所定の画像は、例えば、当該認証された人物が興味を持つ広告画像等である。

ステップＳＴＸ９：
表示画像生成部９７は、人物判定部９５が撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの第３の条件を満たすと判定した場合に、当該第３の条件に対応付けられた第２の画像をディスプレイ７３に表示する第２の表示処理を行う。
当該第２の画像は、例えば、特定の属性の人物に対してではない、一般的な広告画像等である。

以上説明したように、サイネージステム６１によれば、図２に示すカメラ７１で撮像した撮像画像から得られた顔画像を基に人物認証を行う場合に、認証対象の人物の視線をカメラ７１の方向に効果的に誘導できる。これにより、顔画像を適切に撮像できるようにし、人物認証の精度を高めることができる。

また、サイネージステム６１によれば、人物判定部９５において、認証部９９での人物の認証が可能であるとの判断を認証前に行うため、明らかに認証が難しい撮像画像を基にした認証処理が行われることを回避できる。これにより、認証処理の負荷を軽減できる。

また、サイネージステム６１によれば、ディスプレイ７３を見る人物を認証した後に、当該人物に適した画像をディスプレイ７３に表示するため、画像表示による効果を高めることができる。

＜第１実施形態の変形例＞
図６は、本発明の第１実施形態の変形例に係るサイネージステム６１の全体構成図である。
図６に示すように、サイネージステム６１Ａは、例えば、複数の施設にそれぞれ設けられた視線誘導型顔認証カメラ装置６５−１〜６５−ｎと、クラウド監視センター６７Bとを有する。
視線誘導型顔認証カメラ装置６５−１〜６５−ｎは、第１実施形態で説明した視線誘導型顔認証カメラ装置６５と同じである。視線誘導型顔認証カメラ装置６５−１〜６５−ｎは、第１実施形態で説明した視線誘導型顔認証カメラ装置６５の機能に加えて、本実施形態で説明する機能を有している。
サイネージステム６１によれば、複数の施設において、第１実施形態で説明した効果を得ることができる。

＜第２実施形態＞
図７は、本発明の第２実施形態の顔認証データ登録の更新を行う全体構成図である。
図７に示すように、例えば視線誘導型顔認証カメラ装置６５−１〜６５−ｎ、顔認証データ登録サーバ１７、同期処理サーバ１９を有する。

新たに人物を登録する場合、クラウド監視センター６７Ｂの顔認証データ登録サーバ１７にＰＣ１８を接続して行う。
新たに登録したい人物の顔の写真、人物の全身の写真、人物の歩行の動画を顔認証データ登録サーバ１７にアップロードすると、顔認証データ登録サーバでは、該写真及び動画を
顔認証データ登録サーバ１７のＡＩソフトウェアの学習済モデルにより人物の特徴データとして格納する。
また、視線誘導型顔認証カメラ装置６５-1〜６５-ｎから人物検知通通知が送られた場合にも同様な処理を行い、人物の特徴データとして格納する。人物検知通知や特徴データには、人物ＩＤが含まれる。

顔認証データ登録サーバ１７に人物の特徴データの追加、削除、新規登録がなされると、視線誘導型顔認証カメラ装置６５-1〜６５-ｎ内の顔認証データメモリの内容を顔認証データ登録サーバ１７に格納された人物の特徴データと同期させるため、仮想サーバとしてクラウド上に同期処理サーバ19を立ち上げる。

同期処理サーバ１９の立ち上げは、顔認証データ登録サーバ１７が、視線誘導型顔認証カメラ装置６５-1〜６５-ｎのいずれかの人物検知通知に応じて行う、又はＰＣ１８から人物の顔の写真、及び人物の全体の写真、及び人物の歩行の動画の送信を受け、新たな顔認証データが追加された場合に行う。
同期処理サーバ１９が立ち上がったら、同期処理サーバ１９を経由して顔認証データ登録サーバ１７の全ての人物の特徴データを視線誘導型顔認証カメラ装置６５-1〜６５-ｎに送り、視線誘導型顔認証カメラ装置６５-1〜６５-ｎ内の顔認証データメモリの内容を更新する。

すなわち、第２の条件を満たしたと判定した場合に、撮像画像を基にした認証処理を認証部９９に行わせ、認証処理により人物が認証された場合に、人物検知通知を映像処理装置７７から監視センター装置６７Ｂに行う（人物検知工程）。
そして、当該通知を受けた監視センター装置６７Ｂの顔認証データ登録装置に対し、認証された人物の前記特徴データを顔認証データとし登録する（第１の登録工程）。
あた、人物検知通知に係る特徴データを、顔認証データとして、視線誘導型顔認証カメラ装置６５−１〜６５−ｎの顔認証データメモリ８３に登録する（第２の登録工程）。

視線誘導型顔認証カメラ装置６５-1〜６５-ｎ内の顔認証データメモリの内容の更新が終了したら、顔認証データ登録サーバ１７は同期処理サーバ１９を消滅させ、視線誘導型顔認証カメラ装置６５-1〜６５-ｎがハッキングされないセキュリティを担保する。

図８は、同期処理サーバ１９の機能ブロック図である。
図８に示すように、同期処理サーバ１９は、例えば、メモリ２９及び処理部３３を有する。
インタフェース２７は、ネットワークを介して、顔認証データ登録サーバ１７と視線誘導型顔認証カメラ装置６５-1〜６５-ｎと通信を行う。
処理部３３は顔認証データ登録サーバ１７からデータを受け取り、メモリ２９に格納して、視線誘導型顔認証カメラ装置６５-1〜６５-ｎへ送信する。

図９は、顔認証データ登録サーバ１７の機能ブロック図である。
図９に示すように、顔認証データ登録サーバ１７は、例えば、インタフェース４７、メモリ４９、顔認証データベース５１及び処理部５３を有する。

インタフェース４７は、ＰＣ１８と通信を行う。
人物の特徴データを追加する場合、ＰＣ１８に入力された人物の顔の写真、全身の写真、歩行の動画などを受信する。
又は視線誘導型顔認証カメラ装置６５-1〜６５-ｎによる人物検知の通報により、該当人物の画像を受信する。

メモリ４９は、処理部５３が実行するプログラム、並びに当該プログラムの実行に用いられるデータが記憶されている。
データベース５１は、例えば、それぞれの人物毎に複数の人物認証データが記憶されている。

処理部５３は、メモリ４９から読み出したプログラムを実行し、以下に示す処理を行う。
処理部５３は、追加登録したい人物の顔の写真、全身の写真、歩行の動画などの入力に応じて、又は視線誘導型顔認証カメラ装置６５-1〜６５-ｎが人物検知の通報により、該当人物の画像を送信し、それを受信した場合、ＡＩソフトウェアの学習済モデルを実行し、人物の特徴データを生成し、顔認証データベース５１に追加記録する。すでに顔認証データベース５１に含まれる人物の特徴データが追加される場合には、人物番号（ＩＤ）と関連付けて、記録される。

以下、図１０に示す各ステップを説明する。
顔認証データ登録サーバ１７に接続されたＰＣ１８を介して、追加したい人物の画像又は映像の入力を行う。

又は、視線誘導型顔認証カメラ装置６５-1〜６５-ｎから人物検知通知により、人物の写真を受信する。

入力された人物の画像又は映像をＡＩソフトウェアの学習済モデルにより顔特徴データを生成し、服装特徴データを生成し、骨格データを生成し、歩行姿勢特徴データを生成する。

生成された顔特徴データ、服装特徴データ、骨格データ、歩行姿勢特徴データをデータ分析し、年齢判定、性別判定、顔特徴判定、服装判定、身長判定、歩行特徴判定のデータとして、人物ＩＤに対応付けられて顔認証データベースに記録する。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

本実施形態は、以下でもよい。
（１）複数のディスプレイを使って正面の顔以外、斜めからの顔も撮影する
（２）ロボットを使って視聴誘導(視線誘導)させる
（３）音声を発して視聴誘導する
（４）天気などの一般情報の表示して視聴誘導させる
（５）対象者の好む映像や音声を表示して視聴誘導させる
（６）緊急情報を表示して視聴誘導を行う
（７）ニュース情報を表示して視聴誘導を行う

また、上述した実施形態では、視線誘導型顔認証カメラ装置６５と、顔認証データ登録サーバ１７及び顔認証データ登録サーバ1７とを個別に設けたが、視線誘導型顔認証カメラ装置６５に顔認証データ登録サーバ１７及び顔認証データ登録サーバ1７の機能を持たせてもよい。

本発明は、人物等の認証システムに適用可能である。

１６…映像監視サーバ
１７…顔認証データ登録サーバ
１８…ＰＣ
１９…同期処理サーバ
２７、４７…インタフェース
２９、４９…メモリ
３３、５３…処理部
５１…顔認証データベース
６１，６１Ａ…サイネージステム
６５，６５−１〜６５−ｎ…視線誘導型顔認証カメラ装置
６７ａ…個別監視センター
６７ｂ…クラウド監視センター
７1…カメラ
７３…ディスプレイ
７５…電源装置
７７…映像処理装置
８１…映像録画メモリ
８３…顔認証データメモリ
８５…出力映像メモリ
８７…処理部
９１…顔検出部
９３…特徴データ生成部
９４…データ分析部
９５…人物判定部
９７…表示画像生成部
９９…認証部

上述した従来技術の問題点を解決し、上述した目的を達成するために、本発明のプログラムは、ディスプレイの正面側を撮像するカメラの撮像画像を基に前記ディスプレイの表示画面を制御する複数の映像処理装置がある場合に、前記複数の映像処理装置の各々が実行するプログラムであって、前記撮像画像から顔画像を検出する顔検出工程と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、前記撮像画像に映し出された人物の認証処理を行う認証工程と、を有し、前記画像生成工程は、前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証工程での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、前記人物判定工程で前記認証工程での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予めメモリに登録した複数の顔認証データとを基にした前記認証工程を行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示工程と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示工程とを前記映像処理装置に実行させ、前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録する登録工程と、前記登録工程の登録に応じて前記顔認証データ登録サーバが立ち上げ更新工程後に消滅する同期処理サーバを経由して取得した他の前記映像処理装置による前記登録に係る前記顔認証データで前記メモリに登録されている前記顔認証データを更新する前記更新工程とを有する。

本発明の映像処理装置は、ディスプレイと、前記ディスプレイの正面側を撮像するカメラと、前記カメラの撮像画像を入力し、前記ディスプレイの表示画面を制御する処理部とを有する映像処理装置であって、前記処理部は、前記撮像画像から顔画像を検出する顔検出部と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成部と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定部と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成部と、前記撮像画像に映し出された人物の認証処理を行う認証部と、を有し、前記画像生成部は、前記人物判定部で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示処理と、前記人物判定部で前記認証部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予めメモリに登録した複数の顔認証データとを基にした前記認証部による認証処理を行わせ、前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知処理と、前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示処理と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示処理とを行い、複数の前記映像処理装置がある場合において、前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録し、当該登録に応じて前記顔認証データ登録サーバが立ち上げ更新工程後に消滅する同期処理サーバを経由して取得した他の前記映像処理装置の前記登録に係る前記顔認証データで前記メモリに登録されている前記顔認証データを更新する。

本発明の認証方法は、ディスプレイの正面側を撮像するカメラの撮像画像を基に認証を行い、前記ディスプレイの表示画面を制御する認証方法であって、前記撮像画像から顔画像を検出する顔検出工程と、前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、予め登録した複数の顔認証データを基に、前記撮像画像に映し出された人物の認証処理を行う認証工程と、を複数拠点にそれぞれ存在する映像処理装置の各々が実行し、前記画像生成工程において、前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証工程での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、前記人物判定工程で前記認証工程での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像と予め登録した複数の顔認証データとを基にした前記認証工程での前記認証処理を行い、当該認証処理で人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、前記第２の条件を満たすと判定した場合に、前記認証された人物の属性に応じた所定の画像を前記ディスプレイに表示する第２の表示工程と、前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、前記第３の条件に対応付けられた特定の属性の人物に対してではない画像を前記ディスプレイに表示する第３の表示工程と、前記第２の条件を満たすと判断した場合に、前記認証した人物の前記特徴データを前記顔認証データとして、前記監視センターの顔認証データ登録サーバに登録する登録工程とを前記映像処理装置が実行し、前記登録工程の登録に応じて前記顔認証データ登録サーバが同期処理サーバを立ち上げる立ち上げ工程と、前記顔認証データ登録サーバが、前記立ち上げ工程で立ち上げた前記同期処理サーバを経由して、前記複数拠点にそれぞれ存在する前記映像処理装置の各々に前記登録工程で登録された顔認証データを送る送信工程と、前記映像処理装置が、前記送信工程で受けた前記顔認証データで、前記認証処理に用いる顔認証データを更新する更新工程と、前記更新工程の後に、前記顔認証データ登録サーバが、前記同期処理サーバを消去する消去工程とを有する。

Claims (11)

1. ディスプレイの正面側を撮像するカメラの撮像画像を基に、前記ディスプレイの表示画面を制御する映像処理装置が実行するプログラムであって、
   前記撮像画像から顔画像を検出する顔検出工程と、
   前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、
   前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、
   前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、
   前記撮像画像に映し出された人物の認証処理を行う認証工程と、
   を有し、
   前記画像生成工程は、
   前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を前記ディスプレイに表示する第1の表示工程と、
   前記人物判定工程で前記認証処理部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証処理部に行わせ、
   前記認証処理により人物が認証された場合に、人物検知通知を検知した人物の画像と対応付けて監視センターに通知する通知工程と、
   前記第１の条件及び前記第２の条件を満たさない場合を第３の条件を満たす場合とし、第３の条件に対応付けられた画像を前記ディスプレイに表示する第２の表示工程と
   を前記映像処理装置に実行させるプログラム。
2. 前記第３の条件は、前記撮像画像内に人物が映し出されている可能性が前記一定基準を満たさないとの条件である
   請求項1に記載のプログラム。
3. 前記特徴データ生成工程は、前記顔画像を基に、前記特徴データとして顔特徴データを生成し、
   前記顔特徴データを基に、前記人物の年齢推定処理、性別推定処理、顔特徴判定処理のうち少なくとも一つを行う第１の人物判定前工程をさらに有し、
   前記人物判定工程は、前記第１の人物判定前工程の結果を基に、前記人物判定処理を行う
   請求項１又は請求項２に記載のプログラム。
4. 前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の服装特徴データを生成し、
   前記服装特徴データを基に、前記人物の服装判定処理を行う第２の人物判定前工程
   をさらに有し、
   前記人物判定工程は、前記第２の人物判定前工程の結果を基に、前記人物判定処理を行う
   請求項１〜３のいずれかに記載のプログラム。
5. 前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の骨格特徴データを生成し、
   前記骨格特徴データを基に、前記人物の身長判定処理を行う第３の人物判定前工程
   をさらに有し、
   前記人物判定工程は、前記第３の人物判定前工程の結果を基に、前記人物判定処理を行う
   請求項１〜４のいずれかに記載のプログラム。
6. 前記特徴データ生成工程は、前記顔画像が検出された前記撮像画像を基に、前記特徴データとして前記人物の歩行姿勢特徴データを生成し、
   前記歩行姿勢特徴データを基に、前記人物の歩行特徴判定処理を行う第４の人物判定前工程をさらに有し、
   前記人物判定工程は、前記第４の人物判定前工程の結果を基に、前記人物判定処理を行う
   請求項１〜５のいずれかに記載のプログラム。
7. 前記特徴データ生成工程は、ＡＩソフトウェアの学習済モデルにより前記特徴データを生成する
   請求項１〜６のいずれかに記載のプログラム。
8. 前記認証処理の結果を、監視センターに通知する認証結果送信工程
   をさらに前記映像処理装置に実行させる請求項1〜７のいずれかに記載のプログラム。
9. ディスプレイと、
   前記ディスプレイの正面側を撮像するカメラと、
   前記カメラの撮像画像を入力し、前記ディスプレイの表示画面を制御する処理部と
   を有し、
   前記処理部は、
   前記撮像画像から顔画像を検出する顔検出部と、
   前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを抽出する特徴データ生成部と、
   前記抽出された特徴データを基に、前記人物の認証が可能か否かの判定処理を行う人物判定部と、
   前記判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成部と、
   前記撮像画像に映し出された人物の認証処理を行う認証処理部と
   を有し、
   前記画像生成部は、
   前記人物判定部が前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を第１の画像を前記ディスプレイに表示する表示処理を行い、
   前記人物判定部が前記認証処理部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証処理部に行わせ、
   前記認証処理により人物が認証された場合に、人物の属性に依存しない第２の画像を前記ディスプレイに表示する
   映像処理装置。
10. ディスプレイの正面側を撮像するカメラの撮像画像を基に認証を行い、前記ディスプレイの表示画面を制御する認証方法であって、
    前記撮像画像から顔画像を検出する顔検出工程と、
    前記検出した顔画像を基に、前記撮像画像に映し出された人物の特徴データを生成する特徴データ生成工程と、
    前記生成した特徴データを基に、前記人物の認証が可能か否かの人物判定処理を行う人物判定工程と、
    前記人物判定処理の結果を基に、前記ディスプレイに表示する画像を生成する画像生成工程と、
    予め保持する顔認証データを基に、前記撮像画像に映し出された人物の認証処理を行う認証工程と、
    を複数の映像処理装置がそれぞれ実行し、
    前記画像生成工程において、
    前記人物判定工程で前記撮像画像内に人物が映し出されている可能性が一定基準有るが前記認証処理部での認証が不可であるとの第１の条件を満たしたと判定をした場合に、前記撮像画像に映し出された人物候補が前記カメラに視線を合わせるように誘導する視線誘導画像を表示する姿勢誘導工程と、
    前記人物判定工程で前記認証処理部での人物の認証が可能であるとの第２の条件を満たすと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証処理部に行わせ、
    前記認証処理により人物が認証された場合に、人物の属性に依存しない画像を前記ディスプレイに表示する表示工程と、
    前記第２の条件を満たしたと判定した場合に、前記撮像画像を基にした前記認証処理を前記認証工程で行わせ、前記認証処理により人物が認証された場合に、人物検知通知を監視センターに行う人物検知工程と、
    前記通知を受けた前記監視センターの顔認証データ登録装置に対し、前記認証された人物の前記特徴データを前記顔認証データとし登録する第１の登録工程と、
    前記人物検知通知に係る前記特徴データを、前記顔認証データとして、前記映像処理装置の顔認証データメモリに登録する第２の登録工程と
    を有する認証方法
11. 前記映像処理装置が複数拠点に存在し、監視センターがクラウドセンターに存在する場合において、
    前記第１の登録工程は、
    同期処理サーバを立ち上げて、当該同期処理サーバを経由して各々の前記映像処理装置の前記顔認証データメモリの内容を更新し、
    当該更新後に、前記同期処理サーバを消去する
    請求項１０に記載の認証方法。

Images