JP4738914B2 - 監視システム、監視方法、及び監視プログラム - Google Patents

Description

本発明は、監視システム、監視方法、及び監視プログラムに関する。特に、本発明は、撮像画像のデータ量を効率的に低減する監視システム、監視方法、及び監視プログラムに関する。

近年、撮像装置を用いた監視装置が様々な場所に配置され、侵入者の検知等に用いられている。そして、予め撮像領域の基準画像を撮像して、当該基準画像と撮像画像とを比較することにより被写体の変化を検知する。基準画像と撮像画像との比較により、被写体の変化が検知された場合には、撮像装置の撮像領域内において被写体の動きに変化があったとして、撮像する画像の圧縮率を低くする装置が提案されている（例えば、特許文献１参照）。
特開２００２−３３５４９２号公報

監視装置は、撮像領域内で検知された人物の行動を監視することを目的として、広い領域の画像を取得することが要求される。更に、監視装置は、撮像領域内で検知された人物の特定をするために十分な画質の画像を取得することも併せて要求される。ここで、撮像領域内で検知された人物を特定する場合に、人物を特定するのに十分な高画質の画像で動画を撮像し続けると、動画を記憶するための記憶装置の容量が不足する場合がある。一方、撮像された動画をインターネット等により撮像装置の外部と通信する場合の通信トラフィックの軽減、及び動画を記憶するための記憶装置の容量を節約することを目的として、低画質の動画を撮像すると、撮像領域内で検知された人物を特定できない場合がある。

特許文献１に記載の発明においては、撮像領域内において被写体の動きに変化があった場合には、被写体がどのような人物であっても撮像する画像の圧縮率が低く設定される。そして、被写体に動きがある間は、撮像する画像の圧縮率が低く設定されたまま撮像が続行される。しかしながら、特許文献１に記載の発明においては、被写体が誰であるかにかかわらず、また、被写体の人物を認証した後においても、被写体の動きがある間は撮像画像の圧縮率が低く設定されたままなので、撮像画像を通信により外部の装置に送信する場合における通信トラフィックが軽減されないという課題がある。更には、画像の圧縮率が低く設定されたままなので、撮像画像のデータ量を効率的に低減させることが困難な場合がある。

そこで本発明は、上記課題を解決することができる監視システム、監視方法、及び監視プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、監視システムであって、複数のフレーム画像を含む動画を撮像する撮像部と、撮像部が撮像した複数のフレーム画像のそれぞれに含まれる人物が予め登録された人物であるか否かを認証する人物認証部と、撮像部が撮像したフレーム画像に含まれる人物が人物認証部によって認証された場合に、当該フレーム画像のデータ量を低減させるデータ量変換部と、撮像部が撮像した複数のフレーム画像のうち、人物認証部による人物認証が成立したフレーム画像を、データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部とを備える。また、撮像部が撮像した複数のフレーム画像のそれぞれに人物が含まれるか否かを判断する人物有無判断部をさらに備え、データ量変換部は、人物有無判断部が人物が含まれないと判断したフレーム画像のデータ量を低減させ、画像格納部は、撮像部が撮像した複数のフレーム画像のうち、人物有無判断部によって人物が含まれないと判断されたフレーム画像を、撮像部が撮像したフレーム画像に置き換えてデータ量変換部がデータ量を低減させたフレーム画像を格納してもよい。更に、データ量変換部は、撮像部が撮像したフレーム画像に含まれる人物の画像領域を、予め定められたテンプレート画像に置き換えることによって、撮像部が撮像したフレーム画像のデータ量を低減させてもよい。

また、本発明の第２の形態においては、監視方法であって、動画を撮像する撮像部が撮像した複数のフレーム画像のそれぞれに含まれる人物が予め登録された人物であるか否かを認証する人物認証段階と、撮像部が撮像したフレーム画像に含まれる人物が人物認証段階によって認証された場合に、当該フレーム画像のデータ量を低減させるデータ量変換段階と、撮像部が撮像した複数のフレーム画像のうち、人物認証段階による人物認証が成立したフレーム画像を、データ量変換段階がデータ量を低減させたフレーム画像に置き換えて格納する画像格納段階とを備える。

また、本発明の第３の形態においては、監視システム用の監視プログラムであって、監視システムを、複数のフレーム画像を含む動画を撮像する撮像部と、撮像部が撮像した複数のフレーム画像のそれぞれに含まれる人物が予め登録された人物であるか否かを認証する人物認証部と、撮像部が撮像したフレーム画像に含まれる人物が人物認証部によって認証された場合に、当該フレーム画像のデータ量を低減させるデータ量変換部と、撮像部が撮像した複数のフレーム画像のうち、人物認証部による人物認証が成立したフレーム画像を、データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部として機能させる。

また、本発明の第４の形態においては、撮像システムであって、複数のフレーム画像を含む動画を撮像する撮像部と、撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断部と、撮像部が撮像したフレーム画像に含まれる人物が人物認証装置によって人物を認証するために十分な画像であると認証適否判断部が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換部と、撮像部が撮像した複数のフレーム画像のうち、人物認証装置によって人物を認証するために十分な画像であると認証適否判断部が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部とを備える。また、認証適否判断部は、撮像部が撮像したフレーム画像に含まれる人物の顔部分の解像度が、人物認証装置によって人物を認証することができる解像度である否かを判断してもよい。更に、認証適否判断部は、撮像部が撮像したフレーム画像に含まれる人物の顔の向きが、人物認証装置によって人物を認証することができる顔の向きであるか否かを判断してもよい。

また、本発明の第５の形態においては、撮像方法であって、動画を撮像する撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断段階と、撮像部が撮像したフレーム画像に含まれる人物が人物認証装置によって人物を認証するために十分な画像であると認証適否判断段階が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換段階と、撮像部が撮像した複数のフレーム画像のうち、人物認証装置によって人物を認証するために十分な画像であると認証適否判断段階が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、データ量変換段階がデータ量を低減させたフレーム画像に置き換えて格納する画像格納段階とを備える。

また、本発明の第６の形態においては、監視システム用の監視プログラムであって、監視システムを、複数のフレーム画像を含む動画を撮像する撮像部と、撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断部と、撮像部が撮像したフレーム画像に含まれる人物が人物認証装置によって人物を認証するために十分な画像であると認証適否判断部が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換部と、撮像部が撮像した複数のフレーム画像のうち、人物認証装置によって人物を認証するために十分な画像であると認証適否判断部が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部として機能させる。

また、本発明の第７の形態においては、撮像システムであって、複数のフレーム画像を含む動画を撮像する撮像部と、撮像部が撮像したフレーム画像のそれぞれに含まれる人物の顔の撮像部に対する向きを算出する人物向き算出部と、人物向き算出部が算出した人物の顔の向きと撮像部から当該人物への方向とのなす角度が所定の角度より小さいか否かを判断する人物向き判断部と、人物向き算出部が算出した人物の顔の向きと撮像部から当該人物への方向とのなす角度が所定の角度より大きいと人物向き判断部が判断した場合に、当該フレーム画像のデータ量を低減させるデータ量変換部と、撮像部が撮像した複数のフレーム画像のうち、人物向き算出部が算出した人物の顔の向きが撮像部に対して所定の範囲内でないと人物向き判断部が判断したフレーム画像を、データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部とを備える。また、人物向き算出部は、撮像部が撮像したフレーム画像に含まれる人物の顔の領域を特定する顔領域特定部と、顔領域特定部が特定した人物の顔の領域に対する顔の部位の位置を特定する部位位置特定部と、部位位置特定部が特定した人物の顔の領域に対する顔の部位の位置に基づいて、撮像部が撮像したフレーム画像に含まれる人物の顔の撮像部に対する向きを算出する顔向き算出部とを有していてもよい。

また、本発明の第８の形態においては、監視方法であって、複数のフレーム画像を含む動画を撮像する撮像部と、動画を撮像する撮像部が撮像したフレーム画像のそれぞれに含まれる人物の顔の撮像部に対する向きを算出する人物向き算出段階と、人物向き算出段階が算出した人物の顔の向きと撮像部から当該人物への方向とのなす角度が所定の角度より小さいか否かを判断する人物向き判断段階と、人物向き算出段階が算出した人物の顔の向きと撮像部から当該人物への方向とのなす角度が所定の角度より小さいと人物向き判断段階が判断した場合に、当該フレーム画像のデータ量を低減させるデータ量変換段階と、撮像部が撮像した複数のフレーム画像のうち、人物向き算出段階が算出した人物の顔の向きが撮像部に対して所定の範囲内でないと人物向き判断段階が判断したフレーム画像を、データ量変換段階がデータ量を低減させたフレーム画像に置き換えて格納する画像格納段階とを備える。

また、本発明の第９の形態においては、監視システム用の監視プログラムであって、監視システムを、複数のフレーム画像を含む動画を撮像する撮像部と、撮像部が撮像したフレーム画像のそれぞれに含まれる人物の顔の撮像部に対する向きを算出する人物向き算出部と、人物向き算出部が算出した人物の顔の向きと撮像部から当該人物への方向とのなす角度が所定の角度より小さいか否かを判断する人物向き判断部と、人物向き算出部が算出した人物の顔の向きと撮像部から当該人物への方向とのなす角度が所定の角度より小さいと人物向き判断部が判断した場合に、当該フレーム画像のデータ量を低減させるデータ量変換部と、撮像部が撮像した複数のフレーム画像のうち、人物向き算出部が算出した人物の顔の向きが撮像部に対して所定の範囲内でないと人物向き判断部が判断したフレーム画像を、データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、フレーム画像のデータ量を軽減させて、撮像画像のデータ量を低減させることができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る監視システム１００の概要を示す。監視システム１００は、撮像装置１２、画像出力装置７２、及び人物認証装置２００を備える。本実施形態に係る監視システム１００は、撮像領域に含まれる人物の追従、及び当該人物の認証をすると共に、撮像された人物の認証後において、撮像画像のデータ量を低減させて、撮像画像を画像出力装置７２、及び人物認証装置２００等に送信する場合における、通信トラフィックを軽減することを目的とする。更には、監視システム１００は、撮像画像のデータ量を低減させて、撮像画像を格納する容量を節約することを目的とする。

監視システム１００は、まず、撮像領域に人物９００等の被写体が含まれているか否かを判断する。そして、監視システム１００は、撮像領域に被写体が含まれていない場合においては、撮像されたフレーム画像のデータ量を低減させて格納する。監視システム１００が、撮像領域に人物９００が含まれていると判断した場合には、監視システム１００は、人物９００の人物認証をする。そして、監視システム１００は、人物９００が撮像されているフレーム画像のデータ量を低減させて格納する。また、監視システム１００は、撮像装置１２により撮像された人物９００を含むフレーム画像が、人物認証装置２００によって人物９００を認証するために十分なフレーム画像であるか否かを判断する。人物認証装置２００によって人物９００を認証するために十分なフレーム画像が撮像された場合には、当該フレーム画像を格納して、人物認証装置２００における人物認証に供してよい。一方、監視システム１００は、当該フレーム画像に連続して撮像されている、人物９００が含まれるフレーム画像のデータ量を低減して格納する。

本実施形態に係る監視システム１００によれば、撮像領域に人物９００が含まれていない場合に、人物９００が含まれていないフレーム画像のデータ量を低減できる。また、撮像領域に含まれる人物９００の認証をした後に、認証後の人物９００が含まれるフレーム画像のデータ量を低減できる。これにより、監視システム１００は、フレーム画像のデータ量を低減できるので、フレーム画像を画像出力装置７２、及び人物認証装置２００に送信する場合の通信トラフィックを軽減できる。更に、監視システム１００は、フレーム画像を格納する容量を効率的に低減しつつ、人物９００の行動の監視、及び人物９００の認証ができる。

図２は、本実施形態に係る監視システム１００の機能構成の一例を示す。また、図３は、本実施形態に係る監視システム１００のデータ量低減フレーム選択部３０の機能構成の一例を示す。監視システム１００は、撮像部１０、人物有無判断部２０、データ量低減フレーム選択部３０、データ量変換部４０、フレーム画像置換部５０、画像格納部６０、及び画像出力部７０を備える。また、データ量低減フレーム選択部３０は、人物認証部３０２、及び認証画像格納部３０４を有する。

撮像部１０は、複数のフレーム画像を含む動画を撮像する。撮像部１０は撮像された複数のフレーム画像を、画像格納部６０に供給する。画像格納部６０は、撮像部１０から受け取った複数のフレーム画像を、フレーム画像を一意に識別できるフレーム画像識別子に対応づけて格納する。画像格納部６０は、フレーム画像識別子、及びフレーム画像を、人物有無判断部２０、データ量低減フレーム選択部３０、及びデータ量変換部４０に供給する。なお、撮像装置１２は、撮像部１０の一例である。

人物有無判断部２０は、撮像部１０において撮像された複数のフレーム画像のそれぞれに人物が含まれるか否かを判断する。人物有無判断部２０は、輪郭抽出処理、及び色分布分析処理等の画像処理により、フレーム画像に含まれる被写体を検出する。そして、人物有無判断部２０は、予め人物の顔に固有の特徴量を格納してよい。人物の顔に固有の特徴量は、例えば、顔の輪郭、目、鼻、口、眉、及びこれらの顔に含まれる部位間の距離等であってよい。人物有無判断部２０は、フレーム画像に含まれる被写体から、人物の顔に固有の特徴量をマッチング等により検出して、被写体が人物であるか否かを判断してよい。人物有無判断部２０は、人物が含まれていると判断されたフレーム画像のフレーム画像識別子を、データ量低減フレーム選択部３０に供給する。一方、人物有無判断部２０は、人物が含まれていないと判断されたフレーム画像のフレーム画像識別子を、データ量変換部４０に供給する。

データ量低減フレーム選択部３０は、人物有無判断部２０から受け取ったフレーム画像識別子、及び画像格納部６０から受け取った複数のフレームに基づいて、データ量を低減させるフレーム画像を選択する。データ量低減フレーム選択部３０は、人物認証部３０２、及び認証画像格納部３０４を有していてよい。認証画像格納部３０４は、人物の顔画像を一意に識別できる識別子に対応づけて、人物の顔画像を予め格納する。人物の顔画像は、人物を正面から捉えた画像、及び人物の横顔の画像等であってよい。認証画像格納部３０４は、人物の顔画像を人物認証部３０２に供給する。人物認証部３０２は、人物有無判断部２０から受け取ったフレーム画像識別子に対応付けられるフレーム画像を、画像格納部６０から受け取る。

そして、人物認証部３０２は、画像格納部６０から受け取ったフレーム画像に含まれる人物の顔画像と、認証画像格納部３０４から受け取った人物の顔画像とを比較して、フレーム画像に含まれる人物が予め登録されているか否かを判断する。人物認証部３０２は、例えば、画像格納部６０から受け取ったフレーム画像から、人物の顔画像を、肌色抽出等の画像処理により抽出する。そして、人物認証部３０２は、フレーム画像から抽出された人物の顔画像と、認証画像格納部３０４から受け取った人物の顔画像とをマッチングして、人物認証をしてよい。人物認証部３０２は、撮像部１０において撮像された複数のフレーム画像のそれぞれに含まれる人物が、予め登録された人物であると認証した場合には、当該人物が含まれるフレーム画像識別子を選択して、データ量変換部４０へ供給する。

データ量変換部４０は、撮像部１０において撮像されたフレーム画像に含まれる人物が、人物認証部３０２によって認証された場合に、当該フレーム画像のデータ量を低減させる。一方、データ量変換部４０は、人物有無判断部２０から人物が含まれていないと判断されたフレーム画像のフレーム画像識別子を受け取った場合には、当該フレーム画像識別子に対応するフレーム画像のデータ量を低減させる。データ量変換部４０は、人物認証部３０２から受け取ったフレーム画像識別子に対応するフレーム画像、及び人物有無判断部２０から受け取ったフレーム画像識別子に対応するフレーム画像を、画像格納部６０から受け取る。そして、データ量変換部４０は、画像格納部６０から受け取ったフレーム画像のデータ量を低減させる処理をする。

データ量変換部４０は、フレーム画像の階調を下げる、フレーム画像の圧縮率を上げる、及びフレーム画像の解像度を下げること等によりフレーム画像のデータ量を低減してよい。また、データ量変換部４０は、撮像部１０において撮像されたフレーム画像に含まれる人物の画像領域を、予め定められたテンプレート画像に置き換えてもよい。データ量変換部４０は、人物の画像領域を、例えば、予め定められた色が施されたテンプレート画像に置換してよい。データ量変換部４０は、データ量を低減させたフレーム画像、及び当該データ量を低減させたフレーム画像に対応する、データ量を低減させる前のフレーム画像に対応付けられたフレーム画像識別子を、フレーム画像置換部５０に供給する。

フレーム画像置換部５０は、撮像部１０において撮像された複数のフレーム画像のうち、人物認証部３０２において人物認証が成立したフレーム画像を、データ量変換部４０がデータ量を低減させたフレーム画像に置き換える。すなわち、フレーム画像置換部５０は、データ量変換部４０から受け取ったデータ量を低減させたフレーム画像と、データ量変換部４０から受け取ったフレーム画像識別子に対応する、画像格納部６０に格納されているフレーム画像とを置き換える。そして、画像格納部６０は、データ量を低減させたフレーム画像を、当該フレーム画像を一意に識別できるフレーム画像識別子に対応づけてフレーム画像を格納する。続いて、画像格納部６０は、フレーム画像を画像出力部７０に供給する。画像出力部７０は、画像格納部６０から受け取ったフレーム画像を、例えば、モニタ等に出力する。なお、画像出力装置７２は、画像出力部７０の一例である。

本実施形態に係る監視システム１００によれば、撮像されたフレーム画像に含まれる人物が予め登録された人物であると判断された場合に、当該人物が撮像されたフレーム画像のデータ量を低減して、既に格納したフレーム画像と置き換えることができる。これにより、監視システム１００は、フレーム画像に含まれる人物の行動の監視、及び当該人物の認証ができると共に、フレーム画像を画像出力装置７２等に送信する場合の、通信トラフィックを軽減できる。更に、監視システム１００は、フレーム画像を格納する容量を効率的に低減できる。

図４は、本発明の第２の実施形態に係る監視システム１００が備える、データ量低減フレーム選択部３０の機能構成の一例を示す。なお、データ量低減フレーム選択部３０を除く他の構成部材については、図２における上記説明と略同一であるので、詳細な説明は省略する。本実施形態においては、データ量低減フレーム選択部３０は、認証適否判断部３０６、同一人物認識部３０８、及び認証条件格納部３１０を有する。認証条件格納部３１０は、人物認証装置２００から人物認証をするために求められる条件を、人物認証装置２００から受け取って格納する。人物認証をするために求められる条件は、人物認証装置２００ごとに、当該装置の特性に応じて決定されており、例えば、人物認証装置２００が人物認証をするために必要とされる、フレーム画像に含まれる人物の顔画像の解像度、フレーム画像に含まれる人物の顔領域の画素数、フレーム画像に含まれる人物の顔の撮像部１０に対する向き、及びフレーム画像の階調、明るさ等であってよい。

認証適否判断部３０６は、撮像部１０において撮像されたフレーム画像のそれぞれに含まれる人物が、人物認証装置２００によって人物を認証するために十分なフレーム画像であるか否かを判断する。認証適否判断部３０６は、人物有無判断部２０から人物が含まれていると判断されたフレーム画像識別子を受け取る。また、認証適否判断部３０６は、人物有無判断部２０から受け取ったフレーム画像識別子に対応付けられるフレーム画像を、画像格納部６０から受け取る。更に、認証適否判断部３０６は、認証条件格納部３１０から、人物認証装置２００によって人物を認証するために必要とされる各条件を受け取る。そして認証適否判断部３０６は、画像格納部６０から受け取ったフレーム画像が、認証条件格納部３１０から受け取った各条件を満たしているか否かを判断する。

画像格納部６０から受け取ったフレーム画像が認証条件を満たしているか否かは、人物認証装置２００が必要とする性能に基づいてよい。例えば、フレーム画像に含まれる人物の顔部分の解像度が予め定められた基準値以上である場合は、認証適否判断部３０６は、人物認証装置２００が人物を認証できる解像度であると判断して、当該フレーム画像に対応するフレーム画像識別子を同一人物認識部３０８に供給する。また、フレーム画像に含まれる人物の顔の向きが、予め定められた範囲に入る場合は、認証適否判断部３０６は、人物認証装置２００が人物を認証できる顔の向きであると判断して、当該フレーム画像に対応するフレーム画像識別子を同一人物認識部３０８に供給してよい。

同一人物認識部３０８は、認証適否判断部３０６から受け取ったフレーム画像識別子に対応するフレーム画像を画像格納部６０から受け取る。そして、画像格納部６０から受け取ったフレーム画像に含まれる人物と同一の人物が含まれる、当該フレーム画像に連続して撮像されたフレーム画像を選択する。同一人物認識部３０８は、フレーム画像に含まれる人物を輪郭抽出等により抽出して、人物の顔画像を肌色抽出等により人物の顔画像を抽出してよい。そして、同一人物認識部３０８は、抽出された顔画像と、当該顔画像が抽出されたフレーム画像に連続して撮像されたフレーム画像に含まれる人物の顔画像とをマッチングする。これにより、同一人物認識部３０８は、認証適否判断部３０６から受け取ったフレーム画像識別子に対応するフレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を選択する。そして、同一人物認識部３０８は、選択されたフレーム画像のフレーム画像識別子をデータ量変換部４０に供給する。データ量変換部４０は、同一人物認識部３０８から受け取ったフレーム画像識別子に対応するフレーム画像を画像格納部６０から受け取る。そして、データ量変換部４０は、フレーム画像のデータ量を低減させる。

本実施形態に係る監視システム１００によれば、撮像されたフレーム画像に含まれる人物を人物認証装置２００において人物認証をするのに十分なフレーム画像を格納でき、当該フレーム画像に連続するフレーム画像のデータ量を低減できる。そして、データ量が低減されたフレーム画像を画像格納部６０に格納されたフレーム画像と置き換えることができる。これにより、監視システム１００において被写体の行動を監視する場合において、撮像したフレーム画像のデータ容量を効率的に低減できる。また、人物認証装置２００において、被写体の人物認証をするために用いられるフレーム画像を、確実に格納できる。更には、撮像したフレーム画像のデータ量を低減できるので、監視システム１００から人物認証装置２００に撮像されたフレーム画像を送信する場合の、通信トラフィックを効率的に低減できる。

図５は、本発明の第３の実施形態に係る監視システム１００が備える、データ量低減フレーム選択部３０の機能構成の一例を示す。なお、データ量低減フレーム選択部３０を除く他の構成部材については、図２における上記説明と略同一であるので、詳細な説明は省略する。本実施形態においては、データ量低減フレーム選択部３０は、人物向き算出部３２０、及び人物向き判断部３４０を有する。そして、人物向き算出部３２０は、顔領域特定部３２２、部位位置特定部３２４、部位画像格納部３２６、及び顔向き算出部３２８を含む。

人物向き算出部３２０は、撮像部１０において撮像されたフレーム画像のそれぞれに含まれる人物の顔の、撮像部１０に対する向きを算出する。人物向き算出部３２０に含まれる顔領域特定部３２２は、人物有無判断部２０から人物が含まれるフレーム画像のフレーム画像識別子を受け取る。また、顔領域特定部３２２は、人物有無判断部２０から受け取ったフレーム画像識別子に対応するフレーム画像を、画像格納部６０から受け取る。そして、顔領域特定部３２２は、フレーム画像に含まれる人物の顔の領域を特定する。顔領域特定部３２２は、パターンマッチング、及び肌色抽出等の画像処理により、人物の顔の領域を特定してよい。顔領域特定部３２２は、特定された人物における顔の領域の画像を、部位位置特定部３２４に供給する。

部位画像格納部３２６は、人物の顔に含まれる各部位の代表的な画像を格納する。各部位は、例えば、目、鼻、口、眉、耳、及び顔の輪郭等であってよい。部位画像格納部３２６は、各部位の画像を部位位置特定部３２４に供給する。部位位置特定部３２４は、顔領域特定部３２２から受け取った顔の領域の画像に含まれる各部位の画像と、部位画像格納部３２６から受け取った各部位の画像とを比較する。そして、部位位置特定部３２４は、顔領域特定部３２２において特定された人物の顔の領域に対する、顔の部位の位置を特定する。部位位置特定部３２４は、特定された顔の部位の当該顔に対する位置情報を、顔向き算出部３２８に供給する。

顔向き算出部３２８は、部位位置特定部３２４から受け取った人物の顔の領域に対する顔の部位の位置に基づいて、撮像部１０において撮像されたフレーム画像に含まれる人物の顔の撮像部１０に対する向きを算出する。顔向き算出部３２８は、人物の領域内における、顔に含まれる部位の位置の偏りに基づいて、人物の顔の撮像部１０に対する向きを算出してよい。例えば、人物の顔から目の画像を抽出して、抽出された目の画像が人物の顔の中で偏って配置されている場合、フレーム画像に含まれる人物の撮像部１０に対する向きは、目が偏っている方向に基づいて算出してよい。また、顔向き算出部３２８は、鼻の形状から鼻の先が向いている方向を検出して、鼻の先が向いている方向に基づいて、人物の顔の撮像部１０に対する向きを算出してもよい。顔向き算出部３２８は、算出された人物の顔の撮像部１０に対する向きを、人物向き判断部３４０に供給する。

人物向き判断部３４０は、人物向き算出部３２０から受け取った人物の顔の向きと、撮像部１０から当該人物への方向とのなす角度を算出して、当該角度が所定の角度より小さいか否かを判断する。人物向き判断部３４０は、算出された当該角度が所定の角度よりも大きいと判断した場合に、その旨を示す情報、及び算出された当該角度が所定の角度よりも大きいと判断された人物を含むフレーム画像に対応するフレーム画像識別子を選択して、データ量変換部４０に供給する。データ量変換部４０は、人物向き判断部３４０から受け取ったフレーム画像識別子に対応するフレーム画像のデータ量を低減させる。

本実施形態に係る監視システム１００によれば、フレーム画像に含まれる人物の顔の向きに基づいて、フレーム画像のデータ量を低減できる。これにより、人物の顔を認識できない人物を含むフレーム画像のデータ量を低減できるので、フレーム画像の格納を効率的にできる。また、監視システム１００は、人物認証に必要とされる、人物を認証するために用いられるフレーム画像を確実に格納できる。更には、撮像されたフレーム画像のデータ量を低減できるので、監視システム１００から画像出力装置７２等に撮像されたフレーム画像を送信する場合の、通信トラフィックを低減できる。

図６は、人物向き判断部３４０の判断の一例を示す。人物向き判断部３４０は、人物向き算出部３２０から受け取った人物の顔の向きと、撮像部１０から当該人物への方向とのなす角度を算出して、当該角度が所定の角度より小さいか否かを判断する。まず、撮像部１０と人物を上から見た例５００を用いて説明する。人物向き算出部３２０において算出された人物の顔の向き６０２が、予め定められた所定の角度６３０の範囲内にある場合には、人物向き判断部３４０は、人物向き算出部３２０において算出された人物の顔の向きが撮像部１０に対して所定の範囲内にあると判断する。そして、人物向き判断部３４０は、データ量変換部４０に角度６３０の範囲内で撮像されたフレーム画像に対応するフレーム画像識別子を供給しない。一方、人物の顔の向きが所定の角度６３０よりも大きい、角度６３２の方向を向いていた場合には、人物向き判断部３４０は、角度６３２の方向を向いていた人物が含まれるフレーム画像に対応するフレーム画像識別子をデータ量変換部４０に供給する。そして、データ量変換部４０は、人物向き判断部３４０から受け取ったフレーム画像識別子に対応するフレーム画像を画像格納部６０から受け取って、画像格納部６０から受け取ったフレーム画像のデータ量を低減する。そして、データ量変換部４０は、データ量が低減されたフレーム画像をフレーム画像置換部５０に供給する。

次に、撮像部１０と人物を横から見た例５１０を用いて説明する。人物向き算出部３２０において算出された人物の顔の向き６０８、及び６１０が、予め定められた所定の角度６３６、及び角度６３４の範囲内にある場合には、人物向き判断部３４０は、人物向き算出部３２０において算出された人物の顔の向きが、撮像部１０に対して所定の範囲内にあると判断する。そして、人物向き判断部３４０は、データ量変換部４０に角度６３４、角度６３６の範囲内で撮像されたフレーム画像に対応するフレーム画像識別子を供給しない。一方、人物の顔の向きが所定の角度６３４、及び角度６３６よりも大きい、角度６３８の方向を向いていた場合には、人物向き判断部３４０は、角度６３８の方向を向いていた人物が含まれるフレーム画像に対応するフレーム画像識別子をデータ量変換部４０に供給する。そして、データ量変換部４０は、人物向き判断部３４０から受け取ったフレーム画像識別子に対応するフレーム画像を画像格納部６０から受け取って、画像格納部６０から受け取ったフレーム画像のデータ量を低減する。そして、データ量変換部４０は、データ量が低減されたフレーム画像をフレーム画像置換部５０に供給する。

本実施形態に係る監視システム１００によれば、人物の顔の向きが予め定められた範囲内にない場合には、当該人物が含まれたフレーム画像のデータ量を低減できる。これにより、人物認証が困難なフレーム画像を選択して、当該フレーム画像のデータ量を低減できる。したがって、フレーム画像のデータ量を効率的に低減できる監視システム１００を提供できる。また、撮像されたフレーム画像のデータ量を低減できるので、監視システム１００から画像出力装置７２等に撮像されたフレーム画像を送信する場合の、通信トラフィックを低減できる。

図７は、本実施形態に係る監視システム１００における処理の流れの一例を示す。まず、撮像部１０において複数のフレーム画像を含む動画が撮像される（Ｓ１０００）。撮像されたフレーム画像は、撮像部１０から画像格納部６０に供給されて、画像格納部６０に格納される（Ｓ１０１０）。そして、画像格納部６０から人物有無判断部２０に格納されたフレーム画像が供給されて、人物有無判断部２０が、フレーム画像に人物が含まれているか否かを判断する（Ｓ１０２０）。フレーム画像に人物が含まれていないと、人物有無判断部２０において判断された場合には（Ｓ１０２０：Ｎｏ）、フレーム画像はデータ量変換部４０に供給されて、人物が含まれていないフレーム画像のデータ量が低減される（Ｓ１０４０）。

一方、人物有無判断部２０において、フレーム画像に人物が含まれていると判断された場合には（Ｓ１０２０：Ｙｅｓ）、当該フレーム画像のフレーム画像識別子が人物有無判断部２０から、データ量低減フレーム選択部３０に供給される。データ量低減フレーム選択部３０は、人物有無判断部２０から受け取ったフレーム画像識別子に対応するフレーム画像を画像格納部６０から受け取る。そして、データ量低減フレーム選択部３０は、図３、図４、及び図５の上記説明において記載した方法に基づいて、フレーム画像のデータ量を低減させるフレーム画像を選択する（Ｓ１０３０）。

例えば、データ量低減フレーム選択部３０が、人物認証部３０２、及び認証画像格納部３０４を含んでいる場合には、人物認証部３０２は、撮像部１０において撮像された複数のフレーム画像のそれぞれに含まれる人物が、予め登録された人物であるか否かを認証する。そして、フレーム画像のそれぞれに含まれる人物が予め登録された人物である場合に、当該人物を含むフレーム画像を、データ量低減フレーム選択部３０は選択する。また、データ量低減フレーム選択部３０が、認証適否判断部３０６、同一人物認識部３０８、及び認証条件格納部３１０を含んでいる場合には、認証適否判断部３０６は、撮像されたフレーム画像のそれぞれに含まれる人物が、人物認証装置２００によって人物認証するために十分なフレーム画像であるか否かを判断する。そして、人物認証装置２００が人物認証するために十分なフレーム画像であると、認証適否判断部３０６が判断した場合には、当該フレーム画像に含まれる人物と同一人物が含まれる、当該人物が含まれるフレーム画像に連続して撮像されたフレーム画像が選択される。

更に、データ量低減フレーム選択部３０が、人物向き算出部３２０、及び人物向き判断部３４０を含んでいる場合には、撮像部１０において撮像されたフレーム画像のそれぞれに含まれる人物の、撮像部１０に対する向きを算出する。そして、人物向き判断部３４０は、人物向き算出部３２０において算出された人物の撮像部１０に対する向きと、撮像部１０から当該人物への方向とのなす角が、予め定められた範囲内にあるか否かを判断する。そして、人物向き判断部３４０は、人物向き算出部３２０において算出された人物の顔の向きと撮像部１０から当該人物への方向とのなす角度が、予め定められた角度よりも大きいと判断された人物を含むフレーム画像を選択する。データ量低減フレーム選択部３０は、選択したフレーム画像に対応するフレーム画像識別子を、データ量変換部４０に供給する。

データ量変換部４０は、データ量低減フレーム選択部３０において選択されたフレーム画像のデータ量を低減する（Ｓ１０４０）。そして、データ量変換部４０は、データ量を低減させたフレーム画像を、フレーム画像置換部５０に供給する。フレーム画像置換部５０は、データ量変換部４０から受け取ったフレーム画像と、データ量が低減されたフレーム画像に対応する、データ量が低減される前のフレーム画像とを置き換えて画像格納部６０に格納する（Ｓ１０５０）。そして、画像格納部６０は、格納されているフレーム画像を画像出力部７０に供給して、画像出力部７０は、画像格納部６０から受け取ったフレーム画像を、モニタ等に出力する。

図８は、本実施形態に係る監視システム１００のハードウェア構成の一例を示す。本実施形態に係る監視システム１００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、他の装置と通信する。ハードディスクドライブ１５４０は、監視システム１００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、監視システム１００が起動時に実行するブート・プログラム、監視システム１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される監視プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。監視プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して監視システム１００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。監視システム１００にインストールされて実行される監視プログラムは、ＣＰＵ１５０５等に働きかけて、撮像部１０、人物有無判断部２０、データ量低減フレーム選択部３０、データ量変換部４０、フレーム画像置換部５０、画像格納部６０、画像出力部７０、人物認証部３０２、及び認証画像格納部３０４を、図１から図７にかけて説明した監視システム１００として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

監視システム１００の概念図である。 監視システム１００の機能構成を示すブロック図である。 データ量低減フレーム選択部３０の機能構成を示すブロック図である。 データ量低減フレーム選択部３０の機能構成を示すブロック図である。 データ量低減フレーム選択部３０の機能構成を示すブロック図である。 人物向き判断部３４０の判断を示す図である。 監視システム１００のフローチャートである。 監視システム１００のハードウェア構成を示すブロック図である。

符号の説明

１０ 撮像部
１２ 撮像装置
２０ 人物有無判断部
３０ データ量低減フレーム選択部
４０ データ量変換部
５０ フレーム画像置換部
６０ 画像格納部
７０ 画像出力部
７２ 画像出力装置
１００ 監視システム
２００ 人物認証装置
３０２ 人物認証部
３０４ 認証画像格納部
３０６ 認証適否判断部
３０８ 同一人物認識部
３１０ 認証条件格納部
３２０ 人物向き算出部
３２２ 顔領域特定部
３２４ 部位位置特定部
３２６ 部位画像格納部
３２８ 顔向き算出部
３４０ 人物向き判断部
５００ 上から見た例
５１０ 横から見た例
６０２、６０４、６０６ 人物の顔の向き
６０８、６１０、６１２ 人物の顔の向き
６３０、６３２ 角度
６３４、６３６、６３８ 角度
９００ 人物
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (6)

1. 複数のフレーム画像を含む動画を撮像する撮像部と、
   前記撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断部と、
   前記撮像部が撮像したフレーム画像に含まれる人物が前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換部と、
   前記撮像部が撮像した複数のフレーム画像のうち、前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、前記データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部と
   を備え、
   前記認証適否判断部は、前記撮像部が撮像したフレーム画像に含まれる人物の顔部分の解像度が予め定められた基準値以上である場合に、前記人物認証装置によって人物を認証するために十分なフレーム画像であると判断する監視システム。
2. 複数のフレーム画像を含む動画を撮像する撮像部と、
   前記撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断部と、
   前記撮像部が撮像したフレーム画像に含まれる人物が前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換部と、
   前記撮像部が撮像した複数のフレーム画像のうち、前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、前記データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部と
   を備え、
   前記認証適否判断部は、前記撮像部が撮像したフレーム画像に含まれる人物の顔の向きが予め定められた範囲に入る場合に、前記人物認証装置によって人物を認証するために十分なフレーム画像であると判断する監視システム。
3. 動画を撮像する撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断段階と、
   前記撮像部が撮像したフレーム画像に含まれる人物が前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断段階が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換段階と、
   前記撮像部が撮像した複数のフレーム画像のうち、前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断段階が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、前記データ量変換段階がデータ量を低減させたフレーム画像に置き換えて格納する画像格納段階と
   を備え、
   前記認証適否判断段階では、前記撮像部が撮像したフレーム画像に含まれる人物の顔部分の解像度が予め定められた基準値以上である場合に、前記人物認証装置によって人物を認証するために十分なフレーム画像であると判断する監視方法。
4. 動画を撮像する撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断段階と、
   前記撮像部が撮像したフレーム画像に含まれる人物が前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断段階が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換段階と、
   前記撮像部が撮像した複数のフレーム画像のうち、前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断段階が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、前記データ量変換段階がデータ量を低減させたフレーム画像に置き換えて格納する画像格納段階と
   を備え、
   前記認証適否判断段階では、前記撮像部が撮像したフレーム画像に含まれる人物の顔の向きが予め定められた範囲に入る場合に、前記人物認証装置によって人物を認証するために十分なフレーム画像であると判断する監視方法。
5. 監視システム用の監視プログラムであって、前記監視システムを、
   複数のフレーム画像を含む動画を撮像する撮像部と、
   前記撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断部と、
   前記撮像部が撮像したフレーム画像に含まれる人物が前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換部と、
   前記撮像部が撮像した複数のフレーム画像のうち、前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、前記データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部
   として機能させ、
   前記認証適否判断部は、前記撮像部が撮像したフレーム画像に含まれる人物の顔部分の解像度が予め定められた基準値以上である場合に、前記人物認証装置によって人物を認証するために十分なフレーム画像であると判断する監視プログラム。
6. 監視システム用の監視プログラムであって、前記監視システムを、
   複数のフレーム画像を含む動画を撮像する撮像部と、
   前記撮像部が撮像したフレーム画像のそれぞれに含まれる人物が人物認証装置によって人物を認証するために十分なフレーム画像であるか否かを判断する認証適否判断部と、
   前記撮像部が撮像したフレーム画像に含まれる人物が前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断した場合に、当該フレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像のデータ量を低減させるデータ量変換部と、
   前記撮像部が撮像した複数のフレーム画像のうち、前記人物認証装置によって人物を認証するために十分な画像であると前記認証適否判断部が判断したフレーム画像に連続して撮像されたフレーム画像であって、当該フレーム画像に含まれる人物と同一の人物が含まれるフレーム画像を、前記データ量変換部がデータ量を低減させたフレーム画像に置き換えて格納する画像格納部
   として機能させ、
   前記認証適否判断部は、前記撮像部が撮像したフレーム画像に含まれる人物の顔の向きが予め定められた範囲に入る場合に、前記人物認証装置によって人物を認証するために十分なフレーム画像であると判断する監視プログラム。

Images