JP2006174468A - 画像の分散解析の方法及び装置 - Google Patents

Abstract

【課題】センサで検出した画像の詳しい解析を他の装置で行う方法及び装置を提供すること。
【解決手段】画像の高度な分散解析のための方法及び装置であって、画像を取り込み、取り込んだ画像を分析し、取り込んだ画像から特徴情報を抽出することを含む方法及び装置。抽出した特徴情報は、所定の条件を満たしているか否かの判定に使用され、所定の条件を満たしていれば、更なる解析のために、特徴情報が送信される。抽出した特徴情報は記憶され、抽出した特徴情報に関する統計情報の生成に使用される。また、イベント検出又は認識を含む更なる解析を実施するために、更なる特徴情報が他のデータベースから提供される。従って、取り込み画像を解析するための高度な分散解析が可能となり、イベント検出又は認識を効率的に実施することが可能になる。
【選択図】図２

Description

本発明は画像解析に関し、特に、取り込み画像から特徴情報を抽出し、特徴情報が所定の条件を満たした場合に、更なる解析のためにその特徴情報を他の装置へ送信する方法及び装置に関する。

イベント検出又は認識における画像使用の普及に伴ない、画像解析の効率的な方法が非常に重要になってきている。一般に、イベント検出又は認識のための画像解析は、画像を取り込み、取り込んだ画像を人間のオペレータによって解析することからなる。例えば、ビデオカメラによって取り込まれた建物又は部屋の入口の画像は、その画像を人間のオペレータによって検査し、その建物又は部屋に入った人がいるか否かを判断することによって管理される。その場合、人間のオペレータは、何らかのイベントや状態の発生を判定するために、取り込み画像を絶えず監視していなければならず、また、非常に多数の取り込み画像をカメラから転送し、監視しなければならない。

画像の取り込み及び解析を行う一般的システムは、光ファイバ線のような専用同軸ケーブルを介して画像信号を送る必要があり、また、連続動作を可能にするために、電力の供給を受けなければならない。そのため、一般的システムは非常にコストが高い。

画像処理の他の方法として、取り込み画像の処理を画像取込装置のプロセッサによって行い、変化が発生したときに警告又は警報を発するという方法も提案されている。例えば、店の正面に設置されたカメラ等の画像取込装置は、カメラによって取り込まれた画像を処理するプロセッサを備え、連続した画像間の画素数が特定の閾値を超えたときに、カメラは警報を発する場合がある。しかしながら、カメラに組み込まれるプロセッサは、その大きさ、重量、価格、電力等の制約から能力に限界があり、複雑なイベントを検出又は認識することができない。また、カメラに組み込まれるプロセッサの処理能力には限界があるため、イベントの正確な検出又は認識を行うことは不可能であり、そのため、誤った警告又は警報の発生率が高くなる。

従って、効率的なイベント検出又は認識のためには、画像の高度な分散解析が重要である。これが特に重要となる理由は、画像解析が、セキュリティのような様々な目的に絶えず必要とされているからである。従って、上述のような限界及び他の限界に対処する、画像の高度な分散解析が必要とされている。

本発明の様々な実施形態は、（ａ）センサによってデジタル画像データを取り込み、（ｂ）取り込んだデジタル画像データから特徴情報をリアルタイムに抽出し、抽出した特徴情報が所定の条件を満たしているか否かをセンサで判定し、（ｃ）抽出した特徴情報が所定の条件を満しているとセンサが判定した場合、更なる解析のために、抽出した特徴情報を遠隔装置へ送信することを含む方法を提供する。

本発明の様々な実施形態は、（ａ）画像を取り込むセンサと、（ｂ）取り込んだ画像から特徴情報を抽出し、抽出した特徴情報の変化が閾値レベルを超えるか否かを判定し、変化が閾値レベルを超えると判定された場合、更なる解析のために、抽出した情報を遠隔装置へ送信するプロセッサとを含む装置を提供する。

また、本発明の様々な実施形態は、（ａ）画像データを取り込み、取り込んだ画像データを解釈し、取り込んだ画像データから特徴情報を抽出する複数のイメージセンサと、（ｂ）複数のイメージセンサに接続され、イベント検出を含む更なる解析のために、抽出した特徴情報を受信するサーバとを含み、複数のイメージセンサが、抽出された特徴情報が所定の条件を満たしている場合に、取り込んだ画像から抽出した特徴情報をサーバに送信するように構成される、分散イベント検出装置を提供する。

本発明の様々な実施形態は更に、（ａ）複数の分散センサによって複数の低解像度デジタル画像を取り込み、（ｂ）取り込んだ複数の低解像度デジタル画像を結合して単一の高解像度デジタル画像を形成し、（ｃ）高解像度デジタル画像から特徴情報を抽出することを含む方法を提供する。

本発明のこれらの利点及び態様、並びにその他の利点及び態様は、添付の図面とともに、種々の実施形態に関する下記の説明から明らかになるであろう。

ここで、本発明の種々の実施形態を詳しく参照する。実施形態の例は添付の図面に示されている。全図面を通じて、同じ参照符号は同様の構成要素を意味している。以下では、図面を参照して、本発明の種々の実施形態について説明する。

図１は、画像を取り込み、取り込んだ画像から特徴情報を抽出し、抽出した特徴情報が所定の条件を満たしているか否かを判定し、更なる解析のために、取り込んだ画像から抽出した特徴情報を送信する、本発明の一実施形態によるプロセス１００を示す図である。図１を参照すると、処理１０において画像は取り込まれる。本発明の一実施形態では、例えば、センサを使用して静止画像が取り込まれる。ただし、本発明が一個のセンサの使用に限定されることはい。複数のセンサを設けて、複数の静止画像を取り込むことも可能である。また、本発明は、取り込み画像が「静止」画像であることに限定されない。

画像を取り込む方法は一般に知られている。画像の取り込みは、例えば、デジタルカムコーダ（ビデオカメラ）、デジタルスチルカメラ、携帯電話、携帯情報端末などのセンサを使用して行うことができ、また、特定の動き、音声、光等に反応する他のデバイスのようなセンサを使用して行うこともできる。これらのセンサは一般に、画像を記録する画像取込デバイス（通常は電荷結合素子（ＣＣＤ）やＣＭＯＳイメージセンサ（ＣＩＳ））と、イメージセンサによって生成された原信号をＣＣＩＲ又はＪＰＥＧデータ等の有用な画像データに変換する画像処理ハードウェア及び／又はソフトウェアとを内蔵している。ただし、本発明が特定のタイプのセンサの使用に限定されることはない。

図１を参照すると、プロセス１００は処理１０から処理１２へ進み、処理１２において、取り込んだ画像から特徴情報を抽出する。特徴情報は様々な方法を使用して抽出することができ、取り込んだ画像から特徴情報を抽出するための何らかの特定の方法に本発明が限定されることはない。例えば本発明は、画像の相対的な輝度値又は色度値に関する重要な特徴情報を抽出し、画像間の輝度値又は色度値の変化を検出するように構成される場合がある。また、アルゴリズムを使用して変化の発生を検出することもでき、例えば、連続した画像間の差を画像中の画素数のカウントに基づいて計算し、その差が所定値を超えたときに変化の発生を示す場合がある。様々な特徴情報抽出方法が知られている。

プロセス１００は処理１２から処理１４へ進み、処理１４において、抽出した特徴情報が所定の条件を満たしているか否かを判定する。本発明の一実施形態では、例えば、アルゴリズムを使用して計算された連続した画像間の画素数の差に基づいて、変化が発生したか否かが判定される。この場合、計算された画像間の画素数の差に基づく変化が、所定の条件である。ただし、本発明が、計算された画素数の差に基づいて判定される所定の条件に限定されることはない。

プロセス１００は処理１４から処理１６へ進み、処理１６において、抽出した特徴情報が所定条件を満たしている場合、更なる解析のために、抽出した特徴情報を送信する。例えば、先の段落で説明した例に関して、計算された画像間の画素数の差から変化が発生したものと判定された場合、更なる解析のために、抽出された情報が送信される。また、本発明の一実施形態では、送信される特徴情報は、例えば一枚の画像、又は少数の画像を含む。

本発明は、特徴情報を解析するための後続の処理が特定数であることに限定されない。例えば、計算された画像間の画素数の差から変化が発生したものと判定され、特徴情報を送信した場合、他の後続の解析のために、その特徴情報を更に送信することも可能である。

このように、プロセス１００では、取り込んだ画像から特徴情報を抽出し、抽出した特徴情報が所定の条件を満たしているか否かを判定する。そして、抽出した特徴情報が所定の条件を満たしていた場合、更なる解析のために、その抽出した特徴情報を送信し、それによって取り込んだ画像の高度な分散解析を実施している。

図２は、画像を取り込み、取り込んだ画像を解釈し、取り込んだ画像から特徴情報を抽出し、更なる解析のために、抽出した特徴情報を送信する、本発明の一実施形態による装置を示す図である。図２の装置を使用して、図１のプロセス１００を実施することができる。

図２は分散イベント検出装置２００を示している。分散イベント検出装置２００は、静止画像を取り込む複数のセンサ４０を有する。分散イベント検出装置２００は更にハブ８０を有する。センサ４０はハブ８０に接続される。ハブ８０は接続１２０によって遠隔装置１３０に接続される。

図２の実施形態は、センサ４０のうちの幾つかが無線接続６０及び６０ａによってハブ８０に接続され、無線インタフェース７０ａ及び７０ｂを介してハブ８０の無線インタフェース７０と通信する例を示している。無線接続６０及び６０ａは、ＩＥＥＥ８０２．１１ｂ、Ｂｌｕｅｔｏｏｔｈ等の無線通信プロトコルを利用して実現することができる。ただし、無線接続６０及び６０ａが特定の無線通信プロトコルに限定されることはない。

図２の実施形態は、有線接続５０及び５０ａによってハブ８０に接続された他のセンサ４０も示している。

図２は、センサ４０のうちの幾つかが無線接続６０及び６０ａによってハブ８０に接続され、センサ４０のうちの幾つかが有線接続５０及び５０ａによってハブ８０に接続される実施形態を示しているが、本発明の実施形態は、無線接続及び／又は有線接続の使用に限定されることもなければ、特定タイプのプロトコルの使用に限定されることもない。また、本発明の実施形態は、異なるタイプの接続を有する異なるセンサに限定されることもない。また、本発明の実施形態は、特定数のセンサ４０の使用に限定されることもない。

上記のように、図２の装置を使用して、図１のプロセスを実施することができる。本発明の一実施形態では、例えば図１の処理１０及び１２をセンサ４０によって実施し、図１の処理１４及び１６をハブ８０によって実施する場合がある。

具体的には、図２を参照すると、センサ４０は静止画像を取り込み、取り込んだ画像から特徴情報を抽出し、抽出した特徴情報をハブ８０へ送信する。本発明の一実施形態では例えば、センサ４０は取り込んだ画像の色度値に関する特徴情報をアルゴリズムに基づいて抽出し、抽出した特徴情報をハブ８０へ送信し、その色度値が所定の条件を満たしているか否かを判定する場合がある。ただし、特徴情報を抽出する方法やアルゴリズムには様々なものがあり、本発明が特定の方法やアルゴリズムに限定されることはない。この例では、図１の処理１０及び１２をセンサ４０によって実施し、処理１４をハブ８０によって実施している。ハブ８０は、更なる解析のために、特徴情報を更に遠隔装置１３０へ送信し、それによって処理１６を実施する場合がある。他の実施形態では、この更なる解析も、ハブ８０で実施する場合がある。

本発明の他の実施形態では、図１の処理１０をセンサ４０によって実施し、図１の処理１２をハブ８０によって実施し、図１の処理１４及び１６を遠隔装置１３０によって実施する場合がある。

具体的には、図２を参照すると、センサ４０は静止画像を取り込み、取り込んだ画像をハブ８０へ送信する。本発明の一実施形態では例えば、センサ４０は画像を取り込み、取り込んだ画像をハブ８０へ送信し、ハブ８０は取り込まれた画像の色度値に関する特徴情報を抽出し、その特徴情報を遠隔装置１３０へ送信する場合がある。遠隔装置１３０は、色度値が所定の条件を満たしているか否かを判定する。また、遠隔装置１３０は、色度値が所定の条件を満たしていることを判定した場合、更なる解析のために、特徴情報を送信する。このように、この例では、図１の処理１０をセンサ４０によって実施し、処理１２をハブ８０によって実施し、処理１４及び１６を遠隔装置１３０によって実施している。

また、実施形態によっては、図１の処理１０、１２、１４及び１６をセンサ４０によって実施する場合もある。

具体的には、図２を参照すると、センサ４０は画像を取り込み、取り込んだ画像から特徴情報を抽出し、その特徴情報が特定の条件を満たしているか否かを判定する。この実施形態では、図１の処理１０、１２、１４及び１６がセンサ４０によって実施され、更なる解析がハブ８０で実施される。例えば、図２のセンサ４０のうちのプロセッサ４２を備えたセンサは、取り込んだ画像の色度値が閾値を超えているか否かを判定し、更なる解析のために、画像の色度値に関する特徴情報をハブ８０へ送信する。従って、センサ４０のうちの１つによって満たされていると判定された閾値は、ハブ８０によって再評価することもできる。ただし、本発明が、状態の発生の判定をセンサ又はハブによって実施することに限定されることはない。そのような判定はセンサ及び／又はハブによって実施してもよい。図２はセンサ４０のうちの１つだけがプロセッサ４２を備えているように描かれているが、本発明が特定数のプロセッサをセンサ４０に設けることに限定されることはない。例えば、ハブ８０に接続されたセンサ４０のそれぞれにプロセッサを設けてもよい。また、本発明が特定数のセンサの使用に限定されることもない。

本発明は、図１の処理１０〜１６をセンサ４０、ハブ８０及び遠隔装置１３０の特定の組合せによって実施することに限定されない。図１の処理１０〜１６は、センサ４０、ハブ８０及び遠隔装置１３０を使用して様々な方法で実施することが出来る。

図３は、複数レベルのイベント検出又は認識のための、本発明の一実施形態によるプロセス３００を示す図である。図３に示すように、プロセス３００は複数の検出レベル１５０、１５２、及び１５４を含む。具体的には、図３は、複数レベルの検出プロセス３００の第１の検出レベル１５０、第２の検出レベル１５２、及び第３の検出レベル１５４を示している。第１の検出レベル１５０では、画像１４０を受信し、受信した画像１４０を処理し、何らかの状態又はイベントの存在を判定し、更なる解析のために、信号１４２を第２の検出レベル１５２へ送信する。例えば、図３の第１の検出レベル１５０では、図２に示すセンサ４０が、部屋の入口の画像（図３の画像１４０）を取り込み、取り込んだ画像の画素数に関する特徴情報を抽出し、画像間の画素数に差があるか否かを判定する。ここでは第１の検出レベル１５０を画素数の差に関するものとして説明しているが、本発明による第１の検出レベルが、特定タイプの検出又は判定に限定されることはない。

また、第２の検出レベル１５２では、信号１４２を受信して更に解析し、ある状態又はイベントの存在を判定し、信号１４４を第３の検出レベル１５４へ送信する。従って、先の段落の例に関し、図３の第２の検出レベル１５２では、センサ４０（図２）が、取り込んだ画像１４２の画素数に関する、抽出した特徴情報をハブ８０（図２）に送信する。この例では、第２の検出レベル１５２においてハブ８０は、複雑なアルゴリズムを実施し、第１の検出レベル１５０においてセンサ４０によって判定された画素数の差が、人が部屋に入ったことを示すものであるか否かを（他の物体と対比して）判定する。また、本発明の一実施形態によれば、ハブ８０は、更なる解析のために、人が部屋に入ったか否かの判定結果を示す信号１４４を例えば図２に示す遠隔装置１３０へ送信する場合がある。

第３の検出レベル１５４では、信号１４４を受信して更に解析し、何らかの状態又はイベントの存在を更に判定又は確認し、警報又は通知を発生させるための信号１４６を送信する。例えば、前２つの段落における例に関し、図２に示す遠隔装置１３０は、ハブ８０（同じく図２に示す）から人が部屋に入ったことを示す信号１４４を受信し、部屋に入ったとハブ８０で判定された人の識別が所定の識別に一致するか否か等、更なる判定を行う。本発明の一実施形態では、更に遠隔装置１３０も、警報を発生させるための信号１４６を送信する。これにより、複数レベルのイベント検出又は認識が可能になる。複数レベルの検出に関する上記の説明は、特徴抽出という単一の方法（すなわち、画像間の色度の変化や画素数の変化）を使用したものとして記載されているが、本発明が、特徴抽出という単一の方法の使用に限定されることはない。例えば、画像間の色度の変化と画素数の変化を両方とも使用して、更なる解析のために画像データを送信する必要があるか否かの判定を実施してもよい。

このように、本発明の一態様によれば、複数レベルのイベント検出又は認識が実施される。例えば、イメージセンサ、ハブ、及び遠隔装置を設け、第１、第２及び第３レベルの検出を実施し、図３の例に類似した複数レベルのイベント検出又は認識を実施する場合がある。図３の複数レベルのイベント検出又は認識のためのプロセス３００は３つの検出レベル１５０、１５２及び１５４を使用して説明されているが、本発明が３つの検出レベルに限定されることはない。例えば、第１の検出レベルにおいて部屋の入口の画像をセンサによって取り込み、取り込んだ画像の画素数に関する特徴情報を抽出し、部屋の入口を示す画像間の画素数に差があるか否かを判定し、第２の検出レベルにおいてその判定結果をハブ又は遠隔装置へ送信するという２レベルの検出を実施することができ、ハブ又は遠隔装置は、センサによって取り込まれた画像間の画素数に差があるか否かを示す第２レベルの判定結果が、人が部屋に入ったことを示すものであるか否かに応じて、警報を発生させる。このように、本発明は、２レベルのイベント検出又は認識を使用して実施することが出来る。

従って、画像の高度な分散解析のための方法及び装置が提供される。これにより、複数レベルにおける取り込み画像の解釈が可能となり、それにより、画像解析の効率的且つ有効な方法及び装置が提供される。複数レベルの解釈により、取り込み画像を解析する際に発生することがある曖昧さを低減することができる。また、情報が複数のレベルへ送信されるため、取り込み画像に関する情報量も少なくなる。

また、本発明によれば、取り込み画像からの特徴情報の抽出、特徴情報のリアルタイムな解析、及び更なる解析のために解析された特徴情報を送信することが、更に可能となる。そのため、取り込み画像から特徴情報の重要部を抽出し、更なる解析のために上流へ送信することが可能となり、その結果、情報量が少なくなる。また、本発明の一実施形態によれば、センサによって取り込み画像から特徴情報を抽出することにより、取り込み画像のリアルタイムな検査が可能になる。

また、本発明が提供する画像の分散解析は、様々な異なる既知の特徴抽出法を使用して実施することが可能である。そのため、本発明の画像の分散解析は、画像から意味のある特徴情報を抽出する既知の方法と併用することができる。

このように、本発明は、画像を取り込むセンサと、取り込んだ画像から特徴情報を抽出するプロセッサとを含む装置を提供する。プロセッサは、抽出した特徴情報の変化が閾値レベルを超えているか否かの判定を行い、変化が閾値レベルを超えていることを判定した場合、更なる解析のために、抽出した情報を遠隔装置へ送信する。

本発明はまた、複数の分散されたセンサを用いて複数の低解像度デジタル画像を取り込み、取り込んだ複数の低解像度デジタル画像を結合し、単一の高解像度デジタル画像を形成する方法も提供する。この方法は、高解像度デジタル画像から特徴情報を抽出し、抽出した特徴情報が所定の条件を満たしているか否かを判定し、低解像度デジタル画像が所定の条件を満たしていることが判定された場合、イベント検出のために、抽出された特徴情報を送信することを更に含む。

本発明の幾つか実施形態について図示説明してきたが、当然ながら、当業者であれば、本発明の原理及び思想から外れることなく、それらの実施形態に変更を加えることも可能である。本発明の範囲は特許請求の範囲及びその均等に規定される。

画像を取り込み、取り込んだ画像から特徴情報を抽出し、抽出した特徴情報が所定の条件を満たしているか否かを判定し、更なる解析のために、抽出した特徴情報を送信する、本発明の一実施形態によるプロセスを示す図である。 画像を取り込み、取り込んだ画像を解釈し、取り込んだ画像から特徴情報を抽出し、更なる解析のために、抽出した特徴情報を送信する、本発明の一実施形態による装置を示す図である。 複数レベルのイベント検出又は認識のための、本発明の一実施形態によるプロセスを示す図である。

符号の説明

４０ センサ
４２、９０ プロセッサ
１３０ 遠隔装置
８０ ハブ

Claims (10)

1. センサ（４０）によってデジタル画像データを取り込むステップと、
   取り込まれた前記デジタル画像データから特徴情報をリアルタイムに抽出し、抽出された特徴情報が所定の条件を満たしているか否かを前記センサ（４０）によって判定するステップと、
   前記抽出された特徴情報が前記所定の条件を満たしていることが、前記センサ（４０）によって判定された場合、更なる解析のために、前記抽出された特徴情報を遠隔装置（１３０）へ送信するステップと
   からなる方法。
2. 前記遠隔装置（１３０）はデータベースから受信したデータに従って前記更なる解析を実施する、請求項１に記載の方法。
3. 前記デジタル画像データは前記センサ（４０）によって定期的に取り込まれる、請求項１又は請求項２に記載の方法。
4. 取り込まれる前記デジタル画像データは静止画像である、請求項１〜３のうちのいずれか一項に記載の方法。
5. 前記データベースから受信されるデータは結合され、高解像度画像を提供する、請求項１〜４のうちのいずれか一項に記載の方法。
6. 前記抽出された特徴情報は記憶され、前記遠隔装置（１３０）は前記更なる解析を記憶された前記特徴情報に従って実施する、請求項１〜５のうちのいずれか一項に記載の方法。
7. 画像を取り込むセンサ（４０）と、
   取り込まれた画像から特徴情報を抽出し、抽出された特徴情報の変化が閾値レベルを超えているか否かを判定し、抽出された特徴情報の変化が前記閾値レベルを超えていた場合、更なる解析のために、抽出された特徴情報を遠隔装置（１３０）に送信する、プロセッサ（４２、９０）と
   からなる装置。
8. 前記センサ（４０）に接続されたハブ（８０）を更に含み、前記プロセッサは該ハブ（８０）に配置され、前記遠隔装置（１３０）は、前記センサ（４０）から離れた位置にあり、且つ、前記ハブ（８０）からも離れた位置にある、請求項７に記載の装置。
9. 前記ハブ（８０）はデータベースを含み、前記抽出された特徴情報に関連する統計情報を生成するために、前記抽出された特徴情報は前記データベース（８０）に記憶される、請求項７又は請求項８に記載の装置。
10. 前記プロセッサ（４２）は前記センサ（４０）に配置される、請求項７〜９のうちのいずれか一項に記載の装置。
    
    

Images