JP2010509651A - 画像認識装置及び方法 - Google Patents

Abstract

画像を認識するための装置及び方法が開示されており、画像がライン毎に電子的にスキャンされる。各ラインのピクセルは、処理されて、色調的及び位置的の双方の基準を満たすピクセルが輪郭点として選択される。輪郭点のセットは、画像の性質を判定するために、格納された基準と比較される。

Description

本発明は、画像認識のための装置及び方法に関し、特に、排他的ではないが、人間の手の形状の認識のための装置及び方法に関する。

人間の手の形状のようなオブジェクトの認識のための装置は良く知られており、カメラ及び電子処理装置を用いて種々異なる手の信号を認識することを目的とする従来のシステムが存在する。斯様な従来のシステムは、一般に、種々異なる手の合図の違いを区別するために、比較的大きな量のメモリを必要とし、及び／又は、比較的負担をかける計算をもたらす。このため、これらは、比較的大きな電力を消費する。

人間の手の画像を認識するための一の斯様な従来のシステムは、特開２００３−３４６１６２号公報で述べられている。これは、手の画像の電子処理によってどの指が人間の手から延びているかを認識することを目的とするコンピュータ入力システムについて述べている。この技術は、肌の色調認識手段に基づく手の検出を必要とする。点及び角で描かれた詳細な多角形状が形成され、どれぐらいの指が立っているかを判定するために用いられる。画像を処理するために必要な計算は非常に多く、それ故に、この技術に用いられる装置の電子処理能力及びメモリは、両方とも必然的に比較的大きくなり、同様に電力消費も大きくなる。

本発明の実施形態は、比較的小さな電子処理能力及びメモリを要するとともに低電力消費をもたらし、従って、無線"スマートカメラ"装置を用いるアプリケーションに適し得る、人間の手のようなオブジェクトの形状を認識するためのロバスト技術を提供することを目的とする。

スマートカメラ、即ち、処理能力が組み込まれたカメラは、生画像を局所的に処理し、無線送信により情報のキーワードだけをホストシステムに送信する。発明者は、これが、ライブビデオを解析ホストコンピュータに報知するよりも電力消費に関して効果的であることを発見した。

本発明によれば、画像は、ライン毎に電子的にスキャンされる。ピクセルのラインが処理され、色調及び位置の基準を満たすピクセルが輪郭点として選択される。輪郭点のセットは、画像の性質を判定するために、格納された基準と比較される。

本発明の一態様によれば、画像センサ、第１の電子プロセッサ、第２の電子プロセッサ及びメモリを有する画像認識装置であって、前記第１の電子プロセッサは、複数のラインメモリを有する並列ビデオプロセッサであり、前記第１の電子プロセッサは、前記画像センサにより感知された画像をライン毎に水平にスウィープし、各ラインのピクセルは、処理されて、前記複数のラインメモリのうちの１つに格納され、ラインメモリに格納されたラインの各ピクセルは、最初に、色調に基づいて適格基準（qualification criterion）と比較されて、色調的に適したピクセルが検出された最初のラインの後の各ラインについて、各ライン上の最初及び最後の適格ピクセルが、前のライン上の色調的に適したピクセルに関する位置的基準（positional criteria）と比較され、これらの色調及び位置の双方に適するピクセルが輪郭点として選択され、当該装置は、前記輪郭点を格納するように構成され、格納された前記輪郭点のセットが、前記輪郭点により表わされた画像の性質を決定するために、前記輪郭点のセットと格納された情報とを比較する前記第２の電子プロセッサにより処理される、画像認識装置が提供される。

センサは、ライン単位で編成された複数のピクセルを有する画像を登録する。画像は、第１の電子プロセッサに送信される。画像は、ピクセルの色調に基づいて画像中の手の存在を検出するために、第１の電子プロセッサによりライン毎に水平にスウィープされる。各ラインに対して、色調的に適したピクセルが検出されたときには、最初及び最後の適格ピクセルが輪郭点として有効化される。輪郭の点は、輪郭点により表わされる画像の性質を判定するために、受信した輪郭点と格納された情報とを比較する第２の電子プロセッサに更に供給される。

斯様な画像認識装置の利点は、画像の性質を判定するために、輪郭の最も顕著な点だけを要求することである。輪郭点の決定は、受信した画像をライン毎に処理することによるメモリ及び並列ビデオプロセッサのライン編成を利用する。

装置が並列的手法においてライン毎に画像を処理するので、電力消費が最小に維持され得る。

好ましい構成において、装置は、前記画像センサとして、第１及び第２の電子プロセッサが組み込まれた無線カメラを有する。

画像センサとしての無線カメラの使用は、カメラの近くでの電源の利用可能性とは無関係にカメラの位置合わせを行うので多くの利点を持つ。

好ましい構成において、ピクセルの色調適格基準は、ピクセルが、ＵＶカラー空間において肌の色調を示す値の予め決められた範囲内の値を持つことである。斯様な色調適格基準は、シンプルであり、画像中の手の存在を判定する便利な手法である。

好ましい構成において、装置は、人間の手の画像を認識するように構成される。

好ましい構成において、カメラは、少なくとも１つのフィルタを有する。これは、肌の色のピクセルをフィルタリングするためである。

また、本発明は、画像を電子的に識別する方法であって、複数のラインとして水平に前記画像をスウィープするステップと、前記画像の各スウィープラインに対して、どのピクセルが予め決められた色調基準を満たしているかを検出するステップと、色調的に適したピクセルが最初に検出された後の各ラインについて、どれがライン上の位置に関しての最小及び最大の適格ピクセルであるかを判定するステップと、どのピクセルが位置基準を満たしているかを判定するために、適した最大及び最小のピクセルと前のライン上の対応物とを比較するステップと、色調及び位置の双方の基準を満たすピクセルを輪郭点としてメモリに格納するステップと、前記画像の性質を識別するために、輪郭点のセットと格納された輪郭とを比較することにより前記輪郭点のセットを処理するステップとを有する、方法を提供する。

好ましい構成において、最初の輪郭点は、前記色調基準を満たす最初の検出ピクセルとして取得される。

好ましくは、ピクセルは、前のラインからの対応する最大又は最小値のピクセルと比較された場合の位置の差分が予め決められた範囲内にあるときには、位置基準を満たすものと見なされる。

方法は、人間の手の画像を認識する方法を有し、色調的に適したピクセルは、その値がＵＶカラー空間の値の予め決められた範囲内にあるものであってもよい。

好ましくは、方法は、輪郭を、異なる手の形状又は合図に対応する格納された輪郭のそれぞれのセットと比較するステップを有する。

方法は、手のジェスチャを識別するために、一連の手の形状又は合図を判定するステップを有する。

本発明の好ましい実施形態は、添付図面を参照して単なる例示により説明されるだろう。

本発明の一実施形態による画像認識装置の概略図である。 スキャンされた画像から輪郭点を取得する方法を示す概略的なフローチャートである。 異なる画像に関するラインスキャン技術の概略的な例を示している。 異なる画像に関するラインスキャン技術の概略的な例を示している。 図３ａに示された画像スキャンから導出された画像輪郭を示している。 本発明による技術によって導出された、複数の画像及びこれらに対応する画像輪郭を示している。

ここで述べられる実施形態では、人間の手の画像を検出するために無線"スマートカメラ"を用いる。電力消費は、バッテリの寿命を延ばすために最小限に抑えられなければならない。従って、並列処理アーキテクチャが用いられ、これは、メモリアクセスの数、クロック速度及び命令の復号化を最小限に抑えるからである。無線カメラにおける並列ビデオプロセッサを用いた画像データの処理は、未加工の取得データを固定デバイスに送信するよりも電力的に効率的である。スマートカメラは、基本的には４つのコンポーネント、即ち、１又は２つの画像センサ、低いレベルの画像処理に関するＳＩＭＤ（Single Instruction Multiple Data）プロセッサ、中間及び高いレベルの処理及び制御に関する汎用プロセッサ、並びに、通信モジュールから成る。双方のプロセッサは、自己の処理速度で、共有化されたワークスペースにおいて動作することを可能とするデュアルポートＲＡＭを用いて結合される。

図１は、本発明による画像認識装置の一実施形態の概略的なアーキテクチャを示している。この場合において、装置は、全体として１０で示されたスマートカメラを有している。装置は、センサ１２、ビデオプロセッサ１４、汎用プロセッサ１６、デュアルポートＲＡＭ（ＤＰＲＡＭ）１８、ＥＥＰＲＯＭ２０、無線通信サブシステム２２、ビデオプロセッサ１４と汎用プロセッサ１６とを接続するチップ間制御デバイス（１２Ｃ）２４、ＤＰＲＡＭバス２６及び２８、ＥＥＰＲＯＭバス３０、並びに、ＵＡＲＴ（又は他の直列代替物）バス３２を有している。

ビデオプロセッサ１４は、リニアプロセッサアレイ（ＬＰＡ）と複数のラインメモリ（図示省略）とを有している。

ビデオプロセッサは、並列プロセッサであり、ＳＩＭＤプロセッサのPhilips Xetal familyの部分であるＩＣ３Ｃにより実現され得る。汎用プロセッサとして、Atmel 8051デバイスが用いられ得る。

ビデオプロセッサ１４の主要部は、３２０の縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサを備えたリニアプロセッサアレイ（ＬＰＡ）で形成される。これらのプロセッサのそれぞれは、ＬＰＡ内のメモリ位置に対する１クロックサイクル内の同時読取及び書込アクセスを持つ。プロセッサのメモリアドレス及び命令の双方は、ＳＩＭＤ的に共有される。また、ＬＰＡにおける各プロセッサは、左隣及び右隣のメモリデータを直接読み取ることができる。リニアアレイの端部では、これらのプロセッサの入力は、オプション的に結合されるか、又はミラー化される。ＬＰＡプロセッサは、演算及び単一サイクルの乗演算から複合命令に及ぶ、６４までの命令を扱うことができる。これらに加えて、データ依存型演算を可能にする条件付き保護命令（conditional guarding instruction）が存在する。データパスは、１０ビット幅である。各プロセッサは、２つのワードレジスタ及びフラグレジスタを持つ。

ビデオプロセッサ内のラインメモリは、３２００ビットの６４ラインを格納する。画像ラインのピクセルは、このメモリ上にインタレース（interlace）方式で配置される。

ビデオプロセッサのピークピクセル性能は、５０ＧＯＰＳ（Giga Operations Per Second）前後である。高ピクセル性能にも関わらず、デバイスは、複数ピクセルのメモリロケーションに対するエネルギを消費するようなアクセスの代わりに、命令の解読が３２０個の処理エレメントの間で共有されるだけでなく、メモリアクセスが、完全な画像ラインを含む超幅広メモリワードに対して行われるので、本来的に低電力プロセッサである。フィーチャファインディングのような典型的なアプリケーションに関して、電力消費は、アクティブ処理モードにおいて１００ｍＷより低いと測定されている。

ビデオプロセッサ１４に関するプログラムは、ＥＥＰＲＯＭに格納され、汎用プロセッサ１６からＩ^２Ｃ２４を経由してアップロードされ得る。汎用プロセッサ１６は、画像に関して実行されるべき特定のタスクに関してビデオプロセッサにプログラムをロードし得る。

デバイス１０に関するソフトウェアは、ほぼ独立して開発される３つの部分から成る。ビデオ（並列）プロセッサ１４に関するプログラムは、陰的並列データタイプ（implicit parallel data type）を備えたＣ++言語で書かれる。全てのプログラムは、全ての画像ラインが単一のクロックサイクルの命令において処理されるようにラインベースで書かれる。命令を保護することにより、データ適応ソフトウェア構造が実装され得る。このプロセッサ上で実行し得る典型的な機能は、画像の改善、動きの解析、オブジェクトの検出、及びトラッキングアルゴリズムである。汎用プロセッサ１６上のプログラムは、時間に渡りオブジェクトデータを監視するために専用される。汎用プロセッサは、（オペレーティングシステムを実行する）ホスト機能を実行し、通信サブシステム２２を経由してホストシステムにイベントを送信することを決定し得る。

ビデオプロセッサプログラムの目的は、この実施形態においては、手の"輪郭点"を検出して、これらをＤＰＲＡＭに格納することである。

ビデオプロセッサは、（図中の要素３４により表わされた）ＹＵＹＶフォーマットを備えた４つのチャンネル上で１又は２つのＶＧＡセンサ１２（この実施形態においては１つだけ）から情報を受信する。また、センサからビデオプロセッサに画像を送信する他のフォーマットも可能である。第１のステップは、肌の色のピクセルをフィルタリングすることにある。適切な閾値を持つローパス又はメジアンフィルタは、次のステップにおいて最小限のノイズを伴う非常にロバストな検出が要求されるために、検出画像からノイズを除去するために用いられる。

この実施形態において、ビデオプロセッサは、ＳＩＭＤプロセッサであるので、従って、ピクセル毎ではなく、完全なライン上のみの画像を処理することができる。手を検出した後、ラインスウィープ技術が、オブジェクトの輪郭、この実施形態においては手の輪郭を形成するために用いられる。この技術は、画像を横切る水平ラインをスウィープし、特定のデータを追跡し、及び、特定のイベントがラインスウィープの間に引き起こされる毎に特定の動作を実行することをもたらす。輪郭点として適したピクセルは、ＤＰＲＡＭ１８に格納される。そして、このようにして得られた輪郭は、オブジェクトの性質を判定するために、又は、特別な場合においては手の合図の性質を判定するために、格納された基準輪郭との比較により汎用プロセッサ１６で解析される。

ピクセルがプロセッサ１４により最初に処理されるときには、どのピクセルがこれらの色調に起因して（即ち問題となっているオブジェクトの）画像ピクセルとして適しているかの決定が行われる。本実施形態においては、関心のある色調は、肌の色調であり、従って、値がＵＶ空間において肌の色に適した値の予め決められた範囲内にあるピクセルが、色調的に適したピクセルとして選択される。

図２は、本発明のこの実施形態により、画像を規定する輪郭点のセットを形成する概略的な方法を示している。

ステップ１００では、ピクセルの一のラインがプロセッサ１４に読み込まれ、ステップ１１０では、ピクセルのラインが色調的に適したピクセル（この場合においては肌の色調のピクセル）を含むかどうかの決定が行われる。

色調的に適したピクセルが検出されない場合には、ピクセルの次のラインがプロセッサに読み込まれる。

色調的に適したピクセルが検出された場合には、このピクセルが最初の検出ピクセルであるかどうかの決定がステップ１２０で行われる。

そうであれば、ステップ１６０で、対応する座標を持つピクセルが輪郭点として格納される。

ピクセルが最初の斯様なピクセルではない場合には、ステップ１３０で、ライン上の最も左（ＭｉｎＸ）及び最も右（ＭａｘＸ）の色調的に適したピクセルが取得される。

ステップ１３５では、ノイズ削減プロセスが実行される。

ステップ１４０では、これらのピクセルが、前に検討されたラインからの対応物と比較される。

ステップ１５０では、ピクセルが位置的に適しているかどうかの決定が行われる。

いずれのピクセルも位置的適格基準を満たさない場合には、ステップ１００で、ピクセルの次のラインがプロセッサ１４に読み込まれる。

ピクセルのいずれか又は双方が位置的適格基準を満たす場合には、これ又はこれらは、ステップ１６０で輪郭点として格納され、ピクセルの次のラインが読み込まれる。

図３は、ラインスウィープ技術及び輪郭点の一例を示している。図３ａにおいて、ラインは、スクリーンの上部（Line 0）からスウィープを開始し、ＭｉｎＸ及びＭａｘＸの値を監視して下へ移動する。ここで、ＭｉｎＸ及びＭａｘＸは、ライン中の色調的に適したピクセル（即ち、ライン中の肌の色調のピクセル）の最小及び最大のＸ座標である。第１の輪郭点Ｅ_１（Ｘ_１，Ｙ_１）に関しては、ライン＝Ｙ_１及びＭｉｎX＝＝ＭａｘＸ＝＝Ｘ_１である。第２の点Ｅ_２（Ｘ_２，Ｙ_２）に関しては、ライン＝Ｙ_２並びにＭｉｎX＝＝Ｘ_１及びＭａｘＸ＝＝Ｘ_２等である。以下のテーブルは、各輪郭点に関するＸの最小及び最大の値の一例を示している。

"．ＭｉｎＸ＝ＭｉｎＸ−現在のＭｉｎＸ"及び"．ＭａｘＸ＝ＭａｘＸ−現在のＭａｘＸ"（ここで、現在のＭａｘＸ及び現在のＭｉｎＸは、それぞれ、肌の色調のピクセルに関するＸ座標の最大及び最小の値である）の場合には、輪郭点は、．ＭｉｎＸが予め決められた範囲（.₁, .₂）の範囲内であるか、又は、．ＭａｘＸが予め決められた範囲（.₁, .₂）の範囲内である場合にのみ生成される。位置的な適格基準を与える理由は、ピクセルが前のライン上の輪郭点に近すぎるときに無視され得るためである。斯様なピクセルは、例えば、単に手の曲率だけを示しているかもしれないから、手の一意的に識別する輪郭を形成するためには必要がない。これには、第１の輪郭点Ｅの例外がある。輪郭点Ｅ１は、検出されるべき全く最初の肌の色調について生成される。

このアプローチを用いて、輪郭Ｃ｛Ｅ_１...Ｅ_ｎ｝が形成され得る。

図４は、図３に表わされた５本指の手の合図から導出された輪郭を示している。図５は、上述した手法において導出され得る、多くの他の手の合図及びこれらの輪郭を示している。

最も重要なことは、図５に示されたそれぞれの手の合図に関して、その輪郭が全ての他の輪郭から区別されることである。

Ｘ及びＹの割合は、各輪郭を示している。図４の例においては、Ｙ_５がＹ_４よりも大きい場合には、これは右手であり、そうでなければ左手である。異なる手の合図は、異なるＸ及びＹの割合に対応する。

一連の手の形状は、手のジェスチャを判定するために用いられ得る。

本発明は、図面及び前述の説明において詳細に表わされて示される一方で、斯様な表示及び説明は、例示及び単なる例であり、限定的ではない、即ち、本発明は開示の実施形態に制限されないことが理解されるべきである。

開示の実施形態に対する他の変形例は、図面、開示、及び特許請求の範囲の検討から、本発明を実践する場合に当業者により理解され実施され得る。特許請求の範囲において、"有する"という用語は、他の要素又はステップを除外するものではなく、単数表記は、複数を除外するものではない。単一のプロセッサ又は他のユニットは、特許請求の範囲に記載された複数の項目の機能を満たしてもよい。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に用いられ得ないことを示すものではない。コンピュータプログラムは、他のハードウェアの部分とともに又は当該部分として供給される光学的格納媒体又はソリッドステート媒体のような、適切な媒体上に格納／分配されてもよいが、インターネット又は他の有線若しくは無線の電気通信システムを経由するような他の形式で分配されてもよい。特許請求の範囲における如何なる参照符号も、範囲を制限するものとして構成されるべきではない。

Claims (13)

1. 画像センサ、第１の電子プロセッサ、第２の電子プロセッサ及びメモリを有する画像認識装置であって、
   前記第１の電子プロセッサは、複数のラインメモリを有する並列ビデオプロセッサであり、
   前記第１の電子プロセッサは、前記画像センサにより検知された画像をライン毎に水平にスウィープするように構成され、
   各ラインのピクセルは、前記ビデオプロセッサにより処理されて、前記ラインメモリのうちの１つに格納され、
   ラインメモリに格納されたライン中の各ピクセルは、最初に、色調に基づいて適格基準と比較されて、色調的に適したピクセルが検出された最初のラインの後の各ラインについて、各ライン上の最初及び最後の適格ピクセルが、前のライン上の色調的に適したピクセルに関する位置的基準と比較され、
   色調及び位置の双方に適するピクセルが輪郭点として選択され、
   当該装置は、前記輪郭点を格納するように構成、格納された前記輪郭点のセットが、前記輪郭点により表わされた画像の性質を判定するために、前記輪郭点のセットと格納された情報とを比較する前記第２の電子プロセッサにより処理される、画像認識装置。
2. 組み込まれた前記第１及び第２の電子プロセッサを備えた無線カメラを前記画像センサとして有する、請求項１に記載の画像認識装置。
3. ピクセルの色調的基準の適格性は、前記ピクセルが、ＵＶカラー空間において肌の色調を示す値の予め決められた範囲内の値を持つことである、請求項１又は請求項２に記載の画像認識装置。
4. 当該装置は、人間の手の画像を認識するように構成される、請求項３に記載の画像認識装置。
5. 前記センサは、少なくとも１つのフィルタを有する、請求項１〜４のうちずれか一項に記載の画像認識装置。
6. 画像を電子的に識別する方法であって、
   複数のラインとして水平に前記画像を電子的にスウィープするステップと、
   前記画像の各スウィープラインに対して、どのピクセルが予め決められた色調基準を満たしているかを検出するステップと、
   色調的に適したピクセルが最初に検出された後の各ラインについて、どれがライン上の位置に関しての最小及び最大の適格ピクセルであるかを判定するステップと、
   どのピクセルが位置基準を満たしているかを判定するために、適した最大及び最小のピクセルと前のライン上の対応物とを比較するステップと、
   色調及び位置の双方の基準を満たすピクセルを輪郭点としてメモリに格納するステップと、
   前記画像の性質を識別するために、前記輪郭点のセットと格納された輪郭とを比較することにより前記輪郭点のセットを処理するステップとを有する、方法。
7. 最初の前記輪郭点は、前記色調基準を満たす最初の検出ピクセルとして取得される、請求項６に記載の方法。
8. ピクセルは、前のラインからの対応する最大又は最小値のピクセルと比較されるような位置の差分が予め決められた範囲内にあるときには、前記位置基準を満たすものと見なされる、請求項６又は請求項７に記載の方法。
9. 色調的に適したピクセルは、値がＵＶカラー空間の値の予め決められた範囲内にあるものである、請求項６〜８のうちいずれか一項に記載の方法。
10. 当該方法は、人間の手の画像を認識する方法を有する、請求項９に記載の方法。
11. 輪郭を、異なる手の形状又は合図に対応する格納された輪郭のそれぞれのセットと比較するステップを有する、請求項６〜１０のうちいずれか一項に記載の方法。
12. 請求項６〜１１のうちいずれか一項に記載の方法をコンピュータに実行させ得るための命令を有する、コンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な媒体。

Images