JP2012531652A - クロマキーを用いたジェスチャ認識 - Google Patents

Abstract

本発明は、対象物を分析するための方法及びシステムを提供する。本システムは：対象物の後ろに配置される背景を含み、前記背景の色は１組の色から選択されることができ；前記背景に与えられた色を設定するための第１のユニットを含み、前記与えられた色が前記対象物の色とは異なり；前記対象物及び前記背景を含む画像を取得する第２のユニットを含み；さらに前記第２のユニットにより取得された画像により前記対象物に関する少なくとも１つの特徴を検出するための第３のユニットとを含む。本発明システムにおいては、前記背景の色は前記対象物の色とは異なるように設定され得る。これにより、前記取得された画像において前記対象物の部分を前記背景部分から容易に区別される。この結果、異なる対象物、特に異なる色の対象物の安定な認識が得られる。

Description

本発明は、画像処理技術に関し、特に対象物を分析するために画像処理技術を利用することに関する。

画像処理技術を用いて人の手の形状などの対象物を認識するための装置は、当該技術分野においてよく知られている技術であり、認識を目的とするいくつかの先行技術システムが存在し、これは例えば、カメラ及び電子処理装置を用いて異なる手のジェスチャを認識するものである。かかる従来技術では、前記対象物の画像は、通常は、複雑な背景の前、又は固定色の背景の前でキャプチャされる。しかし、異なる対象物は異なる色を持つ可能性がある（例えば、異なる皮膚の色）。前記対象物の色が前記背景色と近い場合、従来技術では正確なかつ安定な認識を行うことは難しかった。このためにこれらの従来技術システムでは高精度及び高安定性が要求される分野では限界があった。

従って、人の手のような対象物を高精度かつ高安定に検出しかつ分析する技術が必要とされている。高精度でかつ高安定に対象物、特に異なる色を持つ対象物を検出しかつ分析する技術を提供することは有利なこととなるであろう。

本発明によれば、背景は、分析される対象物の後ろに配置され、前記背景に色が前記対象物の色と異なるように設定され得る。これにより、前記対象物及び背景を含む画像が取得された後、前記画像の前記背景部分を前記対象物と区別することを容易にする。これにより、異なる対象物、特に異なる色を持つ対象物の安定な認識を与える結果となる。

本発明の１つの側面によれば、対象物を分析するための方法及びシステムを提供する。前記システムは：
対象物の後ろに配置される背景を含み、前記背景の色が全ての色の組みから選択され得るものであり；
前記背景の色を、前記色が前記対象物の色とは異なるように設定するための第１のユニットと；
前記対象物及び前記背景を含む画像を取得する第２のユニットと；及び
前記第２のユニットで取得された前記画像により前記対象物と関連する少なくとも１つの特徴を検出するための第３のユニットとを含む、システムである。

かかるシステムおよび方法の利点は次の点である。すなわち、前記取得された画像から前景（即ち前記対象物部分）を前記背景から区別することが容易になるということである。というのは前記背景の色は前記対象物の色とは非常に異なるからである。さらに、かかるシステムでは、前記背景色は前記対象物の色に従い設定され得るものである。従って、たとえ前記対象物の色が他の対象物と置換された対象物により変化する場合であっても、前記システムはなお、前記取得された画像により前記対象物に関する特徴を高い信頼性で検出することができるものである。

好ましくは、前記背景として選択された色が前記対象物の色と、彩度、輝度又はその両方の点から異なるものである。かかるシステムは、必要に応じて、低コストのモノクロカメラ又はカラーカメラのいずれかを前記第２のユニットとして持つ。

好ましくは、前記背景の色は前記第１のユニットの第１のモジュールにより決定され得る。１例では、前記第１のモジュールは前記背景色としてデフォルト色（例えば緑色）を選択してよい。他の例では、前記背景色はユーザ入力に基づいて決められ得る。ここで前記ユーザ入力は前記ユーザが選択を望む背景色を指示するものである。かかるシステムは非常に単純であり操作が容易である。さらなる例では、前記背景色は前記対象物及びユーザ入力の検出された色の分布により決められ得る。かかるシステムは、前記患者又はユーザが、前記対象物のより正確な分析を達成するために前記背景色として最適の色を選択するための補助を行うことができる。

好ましくは、前記対象物の前記色分布は次のステップを実行することで自動的に決められ得る：
前記背景色のサブセットを順に選択して異なる色の１組の背景を生成するステップ；
前記１組の背景のそれぞれの背景につき、前記対象物及び前記背景を含む少なくとも１つの画像を所得するステップ；
前記組の背景について取得された画像の統計分析に基づき、前記対象物の色分布を検出するステップ、とを含む。

かかるシステムは前記対象物の前記色分布を自動的に検出し、前記背景の最適化色をユーザが介入することなく正確に決めることができる。

好ましい実施態様では、前記対象物は身体の一部分（人の手など）であり、前記システムはさらに、前記第３のユニットにより検出された少なくとも１つの特徴に基づき、前記身体の前記部分のジェスチャを認識するための第４のユニットを含む。例えば、前記検出された特徴は前記身体のシルエットであってよい。かかるシステムは前記身体の前記部分の前記ジェスチャをさらなる分析のために正確にかる高安定に検出することができる。

さらに、前記システムは、リハビリテーションシステムに利用され得るものである。ここで前記対象物は患者の身体の部分（例えば、上肢及び手など）である。前記リハビリテーションシステムはさらに、前記身体の部分の認識されたジェスチャが正しいかどうかを評価し、かつその結果を患者に知らせるために音響及び／又はビデオシグナルを介してフィードバックさせる。これによりかかるシステムは家庭用リハビリテーションシステムとなり、患者が自分で自動的に運動再学習訓練を実行するようにできるものである。

本発明の他の実施態様によれば、対象物の分析を支持するための装置が提供され、前記装置は：
前記対象物の後ろに配置されることを意図された背景を含み、前記背景の色が全ての種々の色から選択され得るものであり；
前記与えられた色が前記対象物の色と異なる色となるように前記背景の色を配置するための第１のユニットを含む、ものである。

かかる装置は、前記のようなリハビリテーションシステムを確立するためのカメラ及びコンピュータと協働し得る。

本発明のこれらの及び他の側面は、以下説明される実施態様を参照して明らかとなるであろう。本発明は添付された図面を参照しつつより詳細に説明される。図中の類似の符号は、類所の又は対応する特徴及び／又は機能を示す。

図１は本発明の１つの実施態様による対象物を分析するためのシステムの模式図である。 図２は、図２のシステムの操作手順を示すフローチャートである。 図３は、図１の制御装置のブロックダイヤグラムである。 図４は、本発明の１つの実施態様による対象物の色分布を自動的に決めるためのフローチャートを示す。 図５は、本発明の１つの実施態様によるリハビリテーションシステムのための操作手順を示すフローチャートである。 図６は、本発明の１つの実施態様により得られるシルエットを模式的に示す。

本発明の発明者は次の知見を得た。すなわち、分析されるべき対象物の後ろに配置される背景に色が、前記対象物の色と異なるように設定されることができれば有利となる、ということである。前記対象物と前記背景と大きな色の違いがあると、前記対象物及び前記背景を含む画像の対象物に関する部分を区別することが容易となる。

図１は、前記明の考えによる対象物を分析するための例示的システム１０を示す。前記システム１０は手のジェスチャなどを認識するシステムであり得る。図１に示すように、システム１０は背景１１０、制御装置１２０（第１のユニット）、カメラ１３０（第２のユニット）及び処理ユニット１４０を含み、前記処理ユニット１４０は、例えば検出ユニット１４１（第３のユニット）及び他の選択的機能ユニット１４２及び１４３（以下説明される）を含む。

図１に示されるように、例えば人の手などの分析されるべき対象物が、前記背景１１０及びカメラ１３０の間に置かれる。ここで前記背景１１０の位置及び高さは望むように調節され得る。例えば、異なるユーザに適合させるように調節され得る。カメラ１３０は対象物１５０及び背景１１０を含む画像を所得する。カメラ１３０はデジタルカメラ又はデジタルビデオカメラであり得る。カメラ１３０は、無線又は有線接続で前記処理装置１４０に接続されていて、取得画像が前記カメラ１３０から前記処理装置へ分析のために送られる。処置装置１４０は、ラップトップ、ＰＤＡ、携帯電話又は全ての電子装置であって画像処理機能があるものすべてであり得る。前記処理ユニット１４０は受け取った画像を処理して、前記対象物１５０に関する少なくとも１つの特徴を検出する。前記対象物の特徴には、位置、サイズ、輪郭又は前記画像から検出され得る全ての他の特徴を含む。

図１の実施態様では、背景１１０の色は全ての種々の色から選択され得る。例えば、背景１１０は、複数のＬＥＤが埋め込まれているＬＥＤ照明ボードであってよい。ＬＥＤ照明ボードの色は、徐々に増加又は減少するＲ．Ｇ．Ｂ．値を持つ１００通りの異なる色のいずれでもあり得る。しかし本発明はこれに限定されるものではない。背景色の数及びタイプは必要により決められる。背景１１０はＬＥＤ照明ボードに限定されず温度制御可変色ボードなどであり得る。背景色以外、背景のテクスチャがまたユーザの好みに合わせて選択又は変更されてよい。それによりユーザフレンドリーなインタフェースが提供され得ることとなる。

図１では、制御装置１２０が、背景のための与えられた色を選択するために背景１１０と接続されている。前記与えられた色は前記対象物の色とは異なる。前記制御装置１２はリモートコントロールユニット１４０として分離された装置として操作されることができ、また前記背景（単純な場合）又は前記処理ユニット１４０のいずれかに統合され得る。背景の与えられた色は、彩度、輝度又はそれらの両方で対象物の色と異なり得る。例えば、色はＹＵＶ又はＲＧＢフォーマットで表され得る。ＹＵＶフォーマットでは、Ｙは輝度を表し、かつＵ、Ｖは彩度をさらわす。対象物の色の彩度のみ（皮膚色）が考慮される場合には、Ｕは８０〜１００及びＶは１２０〜１４０であり、背景に与えられた色は対象物の色からはずっと離れたものであるべきである。例えば前記与えられた色のＵ及びＶは共に約２３０である。この方法で、対象物の色と背景の色とに大きな違いが存在する。この色の差は、カメラ１３０で取得された画像の対象物に関する特徴（例えば、シルエット）を検出する助けとなる。

図２は、システム１０の操作手順を例示する。図２に示されるように、ステップＳ２１０ではシステム１０が初期化され、対象物１５０（例えば人の手）が背景１１０の前に置かれる。ステップＳ２２０で、制御装置１２０が、制御シグナルを背景１１０に送って背景の色を与えられた色に設定する。与えられた色は対象物の色とは大きく異なる色である。例えば、与えられた色が緑色などのデフォルト色であり得る。この色は明らかに黄色人種の皮膚の色とは異なる。前記制御装置１２０の例は以下に説明される。

図３及び４において、カメラ１３０は対象物１５０及び配置された背景１１０を含む少なくとも１つの画像を取得する。取得画像はその後制御装置１４０へ送られる。カメラ１３０は前記制御装置ユニット又は制御装置からの命令により画像を取得するか、又は連続的に取得する。ステップＳ２４０で、前記処理ユニット１４０の検出ユニット１４１が受け取った画像を画像処理して少なくとも１つの対象物の特徴を検出する。背景色が対象物の色とは非常に異なるので、ユニット１４１が知られた技術を用いて取得画像から対象物の部分を区分することは容易である。例えば、前記区分化は自動決定閾値を用いることで実行できる。検出ユニット１４１では、区分化された対象物はさらに処理されて対象物についての特徴、例えば位置、サイズ及び対象物のシルエットなどをさらなる分析（認識など）のために、検出する。特徴を検出する例示的手順は図５に関連して以下説明される。

図１で、前記制御装置１２０は異なる方法で実行され得る。図３は前記制御装置１２０のいくつかの例を示す。

図３に示されるように、制御装置１２０は前記背景１１０の与えられた色を決めるための第１のモジュール３１０を含む。例えば、前記のように、初期化の際に、前記第１のモジュールが前記背景の色としてデフォルト色（例えば緑色）を選択し、前記背景１１０をその色に設定することができる。

また図３に示されるように、制御装置１２０はさらに、ユーザインタフェース３２０を含み、ユーザ入力を受け取る。前記ユーザ入力は、ユーザが選択を望む背景色を直接指示するものである。この場合、前記第１のモジュール３１０は、与えられた色として前記ユーザ入力の色を決める。これは簡単な方法である。というのはほとんどの場合に対象物の色と異なる背景色を主観的に選ぶことができるからである。

他の例では、制御装置１２０はさらに、対象物１５０の色分布を検出するための第２のモジュールを含む。この例では、ユーザインタフェース３２０からのユーザ入力は、対象物の色を指示する（例えば皮膚の色及び／又は袖の色）。前記ユーザ入力に基づき、前記第２のモジュール３３０が他の対象物の色分布を生成し、与えられた色が前記第１のモジュール３１０で前記色分布に基づき決められる。例えば、与えられた色は、１００の異なる色の１つであり、その色は閾値よりもずっと大きく皮膚及び袖の色から離れた色を持つ。また与えられた色と対象物の色分布でのそれぞれの成分との間がより大きく異なるほど、よりよい結果が予期される。

さらなる実施態様では、前記制御装置１２０は前記第１のモジュール３１０及び第２のモジュール３３０のみを持つ。この例では、前記第２のモジュール３３０は自動的に対象物１５０の色分布を検出する。この方法は対象物の色が複雑な場合により適切である。例示的処理手順が図４に示される。

図４に示されるように、手順はステップＳ４１０から開始される。ステップＳ４１０で、背景１１０が、１組の色（例えば１００の異なる色又はこれらの色のサブセット）を順に表すように構成されており、１組の異なる背景色が生成される。ステップＳ４１０は前記第２のモジュール３３０又は前記第２のモジュールの制御の下で第１のモジュール３１０により実行され得る。ステップＳ４２０で、背景色の異なる色のそれぞれについて、カメラ１３０が、前記第２の制御装置の制御の下で背景及び対象物を含む少なくとも１つの画像を取得する。それにより異なる背景色の１組の画像が取得されることとなる。ステップＳ４３０で前記画像の組みが前記第２のモジュール３３０へ直接又は前記処理ユニット１４０を介して送られる。ステップＳ４４０で、前記画像の組みが統計的に分析され対象物の色分布を検出する。

１例では、ステップＳ４４０で、前記画像の組のそれぞれについてＲ、Ｇ、Ｂ分布がヒストグラムを介して計算される。ここで対象物１５０の色分布が計算された色分布と比較して達成される。というのは、対象物は常に同じ又は類似の色分布を持つからである。より単純な例で、取得された画像は、Ｒ、Ｇ、Ｂ次元で累積される。これらの画像の対象物の部分は変化しないが、背景部分の色は大きい範囲で変更されることから、前記累積されたフレームのヒストグラムにおいて他の領域よりも明らかに高いピーク領域が存在し、前記ピーク領域は前記対象物の部分の色範囲、即ち対象物の色分布に対応する。対象物の色分布が検出されると、背景のための与えられる色は、前記中心又は前記色のピークから最も離れた色を持つ色として決められ得る。

図１〜４はシステム１０のいくつかの実施態様を示す。システム１０は異なる応用に利用され得る。例えば、手のジェスチャの認識のためのシステムである。この認識システムでは、前記処理ユニットはさらに、認識ユニット１４２を含み、前記検出ユニット１４１により検出された特徴に基づいてユーザの手のジェスチャを認識する。システム１０はさらに、製品分類システムなどの他のシステムにも応用可能である。

図５は図１のシステム１０がリハビリテーションシステムとして利用される実施態様を示す。リハビリテーションシステムは運動機能障害を持つ患者を助けて患者の失われた機能を回復させるものである。従来のリハビリテーションシステムには、電気刺激（ＦＥＳ）システム、ロボットなどがある。しかしこれらのリハビリテーションシステムは高価であり複雑であり、家庭内での使用を制限するものであった。従って、この実施態様で、低コスト、家庭内でのリハビリテーションシステムが提供され、患者が自分で例えば上肢及び手の運動学習訓練を実施することができる。

この実施態様では、図１のシステム１０はリハビリテーションシステムで操作される。リハビリテーションシステムでは、処理ユニット１４０はさらに、命令ユニットを含み（図示されていない）、患者に対し音響又はビデオシグナルを介してある動きを行うように指示する。または前記処理ユニット１４０はさらに、前記の認識ユニット１４２及び判断ユニット１４３を含む。前記判断ユニット１４３は、ユニット１４２で認識されたジェスチャが正しいかどうかを判断し、フィードバックシグナルを患者に返して患者を促す。さらに、処理ユニット１４０は表示装置を含み、取得画像をリアルタイムで表示する。

図５は、前記リハビリテーションシステムの操作手順を例示する。図５に示されるように、ステップＳ５１０で、患者は彼の上肢及び手を対象物１５０として、背景１１０及びカメラ１３０の間に置くことを求められ、さらに求められ場合にはある動きを行うように求められる（例えば、こぶしをにぎる、など）。ステップＳ５２０で図２〜４の手順により、背景色が、患者の例えば皮膚及び袖の色と異なるように選択される。ステップＳ５３０で、図２と同様の方法で、カメラ１３０が患者の上肢及び手、及び背景を含む画像を取得して、上肢及び手の状況をキャプチャする。ステップＳ５４０で画像は処理ユニット１４０の検出ユニット１４１へ送られ、上肢及び手の特徴が検出される。例えば、ステップＳ５４０で、上肢及び手の部分、即ち対象物部分を区分した後、例えば幾何中心を得るためのアルゴリズム又はエロージョン（ｅｒｏｓｉｏｎ）方法を用いて手の中心位置を検出する。前記中心位置は対象物の位置を表し、これを参照位置として使用され得る。さらにステップＳ５４０で区分化された対象物部分、即ち上肢及び手部分がさらにハイパスフルタでフィルタされ（例えば、ソーベル演算子を用いて）、上肢及び手のシルエットを得る。好ましくは、得られたシルエットはさらに明瞭化処理（ｄｅ−ｂｌｕｒｒｅｄ）してシルエットの不鮮明効果を取り除かれ得る。明瞭な境界線が非常に重要な場合、前記明瞭化処理は有用である。図６では上肢及び手の２つのシルエット６１０及び６２０が示されるが、これらは前記方法で少なくとも２つの順に取得された画像から得られるものである。

次にステップ５５０で、認識ユニット１４２はさらに前記検出された特徴（位置及び／又はシルエット）を処理して患者の為したジェスチャを認識する。前記認識のためには種々の方法が適用され得る。例えば、上肢のジェスチャは、前記検出された中心位置、及び前記検出されたシルエットにより示される前記上腕及び前腕間の角度に基づいて主に認識され得る。好ましくは、人口ニューラルネットワーク（ＡＮＮ）又は最大近似推測装置（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｏｒ）をステップ５５０で適用する。ＡＮＮアルゴリズムのために、ＡＮＮへの入力は、前記検出されたシルエットの特徴であり、例えばシルエットの特徴点（極端点又は変曲点）、前記中心位置とシルエットのそれぞれの点との平均距離又は標準偏差などである。ＡＮＮの出力は前記認識されたジェスチャを同定することであり、例えば図６での手が開いている６１０及び閉じている６２０などである。ステップＳ５６０で、判断ユニット１４３が、前記認識されたジェスチャが既定の通り正しいかどうかを判断し、その結果に応じてフィードバックシグナル、例えば報酬シグナルを患者に返す。この動機付けにより、患者は自分で運動再学習訓練の実施を続行することができる。又は、複数のかかるリハビリテーションシステムをネットワークでリハビリテーションセンターに接続する。リハビリテーションセンターの医者は、２以上の患者を同時に、再学習訓練を行うことを助けることができる。

本発明は図面及び前記記載により詳細に説明されてきたが、かかる記載及び説明は説明及び例示を目的とするものであり、なんらを制限する目的ではない。本発明は実施態様に限定されるものではない。例えば、本発明は、下肢又は他の身体部分を認識するため、又はある装置の空間的動きを認識するために適用可能なものである。又は、本発明は製品の分類又は対象物の分析のためにも適用可能なものである。

開示された実施態様についての他の変法・変更については、本図面、詳細な説明及び特許請求の範囲から当業者には理解されるものである。特許請求の範囲において、用語「含む」は他のエレメント又はステップを除外するものではなく、「ひとつの」は複数を除外するものではない。単一のプロセッサ又は他のユニットは特許請求の範囲に記載のいくつかの事項の機能を満たすことができる。ある手段が相互に異なる従属請求項に記載されているという事実は、これらの手段の組み合わせが有利なものとして使用され得ない、ということを意味するものではない。コンピュータプログラムは適切な媒体、例えば光学記憶媒体又は半導体記憶媒体に、他のハードウェアと共に又はそれらの一部として供給されてよく、又は他の形、例えばインターネット又は他の有線又は無線通信システムを介して供給されてよい。特許請求の範囲で使用される符号は本発明の範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 対象物を分析するためのシステムであり、前記システムは：
   前記対象物のために背景を提供するために、前記対象物の後ろに配置される背景ユニットを含み、前記背景ユニットの色が全ての色の組から選択され得るものであり；
   前記背景ユニットの色を、前記色の組みの与えられた色に設定するための第１のユニットを含み、前記与えられた色が前記対象物の色とは異なり；
   前記対象物及び前記与えられた色に設定された前記背景ユニットを含む画像を取得する第２のユニットと；及び
   前記第２のユニットで取得された前記画像により前記対象物と関連する少なくとも１つの特徴を検出するための第３のユニットとを含む、システム。
2. 請求項１に記載のシステムであり、前記与えられた色が、彩度及び／又は輝度において前記対象物の色と異なる、システム。
3. 請求項１に記載のシステムであり、前記第１のユニットが前記与えられた色を決めるための第１のモジュールを含む、システム。
4. 請求項３に記載のシステムであり、前記第１のユニットがさらに、前記対象物の色分布を決めるための第２のモジュールを含む、システム。
5. 請求項３に記載のシステムであり、前記第１のユニットがさらに、ユーザ入力を受け取るためのユーザインタフェースを含み、前記与えられた色が前記ユーザ入力により決められる、システム。
6. 請求項４に記載のシステムであり、前記第１のユニットがさらに、ユーザ入力を受け取るためのユーザインタフェースを含み、前記与えられた色が、前記対象物の前記色分布及び前記ユーザ入力に基づき決められる、システム。
7. 請求項１に記載のシステムであり、前記対象物が身体の部分であり、前記システムがさらに：前記身体の部分のジェスチャを、前記第３のユニットにより検出された少なくとも１つの特徴に基づき認識する、システム。
8. 対象物の分析を支持するための装置であり、前記装置は：
   前記対象物の後ろに配置されるための背景ユニットを含み、前記背景ユニットの色が全ての色の組から選択され得るものであり；
   前記背景ユニットに前記色の組みの与えられた色を設定するための第１のユニットを含み、前記与えられた色が前記対象物の色とは異なる、装置。
9. 請求項８に記載の装置であり、前記第１のユニットがさらに、前記与えられた色を決めるための第１のモジュールを含む、装置。
10. 請求項８に記載の装置であり、前記第１のユニットがさらに、ユーザ入力を受け取るためのユーザインタフェースを含み、前記与えられた色が前記ユーザ入力により決められる、装置。
11. 請求項８に記載の装置であり、前記背景ユニットが、少なくとも１つのＬＥＤが埋め込まれているボードである、装置。
12. 対象物を分析するための方法であり、前記方法は：
    前記対象物の後ろに配置するための背景を準備するステップを含み、前記背景の色が全ての色の組みから選択され得る色であり；
    前記背景に、前記色の組みから色を与えるステップを含み、前記色が前記対象物の色と異なり；
    前記与えられた色が設定された前記背景と前記対象物を含む画像を所得するステップを含み；及び
    前記取得された画像により前記対象物に関連する少なくとも１つの特徴を検出するための第１の検出ステップ、とを含む、方法。
13. 請求項１２に記載の方法であり、前記方法はさらに、前記与えられた色を決めるステップを含む、方法。
14. 請求項１３に記載の方法であり、前記決めるステップがさらに、ユーザ入力を受け取るステップを含み、かつ前記与えられた色が前記ユーザ入力に基づき決められる、方法。
15. 請求項１３に記載の方法であり、前記決めるステップがさらに、前記対象物の色分布を検出するための第２の検出ステップを含み、前記与えられる色が、前記対象物の色分布に基づいて決められる、方法。

Images