JP2017033556A - 画像処理方法及び電子機器 - Google Patents

Abstract

【課題】本発明は、画像処理方法及び電子機器を提供する。【解決手段】当該画像処理方法は、電子機器に応用され、電子機器のオペレーターの第一操作体を検出する方法であって、対象画像を取得し、対象画像内の少なくとも一つの第一操作体を検出し、少なくとも一つの第一操作体の各々の対象画像における方向を決定し、対象画像における方向が第一条件を満たす第一操作体を電子機器のオペレーターの第一操作体として決定する。本発明の画像処理方法及び電子機器は、複雑なモデリング演算を行うことなく、正確に対象画像内から電子機器のオペレーターの第一操作体を検出でき、電子機器の実行オーバヘッドを低減する。【選択図】図２

Description

本発明は全体としては画像及び動画処理分野に関し、特に電子機器のオペレーターの操作体を検出する画像処理方法及び電子機器に関する。

現在、情報技術が日増しに発達するのに伴い、電子機器もますます人に優しくなり、オペレーターの動きを認識して対応する処理を実行できる電子機器が出現している。典型的には、電子機器はカメラなどを通じて対象画像（アニメーション含む）を捕捉し、かつ画像内のオペレーターの手の動作（ジェスチャー）を認識し、それによって各種様々なジェスチャーに対応する処理を実行できた。しかしながら、電子機器の取得する対象画像内に、オペレーター以外のその他の人の操作体が現れることがある。このとき、まずどの操作体が当該電子機器のオペレーターの操作体かを判別する必要がある。そうしない場合、電子機器は非オペレーターの操作体を容易にオペレーターの操作体であると見なして反応し、誤操作を招いてしまう。

例えば、電子機器がオペレーターのジェスチャーを認識できるスマートグラスであり、図1に示す第一視角の画像を取得したとする。画像内に二つの手が存在することが簡単にわかり、そのうち電子機器から比較的近いマウスを握っている手1がオペレーターの手であり、机の上に置いた手2はオペレーターに面する他人の手である。このとき、電子機器はどの手がオペレーターの手であるのかを判別する必要がある。手1をオペレーターの手として検出した後、手1の動作のみを認識し、非オペレーターの手2の動作を無視する必要がある。

従来の電子機器のオペレーターの操作体を検出する方法は時間、空間、外観の確率分布モデルのモデリングである。しかし、このような方法は時間、空間、外観をノードとして複雑な演算を行う必要があり、運行する費用、時間、電力がかかるなどの欠点を有する。

本発明は以上の課題に鑑み実現したもので、電子機器とユーザーが高効率で正確な対話を行い、シーン内の他の人の操作体によって電子機器とユーザー間の対話を邪魔して影響を出させない画像処理方法及び電子機器を提供することを目的とする。

本発明の実施例は、電子機器に応用し、前記電子機器のオペレーターの操作体を検出するための画像処理方法であって、対象画像を取得するステップと、前記対象画像内の少なくとも一つの第一操作体を検出するステップと、前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定するステップと、前記対象画像における方向が第一条件を満たす第一操作体を前記電子機器のオペレーターの第一操作体として決定するステップと、を含む、画像処理方法を提供する。

本発明の実施例はさらに、電子機器のオペレーターの第一操作体を検出するための電子機器であって、対象画像を取得する取得モジュールと、前記対象画像内の少なくとも一つの第一操作体を検出する検出モジュールと、前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定する方向決定モジュールと、前記対象画像における方向が第一条件を満たす第一操作体を前記電子機器のオペレーターの第一操作体として決定する認識モジュールと、を含む、電子機器を提供する。

本発明の画像処理方法及び電子機器は、操作体の対象画像内での方向から電子機器のオペレーターの操作体かどうかを判定し、それによって複雑なモデリング演算を行うことなく、正確に操作体の検出を行うことができ、電子機器とユーザーが高効率で正確な対話を行い、シーン内の他の人の操作体によって電子機器とユーザー間の対話を邪魔して影響を出させない。

電子機器が複数のオペレーターの画像を取得することを説明するための概念図である。 本発明の画像処理方法のフローチャートである。 少なくとも一つの第一操作体の各々の対象画像内での方向を決定する好適実施例のフローチャートである。 クラスタ中心に基づいて決定する手の方向を説明するための概念図である。 本発明の画像処理方法を通じて決定する対象画像内の第一操作体の方向を説明するための概念図である。 第一操作体の対象画像内での方向から電子機器のオペレーターの第一操作体を決定することを説明するための図である。 本発明の電子機器の機能ブロック図である。

当業者に本発明の技術案をよりきちんと理解してもらうため、以下、図面を組み合わせて本発明の画像処理方法及び電子機器の具体的実施方式を詳細に説明する。ただし、本発明はこれに限るものではなく、当業者が新規性労働をせずに取得したすべてのその他実施例は本発明の保護範囲に入る。

（画像処理方法）
以下、図面を組み合わせて本発明の画像処理方法を詳細に説明する。本発明の画像処理方法は、電子機器に応用し、電子機器はオペレーターの操作体の動作を検出でき、当該動作に対応する処理を実行できる。本発明は電子機器の形式を限定しておらず、非限定性の例として、電子機器はタブレットPC、ノートパソコン、スマートフォンなどの一般的な多機能電子機器でよく、スマートグラスなどのオペレーターの身体のある部位に着用するウェアラブル電子機器でもよい。またさらに本体と独立して設置した遠隔ユニットを通じてユーザーの操作体の動作情報を取得する分離式電子機器、または前記の一つまたは複数の機器の組合せでもよい。操作体はオペレーターの身体のある部位でよい。以下、説明しやすくするため、スマートグラスが第一視角画像内で検出するオペレーターの手を例に説明する。図2は本発明の画像処理方法のフローチャートである。図2に示すように、本発明の画像処理方法は以下のステップを含む。

まず、対象画像を取得する（ステップS210）。具体的には、スマートグラスはその上に設置したカメラ及び/またはその他センサで第一視角の二次元画像を取得できる。なお、本発明の対象画像は二次元画像に限るものではなく、一部の実施例では三次元画像を取得できることである。また、電子機器がさらに本体と独立した遠隔センサ内から対象画像を取得できる場合、このときの画像は第一視角画像とは限らず、例えば第三視角画像でもよい。対象画像は通常グレースケール情報と深度情報を含む。いわゆる深度情報は撮影対象からセンサまでの間の距離の情報を指す。深度情報は例えば二つのカメラから画像を取得して、視差を利用して算出できる。また、例えば赤外線センサなどその他の距離センサを使用して直接取得してもよい。好適には、対象画像はカラー情報を含むのがよい。

続いて、対象画像内の少なくとも一つの第一操作体を検出する（ステップS220）。例えば、電子機器がオペレーターの手を検出するとき、深度情報、グレースケール情報、カラー情報の中の少なくとも一つを使用でき、手の特徴から対象画像内に手が存在するかどうか、またはいくつかの手が存在するか、これらの手が対象画像内のどの位置にあるのかなどを検出する。なお、第一操作体が手以外のその他部位であるとき、当該部位の特徴からも検出できることである。ここでは、いずれかの従来の検出方法を使用できるため、詳しい説明は省略する。第一操作体を検出しなかったとき、対象画像内にオペレーターの第一操作体が存在できないと決定でき、そのため、さらに電子機器のオペレーター第一操作体を検出する必要はなく、そのまま処理を終了する。

続いて、前記少なくとも一つの第一操作体の各々の前記対象画像内での方向を決定する（ステップS230）。ここでは、第一操作体の特徴から対象画像内での方向を決定できる。例えば、第一操作体が手のとき、指部分と掌部分の模様、形状、色などの特徴が異なるため、従来の画像認識技術で手の方向を検出すればよい。第一操作体の方向を正確かつ高効率に決定できるようにするため、本発明は以下の好適実施例を提供する。

以下、図面を組み合わせて第一操作体の方向を決定する好適実施例を紹介する。本好適実施例では、指部分と掌部分の模様の豊富さの違いを利用して、手の対象画像内での方向を決定する。本実施例では、曲率密度を利用して模様の豊富さを比較する。これは、曲率密度を利用して模様の豊富さを比較することは、画素点の曲率を利用した模様の豊富さを比較することに比べると、例えば掌のある画素の曲率が偶然大きくなる、または指のある画素の曲率が偶然小さくなることによる誤差を減らすことができる。具体的には、指部分の模様は豊富であるため、当該部分の曲率密度は大きくなるが、反対に掌部分の模様は相対的に平坦であるため、当該部分の曲率密度は小さくなる。掌部分と指部分のクラスタ中心を決定することで、手の方向を判定できる。図3は、少なくとも一つの第一操作体の各々の対象画像内での方向を決定する好適実施例のフローチャートである。図3に示す通りである。

まず、前記少なくとも一つの第一操作体の各々の輪郭画素を抽出する（ステップS331）。例えば検出した少なくとも一つの第一操作体に対して、対象画像の深度情報に基づいてグラデーションマップを生成し、続いてグラデーションマップから第一操作体の輪郭画素を抽出する。グラデーションマップは例えば差分方法などの通常の方法を利用して生成できる。輪郭画素の抽出は例えばcanny演算子またはsobel演算子とラプラス変換などの従来方法を利用でき、ここでは詳しくは記述しない。

続いて、輪郭画素周囲の所定範囲エリアの曲率密度を計算する（ステップS332）。所定エリアは予め定義した所定の高さと幅を有する画素エリアであり、非制限性例として、輪郭画素が中心である7×7または9×9の画素エリアでよい。各輪郭画素pのエリア密度V_pは例えば以下の公式で算出できる。

式中、Hは画素エリアの高さであり、Wは画素エリアの幅であり、dは画素曲率であり、nは画素エリア内の曲率が非零の画素の個数である。

手が開いている場合、対象画像内の指部分と掌部分のエリアは通常どちらも大きいため、前記好適実施例を通じて指部分と掌部分のクラスタ中心を簡単に決定でき、それによって手の方向を決定する。しかしながら、掌が閉じている状態または画像内の手の角度などにより対象画像内の指部分または掌部分のエリアが小さいとき、高曲率密度のエリアと低曲率密度のエリアの距離が近くなる可能性がある。第一操作体の方向上の誤差をさらに減らすため、輪郭画素周囲の所定範囲エリアの曲率密度を計算した後、高曲率密度のエリアと低曲率密度のエリアの曲率密度の差を増やすことができる。

具体的には、輪郭画素の曲率密度を計算した後、さらに曲率密度の値を調整し、所定しきい値より大きい曲率密度を有する輪郭画素がより高い曲率密度を有し、所定しきい値より小さい曲率密度を有する輪郭画素がより低い曲率密度を有するようにする。以下の式で前記処理を表すことができる。

式中、d_pは調整後の輪郭画素点pの曲率密度値であり、Vは調整前の曲率密度値であり、N_pは画素点pの周囲エリアの画素点の集合であり、周囲エリアの画素点の集合は例えば輪郭画素点pの前後左右の4つの画素点を含んでもよいし、前後左右と斜め方向に隣接する8つの画素点を含んでもよいが、本発明はこれに限るものではなく、その他の周囲画素点の集合を排除しない。V_pは調整前の輪郭画素点pの曲率密度値であり、V_Npはpの周囲エリアの画素点の曲率密度値の集合であり、Nは画素点pの非零曲率を有する周囲の画素点の個数である。Δは輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値を判断するのに用いる所定しきい値であり、実際の状況に合わせて予め設定できる。公式（2）からわかるように、各輪郭画素に対して、輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値Δより大きいとき、前記集合内の最大の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とし、輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値Δより小さいとき、前記集合内の最小の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とする処理を反復実行する。

続いて、前記曲率密度に基づいて第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定する（ステップS333）。第一操作体が手のとき、第一曲率密度クラスタ中心は指部分の高曲率密度クラスタ中心であり、第二曲率密度クラスタ中心は掌部分の低曲率密度クラスタ中心である。ここでは、例えばクラスタ数k=2のk-meansクラスタ方法を使用して第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定できる。k-meansクラスタ方法は従来のクラスタ方法であるため、ここでは詳細に記述しない。しかしながら、本発明は二つのクラスタ中心の位置から第一操作体の対象画像内での方向を決定するため、二つのクラスタ中心の距離が近い場合、大きな誤差が生じやすい。これに対して、本発明は従来のk-meansクラスタ方法をベースに、式（3）に示す拡大的k-meansクラスタ方法を提供する。

式中、μ₁は第一曲率密度クラスタ中心であり、μ₂は第二曲率密度クラスタ中心であり、Dは二つのクラスタ中心間の距離であり、αは前記距離のウェイトであり、N_iはi番目のクラスタの画素の数量であり、
（外１）

はi番目のクラスタ内のj番目の画素であり、X＝（v、βx、γd）となり、vは曲率密度であり、xは位置情報であり、dは深度情報であり、βは前記位置情報のウェイトであり、γは前記深度情報のウェイトである。

指部分の輪郭画素または掌部分の輪郭画素はそれぞれが曲率密度、位置、深度上近いため、前記式ではXには三つのパラメータ、即ち曲率密度v、位置情報x及び深度情報dが存在する。本発明はこれをベースに分母にクラスタ中心間の距離Dを増やしている。即ち、できる限りより遠くの第一曲率密度クラスタ中心と第二曲率密度クラスタ中心を取得しようとしている。こうすることで、最終的に決定する第一操作体の対象画像内での方向における誤差を減らすことができる。

続いて、前記第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心の位置に基づいて第一操作体の前記対象画像内での方向を決定する（ステップS334）。図4はクラスタ中心に基づいて決定する手の方向を説明するのに用いる概念図である。図4に示すように、指部分の第一曲率密度クラスタ中心μ₁と掌部分の第二曲率密度クラスタ中心μ₂を算出した後、ベクトル＜μ₂、μ₁＞1を手の対象画像内での方向として決定できる。

前記方式により、検出された対象画像内の少なくとも一つの第一操作体の各々の対象画像内での方向を決定する。図5は本発明の画像処理方法を通じて決定する対象画像内の第一操作体の方向を説明するのに用いる概念図である。図5に示すように、図1の手1と手2の方向を決定できる。

第一操作体の対象画像内での方向を決定した後、図2に戻り、前記対象画像内での方向が第一条件を満たす第一操作体を電子機器のオペレーターの第一操作体として決定する（ステップS240）。第一条件は柔軟に設定できる。ある実施例では、特定範囲内の方向の手を電子機器のオペレーターの手として決定できる。図6は第一操作体の対象画像内での方向から電子機器のオペレーターの第一操作体を決定することを説明するのに用いる図である。図6に示すように、本実施例の設定しているシーンはスマートグラスの取得した第一視角の対象画像内からスマートグラスのオペレーターの手を検出することである。そのため、例えば特定範囲を45°から135°までの間と設定できる。このように、手1の方向が当該特定範囲内に入っているため、手1はオペレーターの手であると決定する。反対に、手2の方向が当該特定範囲外にあるため、手2は非オペレーターの手であると決定する。こうして、スマートグラスは手1の動作だけを認識し、該動作に対応する処理を実行すればよい。なお、以上の例は電子機器の取得した対象画像が第一視角画像である場合であることだが、当業者であれば具体的な状況に応じて第一条件を柔軟に調整できることを理解している。例えば、本発明の電子機器が分離式電子機器であり、取得したのが第三視角画像である場合、取得した対象画像のカメラの位置から前記特定範囲を柔軟に決定し、当該特定範囲は電子機器のオペレーターの第一操作体の通常の方向範囲でありさえすればよい。また、本発明の第一条件は方向が特定範囲に入っているかどうかに限らず、訓練器を通じて電子機器にどの方向が通常オペレーターの第一操作体に属するか、またはどの方向が通常オペレーターの第一操作体に属さないかを学習させることができ、それによって経験から対象画像内の少なくとも一つの第一操作体がオペレーターの第一操作体かどうかを判断する。

また、本発明は第一操作体の対象画像での方向及び第一操作体の深度情報両方から第一操作体が電子機器のオペレーターの第一操作体かどうか決定できる。具体的には次の通りである。

まず、少なくとも一つの第一操作体の各々の深度情報を取得する。第一操作体の深度情報は対象画像取得（ステップS210）時に取得した深度情報から抽出できる。

深度情報を取得した後、前記対象画像内での方向が第一条件を満たし、かつ深度情報が第二条件を満たす第一操作体を前記電子機器のオペレーターの操作体として決定する。対象画像が第一視角画像である場合、オペレーターの手は通常電子機器から近いため、対象画像内での方向が第一条件を満たしたうえで、さらに第一操作体が電子機器に十分近いかどうかを判断する。第二条件は例えば電子機器のセンサから手まで平均距離が所定しきい値よりも小さいと設定できる。なお、電子機器に大量のサンプルを入力することで、電子機器に経験に基づいてどのような距離範囲及びどの方向の第一操作体がオペレーターの第一操作体であるか判断させることもできる。また、対象画像が第三視角画像の場合、カメラの位置などの実際の状況から第二条件を柔軟に設定できる。こうすることで、操作体検出の精度をさらに向上することができる。

以上の方法を通じて、複雑なモデリング演算を行うことなく、正確に操作体を検出し、電子機器とユーザーが高効率で正確な対話を行い、シーン内の他の人の操作体によって電子機器とユーザー間の対話を邪魔して影響を出させないようにすることができる。

以上、本発明の画像処理方法の複数の実施例を説明した。言うまでもなく、当業者は本発明の精神及び範囲を逸脱しない中で前記実施例に各種組合せ、修正または変形を行うことができる。当業者が新規性労働をせずに取得した全てのその他実施例は本発明の保護範囲に入る。

（電子機器）
以下、図面を組み合わせて本発明の電子機器を詳細に説明する。本発明の電子機器はオペレーターの操作体を検出することで、例えばオペレーターの操作体の動作を認識し、当該動作に対応する処理を実行する。なお、本発明は電子機器の形式を限定しておらず、非限定性の例として、電子機器はタブレットPC、ノートパソコン、スマートフォンなどの一般的な多機能電子機器でよく、スマートグラスなどのオペレーターの身体のある部位に着用するウェアラブル電子機器でもよいことである。またさらに本体と独立して設置した遠隔ユニットを通じてユーザーの操作体の動作情報を取得する分離式電子機器、または前記の一つまたは複数の機器の組合せでもよい。操作体はオペレーターの身体のある部位でよい。以下、説明しやすくするため、スマートグラスが第一視角画像内で検出するオペレーターの手を例に説明する。

図7は本発明の電子機器の機能ブロック図である。図7に示すように、電子機器700は取得モジュール710、検出モジュール720、方向決定モジュール730及び認識モジュール740を含む。

取得モジュール710は対象画像を取得するのに用いる。具体的には、スマートグラスはその上に設置したカメラ及び/またはその他センサで第一視角の二次元画像を取得できる。なお、本発明の対象画像は二次元画像に限るものではなく、一部の実施例では三次元画像を取得できることである。また、電子機器がさらに本体と独立した遠隔センサ内から対象画像を取得できる場合、このときの画像は第一視角画像とは限らず、例えば第三視角画像でもよい。対象画像は通常グレースケール情報と深度情報を含む。いわゆる深度情報は撮影対象からセンサまでの間の距離の情報を指す。深度情報は例えば二つのカメラから画像を取得して、視差を利用して算出できる。また、例えば赤外線センサなどその他の距離センサを使用して直接取得してもよい。好適には、対象画像はカラー情報を含むのがよい。

検出モジュール720は対象画像内の少なくとも一つの第一操作体を検出するのに用いる。例えば、電子機器がオペレーターの手を検出するとき、深度情報、グレースケール情報、カラー情報の中の少なくとも一つを使用でき、手の特徴から対象画像内に手が存在するかどうか、またはいくつかの手が存在するか、これらの手が対象画像内のどの位置にあるのかなどを検出する。なお、第一操作体が手以外のその他部位であるとき、当該部位の特徴からも検出できることである。ここでは、いずれかの従来の検出方法を使用できるため、詳しい説明は省略する。第一操作体を検出しなかったとき、対象画像内にオペレーターの第一操作体が存在できないと決定でき、そのため、さらに電子機器のオペレーター第一操作体を検出する必要はなく、そのまま処理を終了する。

方向決定モジュール730は、前記少なくとも一つの第一操作体の各々の前記対象画像内での方向を決定するのに用いる。ここでは、第一操作体の特徴から対象画像内での方向を決定できる。例えば、第一操作体が手のとき、指部分と掌部分の模様、形状、色などの特徴が異なるため、従来の画像認識技術で手の方向を検出すればよい。第一操作体の方向を正確かつ高効率に決定できるようにするため、本発明は以下の好適実施例を提供する。

以下、図面を組み合わせて第一操作体の方向を決定する好適実施例を紹介する。本好適実施例では、指部分と掌部分の模様の豊富さの違いを利用して、手の対象画像内での方向を決定する。本実施例では、曲率密度を利用して模様の豊富さを比較する。これは、曲率密度を利用して模様の豊富さを比較することは、画素点の曲率を利用した模様の豊富さを比較することに比べると、例えば掌のある画素の曲率が偶然大きくなる、または指のある画素の曲率が偶然小さくなることによる誤差を減らすことができる。具体的には、指部分の模様は豊富であるため、当該部分の曲率密度は大きくなるが、反対に掌部分の模様は相対的に平坦であるため、当該部分の曲率密度は小さくなる。掌部分と指部分のクラスタ中心を決定することで、手の方向を判定できる。本好適実施例では、電子機器700はさらに抽出モジュール（未表示）、曲率密度計算モジュール（未表示）及びクラスタ中心決定モジュール（未表示）を含む。

抽出モジュールは前記少なくとも一つの第一操作体の各々の輪郭画素を抽出するのに用いる。具体的には、例えば検出した少なくとも一つの第一操作体に対して、対象画像の深度情報に基づいてグラデーションマップを生成し、続いてグラデーションマップから第一操作体の輪郭画素を抽出する。グラデーションマップは例えば差分方法などの通常の方法を利用して生成できる。輪郭画素の抽出は例えばcanny演算子またはsobel演算子とラプラス変換などの従来方法を利用でき、ここでは詳しく記述しない。

曲率密度計算モジュールは輪郭画素周囲の所定範囲エリアの曲率密度を計算するのに用いる。所定エリアは予め定義した所定の高さと幅を有する画素エリアであり、非制限性例として、輪郭画素が中心である7×7または9×9の画素エリアでよい。各輪郭画素pのエリア密度V_pは例えば以下の公式で算出できる。

式中、Hは画素エリアの高さであり、Wは画素エリアの幅であり、dは画素曲率であり、nは画素エリア内の曲率が非零の画素の個数である。

手が開いている場合、対象画像内の指部分と掌部分のエリアは通常どちらも大きいため、前記好適実施例を通じて指部分と掌部分のクラスタ中心を簡単に決定でき、それによって手の方向を決定する。しかしながら、掌が閉じている状態または画像内の手の角度などにより対象画像内の指部分または掌部分のエリアが小さいとき、高曲率密度のエリアと低曲率密度のエリアの距離が近くなる可能性がある。第一操作体の方向上の誤差をさらに減らすため、輪郭画素周囲の所定範囲エリアの曲率密度を計算した後、高曲率密度のエリアと低曲率密度のエリアの曲率密度の差を増やすことができる。

具体的には、電子機器700は調整モジュール（未表示）を含むことができ、輪郭画素の曲率密度を計算した後、当該調整モジュールがさらに曲率密度の値を調整し、所定しきい値より大きい曲率密度を有する輪郭画素がより高い曲率密度を有し、所定しきい値より小さい曲率密度を有する輪郭画素がより低い曲率密度を有するようにする。以下の式で前記処理を表すことができる。

式中、d_pは調整後の輪郭画素点pの曲率密度値であり、Vは調整前の曲率密度値であり、N_pは画素点pの周囲エリアの画素点の集合であり、周囲エリアの画素点の集合は例えば輪郭画素点pの前後左右の4つの画素点を含んでもよいし、前後左右と斜め方向に隣接する8つの画素点を含んでもよいが、本発明はこれに限るものではなく、その他の周囲画素点の集合を排除しない。V_pは調整前の輪郭画素点pの曲率密度値であり、V_Npはpの周囲エリアの画素点の曲率密度値の集合であり、Nは画素点pの非零曲率を有する周囲の画素点の個数である。Δは輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値を判断するのに用いる所定しきい値であり、実際の状況に合わせて予め設定できる。公式（2）からわかるように、調整モジュールは各輪郭画素に対して、輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値Δより大きいとき、前記集合内の最大の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とし、輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値Δより小さいとき、前記集合内の最小の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とする処理を反復実行する。

続いて、クラスタ中心決定モジュールが前記曲率密度に基づいて第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定する。第一操作体が手のとき、第一曲率密度クラスタ中心は指部分の高曲率密度クラスタ中心であり、第二曲率密度クラスタ中心は掌部分の低曲率密度クラスタ中心である。ここでは、例えばクラスタ数k=2のk-meansクラスタ方法を使用して第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定できる。k-meansクラスタ方法は従来のクラスタ方法であるため、ここでは詳細に記述しない。しかしながら、本発明は二つのクラスタ中心の位置から第一操作体の対象画像内での方向を決定するため、二つのクラスタ中心の距離が近い場合、大きな誤差が生じやすい。これに対して、本発明は従来のk-meansクラスタ方法をベースに、式（3）に示す拡大的k-meansクラスタ方法を提供する。

式中、μ₁は第一曲率密度クラスタ中心であり、μ₂は第二曲率密度クラスタ中心であり、Dは二つのクラスタ中心間の距離であり、αは前記距離のウェイトであり、N_iはi番目のクラスタの画素の数量であり、
（外２）

はi番目のクラスタ内のj番目の画素であり、X＝（v、βx、γd）となり、vは曲率密度であり、xは位置情報であり、dは深度情報であり、βは前記位置情報のウェイトであり、γは前記深度情報のウェイトである。

指部分の輪郭画素または掌部分の輪郭画素はそれぞれが曲率密度、位置、深度上近いため、前記式ではXには三つのパラメータ、即ち曲率密度v、位置情報x及び深度情報dが存在する。本発明はこれをベースに分母にクラスタ中心間の距離Dを増やしている。即ち、できる限りより遠くの第一曲率密度クラスタ中心と第二曲率密度クラスタ中心を取得しようとしている。こうすることで、最終的に決定する第一操作体の対象画像内での方向における誤差を減らすことができる。

続いて、方向決定モジュール230が第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心の位置に基づいて第一操作体の対象画像内での方向を決定する（ステップS334）。図4はクラスタ中心に基づいて決定する手の方向を説明するのに用いる概念図である。図4に示すように、指部分の第一曲率密度クラスタ中心μ₁と掌部分の第二曲率密度クラスタ中心μ₂を算出した後、ベクトル＜μ₂、μ₁＞1を手の対象画像内での方向として決定できる。

前記方式により、検出された対象画像内の少なくとも一つの第一操作体の各々の対象画像内での方向を決定する。図5は本発明の画像処理方法を通じて決定する対象画像内の第一操作体の方向を説明するのに用いる概念図である。図5に示すように、図1の手1と手2の方向を決定できる。

第一操作体の対象画像内での方向を決定した後、認識モジュール240が前記対象画像内での方向が第一条件を満たす第一操作体を電子機器のオペレーターの第一操作体として決定する。第一条件は柔軟に設定できる。ある実施例では、特定範囲内の方向の手を電子機器のオペレーターの手として決定できる。図6は第一操作体の対象画像内での方向から電子機器のオペレーターの第一操作体を決定することを説明するのに用いる図である。図6に示すように、本実施例の設定しているシーンはスマートグラスの取得した第一視角の対象画像内からスマートグラスのオペレーターの手を検出することである。そのため、例えば特定範囲を45°から135°までの間と設定できる。このように、手1の方向が当該特定範囲内に入っているため、手1はオペレーターの手であると決定する。反対に、手2の方向が当該特定範囲外にあるため、手2は非オペレーターの手であると決定する。こうして、スマートグラスは手1の動作だけを認識し、当該動作に対応する処理を実行すればよい。なお、以上の例は電子機器700の取得した対象画像が第一視角画像である場合であることだが、当業者であれば具体的な状況に応じて第一条件を柔軟に調整できることを理解している。例えば、本発明の電子機器が分離式電子機器であり、取得したのが第三視角画像である場合、取得した対象画像のカメラの位置から前記特定範囲を柔軟に決定し、当該特定範囲は電子機器のオペレーターの第一操作体の通常の方向範囲でありさえすればよい。また、本発明の第一条件は方向が特定範囲に入っているかどうかに限らず、訓練器を通じて電子機器にどの方向が通常オペレーターの第一操作体に属するか、またはどの方向が通常オペレーターの第一操作体に属さないかを学習させることもでき、それによって経験から対象画像内の少なくとも一つの第一操作体がオペレーターの第一操作体かどうかを判断する。

また、本発明の電子機器700は第一操作体の対象画像での方向及び第一操作体の深度情報両方から第一操作体が電子機器のオペレーターの第一操作体かどうか決定できる。具体的には次の通りである。

まず、取得モジュール710が少なくとも一つの第一操作体の各々の深度情報を取得する。第一操作体の深度情報は対象画像取得時に取得した深度情報から抽出できる。

深度情報を取得した後、認識モジュール740が前記対象画像内での方向が第一条件を満たし、かつ深度情報が第二条件を満たす第一操作体を前記電子機器のオペレーターの操作体として決定する。対象画像が第一視角画像である場合、オペレーターの手は通常電子機器から近いため、対象画像内での方向が第一条件を満たしたうえで、さらに第一操作体が電子機器に十分近いかどうかを判断する。第二条件は例えば電子機器のセンサから手まで平均距離が所定しきい値よりも小さいと設定できる。なお、電子機器に大量のサンプルを入力することで、電子機器に経験に基づいてどのような距離範囲及びどの方向の第一操作体がオペレーターの第一操作体であるか判断させることもできる。また、対象画像が第三視角画像の場合、カメラの位置などの実際の状況から第二条件を柔軟に設定できる。こうすることで、操作体検出の精度をさらに向上することができる。

以上の処理を通じて、複雑なモデリング演算を行くことなく、正確に操作体を検出し、電子機器とユーザーが高効率で正確な対話を行い、シーン内の他の人の操作体によって電子機器とユーザー間の対話を邪魔して影響を出させないようにすることができる。

以上の実施例の記述を通じて、当業者であれば本発明がソフトウェアに必要なハードウェアプラットフォームを加えた方式の助けを借りて実現できることがよく理解できる。当然のことながら全てハードウェアを通じて実施することもできる。このような理解に基づき、本発明の技術案は背景技術に貢献する全てまたは一部をソフトウェア製品の形式で表すことができ、当該コンピュータソフトウェア製品は例えばROM/RAM、磁気ディスク、光ディスクなどの記憶媒体に記憶でき、コンピュータ設備（例えばパソコン、サーバ、またはネットワーク設備など）に本発明の各実施例または実施例のある部分の方法を実行させるのに用いる若干のコマンドを含む。

以上、本発明の電子機器の複数の実施例を説明した。言うまでもなく、当業者は本発明の精神及び範囲を逸脱しない中で前記実施例に各種組合せ、修正または変形を行うことができる。当業者が新規性労働をせずに取得した全てのその他実施例は本発明の保護範囲に入る。

Claims (14)

1. 電子機器に応用する画像処理方法であって、
   対象画像を取得するステップと、
   前記対象画像内の少なくとも一つの第一操作体を検出するステップと、
   前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定するステップと、
   前記対象画像における方向が第一条件を満たす第一操作体を前記電子機器のオペレーターの第一操作体として決定するステップと、を含む、画像処理方法。
2. 前記対象画像における方向が第一条件を満たす第一操作体を前記電子機器のオペレーターの第一操作体として決定するステップは、
   前記少なくとも一つの第一操作体の各々の深度情報を取得するステップと、
   前記対象画像における方向が第一条件を満たし、且つ深度情報が第二条件を満たす第一操作体を、前記電子機器のオペレーターの第一操作体として決定するステップと、を含む、請求項１に記載の画像処理方法。
3. 前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定するステップは、
   前記少なくとも一つの第一操作体の各々の輪郭画素を抽出するステップと、
   前記輪郭画素の周囲の所定範囲エリアの曲率密度を計算するステップと、
   前記曲率密度に基づいて第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定するステップであって、前記第一曲率密度クラスタ中心は前記第二曲率密度クラスタ中心より大きい、ステップと、
   第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心の位置に基づいて第一操作体の前記対象画像における方向を決定するステップと、を含む、請求項１に記載の画像処理方法。
4. 前記輪郭画素の周囲の所定範囲エリアの曲率密度を計算した後に、さらに、
   所定しきい値より大きい曲率密度を有する輪郭画素がより高い曲率密度を有し、所定しきい値より小さい曲率密度を有する輪郭画素がより低い曲率密度を有するように、前記輪郭画素の曲率密度の値を調整するステップを含む、請求項３に記載の画像処理方法。
5. 所定しきい値より大きい曲率密度を有する輪郭画素がより高い曲率密度を有し、所定しきい値より小さい曲率密度を有する輪郭画素がより低い曲率密度を有するように、前記輪郭画素の曲率密度の値を調整するステップは、
   各輪郭画素について、
   輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値より大きい場合、前記集合内の最大の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とし、
   輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値より小さい場合、前記集合内の最小の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とする、処理を反復実行するステップを含む、請求項４に記載の画像処理方法。
6. 前記曲率密度に基づいて第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定するステップは、
   以下の公式を使用してJ（μ）を最小にする第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を求めるステップを含み、
   

   

   式中、μ₁は第一曲率密度クラスタ中心であり、μ₂は第二曲率密度クラスタ中心であり、Dは二つのクラスタ中心間の距離であり、αは前記距離のウェイトであり、N_iはi番目のクラスタに属する画素の数量であり、
   （外１）
   

   

   はi番目のクラスタ内のj番目の画素であり、X＝（v、βx、γd）となり、vは曲率密度であり、xは位置情報であり、dは深度情報であり、βは前記位置情報のウェイトであり、γは前記深度情報のウェイトである、請求項３に記載の画像処理方法。
7. 電子機器であって、
   対象画像を取得する取得モジュールと、
   前記対象画像内の少なくとも一つの第一操作体を検出する検出モジュールと、
   前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定する方向決定モジュールと、
   前記対象画像における方向が第一条件を満たす第一操作体を前記電子機器のオペレーターの第一操作体として決定する認識モジュールと、を含む、電子機器。
8. 前記取得モジュールは、前記少なくとも一つの第一操作体の各々の深度情報を取得し、
   前記認識モジュールは、前記対象画像における方向が第一条件を満たし、且つ深度情報が第二条件を満たす第一操作体を前記電子機器のオペレーターの第一操作体として決定する、請求項７に記載の電子機器。
9. 前記少なくとも一つの第一操作体の各々の輪郭画素を抽出する抽出モジュールと、
   前記輪郭画素の周囲の所定範囲エリアの曲率密度を計算する曲率密度計算モジュールと、
   前記曲率密度に基づいて第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を決定するクラスタ中心決定モジュールであって、前記第一曲率密度クラスタ中心は前記第二曲率密度クラスタ中心より大きい、クラスタ中心決定モジュールと、をさらに含み、
   前記方向決定モジュールは、前記第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心の位置に基づいて第一操作体の前記対象画像における方向を決定する、請求項７に記載の電子機器。
10. 所定しきい値より大きい曲率密度を有する輪郭画素がより高い曲率密度を有し、所定しきい値より小さい曲率密度を有する輪郭画素がより低い曲率密度を有するように、前記輪郭画素の曲率密度の値を調整する調整モジュールをさらに含む、請求項９に記載の電子機器。
11. 前記調整モジュールは、各輪郭画素について、
    輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値より大きい場合、前記集合内の最大の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とし、
    輪郭画素と前記輪郭画素周囲の非零画素を含む集合の曲率密度の平均値が所定しきい値より小さい場合、前記集合内の最小の曲率密度を有する画素の曲率密度を輪郭画素の曲率密度とする、処理を反復実行する、請求項１０に記載の電子機器。
12. 前記クラスタ中心決定モジュールは、以下の公式を使用してJ（μ）を最小にする第一曲率密度クラスタ中心及び第二曲率密度クラスタ中心を求め、
    

    

    式中、μ₁は第一曲率密度クラスタ中心であり、μ₂は第二曲率密度クラスタ中心であり、Dは二つのクラスタ中心間の距離であり、αは前記距離のウェイトであり、N_iはi番目のクラスタに属する画素の数量であり、
    （外２）
    

    

    はi番目のクラスタ内のj番目の画素であり、X＝（v、βx、γd）となり、vは曲率密度であり、xは位置情報であり、dは深度情報であり、βは前記位置情報のウェイトであり、γは前記深度情報のウェイトである、請求項９に記載の電子機器。
13. 対象画像を取得するステップと、
    前記対象画像内の少なくとも一つの第一操作体を検出するステップと、
    前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定するステップと、
    前記対象画像における方向が第一条件を満たす第一操作体を、電子機器のオペレーターの第一操作体として決定するステップと、をコンピュータに実行させるためのプログラム。
14. 対象画像を取得するステップと、
    前記対象画像内の少なくとも一つの第一操作体を検出するステップと、
    前記少なくとも一つの第一操作体の各々の前記対象画像における方向を決定するステップと、
    前記対象画像における方向が第一条件を満たす第一操作体を、電子機器のオペレーターの第一操作体として決定するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images