JP2021012684A5 - - Google Patents

Description

概して言えば、本発明の一態様は、拡張現実（ＡＲ）作業領域における指の押下を検出するためのプログラムを記憶した非一時的コンピューター読取可能媒体（ＣＲＭ）のプログラムに関する。前記プログラムは、コンピュータープロセッサーによって実行されると、ＡＲ作業領域の画像であって、ユーザーの手が置かれたグラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、撮像センサーを用いて取得する工程と、少なくともスキン調カラーフィルターに基づいて、前記ＡＲ作業領域の画像から手候補を抽出する工程と、予め決められた信頼尺度に基づいて、前記手候補の輪郭から指候補を抽出する工程と、前記ＧＵＩのアイコンとの関係における前記指候補の位置に基づいて、前記ユーザーの手によって実行される前記指の押下を検出する工程と、を実行する機能を含む。

Claims (20)

1. 拡張現実（ＡＲ）作業領域における指の押下を検出する方法であって、
   ＡＲ作業領域の画像であって、ユーザーの手が置かれたグラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、撮像センサーを用いて取得する工程、
   少なくともスキン調カラーフィルターに基づいて、コンピュータープロセッサーにより、前記ＡＲ作業領域の画像から手候補を抽出する工程、
   予め決められた信頼尺度に基づいて、前記コンピュータープロセッサーにより、前記手候補の輪郭から指候補を抽出する工程、及び、
   前記ＧＵＩのアイコンとの関係における前記指候補の位置に基づいて、前記コンピュータープロセッサーにより、前記ユーザーの手によって実行される前記指の押下を検出する工程、
   を備えることを特徴とする方法。
2. 前記画像がライブ動画ストリームのフレームである、前記ＡＲ作業領域の当該ライブ動画ストリームを、前記撮像センサーを使用して取得する工程、
   少なくとも、前記画像から抽出された前記指候補の位置に基づいて、前記ライブ動画ストリームから一連の指先移動速度を決定する工程、及び、
   前記一連の指先移動速度に基づいて、前記ＧＵＩのアイコン上に置かれた指の停止時間を決定する工程、をさらに備え、
   前記指の押下の検出は、予め決められた停止の閾値を超えた前記停止時間に基づくことを特徴とする、請求項１に記載の方法。
3. 前記ＡＲ作業領域の背景画像であって、グラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、前記撮像センサーを使用して取得する工程をさらに含んでおり、
   前記手候補を抽出する工程が、
   前景マスクを生成するために前記画像と前記背景画像とを比較する工程、及び、
   予め設定されたスキン調フィルター及び前記前景マスクを使用し、前記背景画像のホワイトバランスパラメーターに基づいて、つながった色成分を前記画像から抽出する工程、を備え、
   前記手候補は、予め決められた寸法基準に基づいて、前記つながった色成分から選択されることを特徴とする、請求項１又は２に記載の方法。
4. 前記指候補を抽出する工程が、前記手候補の輪郭から複数の凸欠陥を抽出することを含んでおり、
   前記予め決められた信頼尺度は、前記複数の凸欠陥における隣り合う凸欠陥の間の距離と、予め決められた指幅の閾値とを含んでおり、
   前記指候補は、前記予め決められた指幅の閾値内の対応する距離を有する一対の隣り合う凸欠陥を含むことを特徴とする、請求項１から３のいずれか一項に記載の方法。
5. 前記予め決められた信頼尺度は、指の資質尺度、指先の資質尺度、及び隣り合う指候補の存在をさらに含むことを特徴とする、請求項４に記載の方法。
6. 前記指候補を抽出する工程が、
   前記手候補の輪郭から複数の指候補を抽出する工程、
   前記予め決められた信頼尺度に基づいて、前記複数の指候補の個々の信頼スコアを計算する工程、及び、
   前記個々の信頼スコアに基づき、指の有力候補として、前記複数の指候補から前記指候補を選択する工程、
   を含むことを特徴とする、請求項１から５のいずれか一項に記載の方法。
7. 前記指候補を抽出する工程が、
   前記手候補の輪郭に基づいて、前記手候補の最小外接矩形を生成する工程、
   前記画像の境界線及び前記手候補の輪郭からなる群から選択された少なくとも１つと、前記最小外接矩形との交点に基づいて、前記手候補の輪郭から指先候補を抽出する工程、及び、
   前記指先候補及び前記手候補の輪郭に基づいて推定指幅を決定する工程、
   を含んでおり、
   前記指候補の抽出は、予め決められた指幅の閾値内にある前記推定指幅に基づくことを特徴とする、請求項１から６のいずれか一項に記載の方法。
8. 拡張現実（ＡＲ）作業領域における指の押下を検出するためのプログラムを記憶した非一時的コンピューター読取可能媒体（ＣＲＭ）において、前記プログラムは、コンピュータープロセッサーによって実行されると、
   ＡＲ作業領域の画像であって、ユーザーの手が置かれたグラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、撮像センサーを用いて取得する工程、
   少なくともスキン調カラーフィルターに基づいて、前記ＡＲ作業領域の画像から手候補を抽出する工程、
   予め決められた信頼尺度に基づいて、前記手候補の輪郭から指候補を抽出する工程、及び、
   前記ＧＵＩのアイコンとの関係における前記指候補の位置に基づいて、前記ユーザーの手によって実行される前記指の押下を検出する工程、
   を実行する機能を備えることを特徴とするプログラム。
9. 前記プログラムは、前記コンピュータープロセッサーによって実行されると、
   前記画像がライブ動画ストリームのフレームである、前記ＡＲ作業領域の当該ライブ動画ストリームを、前記撮像センサーを使用して取得する工程、
   少なくとも、前記画像から抽出された前記指候補の位置に基づいて、前記ライブ動画ストリームから一連の指先移動速度を決定する工程、及び、
   前記一連の指先移動速度に基づいて、前記ＧＵＩのアイコン上に置かれた指の停止時間を決定する工程、
   を実行する機能をさらに備えており、
   前記指の押下の検出は、予め決められた停止の閾値を超えた前記停止時間に基づくことを特徴とする、請求項８に記載のプログラム。
10. 前記プログラムは、前記コンピュータープロセッサーによって実行されると、
    前記ＡＲ作業領域の背景画像であって、グラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、前記撮像センサーを使用して取得する工程、
    を実行する機能をさらに備えており、
    前記手候補を抽出する工程が、
    前景マスクを生成するために前記画像と前記背景画像とを比較する工程、及び、
    予め設定されたスキン調フィルター及び前記前景マスクを使用し、前記背景画像のホワイトバランスパラメーターに基づいて、つながった色成分を前記画像から抽出する工程、を備え、
    前記手候補は、予め決められた寸法基準に基づいて、前記つながった色成分から選択されることを特徴とする、請求項８又は９に記載のプログラム。
11. 前記指候補を抽出する工程が、前記手候補の輪郭から複数の凸欠陥を抽出することを含んでおり、
    前記予め決められた信頼尺度は、前記複数の凸欠陥における隣り合う凸欠陥の間の距離と、予め決められた指幅の閾値とを含んでおり、
    前記指候補は、前記予め決められた指幅の閾値内の対応する距離を有する一対の隣り合う凸欠陥を含むことを特徴とする、請求項８から１０のいずれか一項に記載のプログラム。
12. 前記予め決められた信頼尺度は、指の資質尺度、指先の資質尺度、及び隣り合う指候補の存在をさらに含むことを特徴とする、請求項１１に記載のプログラム。
13. 前記指候補を抽出する工程が、
    前記手候補の輪郭から複数の指候補を抽出する工程、
    前記予め決められた信頼尺度に基づいて、前記複数の指候補の個々の信頼スコアを計算する工程、及び、
    前記個々の信頼スコアに基づき、指の有力候補として、前記複数の指候補から前記指候補を選択する工程、
    を含むことを特徴とする、請求項８から１２のいずれか一項に記載のプログラム。
14. 前記指候補を抽出する工程が、
    前記手候補の輪郭に基づいて、前記手候補の最小外接矩形を生成する工程、
    前記画像の境界線及び前記手候補の輪郭からなる群から選択された少なくとも１つと、前記最小外接矩形との交点に基づいて、前記手候補の輪郭から指先候補を抽出する工程、及び、
    前記指先候補及び前記手候補の輪郭に基づいて推定指幅を決定する工程、
    を含んでおり、
    前記指候補の抽出は、予め決められた指幅の閾値内にある前記推定指幅に基づくことを特徴とする、請求項８から１３のいずれか一項に記載のプログラム。
15. 拡張現実（ＡＲ）作業領域における指の押下を検出するためのシステムであって、
    メモリーと、
    当該メモリーに接続されたコンピュータープロセッサーと、
    を備えており、前記コンピュータープロセッサーが、
    ＡＲ作業領域の画像であって、ユーザーの手が置かれたグラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、撮像センサーを用いて取得し、
    少なくともスキン調カラーフィルターに基づいて、前記ＡＲ作業領域の画像から手候補を抽出し、
    予め決められた信頼尺度に基づいて、前記手候補の輪郭から指候補を抽出し、
    前記ＧＵＩのアイコンとの関係における前記指候補の位置に基づいて、前記ユーザーの手によって実行される前記指の押下を検出することを特徴とするシステム。
16. 前記コンピュータープロセッサーがさらに、
    前記画像がライブ動画ストリームのフレームである、前記ＡＲ作業領域の当該ライブ動画ストリームを、前記撮像センサーを使用して取得し、
    少なくとも、前記画像から抽出された前記指候補の位置に基づいて、前記ライブ動画ストリームから一連の指先移動速度を決定し、
    前記一連の指先移動速度に基づいて、前記ＧＵＩのアイコン上に置かれた指の停止時間
    を決定し、
    前記指の押下の検出は、予め決められた停止の閾値を超えた前記停止時間に基づくことを特徴とする、請求項１５に記載のシステム。
17. 前記コンピュータープロセッサーがさらに、前記ＡＲ作業領域の背景画像であって、グラフィックユーザーインターフェイス（ＧＵＩ）のアイコンを含む画像を、前記撮像センサーを使用して取得し、
    前記手候補を抽出する工程が、
    前景マスクを生成するために前記画像と前記背景画像とを比較する工程、及び、
    予め設定されたスキン調フィルター及び前記前景マスクを使用し、前記背景画像のホワイトバランスパラメーターに基づいて、つながった色成分を前記画像から抽出する工程、を備え、
    前記手候補は、予め決められた寸法基準に基づいて、前記つながった色成分から選択されることを特徴とする、請求項１５又は１６に記載のシステム。
18. 前記指候補を抽出する工程が、前記手候補の輪郭から複数の凸欠陥を抽出することを含んでおり、
    前記予め決められた信頼尺度は、前記複数の凸欠陥における隣り合う凸欠陥の間の距離と、予め決められた指幅の閾値とを含んでおり、
    前記指候補は、前記予め決められた指幅の閾値内の対応する距離を有する一対の隣り合う凸欠陥を含むことを特徴とする、請求項１５から１７のいずれか一項に記載のシステム。
19. 前記指候補を抽出する工程が、
    前記手候補の輪郭から複数の指候補を抽出する工程、
    前記予め決められた信頼尺度に基づいて、前記複数の指候補の個々の信頼スコアを計算する工程、及び、
    前記個々の信頼スコアに基づき、指の有力候補として、前記複数の指候補から前記指候補を選択する工程、
    を含むことを特徴とする、請求項１５から１８のいずれか一項に記載のシステム。
20. 前記指候補を抽出する工程が、
    前記手候補の輪郭に基づいて、前記手候補の最小外接矩形を生成する工程、
    前記画像の境界線及び前記手候補の輪郭からなる群から選択された少なくとも１つと、前記最小外接矩形との交点に基づいて、前記手候補の輪郭から指先候補を抽出する工程、及び、
    前記指先候補及び前記手候補の輪郭に基づいて推定指幅を決定する工程、
    を含んでおり、
    前記指候補の抽出は、予め決められた指幅の閾値内にある前記推定指幅に基づくことを特徴とする、請求項１５から１９のいずれか一項に記載のシステム。