JP2023504319A - 人体と人手を関連付ける方法、装置、機器及び記憶媒体 - Google Patents

Abstract

本願の実施例は人体と人手を関連付ける方法、装置、機器及び記憶媒体を提供し、該方法は、画面内容に人体と人手が含まれる検出対象画像を取得するステップと、前記検出対象画像において、前記人体の人体検出枠及び前記人の人手の人手検出枠を特定するステップと、前記人体検出枠と前記人手検出枠との関連確率を特定するステップと、前記人体検出枠と前記人手検出枠との外接枠を特定するステップと、前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップと、を含む。【選択図】図１

Description

（関連出願の相互参照）
本願は２０２１年６月２２日にシンガポール知的財産庁に提出されたシンガポール特許出願１０２０２１０６８０６Ｓの優先権を主張し、該出願の全てが参照によって本願に組み込まれる。

本願の実施例は画像処理の技術分野に関し、人体と人手を関連付ける方法、装置、機器及び記憶媒体に関するが、これらに限定されない。

多数の人がいる複雑なシーンにおいて、一般に人同士の互いの遮蔽又は腕の互いの交錯という現象が存在する。関連技術では、通常、人体キーポイントを使用して人手キーポイントを検出する上でセンサにより人手の所属を判断するが、判断の正確性を保証できず、そのコストが高い。

本願の実施例は人体と人手を関連付ける技術的解決手段を提供する。

本願の実施例の技術的解決手段は以下のように実現される。

本願の実施例は人体と人手を関連付ける方法を提供し、前記方法は、
画面内容に人体と人手が含まれる検出対象画像を取得するステップと、
前記検出対象画像において、前記人体の人体検出枠及び前記人手の人手検出枠を特定するステップと、
前記人体検出枠と前記人手検出枠との関連確率を特定するステップと、
前記人体検出枠と前記人手検出枠との外接枠を特定するステップと、
前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップと、を含む。このように、人体検出枠と人手検出枠との関連確率、及び人体検出枠と人手検出枠との外接枠内の人手キーポイントによって、外接枠内の人体と人手との関連度を特定することで、外接枠内の人体検出枠と人手検出枠を関連付ける精度を高めることができる。

いくつかの実施例において、前記人体検出枠と前記人手検出枠との関連確率を特定するステップは、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を特定するステップと、前記人体特徴及び前記人手特徴に基づき、前記人体検出枠と前記人手検出枠との関連確率を特定するステップと、を含む。このように、人体特徴及び人手特徴によって、人体検出枠と人手検出枠との関連確率を特定することで、人体検出枠と人手検出枠を関連付ける精度を高めることができる。

いくつかの実施例において、前記人体検出枠と前記人手検出枠との外接枠を特定するステップは、前記関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠を目標検出枠対として特定するステップと、前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するステップと、を含む。このように、関連確率によって人体検出枠と人手検出枠との外接枠を特定することで、関連度が高い人体検出枠と人手検出枠との外接枠を高効率で正確に得ることができる。

いくつかの実施例において、前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するステップは、前記目標検出枠対を囲む候補枠を特定するステップと、前記目標検出枠対内の人体検出枠と前記人手検出枠との相対位置関係に基づき、前記候補枠のカバーエリアを調整し、前記外接枠を得るステップと、を含む。このように、人体検出枠及び人手検出枠を包囲可能な候補枠によって、人体検出枠と人手検出枠との外接枠を特定することで、精度がより高い外接枠を高効率で迅速に得ることができるとともに、より正確な外接枠内の人手キーポイントに基づき、外接枠を形成する人体検出枠と人手検出枠を関連付ける精度を高めることができる。

いくつかの実施例において、前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップは、前記外接枠内の少なくとも二つの目標人手キーポイントを特定するステップであって、前記少なくとも二つの目標人手キーポイントは同一人の二つの異なる人手にそれぞれ属するキーポイントを含むステップと、前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップと、を含む。このように、外接枠内の人手キーポイントを完全に検出することで、外接枠を形成する人体検出枠と人手検出枠を関連付ける精度をさらに最適化することができる。

いくつかの実施例において、前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップは、各目標人手キーポイントが真値ポイントである信頼度を特定するステップと、任意の前記信頼度が予め設定された閾値より大きい場合、前記信頼度が前記予め設定された閾値より大きい目標人手キーポイントから前記外接枠を形成する人手検出枠までの距離を特定するステップと、前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するステップと、前記目標関連確率に基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップと、を含む。このように、目標人手キーポイントが真値ポイントである信頼度が予め設定された閾値より大きい場合、目標人手キーポイントから外接枠を形成する人手検出枠までの距離によって、より正確なパラメータに基づき、外接枠を形成する人体検出枠と人手検出枠を関連付ける精度をさらに最適化することができる。

いくつかの実施例において、前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するステップは、前記距離が予め設定された距離以下である場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を特定し、枠内関連確率を得るステップと、前記枠内関連確率を前記目標関連確率として特定するステップと、を含む。このように、距離の値の大きさを判断することで、人体検出枠と人手検出枠との目標関連確率を簡単で迅速に特定することができるとともに、不要な計算量を低減することができる。

いくつかの実施例において、前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するステップは、前記距離が前記予め設定された距離より大きい場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得るステップと、前記補正済み関連確率を前記目標関連確率として特定するステップと、を含む。このように、距離の値の大きさを判断することで、人体検出枠と人手検出枠との目標関連確率を特定するために対応するパラメータを簡単で迅速に調整することができるとともに、不要な計算量を低減することができる。

いくつかの実施例において、前記距離が前記予め設定された距離より大きい場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得るステップは、前記距離が前記予め設定された距離より大きい場合、前記関連確率を補正するための予め設定された調整パラメータを取得するステップと、前記予め設定された調整パラメータを用いて、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、前記補正済み関連確率を得るステップと、を含む。このように、予め設定された調整パラメータによって対応する関連確率を低下させ、補正済み関連確率を得ることで、補正済み関連確率を簡単で迅速に特定することができ、それによって、外接枠内の人体検出枠と人手検出枠を関連付ける精度を高めることができる。

いくつかの実施例において、前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップは、前記少なくとも二つの目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しない場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得るステップと、前記補正済み関連確率を前記目標関連確率として特定するステップと、を含む。このように、目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しない場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させることで、外接枠を形成する人体検出枠と人手検出枠を関連付ける精度をさらに最適化することができる。

いくつかの実施例において、前記目標人手キーポイントは手首キーポイントを含む。より正確な検出パラメータを得ることができ、それによって、検出正確度を高めることができる。

いくつかの実施例において、前記検出対象画像から複数の前記人体検出枠及び／又は複数の前記人手検出枠が特定された場合、前記方法は、検出された各前記人体検出枠と検出された各前記人手検出枠をそれぞれ組み合わせ、複数の検出枠対を得るステップをさらに含み、前記人体検出枠と前記人手検出枠との外接枠を特定するステップは、各前記検出枠対内の人体検出枠と人手検出枠との外接枠を特定するステップを含み、前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップは、各前記外接枠内の人体と人手との関連度を特定し、目標関連度集合を得るステップと、前記目標関連度集合内で、関連度が予め設定された関連度閾値より大きい候補関連度を特定するステップと、前記候補関連度に対応する目標外接枠に基づき、前記目標外接枠内の人体にマッチする人手を特定するステップと、を含む。このように、各人体及び各人手により形成される外接枠に対応する目標関連度に基づき、そこから一定の条件に適合する候補関連度をスクリーニングし、それによって、各人体にマッチする人手を特定することで、最適化された関連度のもとに精度がより高い人体と人手とのマッチング関係を特定することができる。

本願の実施例は人体と人手を関連付ける装置を提供し、前記装置は、
画面内容に人体と人手が含まれる検出対象画像を取得するように構成される第１取得モジュールと、
前記検出対象画像において、前記人体の人体検出枠及び前記人手の人手検出枠を特定するように構成される第１特定モジュールと、
前記人体検出枠と前記人手検出枠との関連確率を特定するように構成される第２特定モジュールと、
前記人体検出枠と前記人手検出枠との外接枠を特定するように構成される第３特定モジュールと、
前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するように構成される第４特定モジュールと、を含む。

いくつかの実施例において、前記第２特定モジュールは、前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を特定するように構成される特徴特定サブモジュールと、前記人体特徴及び前記人手特徴に基づき、前記人体検出枠と前記人手検出枠との関連確率を特定するように構成される関連確率特定サブモジュールと、を含む。

いくつかの実施例において、前記第３特定モジュールは、前記関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠を目標検出枠対として特定するように構成される検出枠特定サブモジュールと、前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するように構成される外接枠特定サブモジュールと、を含む。

いくつかの実施例において、前記外接枠特定サブモジュールは、前記目標検出枠対を囲む候補枠を特定するように構成される候補枠特定サブユニットと、前記目標検出枠対内の人体検出枠と前記人手検出枠との相対位置関係に基づき、前記候補枠のカバーエリアを調整し、前記外接枠を得るように構成される外接枠特定サブユニットと、を含む。

いくつかの実施例において、前記第４特定モジュールは、前記外接枠内の少なくとも二つの目標人手キーポイントを特定するように構成される人手キーポイント特定サブモジュールであって、前記少なくとも二つの目標人手キーポイントは同一人の二つの異なる人手にそれぞれ属するキーポイントを含む人手キーポイント特定サブモジュールと、前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するように構成される関連度特定サブモジュールと、を含む。

いくつかの実施例において、前記関連度特定サブモジュールは、各目標人手キーポイントが真値ポイントである信頼度を特定するように構成される信頼度特定サブユニットと、任意の前記信頼度が予め設定された閾値より大きい場合、前記信頼度が前記予め設定された閾値より大きい目標人手キーポイントから前記外接枠を形成する人手検出枠までの距離を特定するように構成される距離特定サブユニットと、前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するように構成される関連確率特定サブユニットと、前記目標関連確率に基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するように構成される関連度特定サブユニットと、を含む。

いくつかの実施例において、前記関連確率特定サブユニットは、前記距離が予め設定された距離以下である場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を特定し、枠内関連確率を得、そして前記枠内関連確率を前記目標関連確率として特定するようにも構成される。

いくつかの実施例において、前記関連確率特定サブユニットは、前記距離が前記予め設定された距離より大きい場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得、そして前記補正済み関連確率を前記目標関連確率として特定するようにも構成される。

いくつかの実施例において、前記関連確率特定サブユニットは、前記距離が前記予め設定された距離より大きい場合、前記関連確率を補正するための予め設定された調整パラメータを取得し、そして前記予め設定された調整パラメータを用いて、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、前記補正済み関連確率を得るようにも構成される。

いくつかの実施例において、前記関連度特定サブモジュールは、前記少なくとも二つの目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しない場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得、そして前記補正済み関連確率を前記目標関連確率として特定するようにも構成される。

いくつかの実施例において、前記目標人手キーポイントは手首キーポイントを含む。

いくつかの実施例において、前記検出対象画像から複数の前記人体検出枠及び／又は複数の前記人手検出枠が特定された場合、前記検出枠特定サブモジュールは、検出された各前記人体検出枠と検出された各前記人手検出枠をそれぞれ組み合わせ、複数の検出枠対を得るようにも構成され、前記外接枠特定サブモジュールは、各前記検出枠対内の人体検出枠と人手検出枠との外接枠を特定するようにも構成され、前記第４特定モジュールは、各前記外接枠内の人体と人手との関連度を特定し、目標関連度集合を得、前記目標関連度集合内で、関連度が予め設定された関連度閾値より大きい候補関連度を特定し、そして前記候補関連度に対応する目標外接枠に基づき、前記目標外接枠内の人体にマッチする人手を特定するようにも構成される。

本願の実施例はコンピュータ機器を提供し、前記コンピュータはメモリ及びプロセッサを含み、前記メモリにコンピュータ実行可能命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行する時に上記人体と人手を関連付ける方法を実現できる。

それに応じて、本願の実施例はコンピュータ記憶媒体を提供し、前記コンピュータ記憶媒体にコンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令が実行されると、上記人体と人手を関連付ける方法を実現できる。

本願の実施例は人体と人手を関連付ける方法、装置、機器及び記憶媒体を提供し、まず、画面内容に人体及び人手が含まれる検出対象画像から、人体検出枠及び人手検出枠を特定し、次に、人体検出枠と人手検出枠との関連確率を特定し、及び人体検出枠と人手検出枠との外接枠を特定し、最後に、外接枠内の人手キーポイント及び関連確率に基づき、外接枠内の人体と人手との関連度を特定し、このように、人体検出枠と人手検出枠との関連確率、及び人体検出枠と人手検出枠との外接枠内の人手キーポイントによって、外接枠内の人体と人手との関連度を特定することで、外接枠内の人体検出枠と人手検出枠を関連付ける精度を高めることができる。

本願の実施例により提供される人体と人手を関連付ける方法のフローチャートである。 本願の実施例により提供される別の人体と人手を関連付ける方法のフローチャートである。 本願の実施例により提供されるさらに別の人体と人手を関連付ける方法のフローチャートである。 本願の実施例により提供されるさらに別の人体と人手を関連付ける方法のフローチャートである。 本願の実施例により提供される人体と人手を関連付ける方法が適用される応用シーンの模式図である。 本願の実施例により提供される人体と人手を関連付ける装置の構成模式図である。 本願の実施例により提供されるコンピュータ機器の構成模式図である。

本願の実施例における技術的解決手段をより明確に説明するために、以下において、実施例の記載に必要な図面を簡単に説明するが、当然ながら、以下の記載における図面は本願の実施例の一部に過ぎず、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到し得る。

本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下において、本願の実施例における図面を参照し、発明の具体的な技術的解決手段をさらに詳しく記載する。以下の実施例は本願の実施例を説明するためのものであり、本願の実施例の範囲を限定するものではない。

以下の記載において、記載される「いくつかの実施例」は、あらゆる可能な実施例の部分集合を記載しているが、「いくつかの実施例」はあらゆる可能な実施例の同じ部分集合又は異なる部分集合であってよく、且つ矛盾なく互いに組み合わせることができることが理解される。

以下の記載において、記載される用語「第１／第２／第３」は類似する対象を区別するためのものに過ぎず、対象についての特定の順序付けではなく、また、「第１／第２／第３」は、ここで記載される本願の実施例がここで図示又は記載される以外の順序で実施可能にするように、可能である限り特定の順序又は先後順序を交換することができることが理解される。

他に定義されない限り、本明細書で使用される全ての技術用語及び科学用語は本願の実施例が属する技術分野の当業者によって一般的に理解されるのと同じ意味を有する。本明細書で使用される用語は単に本願の実施例の目的を記載するためのものに過ぎず、本願の実施例を限定するものではない。

本願の実施例をさらに詳しく説明する前、本願の実施例で記載される名詞及び用語を説明し、本願の実施例で記載される名詞及び用語は以下の解釈に合致する。

１）コンピュータビジョン（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：ＣＶと略称）とは、どのように機械に「見させる」かについて研究する科学であり、人の目に代えてカメラ及びコンピュータで目標を認識、追跡及び測定し、更なる画像処理を行うことを意味する。

２）深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：ＤＬと略称）とは、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ：ＭＬと略称）分野における新しい研究方向であり、深層学習を機械学習に導入して機械学習を人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩと略称）という最初の目標に近づけさせ、ＤＬはサンプルデータの内在法則及び表現を学習し、学習により得られたこれらの情報が文字、画像及び音声等のデータの解釈に大きく寄与するものであり、その最終的な目標は、機械が人のように分析学習の能力を備え、文字、画像及び音声等のデータを認識できるようにすることである。

３）人体キーポイント検出（Ｈｕｍａｎ Ｋｅｙｐｏｉｎｔｓ Ｄｅｔｅｃｔｉｏｎ：ＨＫＤと略称）とは、人体姿勢推定とも呼ばれ、ＣＶにおける比較的基本的なタスクであり、人体動作認識、行動解析、ヒューマンコンピュータインタラクション等の先行タスクであり、一般に人体キーポイント検出は、一人／複数人キーポイント検出、二次元／三次元キーポイント検出に小分けすることができ、また、キーポイント検出後にさらにキーポイントの追跡を行うアルゴリズムもあるので、人体姿勢追跡とも呼ばれる。

４）関連付けアルゴリズムとはデータマイニングにおける重要なアルゴリズムの一つであり、関連付けは一つのイベントと別のイベントとが互いに依存又は関連する知識を表す。

５）信頼度とは統計学において、確率サンプルの信頼区間（Ｃｏｎｆｉｄｅｎｃｅ ｉｎｔｅｒｖａｌ）が該サンプルのある一般パラメータに対する区間推定であることを意味し、信頼区間はこのパラメータの真理値が一定の確率で測定結果の周りに収まる程度を示し、信頼区間から被測定パラメータの測定値の信頼度範囲を得ることができ、即ち、前に要求された「一定の確率」を得ており、この確率は信頼レベルと呼ばれる。

以下に本願の実施例により提供される人体と人手を関連付ける機器の例示的な応用を説明し、本願の実施例により提供される機器は、ノートパソコン、タブレット、デスクトップコンピュータ、カメラ、携帯型装置（例えば、携帯情報端末、専用メッセージング装置、携帯ゲーム機）等、画像収集機能を有する様々なユーザ端末として実施してもよいし、サーバとして実施してもよい。以下において、機器を端末又はサーバとして実施する際の例示的な応用を説明する。

該方法はコンピュータ機器に適用可能であり、該方法が実現する機能はコンピュータ機器内のプロセッサによってプログラムコードを呼び出して実現することができ、当然ながら、プログラムコードはコンピュータ記憶媒体に保存することができ、このことから明らかなように、該コンピュータ機器は少なくともプロセッサ及び記憶媒体を含む。

図１に示すように、本願の実施例は人体と人手を関連付ける方法を提供し、以下において、図１示すステップを参照して説明を行う。

ステップＳ１０１で、画面内容に人体と人手が含まれる検出対象画像を取得する。

いくつかの実施例において、検出対象画像は、人体と人手を関連付ける装置が内部の画像収集モジュールによって取得したものであってもよいし、該装置と情報交換可能な装置又は機器から受信した検出対象画像であってもよい。それに応じて、検出対象画像はカラー画像であってもよいし、濃淡画像であってもよく、人体と人手は検出対象画像の前景領域、中景領域及び背景領域に位置することができ、本願の実施例は検出対象画像における人体と人手の所在領域等を何ら限定しない。

いくつかの実施例において、検出対象画像における人体とは、検出対象画像において全ての身体情報を表示可能な人体、又は一部の身体情報を表示可能な人体を指す。人体が検出対象画像において全ての身体情報を表示した場合、例えば、頭部、二つの腕、一つの胴体及び二つの脚等が表示され、又は一部の身体情報を表示した場合、例えば、頭部、一つの腕及び二つの脚等が表示される。検出対象画像における人手とは、検出対象画像において表示される左手情報、右手情報及び左右手情報等を指すことができる。

いくつかの実施例において、人体が検出対象画像において表示する姿勢情報は、直立、歩行及び着座等であってもよく、人手が検出対象画像において表示する姿勢情報は、開き又は閉じ、又は部分的な閉じ等であってもよい。

いくつかの実施例において、検出対象画像の画面内容は人体と人手を含むが、これらに限定されない。検出対象画像の画面内容は任意のシーン、例えば、教室、公園、事務所又は遊技場等に位置する人体と人手であってよい。また、検出対象画像内の画面内容に含まれる人体の数及び人手の数は一つ、二つ及びそれ以上であってよい。検出対象画像内の画面内容が表示する人体間、人手間、及び人体と人手との間の相対位置関係は、左右、前後及び上下等であってよい。

ステップＳ１０２で、検出対象画像において、人体の人体検出枠及び人手の人手検出枠を特定する。

いくつかの実施例において、人体検出枠は検出対象画像における身体を包含可能な検出枠である。例示的に、検出対象画像において人の全ての身体部分が表示可能であると仮定すると、人体検出枠は人体の頭部、二つの腕、一つの胴体及び二つの脚等を包囲可能な最小矩形枠であり、また、人体検出枠の内部は人体のキーポイント、例えば、頭、首、肩、肘、人手、臀、膝及び足等の部位を包囲可能である。例示的に、検出対象画像において人の身体の一部が表示可能であると仮定すると、人体検出枠は人体の頭部、一つの腕、一部の胴体等を包囲可能な最小矩形枠である。

いくつかの実施例において、人手の人手検出枠は検出対象画像における人手の表示部分を包含可能である。例示的に、検出対象画像において人手の全ての部分が表示可能であると仮定すると、人手検出枠は人手の指先、各指骨の結合部位等を包囲可能な最小矩形枠である。検出対象画像において人手の一部の情報が表示可能であると仮定すると、人手検出枠は人手の一部の指先及び一部の指骨結合部位等を包囲可能な最小矩形枠である。

いくつかの実施例において、人体の人体検出枠と人手の人手検出枠は部分的に重なる位置関係又は隣接する位置関係であってよく、さらに人手検出枠が人体検出枠の内部に位置する位置関係等であってもよい。また、人体検出枠のサイズは人体が検出対象画像に表示されるサイズに基づいて決定される。これに応じて、人手検出枠のサイズは人手が検出対象画像に表示されるサイズに基づいて決定される。

いくつかの実施例において、検出対象画像に複数の人体及び複数の人手が含まれると仮定すると、各人体はそれぞれ一つの人体検出枠に対応し、異なる人体に対応する人体検出枠同士には重複、部分的重なり及び近接等の関係が存在し得る。各人手はそれぞれ一つの人手検出枠に対応し、異なる人手に対応する人手検出枠同士には重複、部分的重なり及び近接等の関係が存在し得る。また、人手検出枠は概して左手検出枠と右手検出枠の二種類に分けられる。

いくつかの可能な実施形態では、訓練された検出モデルによって検出対象画像内の人体と人手をそれぞれ検出し、対応する人体検出枠と人手検出枠を特定する。

いくつかの実施例において、人体検出枠と人手検出枠は目標検出アルゴリズムに基づいて生成されてもよい。例示的に、本願の実施例では目標検出アルゴリズム、例えば、高速領域畳み込みニューラルネットワーク（Ｆａｓｔ Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ｆａｓｔ Ｒ－ＣＮＮと略称）、より高速な領域畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ｆａｓｔｅｒ Ｒ－ＣＮＮと略称）、又は領域ベース完全畳み込みネットワーク（Ｒｅｇｉｏｎ ｂａｓｅｄ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、Ｒ－ＦＣＮ）アルゴリズムを使用し、検出対象画像内の人体と人手を検出し、人体の人体検出枠及び人手の人手検出枠を得ることができる。ここで、Ｆａｓｔｅｒ Ｒ－ＣＮＮによる目標検出は、以下の四つの基本的なステップ、例えば、候補領域生成、特徴抽出、分類及び精密位置補正によって実現できる。このように、精度がより高い人体検出枠及び人手検出枠を簡単で迅速に得ることができるとともに、目標検出アルゴリズムの使用により計算量を低減することができる。

ステップＳ１０３で、人体検出枠と人手検出枠との関連確率を特定する。

いくつかの実施例において、関連確率とは人体検出枠と人手検出枠との関連度又は両者の関連可能性を指すことができる。ここで、「関連」とは両者により表される物理的対象物の間は帰属関係を有すること、例えば人手と人体とが互いに帰属関係を有することを指す。ここで、関連度又は関連可能性は人体検出枠と人手検出枠との色特徴、テクスチャ特徴、形状特徴及び空間的関係特徴等に基づいて特定されてもよい。例示的に、本願の実施例では、人体検出枠と人手検出枠との関連確率が高い場合、該人体検出枠と人手検出枠との対応する特徴情報の関連度が高いことを表す。同様に、人体検出枠と人手検出枠との関連確率が低い場合、人体検出枠と人手検出枠との対応する特徴情報の関連度が低いことを表す。

いくつかの実施例において、対応する関連付けアルゴリズムによって人体検出枠と人手検出枠との関連確率を特定することができる。これに応じて、関連確率は小数、分数以及パーセンテージ等で表すことができ、関連確率の値は９０％、０．７５等とすることができる。

可能な一実施形態では、人体検出枠の人体特徴及び人手検出枠の人手特徴を取得することで人体検出枠と人手検出枠との関連確率を特定するステップは、以下のプロセスによって実現できる。

第１ステップで、人体検出枠の人体特徴及び人手検出枠の人手特徴を特定する。

いくつかの実施例において、人体特徴とは、人体検出枠における人体の色特徴、テクスチャ特徴、形状特徴以及空間的関係特徴を指すことができる。例示的に、人体検出枠における人体の姿勢情報、相対的位置情報及び色情報等を指すことができる。人手特徴とは、人手検出枠における人手の色特徴、テクスチャ特徴、形状特徴及び空間的関係特徴を指すことができる。例示的に、人手検出枠における人手の姿勢情報、相対的位置情報及び色情報等を指すことができる。

いくつかの実施例において、特徴抽出モデルによって、人体検出枠の人体特徴及び人手検出枠の人手特徴を抽出及び特定することができる。このように、より正確な人体検出枠内の人体特徴及び人手検出枠内の人手特徴を得ることができ、それによって、精度が高い人体特徴及び人手特徴に基づき、人体検出枠と人手検出枠を関連付ける精度を高めることができる。

第２ステップで、人体特徴及び人手特徴に基づき、人体検出枠と人手検出枠との関連確率を特定する。

いくつかの実施例において、関連付けアルゴリズムによって人体特徴と人手特徴を関連付け、人体検出枠と人手検出枠との関連確率を特定する。例示的に、人体特徴と人手特徴に対して特徴情報のマッチングを行い、それによって、人体検出枠と人手検出枠との関連確率を特定することができる。このように、人体特徴と人手特徴に対して情報マッチングを行い、人体検出枠と人手検出枠との関連確率を特定することで、人体検出枠と人手検出枠を関連付ける精度を高めることができる。

いくつかの可能な実施例において、特徴抽出モデルを用いて人体検出枠及び人手検出枠に対してそれぞれ特徴抽出を行い、対応する人体特徴及び人手特徴を得る。このように、人体特徴及び人手特徴を正確で迅速に抽出し、それによって、抽出された人体特徴及び人手特徴に基づいて人体検出枠と人手検出枠との関連確率を特定し、人体検出枠と人手検出枠との関連度の精度をさらに高めることができる。

ステップＳ１０４で、人体検出枠と人手検出枠との外接枠を特定する。

いくつかの実施例において、外接枠とは、人体検出枠及び人手検出枠を包囲可能な最小矩形枠を指すことができ、また人体検出枠と人手検出枠との関連確率が予め設定された確率閾値より大きく、且つ人体検出枠及び人手検出枠を包囲可能な最小矩形枠を指すこともできる。例示的に、外接枠は人体検出枠、人手検出枠及び人体検出枠と人手検出枠との相対位置関係に基づいて共同で特定されてもよい。ここで、外接枠内の情報は人体検出枠の特徴情報、人手検出枠の特徴情報を含むが、これらに限定されない。また、外接枠内の人手検出枠は外接枠内の任意の箇所に位置することがでできる。

いくつかの実施例において、人手検出枠は右手検出枠及び左手検出枠を含み、人体検出枠と右手検出枠及び左手検出枠はそれぞれ外接枠を形成することができる。ここで、この二つの外接枠は、位置が重なるか又は完全に重なり合う等のようにしてもよい。

いくつかの実施例において、人体検出枠及び人手検出枠がそれぞれ複数ある場合、各人体検出枠と各人手検出枠とにより外接枠を形成する。ここで、外接枠のサイズは人体検出枠と人手検出枠のサイズに基づいて共同で決定される。また、外接枠の検出対象画像における位置関係は人体検出枠及び人手検出枠に基づいて共同で特定される。

ステップＳ１０５で、外接枠内の人手キーポイント及び関連確率に基づき、外接枠内の人体と人手との関連度を特定する。

いくつかの実施例において、外接枠内の人手キーポイントとは、外接枠内の手のひらの中心情報又は手首キーポイント情報を指することができる。例示的に、人手キーポイントが手首キーポイント情報、即ち、手首ノードの情報を指すと仮定すると、手首キーポイント情報は、手首キーポイントが真値ポイントである信頼度、手首キーポイントから外接枠を形成する人手検出枠までの距離を含むことができ、例えば、左手首キーポイントが真値ポイントである信頼度、右手首キーポイントが真値ポイントである信頼度、右手首キーポイントから外接枠を形成する人手検出枠までの距離、左手首キーポイントから外接枠を形成する人手検出枠までの距離等を含むことができる。手首とは手のひらと前腕が結合する部位の情報を指す。

いくつかの実施例において、関連度とは、外接枠内の人体である人体検出枠と人手である人手検出枠との関連度を指すことができる。ここで、関連度は数値、例えば、０から１００で表すことができる。例示的に、人体検出枠と人手検出枠との間にいかなる関連関係も存在しないと仮定すると、関連度に対応する値は０である。人体検出枠と人手検出枠との関連関係が強いと仮定すると、関連度に対応する値は８０から１００で表すことができる。

いくつかの実施例において、外接枠内の人手キーポイントが真値ポイントである信頼度及び人手キーポイントから外接枠を形成する人手検出枠までの距離を判断することで、外接枠内の人体と人手との関連度を特定する。例示的に、外接枠内の人体と人手との関連度はマッチングと非マッチング、又は高度の関連と普通の関連等で表すことができる。

本願の実施例により提供される人体と人手を関連付ける方法は、まず、画面内容に人体及び人手が含まれる検出対象画像から、人体の人体検出枠及び人手の人手検出枠を特定し、次に、人体検出枠と人手検出枠との関連確率、及び人体検出枠と人手検出枠との外接枠を特定し、最後に、外接枠内の人手キーポイント及び関連確率に基づき、外接枠内の人体と人手との関連度を特定し、このように、人体検出枠と人手検出枠との関連確率、及び人体検出枠と人手検出枠との外接枠内の人手キーポイントによって、外接枠内の人体と人手との関連度を特定することで、外接枠内の人体検出枠と人手検出枠を関連付ける精度を高めることができる。

可能な一実施形態において、関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠とからなる目標検出枠対、及び目標検出枠対を包囲可能な候補枠を、人体検出枠と人手検出枠との外接枠として特定する。つまり、図２に示すように、上記ステップＳ１０４は、以下のプロセスによって実現できる。図２は本願の実施例により提供される別の人体と人手を関連付ける方法のフローチャートであり、以下において、図１及び図２に示すステップを参照して説明する。

ステップＳ１４１で、関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠を目標検出枠対として特定する。

いくつかの実施例において、予め設定された確率閾値は実際の応用に基づいて決定され、又は検出対象画像の属性情報に基づいて決定されてもよく、又は人体検出枠の人体特徴及び人手検出枠の人手特徴に基づいて共同で決定されてもよい。ここで、予め設定された確率閾値は９０％、８５％及び８８％等とすることができ、これに応じて、予め設定された確率閾値は分数、小数及びパーセンテージで表すことができる。ここで、各目標検出枠対は一つの人体検出枠と一つの人手検出枠とからなり、且つ該人体検出枠と人手検出枠との関連確率は予め設定された確率閾値より大きい。

ステップＳ１４２で、目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定する。

いくつかの実施例において、外接枠とは、目標検出枠対内の人体検出枠及び人手検出枠を完全に包囲可能な最小矩形枠を指すことができる。予め設定された確率閾値が９０％である場合、外接枠内の人体検出枠と人手検出枠との関連確率が９０％より大きい。

いくつかの実施例において、関連確率スクリーニングによって人体検出枠と人手検出枠とにより形成される目標検出枠対を得、それによって、目標検出枠対内の人体検出枠と人手検出枠との外接枠を得る。このように、関連度が高い人体検出枠と人手検出枠との外接枠を高効率で正確に得ることができる。

いくつかの可能な実施形態では、目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定する。つまり、上記ステップＳ１４２は、以下のプロセスによって実現できる。以下において、引き続き図１及び図２に示すステップを参照して説明する。

第１ステップで、目標検出枠対を囲む候補枠を特定する。

いくつかの実施例において、関連確率が予め設定された確率閾値より大きい場合、人体検出枠と人手検出枠を、人体検出枠と人手検出枠との相対位置関係に基づいて組み合わせ、目標検出枠対を包囲可能な、即ち、人体検出枠及び人手検出枠を包囲可能な候補枠を得る。ここで、候補枠のサイズ及び形状については本願の実施例において何ら限定されない。

いくつかの実施例において、複数の人体検出枠及び複数の人手検出枠が特定され、且つ関連確率が予め設定された確率閾値より大きい場合、第１人体検出枠と第１右手検出枠を組み合わせ、第１目標検出枠対を得、第１目標検出枠対を包囲可能な第１候補枠を特定する。いくつかの可能な実施形態において、例えば、第１人体検出枠と第２右手検出枠を組み合わせ、第２目標検出枠対を得、第２目標検出枠対を包囲可能な第２候補枠を特定し、第２人体検出枠と第３右手検出枠を組み合わせ、第３目標検出枠対を得、第３目標検出枠対を包囲可能な第３候補枠を特定し、第２人体検出枠と第２左手検出枠を組み合わせ、第４目標検出枠対を得、第４目標検出枠対を包囲可能な第４候補枠を特定する。

第２ステップで、目標検出枠対内の人体検出枠と人手検出枠との相対位置関係に基づき、候補枠のカバーエリアを調整し、外接枠を得る。

いくつかの実施例において、目標検出枠対内の人体検出枠と人手検出枠との相対位置関係に基づき、候補枠のカバーエリアを調整し、外接枠を得る。ここで、外接枠は人体検出枠及び人手検出枠を包囲可能な最小矩形枠である。例示的に、候補枠のカバーエリアを調整するステップは、候補枠のカバーエリアを候補枠の形状に対応して縮小するか、又は候補枠内部の人体情報に基づいて縮小すること等を含むが、これらに限定されない。このように、精度がより高い外接枠を高効率で迅速に得、それによって、より正確な外接枠内の人手キーポイントに基づき、外接枠を形成する人体検出枠と人手検出枠とを関連付ける精度を高めることができる。

前記の記載によれば、外接枠内の人体検出枠と人手検出枠との関連確率は予め設定された確率閾値より大きいことが分かる。このため、外接枠内の人体と人手との間に一定の関連関係が存在し、つまり、人体検出枠と人手検出枠との関連度に対応する値が０である外接枠は現れることがない。

いくつかの可能な実施形態において、外接枠内の少なくとも二つの目標人手キーポイント及び関連確率を特定することで、外接枠を形成する人体検出枠と人手検出枠との関連度を特定する。つまり、上記ステップＳ１０５は、以下のプロセスによって実現できる。以下において、引き続き図１及び図２に示すステップを参照して説明する。

ステップＳ１５１で、外接枠内の少なくとも二つの目標人手キーポイントを特定する。

少なくとも二つの目標人手キーポイントは同一人の二つの異なる人手にそれぞれ属するキーポイントを含む。

いくつかの実施例において、外接枠内の少なくとも二つの目標人手キーポイントとは、外接枠内の同一人の二つの異なる人手にそれぞれ属するキーポイントを指すことができる。ここで、同一人の二つの異なる人手に属するキーポイントは外接枠内の任意の箇所に位置することができる。このように、外接枠内の少なくとも二つの目標人手キーポイントを得ることで、一つの人手キーポイントのみを検出して対応する関連度を判断することにより現れ得る誤差を低減することができる。

いくつかの実施例において、人体キーポイント検出モデルによって、外接枠内の少なくとも二つの目標人手キーポイントを特定することができる。

可能な一実施形態において、目標人手キーポイントは手首キーポイントを含む。

いくつかの実施例において、目標人手キーポイントが手首キーポイントを含む場合、外接枠内の少なくとも二つの目標人手キーポイントは、外接枠内の同一人の二つの異なる人手にそれぞれ属する手首キーポイントに分けられる。本願の以下の実施例では、いずれも手首キーポイントで目標人手キーポイントを指す。

いくつかの実施例において、人手キーポイントを手首キーポイントとして特定する。このように、より正確な検出パラメータを得ることができ、それによって、検出正確度を高めることができる。

ステップＳ１５２で、少なくとも二つの目標人手キーポイントに基づき、外接枠を形成する人体検出枠と人手検出枠との関連度を特定する。

いくつかの実施例において、異なる手首キーポイント、例えば、右手首キーポイント及び左手首キーポイントに基づき、外接枠を形成する人体検出枠と人手検出枠との関連度を共同で特定する。このように、外接枠を形成する人手検出枠が左手検出枠であるかそれとも右手検出枠であるかを判断できない前提で、左手首キーポイント及び右手首キーポイントを同時に検出することで、一つの手首のキーポイントのみを検出して対応する関連度を判断することに起因する誤差を低減することができ、つまり、外接枠内の手首のキーポイントを完全に検出することで、外接枠を形成する人体検出枠と人手検出枠とを関連付ける精度をさらに最適化することができる。

いくつかの実施例において、少なくとも二つの目標人手キーポイント、即ち、異なる手首のキーポイントによって、外接枠を形成する人体検出枠と人手検出枠との関連度を特定する。つまり、図３に示すように、ステップＳ１５２は、以下のステップによって実現できる。図３は本願の実施例により提供されるさらに別の人体と人手を関連付ける方法のフローチャートであり、以下において、図１から図３に示すステップを参照して説明する。

ステップＳ２０１で、各目標人手キーポイントが真値ポイントである信頼度を特定する。

いくつかの実施例において、各手首キーポイントが真値ポイントである信頼度を特定する。ここで、真値ポイントとは、外接枠内の各手首キーポイントが真値、即ち真理値である情報を指すことができる。例示的に、一定の条件下で、該真値ポイントが外接枠内で測定された後に客観的に存在する実際の値である情報を指すことができる。ここで、画像特徴抽出モデル又は目標検出アルゴリズムによって検出対象画像から各手首キーポイントが真値ポイントである信頼度を取得することができる。

いくつかの実施例において、各手首キーポイントが真値ポイントである信頼度とは、各手首キーポイントが真値ポイントである信頼レベルを指すことができる。例示的に、右手首キーポイントが真値ポイントである信頼レベル０．９５における信頼区間が（０．５，０．６）である場合、右手首キーポイントが真値ポイントであることが５０％から６０％の区間に収まる確率は９５％である。

いくつかの実施例において、外接枠内の各目標人手キーポイントが真値ポイントである信頼度とは、左手首キーポイントが真値ポイントである信頼度及び右手首キーポイントが真値ポイントである信頼度を指すことができる。

可能な一実施形態において、目標人手キーポイントが真値ポイントである信頼度を判断することで、外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定する。これは以下の二つの場合に分けられる。

任意の信頼度が予め設定された閾値より大きい場合、以下のステップＳ２０２及びステップＳ２０３並びにステップＳ２０６を実行する。以下において、図１及び図２、並びに図３Ａに示すステップを参照して説明する。

予め設定された閾値より大きい信頼度が存在しない場合、以下のステップＳ２０４からステップＳ２０６を実行す。以下において、図１及び図２、並びに図３Ｂに示すステップを参照して説明する。

ステップＳ２０２で、任意の信頼度が予め設定された閾値より大きい場合、信頼度が予め設定された閾値より大きい目標人手キーポイントから外接枠を形成する人手検出枠までの距離を特定する。

いくつかの実施例において、予め設定された閾値の表現形式と信頼度の表現形式はマッピング関係を有する。予め設定された閾値は手首キーポイントの解像度及び／又は認識度上の要求に応じて設定することができる。例えば、手首キーポイントの解像度及び認識度に対する要求が高ければ高いほど、予め設定された閾値を大きくすることができる。例示的に、予め設定された閾値を０．８５とすることができる。信頼度が予め設定された閾値より大きい場合、信頼度が予め設定された閾値より大きい手首キーポイントから外接枠を形成する人手検出枠までの距離を特定する。ここで、該距離は各手首キーポイントから外接枠を形成する人手検出枠の中心点までの距離であってもよいし、各手首キーポイントから外接枠を形成する人手検出枠内の人手の任意の骨ノードまでの距離であってもよいし、各手首キーポイントから外接枠を形成する人手検出枠内の人手の中心点までの距離であってもよいし、各手首キーポイントから外接枠を形成する人手検出枠の境界領域までの距離であってもよい。

可能な一実施形態において、異なる手首キーポイントから外接枠を形成する人手検出枠までの第１距離及び第２距離を特定し、それによって、第１距離及び／又は第２距離に基づいて外接枠を形成する人体検出枠と人手検出枠との関連度を特定することができる。つまり、上記ステップＳ２０２は、異なる手首キーポイントが第１手首の第１キーポイント及び第２手首の第２キーポイントを含み、距離が第１距離及び第２距離を含む場合、以下のプロセスによって実現できる。

第１ステップで、第１キーポイントに対応する信頼度が予め設定された閾値より大きい場合、第１キーポイントから外接枠を形成する人手検出枠までの第１距離を特定する。

いくつかの実施例において、第１手首の第１キーポイントに対応する信頼度が予め設定された閾値より大きい場合、第１キーポイントから外接枠を形成する人手検出枠までの第１距離を特定する。ここで、第１手首とは外接枠内の左右手首のいずれかを指すことができ、第１手首が左手首であると仮定すると、第２手首はそれに応じて右手首であり、第１手首が右手首であると仮定すると、第２手首はそれに応じて左手首である。

いくつかの実施例において、第１手首が右手首を指すと仮定すると、右手首の第１キーポイントに対応する信頼度が予め設定された閾値より大きい場合、第１距離は、右手首の第１キーポイントから外接枠を形成する人手検出枠の境界領域までの距離、又は右手首の第１キーポイントから外接枠を形成する人手検出枠の中心点までの距離、又は右手首の第１キーポイントから外接枠を形成する人手検出枠の人手の任意の骨ノードまでの距離、又は右手首の第１キーポイントから外接枠を形成する人手検出枠の境界領域までの距離等として特定することができる。

第２ステップで、第２キーポイントに対応する信頼度が予め設定された閾値より大きい場合、第２キーポイントから外接枠を形成する人手検出枠までの第２距離を特定する。

いくつかの実施例において、第２手首の第２キーポイントに対応する信頼度が予め設定された閾値より大きい場合、第２キーポイントから外接枠を形成する人手検出枠までの第２距離を特定する。例示的に、第２手首が左手首であると仮定すると、第２距離は、左手首の第２キーポイントから外接枠を形成する人手検出枠の境界領域までの距離、又は左手首の第２キーポイントから外接枠を形成する人手検出枠の中心点までの距離、又は左手首の第２キーポイントから外接枠を形成する人手検出枠の人手の任意の骨ノードまでの距離、又は左手首の第２キーポイントから外接枠を形成する人手検出枠の境界領域までの距離等であってよい。第１距離と第２距離は同じであってもなくもよい。

いくつかの実施例において、第１手首の第１キーポイントと第２手首の第２キーポイントに対応する信頼度及び対応する距離をそれぞれ判断することで、より正確な距離基準パラメータを提供する場合、該距離に基づいて目標関連確率を特定する正確度をさらに高めることができる。

ステップＳ２０３で、距離に基づき、外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定する。

いくつかの実施例において、各手首キーポイントから外接枠を形成する人手検出枠までの距離に基づき、外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定する。ここで、目標関連確率は外接枠を形成する人体検出枠と人手検出枠との関連確率と同じであってもなくてもよい。

いくつかの実施例において、距離に基づいて外接枠を形成する人体検出枠と人手検出枠との関連確率を調整する。外接枠を形成する人体検出枠と人手検出枠との関連確率を増大、減少又は保持することであってもよく、それによって、目標関連確率を得る。

可能な一実施形態において、距離を判断することで、外接枠の人体検出枠と人手検出枠との目標関連確率を特定する。つまり、上記ステップＳ２０３は、距離に基づいて以下の二つの場合に分けて実現することができる。

第１の場合では、以下のステップＳ２３１及びステップＳ２３２によって実現できる。

ステップＳ２３１で、距離が予め設定された距離以下である場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を特定し、枠内関連確率を得る。

いくつかの実施例において、距離の値を判断することで、距離が予め設定された距離以下である場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を計算し、それによって対応する枠内関連確率を得る。例示的に、枠内関連確率は外接枠を形成する人体検出枠と人手検出枠との初期関連確率であってよく、枠内関連確率は外接枠を形成する人体検出枠と人手検出枠との初期関連確率を適応的に増大することで得られるものであってもよい。

ステップＳ２３２で、枠内関連確率を目標関連確率として特定する。

いくつかの実施例において、枠内関連確率を目標関連確率として特定するステップは、枠内関連確率をそのまま目標関連確率として特定するようにしてもよい。例示的に、枠内関連確率が外接枠を形成する人体検出枠と人手検出枠との初期関連確率であると仮定すると、枠内関連確率は予め設定された確率閾値より大きくなる。又は、枠内関連確率を適応的に調整するようにしてもよく、例えば、枠内関連確率を増大し、増大後の枠内関連確率を目標関連確率として特定する。このように、距離の値の大きさを判断することで、人体検出枠と人手検出枠との目標関連確率を簡単で迅速に特定することができるとともに、不要な計算量を低減することができる。

第２の場合では、以下のステップＳ２３３及びステップＳ２３４によって実現できる。

ステップＳ２３３で、距離が予め設定された距離より大きい場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得る。

いくつかの実施例において、距離の値を判断することで、距離が予め設定された距離より大きい場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させる。例示的に、距離が予め設定された距離より大きい場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、補正済み関連確率を得る。ここで、外接枠を形成する人体検出枠と人手検出枠との初期関連確率を低下させてもよく、つまり、該補正済み関連確率は予め設定された関連確率と同じであってもよいし、それより小さくなっても大きくなってもよい。

いくつかの実施例において、外接枠を形成する人体検出枠と人手検出枠との関連確率を補正するのに必要なパラメータは固定的なものであってもよいし、距離と予め設定された距離との絶対差分値に基づいて動的に変更されるものであってもよい。

可能な一実施形態において、予め設定された調整パラメータによって外接枠を形成する人体検出枠と人手検出枠との関連確率を補正することができる。つまり、上記ステップＳ２３３は、以下のステップによって実現できる。

第１ステップで、距離が予め設定された距離より大きい場合、関連確率を補正するための予め設定された調整パラメータを取得する。

いくつかの実施例において、距離が予め設定された距離より大きい場合、関連確率を補正するための予め設定された調整パラメータを取得する。ここで、予め設定された調整パラメータは常数であってもよく、その対応する表現形式は小数、分数又はパーセンテージ等であってもよい。該予め設定された調整パラメータに対応する数値の表現形式と関連確率に対応する数値の表現形式は対応関係を有する。ここで、予め設定された調整パラメータは１、０．４又は５％等とすることができる。

いくつかの実施例において、関連確率を補正するための予め設定された調整パラメータは、例えば、左手首キーポイント及び／又は右手首キーポイントから外接枠を形成する人手検出枠までの距離に基づいて共同で決定されてもよいし、外接枠の属性情報に基づいて決定されてもよいし、外接枠を形成する人手検出枠のサイズパラメータに基づいて決定されてもよいし、外接枠を形成する人手検出枠内部の人手のサイズ、及び外接枠を形成する人体検出枠内部の人体のサイズに基づいて共同で決定されてもよい。

第２ステップで、予め設定された調整パラメータを用いて、外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、補正済み関連確率を得る。

いくつかの実施例において、予め設定された調整パラメータを用いて、外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させる。例示的に、外接枠を形成する人体検出枠と人手検出枠との関連確率から予め設定された調整パラメータを引くようにしてもよい。ここで、予め設定された調整パラメータは任意の正数であってもよい。又は外接枠を形成する人体検出枠と人手検出枠との関連確率を予め設定された調整パラメータで割り、補正済み関連確率を得るようにしてもよい。ここで、該予め設定された調整パラメータは任意の正整数である。

ここで、補正済み関連確率は外接枠を形成する人体検出枠と人手検出枠との初期関連確率より低い。ここで、補正済み関連確率は予め設定された関連確率より大きくなってもよいし、予め設定された関連確率以下であってもよい。このように、予め設定された調整パラメータによって対応する関連確率を低下させ、補正済み関連確率を得ることで、補正済み関連確率を簡単で迅速に特定することができ、それによって、外接枠内の人体検出枠と人手検出枠を関連付ける精度を高めることができる。

ステップＳ２３４で、補正済み関連確率を目標関連確率として特定する。

いくつかの実施例において、補正済み関連確率をそのまま目標関連確率として特定することができる。このように、距離の値の大きさを判断することで、人体検出枠と人手検出枠との目標関連確率を特定するために対応するパラメータを簡単で迅速に調整することができるとともに、不要な計算量を低減することができる。

ステップＳ２０４で、少なくとも二つの目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しない場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得る。

いくつかの実施例において、右手首キーポイント及び左手首キーポイントに、信頼度が予め設定された閾値より大きいキーポイントが存在しない場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を低下又は減少させ、補正済み関連確率を得る。

ステップＳ２０５で、補正済み関連確率を目標関連確率として特定する。

いくつかの実施例において、目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しないと判断した場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させることで、外接枠を形成する人体検出枠と人手検出枠を関連付ける精度をさらに最適化することができる。

ステップＳ２０６で、目標関連確率に基づき、外接枠を形成する人体検出枠と人手検出枠との関連度を特定する。

いくつかの実施例において、目標関連確率、即ち、未補正の枠内関連確率又は補正済み関連確率に基づき、外接枠を形成する人体検出枠と人手検出枠との関連度を特定する。例えば、目標関連確率が８０％であると特定した場合、対応する外接枠を形成する人体検出枠と人手検出枠との関連度は高い。目標関連確率が６０％であると特定した場合、対応する外接枠を形成する人体検出枠と人手検出枠との関連度は低い。目標関連確率が９０％であると特定した場合、対応する外接枠を形成する人体検出枠と人手検出枠との関連度は非常に高い。このように、手首のキーポイントが真値ポイントである信頼度が予め設定された閾値より大きい場合、手首のキーポイントから外接枠を形成する人手検出枠までの距離によって、外接枠内の人体検出枠と人手検出枠との関連確率を適応的に調整するか、又は信頼度が予め設定された閾値以下である場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させることで、外接枠を形成する人体検出枠と人手検出枠を関連付ける精度をさらに最適化することができる。

可能な一実施形態において、検出対象画像から複数の人体検出枠及び／又は複数の人手検出枠が特定された場合、上記人体と人手を関連付ける方法は、さらに以下のプロセスによって対応する外接枠内の人体と人手とのマッチング関係を特定することができる。

第１ステップで、検出された各人体検出枠と検出された各人手検出枠をそれぞれ組み合わせ、複数の検出枠対を得る。

いくつかの実施例において、検出対象画像から２つの人体検出枠及び３つの人手検出枠が特定されると仮定すると、検出された各人体検出枠及び各人手検出枠に基づき、６つの検出枠対、例えば、人体検出枠１－人手検出枠１、人体検出枠１－人手検出枠２、人体検出枠１－人手検出枠３、人体検出枠２－人手検出枠１、人体検出枠２－人手検出枠２、人体検出枠２－人手検出枠３が得られる。

第２ステップで、各検出枠対内の人体検出枠と各人手検出枠との外接枠を特定する。

いくつかの実施例において、第２ステップは上記人体と人手を関連付ける方法において提供されるステップＳ１０４、即ち、人体検出枠と人手検出枠との外接枠を特定するステップに対応する。

いくつかの実施例において、各検出枠対内の人体検出枠と各人手検出枠との外接枠を特定する。ここで、各外接枠は各人体の人体検出枠と各人手の人手検出枠を組み合わせて得られてもよい。例示的に、まず、各人体の人体検出枠及び各人手の人手検出枠を特定し、次に、各人体検出枠と各人手検出枠との関連確率を計算し、関連確率が予め設定された確率閾値より大きい場合、一定の条件に適合する人体検出枠と人手検出枠を組み合わせ、外接枠を形成するようにしてもよい。

いくつかの実施例において、各人体検出枠と各人手検出枠との外接枠の具体的なサイズ及び形状は各人体の人体検出枠及び各人手の人手検出枠に基づいて共同で決定してもよい。

いくつかの実施例において、各人体は複数の外接枠に対応してもよい。例示的に、各人体検出枠は少なくとも二つの人手検出枠との二つの対応する外接枠、例えば、右手検出枠と左手検出枠を形成する。また、各人手検出枠に対応する外接枠は一つであってもよく、二つ及びそれ以上等であってもよい。

第１ステップ及び第２ステップの実行が終了した後、上記人体と人手を関連付ける方法において提供されるステップＳ１０５、即ち、以下のステップを実行することができる。

第３ステップで、各外接枠内の人体と人手との関連度を特定し、目標関連度集合を得る。

いくつかの実施例において、各外接枠内の人体と人手との関連度を計算及び特定し、ここで、目標関連度は各外接枠内の異なる人手キーポイントに基づいて特定してもよい。又は各外接枠内の異なる手首キーポイントに基づいて特定してもよい。例示的に、各外接枠内の各手首のキーポイントが真値ポイントである信頼度、及び各手首のキーポイントから外接枠を形成する人手検出枠までの距離に基づいて共同で特定してもよく、対応する実施形態の詳細は上記実施例において外接枠の目標関連確率を特定するステップについての記載を参照すればよく、ここでは説明を省略する。

第４ステップで、目標関連度集合内で、関連度が予め設定された関連度閾値より大きい候補関連度を特定する。

いくつかの実施例において、目標関連度集合内で、予め設定された関連度閾値によって関連度をスクリーニングするステップは、予め設定された関連度閾値に基づいて目標関連度集合内の関連度をスクリーニングし、対応する候補関連度を特定するようにしてもよいし、予め設定された関連度閾値のパラメータに基づいて目標関連度集合内の関連度をスクリーニングし、対応する候補関連度を特定するようにしてもよい。

第５ステップで、候補関連度に対応する目標外接枠に基づき、目標外接枠内の人体にマッチする人手を特定する。

いくつかの実施例において、候補関連度に対応する目標外接枠には、各人体とその二つの対応する人手検出枠、例えば左手検出枠と右手検出枠とにより形成される二つの外接枠が含まれてもよいし、各人体と複数の対応する人手検出枠、例えば、複数の左手検出枠及び／又は複数の右手検出枠とにより形成される複数の外接枠が含まれてもよい。このように、各人体と各人手とにより形成される外接枠に対応する目標関連度に基づき、そこから一定の条件に適合する候補関連度をスクリーニングし、それによって、各人体にマッチする人手を特定することで、最適化後の関連度のもとに精度がより高い人体と人手とのマッチング関係を特定することができる。

いくつかの実施例において、第１人体Ａの目標外接枠が三つあり、それぞれＡ１外接枠、Ａ２外接枠、Ａ３外接枠であり、第１人体Ａと第１人手とにより形成されるＡ１外接枠は、対応する候補関連度が９０％であり、第１人体Ａと第２人手とにより形成されるＡ２外接枠は、対応する候補関連度が９９％であり、第１人体Ａと第３人手とにより形成されるＡ３外接枠は、対応する候補関連度が７０％である。第２人体Ｂの目標外接枠が四つあり、それぞれ、Ｂ１外接枠、Ｂ２外接枠、Ｂ３外接枠、Ｂ４外接枠であり、第２人体Ｂと第１人手とにより形成されるＢ１外接枠は、対応する候補関連度が６０％であり、第２人体Ｂと第２人手とにより形成されるＢ２外接枠は、対応する候補関連度が７０％であり、第２人体Ｂと第４人手とにより形成されるＢ３外接枠は、対応する候補関連度が９９％であり、第１人体Ｂと第５人手とにより形成されるＢ４外接枠は、対応する候補関連度が９５％である。本願の実施例は貪欲法又はＫｕｈｎ－Ｍｕｎｋｒｅｓ（Ｋｕｈｎ ａｎｄ Ｍｕｎｋｒｅｓ：ＫＭと略称）アルゴリズム等に基づいて以上のパラメータを計算し、各人体にマッチする人手を特定し、例えば、計算結果は、第１人体Ａにマッチする人手が第２人手であり、第２人体Ｂにマッチする人手が第４人手及び第５人手であるものであってもよい。

以下において、一具体例により上記人体と人手を関連付ける方法を説明するが、該具体例は本願の実施例をより効果的に説明するためのものに過ぎず、本願の実施例を不当に限定するものではないことに注意にされたい。

多数の人がいる複雑なシーン、例えば遊技場において、一般に人同士の互いの遮蔽又は腕の互いの交錯という現象が存在し、また、視野範囲内に多数の人体が存在するため、その対応する腕の交錯は複雑である。関連技術では人体と人手の検出及び関連付けアルゴリズムを使用して各対の人体と人手とからなる対の各々の関連確率を予測するか、又は人体キーポイントを使用して各人体の人手部キーポイントを検出するとともに、他のセンサにより人手の所属を判断する。このような人体と人手の検出及び関連付けアルゴリズムでは人手伸ばし、腕の交錯等の状況を対処することが困難である。ここで、人体と人手の検出及び関連付けアルゴリズムに対応する人体キーポイント検出モデルは人体検出枠の正確性に高度に依存しており、人体検出枠が正確でなく、人手を包含していない場合、人体キーポイント検出モデルは誤った結果を出力する。また、人体キーポイントを使用して各人体の人手部キーポイントを検出することで、人手全体の位置及び大きさを得ることができず、さらに他のセンサにより人手の所属を判断する必要もあり、これでは判断の正確性を保証できず、そのコストが高い。

これに鑑みて、本願の実施例は人体と人手を関連付ける方法を提供し、遊技場において、本願の実施例により提供される人体と人手を関連付ける方法によって精度がより高い人体と人手とのマッチング関係を与えることができる。図４は、本願の実施例により提供される人体と人手を関連付ける方法が適用される応用シーンの模式図を示す。図４における各人体と各人手を関連付ける方法は以下のステップによって実現できる。

第１ステップで、検出モデルを使用して図４における全ての人体検出枠及び人手検出枠を予測し、図４に示すように、顔情報を有する複数の人体検出枠を得、これに応じて、人体検出枠はｂｏｄｙであり、人手検出枠はｈａｎｄであり、顔検出枠はｆａｃｅであり、カード検出枠はｃｈｉｐである。例示的に、４０１、４０２、４０３、及び４０４はそれぞれ検出対象画像における人体であり、４０５、４０６及び４０７は人手である。

第２ステップで、第１ステップで特定された各人体の人体検出枠と各人手の人手検出枠との関連確率を計算する。

第３ステップで、関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠との外接枠を特定する。

第４ステップで、得られた外接枠を人体キーポイントモデルに入力して検出し、各外接枠内の少なくとも二つの目標人手キーポイント情報を得、例えば、各目標人手キーポイントが真値ポイントである信頼度、及び信頼度が前記予め設定された閾値より大きい目標人手キーポイントから該外接枠を形成する人手検出枠までの距離を得る。

第５ステップでは、一つの外接枠を例にして説明すると、外接枠内部の手首キーポイントは、同一人にそれぞれ属する左手首キーポイントと右手首キーポイントであってもよく、右手首キーポイント及び左手首キーポイントが真値ポイントである信頼度が予め設定された閾値より大きい場合、真値ポイントである右手首及び真値ポイントである左手首をそれぞれｘ及びｙで表し、ｘ及びｙのいずれかに対応する信頼度がある予め設定された閾値ｔｈｒｅｓ＿ｋｐより大きくなる場合、ｘ及びｙから該外接枠を形成する人手検出枠までの距離を特定する。距離が予め設定された距離以下である場合、該外接枠を形成する人体検出枠と人手検出枠との関連確率を何ら補正することなく、未補正関連確率を得る。距離が予め設定された距離より大きい場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、低関連確率を得る。また、ｘ及びｙのいずれに対応する信頼度もある予め設定された閾値ｔｈｒｅｓ＿ｋｐ以下であると、外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、低関連確率を得る。また、図４に示される各検出枠に対応する信頼度パラメータ、例えば、ｆａｃｅ １．００、ｈａｎｄ １．００及びｈａｎｄ ０．９７等を与える。

第６ステップで、貪欲法又はＫＭアルゴリズムによって、得られた低関連確率及び未補正関連確率に対応する外接枠内の人体検出枠と人手検出枠をマッチングし、各人体に対応する人手を得る。

このように、遊技場において、外接枠内の人手キーポイント及び外接枠を形成する人体検出枠と人手検出枠との関連確率によって、外接枠を形成する人体と人手との関連度を特定することで、人体と人手を関連付ける精度を大幅に高めることができる。

一具体例では、検出対象画像は遊技場において収集された画像であり、ここで、人体はプレイヤーの人体であり、人手はプレイヤーの人手である。上記第１ステップから第６ステップによって、まず各プレイヤー人体の人体検出枠と各プレイヤー人手の人手検出枠との関連確率を特定する。次に、関連確率が予め設定された確率閾値より大きい場合、該プレイヤー人体の人体検出枠とプレイヤー人手の人手検出枠を組み合わせ、外接枠を生成する。さらに、外接枠内の人手キーポイント、例えば手首キーポイントが真値ポイントである信頼度と予め設定された閾値とを比較することで、信頼度が予め設定された閾値より大きい場合、各手首のキーポイントから外接枠を形成する人手検出枠までの距離を特定し、該距離に基づいて外接枠内の人体検出枠と人手検出枠との関連確率を適応的に調整するか、又は信頼度が予め設定された閾値以下である場合、外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させる。最後に、該関連確率に基づいて各プレイヤー人体に対応するプレイヤー人手を特定することで、該プレイヤー人体とプレイヤー人手とのペアリングを実現する。このように、複雑な遊技場におけるプレイヤー人手と人体とをマッチングすることで、ゲーム中のプレイヤーのケーム用通貨の配り又は払出等のプロセスをより効果的に監視することができる。

本願の実施例では、外接枠内の人手キーポイント及び外接枠を形成する人体検出枠と人手検出枠との関連確率によって、外接枠内の人体と人手との関連度を特定することで、人手の具体的な位置情報を取得する施設を簡素化することができるとともに、外接枠内の人体検出枠と人手検出枠を関連付ける精度を高めることができる。

前記実施例により、本願の実施例は人体と人手を関連付ける装置を提供し、図５は本願の実施例により提供される人体と人手を関連付ける装置の構成模式図であり、図５に示すように、前記人体と人手を関連付ける装置５００は、
画面内容に人体と人手が含まれる検出対象画像を取得するように構成される第１取得モジュール５１０と、
前記検出対象画像において、前記人体の人体検出枠及び前記人手の人手検出枠を特定するように構成される第１特定モジュール５２０と、
前記人体検出枠と前記人手検出枠との関連確率を特定するように構成される第２特定モジュール５３０と、
前記人体検出枠と前記人手検出枠との外接枠を特定するように構成される第３特定モジュール５４０と、
前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するように構成される第４特定モジュール５５０と、を含む。

いくつかの実施例において、第２特定モジュール５３０は、
前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を特定するように構成される特徴特定サブモジュール５３１と、
前記人体特徴及び前記人手特徴に基づき、前記人体検出枠と前記人手検出枠との関連確率を特定するように構成される関連確率特定サブモジュール５３２と、を含む。

いくつかの実施例において、第３特定モジュール５４０は、
前記関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠を目標検出枠対として特定するように構成される検出枠特定サブモジュール５４１と、
前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するように構成される外接枠特定サブモジュール５４２と、を含む。

いくつかの実施例において、前記外接枠特定サブモジュール５４２は、
前記目標検出枠対を囲む候補枠を特定するように構成される候補枠特定サブユニット５４２１と、
前記目標検出枠対内の人体検出枠と前記人手検出枠との相対位置関係に基づき、前記候補枠のカバーエリアを調整し、前記外接枠を得るように構成される外接枠特定サブユニット５４２２と、を含む。

いくつかの実施例において、第４特定モジュール５５０は、
前記外接枠内の少なくとも二つの目標人手キーポイントを特定するように構成される人手キーポイント特定サブモジュール５５１であって、前記少なくとも二つの目標人手キーポイントは同一人の二つの異なる人手にそれぞれ属するキーポイントを含む人手キーポイント特定サブモジュールと、
前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するように構成される関連度特定サブモジュール５５２と、を含む。

いくつかの実施例において、前記関連度特定サブモジュール５５２は、
各目標人手キーポイントが真値ポイントである信頼度を特定するように構成される信頼度特定サブユニット５５２１と、
任意の前記信頼度が予め設定された閾値より大きい場合、前記信頼度が前記予め設定された閾値より大きい目標人手キーポイントから前記外接枠を形成する人手検出枠までの距離を特定するように構成される距離特定サブユニット５５２２と、
前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するように構成される関連確率特定サブユニット５５２３と、
前記目標関連確率に基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するように構成されると関連度特定サブユニット５５２４と、を含む。

いくつかの実施例において、前記関連確率特定サブユニット５５２３は、前記距離が予め設定された距離以下である場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を特定し、枠内関連確率を得て、そして前記枠内関連確率を前記目標関連確率として特定するようにも構成される。

いくつかの実施例において、前記関連確率特定サブユニット５５２３は、前記距離が前記予め設定された距離より大きい場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得、そして前記補正済み関連確率を前記目標関連確率として特定するようにも構成される。

いくつかの実施例において、前記関連確率特定サブユニット５５２３は、前記距離が前記予め設定された距離より大きい場合、前記関連確率を補正するための予め設定された調整パラメータを取得し、そして前記予め設定された調整パラメータを用いて、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、前記補正済み関連確率を得るようにも構成される。

いくつかの実施例において、前記関連確率特定サブユニット５５２３は、前記少なくとも二つの目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しない場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得、そして前記補正済み関連確率を前記目標関連確率として特定するようにも構成される。

いくつかの実施例において、前記目標人手キーポイントは手首キーポイントを含む。

いくつかの実施例において、前記検出対象画像から複数の前記人体検出枠及び／又は複数の前記人手検出枠が特定された場合、
前記検出枠特定サブモジュール５４１は、検出された各前記人体検出枠と検出された各前記人手検出枠をそれぞれ組み合わせ、複数の検出枠対を得るようにも構成され、
前記外接枠特定サブモジュール５４２は、各前記検出枠対内の人体検出枠と人手検出枠との外接枠を特定するようにも構成され、
前記第４特定モジュール５５０は、各前記外接枠内の人体と人手との関連度を特定し、目標関連度集合を得、前記目標関連度集合内で、関連度が予め設定された関連度閾値より大きい候補関連度を特定し、そして前記候補関連度に対応する目標外接枠に基づき、前記目標外接枠内の人体にマッチする人手を特定するようにも構成される。

ここで指摘しておきたいのは、以上の装置実施例の記載が、上記方法実施例の記載に類似し、方法実施例に類似する有益な効果を有する点である。本願の装置実施例において開示されない技術的詳細を理解するには、本願の方法実施例の記載を参照されたい。

説明すべきは、本願の実施例において、上記人体と人手を関連付ける方法はソフトウェア機能モジュールの形で実現され、且つ独立した製品として販売又は使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい点である。このような見解をもとに、本願の実施例の技術的解決手段は実質的に又は関連技術に寄与する部分はソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、電子機器（カメラを有するスマートフォン、タブレット等であってもよい）に本願の各実施例に記載の方法の全て又は一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、磁気ディスクまたは光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。従って、本願の実施例はハードウェアとソフトウェアのいかなる特定の組み合わせにも限定されない。

同じ技術思想に基づき、本願の実施例は上記方法実施例に記載の人体と人手を関連付ける方法を実施するように構成されるコンピュータ機器を提供する。図６は本願の実施例により提供されるコンピュータ機器の構成模式図であり、図６に示すように、前記コンピュータ機器６００は、一つのプロセッサ６０１、少なくとも一つの通信バス、通信インタフェース６０２、少なくとも一つの外部通信インタフェース及びメモリ６０３を含む。そのうち、通信インタフェース６０２はこれらのコンポーネント間の接続通信を実現する。通信インタフェース６０２は表示スクリーンを含んでもよく、外部通信インタフェースは標準的な有線インタフェース及び無線インタフェースを含んでもよい。前記プロセッサ６０１は、メモリにおける人体と人手との関連付けプログラムを実行し、それによって上記実施例により提供される人体と人手を関連付ける方法を実現するように構成される。

それに応じて、本願の実施例はコンピュータプログラムが記憶されているコンピュータ読み取り可能記憶媒体を提供し、該コンピュータプログラムがプロセッサに実行される時に上記実施例のいずれかに記載の人体と人手を関連付ける方法を実現する。

それに応じて、本願の実施例は、プログラマブル論理回路及び／又はプログラム命令を含むチップをさらに提供し、前記チップが動作する時、上記実施例のいずれかに記載の人体と人手を関連付ける方法を実現するために用いられる。

それに応じて、本願の実施例はコンピュータプログラム製品をさらに提供し、該コンピュータプログラム製品が電子機器のプロセッサに実行される時、上記実施例のいずれかに記載の人体と人手を関連付ける方法を実現するために用いられる。

以上の人体と人手を関連付ける装置、コンピュータ機器及び記憶媒体の実施例に対する記載は、上記方法実施例の記載に類似し、該当方法実施例に類似する技術的記述及び有益な効果を有し、紙数に限りがあるので、上記方法実施例の記載を参照すればよく、ここでは詳しい説明を省略する。本願の実施例のうち人体と人手を関連付ける装置、コンピュータ機器及び記憶媒体の実施例において開示されていない技術的詳細を理解するには、本願の方法実施例の記載を参照されたい。

なお、明細書の全文にわたって記載された「一つの実施例」又は「一実施例」は実施例に関する特定の特徴、構造又は特性が本願の実施例の少なくとも一つの実施例に含まれることを意味することを理解すべきである。従って、明細書の各箇所で記載された「一つの実施例において」又は「一実施例において」とは必ずしも同一の実施例を指すわけではない。また、これらの特定の特徴、構造又は特性は任意の適切な方式で一つ又は複数の実施例に組み合わせられてもよい。なお、本願の各実施例において、上記各プロセスの番号順序は実行順序の先後を表すわけではなく、各プロセスの実行順序はその機能及び内在的論理に依存するものであり、本願の実施例の実施プロセスを何ら限定するものでないことを理解すべきである。上記本願の実施例番号は説明するためのものに過ぎず、実施例の優劣を表すことがない。説明すべきは、本明細書において、用語「含む」、「からなる」またはその他のあらゆる変形は非排他的包含を含むように意図され、それにより一連の要素を含むプロセス、方法、物品または装置は、それらの要素のみならず、明示されていない他の要素、またはこのようなプロセス、方法、物品または装置に固有の要素をも含むようになる点である。特に断らない限り、語句「一つの……を含む」により限定される要素は、該要素を含むプロセス、方法、物品または装置に別の同じ要素がさらに存在することを排除するものではない。

本願の実施例により提供されるいくつかの実施例において、開示される機器及び方法は他の形態で実現できることを理解すべきである。以上に記載の機器実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実施する際に別の形態で分割してもよく、例えば、複数のユニット又はコンポーネントは組み合わせてもよいし、又は別のシステムに統合してもよいし、又は一部の特徴を省略もしくは実行しなくてもよい。また、図示又は説明した各構成要素の結合、又は直接結合、又は通信接続は、いくつかのインタフェース、機器又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。

分離部材として説明した上記ユニットは物理的に分離されたものであってもなくてもよく、ユニット表示の部材としては物理ユニットであってもなくてもよく、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよい。実際の必要に応じてその一部又は全てのユニットを選択して本実施例の解決手段の目的を実現することができる。

また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよく、それぞれ独立して一つのユニットとして存在してもよく、二つ又は二つ以上で一つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形で実現してもよく、ハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現してもよい。上記方法実施例を実現する全て又は一部のステップはプログラムによって関連ハードウェアに命令を出して完了するようにしてもよく、前記プログラムはコンピュータ読み取り可能記憶媒体に記憶されてもよく、該プログラムは実行された時、上記方法実施例を含むステップを実行することは、当業者であれば理解できる。前記記憶媒体は、移動記憶機器、読み取り専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭと略称）、磁気ディスク又は光ディスク等プログラムコードを記憶できる各種の媒体を含む。

あるいは、本願の実施例の上記統合されたユニットはソフトウェア機能モジュールの形で実現され、且つ独立した製品として販売又は使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的に又は従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器等であってもよい）に本願の各実施例に記載の方法の全て又は一部を実行させる複数の命令を含む。前記記憶媒体は、移動記憶機器、ＲＯＭ、磁気ディスク又は光ディスク等プログラムコードを記憶できる各種の媒体を含む。以上は本願の実施例の具体的な実施形態に過ぎず、本願の実施例の保護範囲を限定するものではなく、当業者が本願の実施例に開示される技術的範囲内で容易に想到し得る変化又は置換は、全て本願の実施例の保護範囲に含まれるものとする。従って、本願の実施例の保護範囲は前記請求項の保護範囲に準ずるものとする。

Claims (21)

1. 画面内容に人体と人手が含まれる検出対象画像を取得するステップと、
   前記検出対象画像において、前記人体の人体検出枠及び前記人手の人手検出枠を特定するステップと、
   前記人体検出枠と前記人手検出枠との関連確率を特定するステップと、
   前記人体検出枠と前記人手検出枠との外接枠を特定するステップと、
   前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップと、を含む、人体と人手を関連付ける方法。
2. 前記人体検出枠と前記人手検出枠との関連確率を特定するステップは、
   前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を特定するステップと、
   前記人体特徴及び前記人手特徴に基づき、前記人体検出枠と前記人手検出枠との関連確率を特定するステップと、を含む
   請求項１に記載の方法。
3. 前記人体検出枠と前記人手検出枠との外接枠を特定するステップは、
   前記関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠を目標検出枠対として特定するステップと、
   前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するステップと、を含む
   請求項１又は２に記載の方法。
4. 前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するステップは、
   前記目標検出枠対を囲む候補枠を特定するステップと、
   前記目標検出枠対内の人体検出枠と前記人手検出枠との相対位置関係に基づき、前記候補枠のカバーエリアを調整し、前記外接枠を得るステップと、を含む
   請求項３に記載の方法。
5. 前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップは、
   前記外接枠内の少なくとも二つの目標人手キーポイントを特定するステップであって、前記少なくとも二つの目標人手キーポイントは同一人の二つの異なる人手にそれぞれ属するキーポイントを含むステップと、
   前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップと、を含む
   請求項３又は４に記載の方法。
6. 前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップは、
   各目標人手キーポイントが真値ポイントである信頼度を特定するステップと、
   任意の前記信頼度が予め設定された閾値より大きい場合、前記信頼度が前記予め設定された閾値より大きい目標人手キーポイントから前記外接枠を形成する人手検出枠までの距離を特定するステップと、
   前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するステップと、
   前記目標関連確率に基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップと、を含む
   請求項５に記載の方法。
7. 前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するステップは、
   前記距離が予め設定された距離以下である場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を特定し、枠内関連確率を得るステップと、
   前記枠内関連確率を前記目標関連確率として特定するステップと、を含む
   請求項６に記載の方法。
8. 前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するステップは、
   前記距離が前記予め設定された距離より大きい場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得るステップと、
   前記補正済み関連確率を前記目標関連確率として特定するステップと、を含む
   請求項６又は７に記載の方法。
9. 前記距離が前記予め設定された距離より大きい場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得るステップは、
   前記距離が前記予め設定された距離より大きい場合、前記関連確率を補正するための予め設定された調整パラメータを取得するステップと、
   前記予め設定された調整パラメータを用いて、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を低下させ、前記補正済み関連確率を得るステップと、を含む
   請求項８に記載の方法。
10. 前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するステップは、
    前記少なくとも二つの目標人手キーポイントに、信頼度が予め設定された閾値より大きい目標人手キーポイントが存在しない場合、前記外接枠を形成する人体検出枠と人手検出枠との関連確率を減少させ、補正済み関連確率を得るステップと、
    前記補正済み関連確率を前記目標関連確率として特定するステップと、を含む
    請求項６から９のいずれか１項に記載の方法。
11. 前記目標人手キーポイントは手首キーポイントを含む
    請求項５から１０のいずれか１項に記載の方法。
12. 前記検出対象画像から複数の前記人体検出枠及び／又は複数の前記人手検出枠が特定された場合、
    検出された各前記人体検出枠と検出された各前記人手検出枠をそれぞれ組み合わせ、複数の検出枠対を得るステップをさらに含み、
    前記人体検出枠と前記人手検出枠との外接枠を特定するステップは、各前記検出枠対内の人体検出枠と人手検出枠との外接枠を特定するステップを含み、
    前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するステップは、
    各前記外接枠内の人体と人手との関連度を特定し、目標関連度集合を得るステップと、
    前記目標関連度集合内で、関連度が予め設定された関連度閾値より大きい候補関連度を特定するステップと、
    前記候補関連度に対応する目標外接枠に基づき、前記目標外接枠内の人体にマッチする人手を特定するステップと、を含む
    請求項１から１１のいずれか１項に記載の方法。
13. 画面内容に人体と人手が含まれる検出対象画像を取得するように構成される第１取得モジュールと、
    前記検出対象画像において、前記人体の人体検出枠及び前記人手の人手検出枠を特定するように構成される第１特定モジュールと、
    前記人体検出枠と前記人手検出枠との関連確率を特定するように構成される第２特定モジュールと、
    前記人体検出枠と前記人手検出枠との外接枠を特定するように構成される第３特定モジュールと、
    前記外接枠内の人手キーポイント及び前記関連確率に基づき、前記外接枠内の人体と人手との関連度を特定するように構成される第４特定モジュールと、を含む、人体と人手を関連付ける装置。
14. 前記第２特定モジュールは、
    前記人体検出枠の人体特徴及び前記人手検出枠の人手特徴を特定するように構成される特徴特定サブモジュールと、
    前記人体特徴及び前記人手特徴に基づき、前記人体検出枠と前記人手検出枠との関連確率を特定するように構成される関連確率特定サブモジュールと、を含む
    請求項１３に記載の装置。
15. 前記第３特定モジュールは、
    前記関連確率が予め設定された確率閾値より大きい人体検出枠と人手検出枠を目標検出枠対として特定するように構成される検出枠特定サブモジュールと、
    前記目標検出枠対内の人体検出枠と人手検出枠との外接枠を特定するように構成される外接枠特定サブモジュールと、を含む
    請求項１３又は１４に記載の装置。
16. 前記外接枠特定サブモジュールは、
    前記目標検出枠対を囲む候補枠を特定するように構成される候補枠特定サブユニットと、
    前記目標検出枠対内の人体検出枠と前記人手検出枠との相対位置関係に基づき、前記候補枠のカバーエリアを調整し、前記外接枠を得るように構成される外接枠特定サブユニットと、を含む
    請求項１５に記載の装置。
17. 前記第４特定モジュールは、
    前記外接枠内の少なくとも二つの目標人手キーポイントを特定するように構成される人手キーポイント特定サブモジュールであって、前記少なくとも二つの目標人手キーポイントは同一人の二つの異なる人手にそれぞれ属するキーポイントを含む人手キーポイント特定サブモジュールと、
    前記少なくとも二つの目標人手キーポイントに基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するように構成される関連度特定サブモジュールと、を含む
    請求項１５又は１６に記載の装置。
18. 前記関連度特定サブモジュールは、
    各目標人手キーポイントが真値ポイントである信頼度を特定するように構成される信頼度特定サブユニットと、
    任意の前記信頼度が予め設定された閾値より大きい場合、前記信頼度が予め設定された閾値より大きい目標人手キーポイントから前記外接枠を形成する人手検出枠までの距離を特定するように構成される距離特定サブユニットと、
    前記距離に基づき、前記外接枠を形成する人体検出枠と人手検出枠との目標関連確率を特定するように構成される関連確率特定サブユニットと、
    前記目標関連確率に基づき、前記外接枠を形成する人体検出枠と人手検出枠との関連度を特定するように構成される関連度特定サブユニットと、を含む
    請求項１７に記載の装置。
19. メモリ及びプロセッサを含み、前記メモリにコンピュータ実行可能命令が記憶されており、前記プロセッサが前記メモリにおけるコンピュータ実行可能命令を実行する時に請求項１から１３のいずれか１項に記載の人体と人手を関連付ける方法を実現できる、コンピュータ機器。
20. コンピュータ実行可能命令が記憶されており、該コンピュータ実行可能命令が実行されると、請求項１から１３のいずれか１項に記載の人体と人手を関連付ける方法を実現できる、コンピュータ記憶媒体。
21. コンピュータ読み取り可能コードを含み、コンピュータ読み取り可能コードが電子機器に実行されると、前記電子機器内のプロセッサに請求項１から１３のいずれか１項に記載の方法を実行させる、コンピュータプログラム。

Images