JP2021518022A - 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム - Google Patents

Abstract

手部キーポイント認識モデルの訓練方法であって、該方法は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するステップであって、サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、ステップと、実模擬画像における手部画像を抽出するステップと、実模擬画像における手部画像及びキーポイント座標に基づいて、手部キーポイント認識モデルを訓練するステップであって、手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、ステップと、を含む。

Description

（関連出願の相互参照）
本願は、２０１８年０７月１０日に中国特許局に提出された出願番号２０１８１０７５２９５３．１、発明名称「手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願の実施例は、ジェスチャー認識技術分野に関し、特に手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラムに関する。

人工知能技術が成熟し続けるにつれて、ますます多くの適用シーンは、マンマシンインタラクションをサポートするようになる。ジェスチャーインタラクションは、一般的なマンマシンインタラクション形態である。

ジェスチャーインタラクションの要点は、手部キーポイントの認識である。手部キーポイントの認識形態において、開発者は、まず、コンピュータにより手部仮想三次元モデルを構築し、仮想三次元モデルの仮想画像及び手部キーポイントに対応する三次元座標データを訓練サンプルとして、手部キーポイント認識モデルを訓練する。後続でジェスチャー認識を行う場合、カメラにより収集された、ジェスチャーを含む実画像を手部キーポイント認識モデルに入力した後、実画像における各手部キーポイントの三次元座標を得て、そのジェスチャーを認識することができる。

しかしながら、上記方法でジェスチャー認識を行う場合、仮想画像の細部と実画像の細部は大きく異なっている。例えば、仮想画像における手部皮膚及び背景は、実画像における手部皮膚及び背景と異なっている。従って、仮想画像に基づいて訓練された認識モデルを利用してジェスチャー認識を行う場合、正確率が低く、ジェスチャーインタラクションの正確性に影響を与えてしまう。

本願の実施例は、手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置を提供する。

手部キーポイント認識モデルの訓練方法であって、
Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するステップであって、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、ステップと、
前記実模擬画像における手部画像を抽出するステップと、
前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するステップであって、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、ステップと、を含む。

手部キーポイント認識方法であって、
実画像を収集するステップであって、前記実画像に、手部画像が含まれる、ステップと、
前記実画像における前記手部画像を抽出するステップと、
前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るステップであって、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる、ステップと、を含む。

手部キーポイント認識モデル訓練装置であって、
Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するように構成される変換モジュールであって、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、変換モジュールと、
前記実模擬画像における手部画像を抽出するように構成される第１抽出モジュールと、
前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するように構成される第１訓練モジュールであって、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、第１訓練モジュールと、を備える。

手部キーポイント認識装置であって、
実画像を収集するように構成される収集モジュールであって、前記実画像に、手部画像が含まれる、収集モジュールと、
前記実画像における前記手部画像を抽出するように構成される第２抽出モジュールと、
前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るように構成される認識モジュールであって、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる、認識モジュールと、を備える。

モデル訓練装置であって、前記モデル訓練装置は、プロセッサと、メモリと、を備え、前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサにより実行される場合、前記プロセッサに、
Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するステップであって、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、ステップと、
前記実模擬画像における手部画像を抽出するステップと、
前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するステップであって、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、ステップと、を実行させる。

手部キーポイント認識装置であって、前記手部キーポイント認識装置は、プロセッサと、メモリと、を備え、前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサにより実行される場合、前記プロセッサに、
実画像を収集するステップであって、前記実画像に、手部画像が含まれる、ステップと、
前記実画像における前記手部画像を抽出するステップと、
前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るステップであって、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる、ステップと、を実行させる。

不揮発性コンピュータ可読記憶媒体であって、コンピュータ可読命令が記憶されており、前記コンピュータ可読命令が１つ又は複数のプロセッサにより実行される場合、前記１つ又は複数のプロセッサに、
Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するステップであって、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、ステップと、
前記実模擬画像における手部画像を抽出するステップと、
前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するステップであって、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、ステップと、を実行させる。

不揮発性コンピュータ可読記憶媒体であって、コンピュータ可読命令が記憶されており、前記コンピュータ可読命令が１つ又は複数のプロセッサにより実行される場合、前記１つ又は複数のプロセッサに、
実画像を収集するステップであって、前記実画像に、手部画像が含まれる、ステップと、
前記実画像における前記手部画像を抽出するステップと、
前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るステップであって、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる、ステップと、を実行させる。

コンピュータプログラムであって、前記コンピュータプログラムがコンピュータ上で実行される場合、コンピュータに、上記本願の実施例に記載の方法を実行させる。

本願の１つ又は複数の実施例の詳細は下記図面及び説明において述べられる。本願の他の特徴、目的及び利点は、明細書、図面及び特許請求の範囲から明らかになろう。

本出願の一実施例による実行環境を示す概略図である。 関連技術における仮想画像に基づいたモデル訓練の原理を示す概略図である。 本願の実施例によるジェスチャーキーポイント認識モデルの訓練プロセスの原理を示す概略図である。 本願の一実施例による認識モデル訓練方法を示すフローチャートである。 本願のもう１つの実施例による認識モデル訓練方法を示すフローチャートである。 本願の一実施例によるＣｙｃｌｅ−ＧＡＮモデルにおけるジェネレーターの構造を示す概略図である。 本願の一実施例によるＣｙｃｌｅ−ＧＡＮモデルにおけるディスクリミネーターの構造を示す概略図である。 本願の一実施例によるＣｙｃｌｅ−ＧＡＮモデルの構造を示す概略図である。 本願の一実施例によるジェスチャー分割ニューラルネットワークを利用して手部信頼領域を決定する原理を示す模式図である。 本願の一実施例によるジェスチャー分割ニューラルネットワークを利用して手部信頼領域を決定する方法を示すフローチャートである。 本願の一実施例による二値化処理の実行を示す概略図である。 本願の一実施例による手部キーポイント認識モデルの構造を示す概略図である。 本願の一実施例による手部キーポイント認識モデルの訓練方法を示すフローチャートである。 本願の一実施例による手部キーポイント認識方法を示すフローチャートである。 様々な適用シーンでの手部キーポイント認識結果の用途を示す概略図である。 本願の一実施例による手部キーポイント認識モデル訓練装置を示すブロック図である。 本願の一実施例による手部キーポイント認識装置を示すブロック図である。 本願の一実施例によるモデル訓練装置の構造を示す概略図である。 本願の一例示的な実施例による手部キーポイント認識装置の構造を示すブロック図である。

本願の実施例における技術的解決手段をより明確にするために、以下、実施例の説明に必要な図面を簡単に説明する。勿論、以下の図面は本願の一部の実施例に過ぎず、当業者は創造的な労力を要することなく、これらの図面に基づいて他の図面を得ることもできる。

本願の目的、技術的解決手段及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。

理解しやすくするために、以下、本願の実施例に係る用語を説明する。

Ｃｙｃｌｅ−ＧＡＮモデルは、サイクル敵対的生成ネットワーク（Ｃｙｃｌｅ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ：Ｃｙｃｌｅ−ＧＡＮ）モデルであり、データを生データフィールドからターゲットデータフィールドに変換するための深層学習モデルであり、画像に対して画調変換を行うために用いられる。例えば、Ｃｙｃｌｅ−ＧＡＮモデルは、入力ピクチャに基づいてアニメピクチャを出力する（ピクチャのアニメ化）ために用いられるか又は入力ピクチャにおけるオブジェクトＡをオブジェクトＢに変換する（例えば、猫を犬に変換する）ために用いられる。本願の実施例におけるＣｙｃｌｅ−ＧＡＮモデルは、仮想画像を実画像に変換するか又は実画像を仮想画像に変換するために用いられる。ここで、該仮想画像は、コンピューターモデリングにより生成され、且つ、キーポイント座標を搬送している。

Ｃｙｃｌｅ−ＧＡＮモデルは、ジェネレーター（Ｇｅｎｅｒａｔｏｒ）及びディスクリミネーター（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）からなる。ここで、ジェネレーターは、画像に対して画調変換を行うように構成され、ディスクリミネーターは、元画像とジェネレーターから出力された画像を判別するように構成される。

畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）層は、畳み込みニューラルネットワークにおける、特徴抽出のための層であり、高次元データに対して低次元特徴抽出を行うように構成される。それは、畳み込み操作、活性化（ａｃｔｉｖａｔｉｏｎ）操作、プーリング（ｐｏｏｌｉｎｇ）操作という３つの部分に分けられる。ここで、畳み込み操作を行う場合、事前訓練学習により得られた畳み込みカーネルを利用して特徴抽出を行う。活性化操作を行う場合、活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を利用して、畳み込みで得られた特徴マップを活性化処理する。一般的に用いられる活性化関数は、正規化線形（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ：ＲｅＬＵ）関数、シグモイド（Ｓｉｇｍｏｉｄ）関数及び曲線正接（Ｔａｎｈ）関数を含む。畳み込み及び活性化を行った後、プーリング操作により、畳み込み及び活性化から出力された特徴ベクトルを低減させる（つまり、特徴マップの寸法を小さくする）と共に、オーバーフィッティングの問題を軽減する。一般的に用いられるプーリング方式は、平均プーリング（ｍｅａｎ−ｐｏｏｌｉｎｇ）、最大プーリング（ｍａｘ−ｐｏｏｌｉｎｇ）及び確率的プーリング（ｓｔｏｃｈａｓｔｉｃ−ｐｏｏｌｉｎｇ）を含む。

逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層は、畳み込み層とは反対の作用を有し、逆畳み込み層は、低次元特徴を高次元出力にマップングするために用いられる。本願の実施例において、逆畳み込み層は、特徴ベクトルに対してアップサンプリングを行う層であり、つまり、特徴マップの寸法を大きくするために用いられる。

スプライシング:本願の実施例において、スプライシングは、寸法が同じである２枚のマルチチャネル特徴マップをフュージョンするプロセスであり、ここで、スプライシングされた特徴マップのチャネル数は、２枚の特徴マップをスプライシングするチャネルの数の合計である。

残差層は、残差ネットワーク（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：ＲｅｓＮｅｔ）構造により特徴抽出を行う層構造である。本願の実施例において、残差層は、抽出された手部画像に対して特徴抽出を行い、手部画像におけるキーポイントを決定するように構成される。

全結合層は、内積層とも呼ばれる。畳み込みニューラルネットワークにおいて、特徴抽出された後、ピクチャは、隠れ層の特徴空間へマッピングされる。全結合層は、学習訓練により得られた特徴をサンプル分類空間へマッピングするように構成される。

本願の一実施例による実行環境を示す概略図である図１を参照されたい。該実行環境に、少なくとも１つの端末１１０及びサーバ１２０が含まれる。

端末１１０は、画像収集機能を有する電子機器である。該電子機器は、カメラが配置されたスマートフォン、タブレット、体感ゲーム機器又はパソコン等であってもよい。例えば、図１に示すように、端末１１０はカメラ１１１が配置されたス携帯電話である場合、該カメラ１１１は、フロントカメラ（携帯電話のディスプレイ側に位置する）又はリアカメラ（携帯電話のディスプレイの反対側に位置する）であってもよい。

可能な適用シーンにおいて、所定のアプリケーションプログラム（ジェスチャーインタラクション機能をサポートする）を起動する場合、端末１１０は、カメラにより赤緑青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ：ＲＧＢ）ピクチャを収集するか又はカメラにより連続したＲＧＢピクチャからなるビデオを収集する。例えば、ジェスチャーインタラクションをサポートする体感ゲームを起動する場合、端末１１０は、カメラを起動して画像収集を行う。

端末１１０とサーバ１２０は、有線又は無線ネットワークを経由して接続される。

サーバ１２０は、１つのサーバ、複数のサーバからなるサーバクラスタ又はクラウドコンピューティングセンタである。可能な実施形態において、サーバ１２０は、端末１１０における所定のアプリケーションプログラムのバックエンドサーバである。

可能な適用シーンにおいて、図１に示すように、端末１１０は、カメラ１１１によりＲＧＢピクチャを収集した後、ＲＧＢピクチャをサーバ１２０に送信する。サーバ１２０は、予め訓練されたジェスチャー分割ニューラルネットワーク１２１により、ＲＧＢピクチャにおける手部画像を抽出する。続いて、予め訓練された手部キーポイント認識モデル１２２により、手部画像での手部キーポイントのキーポイント座標を認識することで、キーポイント座標に基づいて、手部画像により指示されたジェスチャーを決定し、更にジェスチャー認識結果を端末１１０にフィードバックする。

もう１つの可能な適用シーンにおいて、端末１１０は、ジェスチャー認識機能を持つ場合、端末１１０は、収集されたＲＧＢピクチャに対して、サーバ１２０を利用する必要がなく、手部画像抽出及び手部キーポイント認識をローカルで行う。

任意選択的に、端末１１０又はサーバ１２０は、ニューラルネットワークチップによりジェスチャー認識機能を実現する。

任意選択的に、上記無線ネットワーク又は有線ネットワークは、標準的な通信技術及び／又はプロトコルを用いる。ネットワークは、一般的には、インターネットであるが、如何なるネットワークであってもよく、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＬＡＮ）、メトロエリアネットワーク（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＭＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ：ＷＡＮ）、モバイルネットワーク、有線又は無線ネットワーク、専用ネットワーク又は仮想専用ネットワークの如何なる組み合わせを含むが、これらに限定されない。幾つかの実施例において、ハイパーテキストマークアップ言語（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋ−ｕｐ Ｌａｎｇｕａｇｅ：ＨＴＭＬ）、拡張マークアップ言語（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ：ＸＭＬ）等を含む技術及び／又はフォーマットで、ネットワークを経由して交換されたデータを表す。なお、セキュアソケットレイヤ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔ Ｌａｙｅｒ：ＳＳＬ）、トランスポートレイヤセキュリティ（Ｔｒａｎｓｐｏｒｔ Ｌａｙｅｒ Ｓｅｃｕｒｉｔｙ：ＴＬＳ）、仮想専用ネットワーク（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ：ＶＰＮ）、インターネットプロトコルセキュリティ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｓｅｃｕｒｉｔｙ：ＩＰｓｅｃ）などの従来の暗号化技術を利用して全て又は一部のリンクを暗号化することもできる。別の幾つかの実施例において、カスタマイズ及び／又は専用データ通信技術で、上記データ通信技術を置換するか又は補完することもできる。

本願の各実施例で提供される手部キーポイント認識モデルの訓練方法は、モデル訓練装置により実行されてもよい。該モデル訓練装置は、高い演算能力を持つコンピュータ又はサーバであってもよい。本願の各実施例で提供される手部キーポイント認識方法は、手部キーポイント認識装置により実行されてもよい。該手部キーポイント認識装置は、図１における端末１１０又はサーバ１２０であってもよい。

ＲＧＢピクチャに基づいた三次元ジェスチャー認識とは、二次元ＲＧＢピクチャにおける手部キーポイントを決定し、各手部キーポイントの三次元座標を更に取得することを指す。関連技術において、一般的には、深層ニューラルネットワークに基づいた手部キーポイント認識モデルを利用して手部キーポイント認識を行う。しかしながら、手部キーポイント認識モデルの訓練段階において、大量のラベル情報（手部キーポイントの座標）を搬送している的ＲＧＢピクチャを訓練サンプルとして用いる必要があるが、実際のシーンで手部キーポイント座標を収集するために大量のセンシング装置を用いる必要があるため、初期で訓練サンプルの収集難度が高く、更に、手部キーポイント認識モデルの訓練難度が高くなる。

手部キーポイント認識モデルの訓練難度を低減させるために、手部キーポイント認識モデルの訓練方法を提供する。図２に示すように、該訓練方法において、まず、コンピュータのグラフィックスレンダリング機能を利用して手部三次元モデルを自動的に構築し、手部三次元モデルに対応する仮想画像２１以及ラベル情報２２（モデリング時に自動的に生成された座標データ）を訓練サンプルとして、ジェスチャー分割モデル２３（画像における手部領域を認識するために用いられる）、２Ｄキーポイント認識モデル２４（画像における二次元手部キーポイントのヒートマップを得るために用いられる）、３Ｄキーポイント認識モデル２５（画像における三次元手部キーポイントの三次元座標を得るために用いられる）をそれぞれ訓練する。

上記方法を用いる場合、ラベル情報がモデリング段階でコンピュータにより自動的に生成されるため、訓練サンプル取得の難度を低減させ、モデルの訓練効率を向上させることができる。しかしながら、仮想画像と実際のシーンで収集された実画像とは、データ分布の点で格差がある（細部の点で大きい差異がある）。例えば、実画像と仮想画像とは、手部皮膚の細部及び背景の細部等の点で大きい差異がある。従って、実画像２６を利用してモデル（仮想画像により訓練されたもの）をテストする場合のテスト効果が低い。また、実際の適用シーンにおいて、該モデルへの入力はいずれも実画像である。従って、該モデルを利用して手部キーポイントを認識する場合の正確率が低い。

データ分布の点での格差による問題を解決するために、図３に示すように、本願の実施例で提供される手部キーポイント認識モデルの訓練方法において、仮想画像２１及び実画像２６に基づいてＣｙｃｌｅ−ＧＡＮモデル２７を予め訓練し、Ｃｙｃｌｅ−ＧＡＮモデル２７を利用して仮想画像２１を実模擬画像２８に変換する。これにより、実模擬画像２８及び対応するラベル情報２２を訓練サンプルとして、ジェスチャー分割モデル２３を訓練する。また、２Ｄキーポイント認識モデルと３Ｄキーポイント認識モデルを２Ｄ−３Ｄキーポイント結合認識モデル２９となるように結合することで、モデル出力の正確率を向上させる。Ｃｙｃｌｅ−ＧＡＮモデル２７により、仮想シーンフィールドのデータを実際のシーンのデータフィールドへ移行することで、データ分布の点での格差による問題を軽減し、実画像の場合のモデルのテスト結果を向上させ、実際の適用シーンにおける手部キーポイント認識の正確率を向上させる。

本願の実施例で提供される手部キーポイント認識方法は、手話認識シーン、ジェスチャーインタラクションシーン、手部特殊効果シーンなどのようなジェスチャー認識に関わる他のシーンに適用可能である。以下、様々な適用シーンを参照しながら、説明する。

手話認識シーン：
手部キーポイント認識方法が手話認識シーンに適用される場合、手部キーポイント認識方法を手話認識ソフトウェアで実行し、手話認識ソフトウェアを端末にインストールすることができる。端末は、手話認識ソフトウェアを起動した後、カメラにより手話画像を収集し、手話画像で表される意味を認識し、文字の形態で認識結果を展示することで、手話ができない者と障碍者とのコミュニケーションを容易にする。

ジェスチャーインタラクションシーン：
手部キーポイント認識方法がジェスチャーインタラクションシーンに適用される場合、手部キーポイント認識方法をスマートホーム制御ソフトウェアで実行し、該ソフトウェアを、ジェスチャー制御をサポートするスマートホーム装置にインストールすることができる。スマートホーム装置が運転する過程において、カメラにより、ユーザジェスチャーを含む画像を収集し、そのうちのジェスチャーを認識することで、ユーザジェスチャーに対応する制御命令を決定し、更に、制御命令に基づいて、対応する操作を実行し、ユーザがジェスチャーによりスマートホーム装置を迅速に制御することに寄与する。

手部特殊効果シーン：
手部キーポイント認識方法が手部特殊効果シーンに適用される場合、手部キーポイント認識方法を画像処理ソフトウェアで実行し、該ソフトウェアを端末にインストールすることができる。端末は、該画像処理ソフトウェアを起動した後、カメラにより、手部画像を収集し、ユーザにより選択された手部特殊効果（例えば、鷹の爪、熊の手のひら等）に基づいて、手部特殊効果を、対応する手部キーポイント上に重ね合わし、手部特殊効果をリアルタイムに表示することを実現させる。

本願の一実施例で提供される認識モデルの訓練方法を示すフローチャートである図４を参照されたい。本実施例において、該手部キーポイント認識モデルの訓練方法がモデル訓練装置に適用されることを例として説明する。該方法は、下記ステップを含んでもよい。

ステップＳ４０１において、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換し、サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、実模擬画像は、実際のシーンで収集された画像を模倣するためのものである。

任意選択的に、Ｃｙｃｌｅ−ＧＡＮモデルを利用して画像変換を行う前に、モデル訓練装置は、サンプル実画像及びサンプル仮想画像に基づいてＣｙｃｌｅ−ＧＡＮモデルを訓練する。

ここで、サンプル実画像は、実際のシーンで採集された、手部画像を含むＲＧＢピクチャである。サンプル仮想画像は、仮想環境における三次元手部モデルのＲＧＢピクチャであり、該三次元手部モデルは、コンピュータにより、三次元モデリングを利用して仮想環境において構築されたものである。また、サンプル仮想画像で、三次元手部モデルにおける手部キーポイントのキーポイント座標（モデリング時に自動的に生成された）が搬送されている。訓練されたＣｙｃｌｅ−ＧＡＮモデルは、サンプル仮想画像を実模擬画像に変換するか又は実画像を仮想模擬画像に変換するためのものである。

任意選択的に、該手部キーポイントは、指先、遠位端指関節（指先に近接する指関節）、近位端指関節（手のひらに近接する指関節）、中手指節関節などの複数のキーポイントを含む。例えば、２１個のキーポイントを含む。キーポイント座標は、三次元座標及び／又は二次元座標であってもよい。

Ｃｙｃｌｅ−ＧＡＮモデルを訓練する場合、一対一に対応する画像対を利用する必要がない。つまり、サンプル実画像とサンプル仮想画像は、一対一に対応する必要がない。従って、可能な実施形態において、モデル訓練装置は、実際のシーンにおける、ジェスチャーを含む画像をサンプル実画像集合として収集し、ラベル情報を搬送している既存の仮想画像をサンプル仮想画像集合として用いる。

実画像と仮想画像との、データ分布の点での格差による問題を軽減するために、モデル訓練装置は、サンプル仮想画像をＣｙｃｌｅ−ＧＡＮモデルに入力し、Ｃｙｃｌｅ−ＧＡＮモデルから出力された実模擬画像を得て、データを仮想シーンにおけるデータフィールドから実際のシーンにおけるデータフィールドへ移行することを実現させる。

ここで、サンプル仮想画像を画調変換して実模擬画像を得た後、対応するキーポイント座標は依然として保留される。

ステップＳ４０２において、実模擬画像における手部画像を抽出する。

サンプル仮想画像に、手部画像に加えて、胴体画像、背景画像などの干渉要素が含まれることがあるため、構築されたモデルの品質を向上させるように、モデル訓練装置は、更に、実模擬画像における手部画像を抽出する。

可能な実施形態において、モデル訓練装置は、ジェスチャー分割ニューラルネットワークを予め訓練し、該ジェスチャー分割ニューラルネットワークを利用して実模擬画像における手部画像を抽出する。ここで、該ジェスチャー分割ニューラルネットワークは、ラベル情報（手部領域及び非手部領域をラベリングする）が記憶されている複数枚の実画像に基づいて訓練することで生成されてもよい。

ステップＳ４０３において、実模擬画像における手部画像及びキーポイント座標に基づいて、手部キーポイント認識モデルを訓練し、手部キーポイント認識モデルは、入力された実画像に基づいて、実画像における手部の手部キーポイント座標を出力するためのものである。

更に、モデル訓練装置は、抽出された手部画像及び対応するキーポイント座標を訓練サンプルとして、手部キーポイント認識モデルを訓練する。訓練サンプルとした実模擬画像の画調は、実画像の画調と同じである（同一のデータフィールドに属する）ため、実画像を利用して手部キーポイント認識モデルをテストする場合の正確性がより高く、且つ、該手部キーポイント認識モデルを利用して実画像におけるジェスチャーを認識する場合の正確性がより高い。

可能な実施形態において、該手部キーポイント認識モデルは、二次元認識分岐及び三次元認識分岐を含む。収集された実画像を手部キーポイント認識モデルに入力した後、二次元認識分岐から出力された二次元キーポイントヒートマップ（ヒートマップにおいて応答性が高い点は、二次元キーポイントである）、及び三次元認識分岐から出力された三次元キーポイント座標を得る。

要するに、本実施例において、Ｃｙｃｌｅ−ＧＡＮモデルを利用してサンプル仮想画像を実模擬画像に変換することで、実模擬画像における手部画像及びキーポイント座標に基づいて、手部キーポイント認識モデルを訓練する。Ｃｙｃｌｅ−ＧＡＮモデルにより変換を行うことで得られた実模擬画像は、サンプル実画像の画調を模擬することできる。つまり、訓練サンプルは、採集された実画像に近似する。従って、後続で該手部キーポイント認識モデルを利用して実画像に対してジェスチャー認識を行う場合の正確率は、より高い。また、キーポイント座標を搬送しているサンプル仮想画像に基づいて手部キーポイント認識モデルを訓練することにより、キーポイント座標を手動でラベリングすることが避けられ、モデル訓練の効率及び正確性を更に向上させる。

Ｃｙｃｌｅ−ＧＡＮモデルの訓練の要点は、ジェネレーター及びディスクリミネーターの訓練である。本願の実施例におけるジェネレーターは、画像に対して画調変換を行うために用いられ、ディスクリミネーターは、元画像とジェネレーターから出力された画像とを判別するために用いられる。Ｃｙｃｌｅ−ＧＡＮモデルの訓練は、ジェネレーターとディスクリミネーターとが対抗し合う過程である。これにより、ジェネレーターから出力された画像の画調をターゲット画像の画調と一致させ（出力をターゲット分布に近似させる）、ディスクリミネーターをランダム判別状態にする（元画像及びジェネレーターから出力された画像に対する判別の確率が均等である）。以下、概略的な実施例を利用してＣｙｃｌｅ−ＧＡＮモデルの訓練過程を説明する。

本願のもう１つの実施例で提供される認識モデルの訓練方法を示すフローチャートである図５を参照されたい。本実施例において、該手部キーポイント認識モデルの訓練方法がモデル訓練装置に適用されることを例として説明する。該方法は、下記ステップを含んでもよい。

ステップＳ５０１において、第１ジェネレーター及び第２ジェネレーターを構築し、第１ジェネレーターは、実模擬画像を生成するためのものであり、第２ジェネレーターは、仮想模擬画像を生成するためのものであり、仮想模擬画像は、サンプル仮想画像の画調を模倣するためのものである。

Ｃｙｃｌｅ−ＧＡＮモデルの生成訓練は、ジェネレーターにより実現する。本願の実施例におけるＣｙｃｌｅ−ＧＡＮモデルは、画像に対して画調変換を行うためのものである。入力画像に基づいて実模擬画像を生成するための第１ジェネレーター及び入力画像に基づいて仮想模擬画像を生成するための第２ジェネレーターという２つのジェネレーターを備える。第１ジェネレーターの入力画像は、（元）仮想画像又は第２ジェネレーターから出力された仮想模擬画像である。第２ジェネレーターの入力画像は、（元）実画像又は第１ジェネレーターから出力された実模擬画像である。

可能な実施形態において、図６に示すように、ジェネレーターは、エンコーダ６１、変換器６２及びデコーダ６３という３つの部分から構成されてもよい。

ここで、エンコーダ６１は、複数層の畳み込み層６１１（図面において３層の畳み込み層を例とする）を含む。該複数層の畳み込み層６１１はそれぞれ、入力画像に対して畳み込み処理を行い、入力画像の特徴を抽出するために用いられる。例えば、畳み込み層６１１に、ステップ幅が２である複数の畳み込みカーネルが含まれる。任意選択的に、畳み込み層６１１の後に、活性化層（ＲｅＬＵ）又はバッチ正規化（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ：ＢＮ）層が追加されてもよく、本願の実施例はこれを限定するものではない。

エンコーダ６１により処理された後、入力画像は、複数の入力画像の属するデータフィールド特徴ベクトルに圧縮される。続いて、変換器６２により、該特徴ベクトルを出力画像の属するデータフィールドの特徴ベクトルに変換する。例えば、入力画像のサイズが２５６×２５６×３（幅×高さ×チャネル数）である場合、エンコーダ６１により処理された後、サイズが６４×６４×２５６である特徴マップを得る。

変換器６２は、複数の（図面において３つの残差ブロックを例とする）残差ブロック６２１で構成される残差ネットワークである。任意選択的に、各残差ブロック６２１は、少なくとも２つの畳み込み層で構成される。また、残差ブロック６２１の一部の入力は、直接的に出力に追加される。つまり、残差ブロック６２１の出力は、その畳み込み層の出力及び入力で構成される。従って、先のネットワーク層の入力が後のネットワーク層に直接的に作用することを確保し、対応する出力と元入力との偏差を小さくし、元画像の特徴を出力及び出力結果に保留させる。

本願の実施例において、変換器６２は、エンコーダ６１から出力された特徴ベクトルに対してデータフィールド変換を行うために用いられる。ここで、変換器６２の出力サイズは、入力サイズと同じである。例えば、変換器６２は、エンコーダ６１から出力された６４×６４×２５６の特徴マップ（仮想画像の特徴）に対して変換を行い、６４×６４×２５６の特徴マップ（実画像の特徴）を出力し、仮想画像データフィールドから実画像データフィールドへの変換を実現させる。

コーディング過程とは逆であるように、デコーディング過程は、特徴ベクトルから、低次特徴を復元し、画調変換された画像を採集的に得るために用いられる。図６に示すように、デコーダ６３は、複数層の逆畳み込み層６３１（図面において３層の逆畳み込み層を例とする）を含む。該複数層の逆畳み込み層６３１はそれぞれ、変換器６２から出力された特徴ベクトルに対して逆畳み込み処理を行い、低次特徴を復元するために用いられる。例えば、逆畳み込み層６３１に、ステップ幅が１／２である複数の畳み込みカーネルが含まれる。

ここで、デコーダ６３から最終的に出力された画像のサイズは、入力画像のサイズと同じである。例えば、入力画像のサイズが２５６×２５６×３である場合、デコーダ６３から、サイズが２５６×２５６×３であって画調変換された画像が最終的に出力される。

ステップＳ５０２において、第１ディスクリミネーター及び第２ディスクリミネーターを構築し、第１ディスクリミネーターは、サンプル仮想画像と仮想模擬画像を判別するために用いられ、第２ディスクリミネーターは、サンプル実画像と実模擬画像を判別するために用いられる。

Ｃｙｃｌｅ−ＧＡＮモデルの敵対的訓練は、ディスクリミネーターにより実現される。本願の実施例におけるＣｙｃｌｅ−ＧＡＮモデルは、サンプル仮想画像と仮想模擬画像を判別するための第１ディスクリミネーター及びサンプル実画像と実模擬画像を判別するための第２ディスクリミネーターという２つのディスクリミネーターを備える。ここで、仮想模擬画像は、第２ジェネレーターにより、サンプル画像に基づいて生成される。実模擬画像は、第１ジェネレーターにより、サンプル仮想画像に基づいて生成される。

ディスクリミネーターは、畳み込みニューラルネットワーク構造を用いる。画像特徴を抽出するための複数の畳み込み層と、一次元出力を発生するための畳み込み層とが含まれる。図７に示すように、ディスクリミネーターにおける畳み込み層７１、畳み込み層７２、畳み込み層７３及び畳み込み層７４は、入力画像に対して順に特徴抽出を行い、入力画像の特徴マップ７５を得るために用いられる。畳み込み層７６は、特徴マップ７５に基づいて一次元出力を発生することで、一次元出力に基づいて、入力画像が実画像であるか、それとも実模擬画像であるかを判定し、又は、該入力画像が仮想画像であるか、それとも仮想模擬画像であるかを判定するために用いられる。

考えられる実現形態において、本願の実施例におけるディスクリミネーターは、０／１判別を用いる。例えば、ディスクリミネーターの出力が１である場合、入力画像が実画像であることを示し、ディスクリミネーターの出力が０である場合、入力画像が実模擬画像であることを示す。

もう１つの可能な実施形態において、本願の実施例におけるディスクリミネーターは、０／１判別を利用せず、入力画像をサイズが同じである複数のパッチ（Ｐａｔｃｈ）ブロックに分割し、Ｐａｔｃｈブロックに基づいて判別を行う。０／１判別に比べて、Ｐａｔｃｈブロックに基づいた判別形態を利用する場合、訓練におけるパラメータ量を低減させ、訓練効率を向上させることができる。

ステップＳ５０３において、第１ジェネレーター、第２ジェネレーター、第１ディスクリミネーター及び第２ディスクリミネーターに基づいて、Ｃｙｃｌｅ−ＧＡＮモデルを構築する。

更に、上記ステップで構築されたジェネレーター及びディスクリミネーターに基づいて、モデル訓練装置は、Ｃｙｃｌｅ−ＧＡＮモデルを構築する。

例示的に、図８に示すＣｙｃｌｅ−ＧＡＮモデルに、第１ジェネレーター８１、第２ジェネレーター８２、第１ディスクリミネーター８３及び第２ディスクリミネーター８４が含まれる。

ステップＳ５０４において、サンプル実画像及びサンプル仮想画像に基づいて、Ｃｙｃｌｅ−ＧＡＮモデルの損失を算出し、Ｃｙｃｌｅ−ＧＡＮモデルの損失に、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失が含まれる。

構築されたＣｙｃｌｅ−ＧＡＮモデルを訓練する場合、モデル訓練装置は、サンプル仮想画像及びサンプル実画像を、対応するジェネレーターの入力画像として、ジェネレーターにより、入力画像に対して画調変換を行い、ディスクリミネーターにより、ジェネレーターから出力された画像と元入力画像を判別し、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失を算出し、後続で上記損失に基づいて、バックプロパゲーションアルゴリズムでモデル訓練を行う。ここで、ジェネレーターは、ジェネレーターによる画像変換の時に発生した損失である。ディスクリミネーター損失は、ディスクリミネーターの判別結果と所定の結果との誤差を示すためのものである。サイクル損失（又はサイクル一貫性損失（Ｃｙｃｌｅ Ｃｏｎｓｉｓｔｅｎｃｙ Ｌｏｓｓ）と呼ばれる）は、入力画像と、２つのジェネレーターにより変換された出力画像との、再構築誤差（Ｒｅｃｏｎｓｔｒｕｃ）を示すためのものである。

ここで、入力されたサンプル実画像とサンプル仮想画像とは、対をなす必要がない。つまり、サンプル実画像におけるジェスチャーは、サンプル仮想画像におけるジェスチャーと一致する必要がない。

図８に示すＣｙｃｌｅ−ＧＡＮモデルにおけるジェネレーターを訓練する場合、モデル訓練装置は、サンプル仮想画像Ａを第１ジェネレーター８１に入力し、第１ジェネレーター８１により、サンプル仮想画像Ａを実模擬画像Ｂ１に変換する。更に、第１ジェネレーター８１は、変換により得られた実模擬画像Ｂ１を第２ジェネレーター８２に入力し、第２ジェネレーター８２により、実模擬画像Ｂ１を仮想模擬画像Ａ２に変換し、サンプル仮想画像Ａと仮想模擬画像Ａ２との再構築誤差ＲＡを算出することによりサイクル損失を決定する。再構築誤差ＲＡは、２つのジェネレーターにより画調変換されたサンプル仮想画像Ａと、元サンプル仮想画像Ａとの画像差異を示すためのものである。ここで、再構築誤差ＲＡが小さいほど、サンプル仮想画像Ａと仮想模擬画像Ａ２との類似性が高くなる。

モデル訓練装置は、サンプル実画像Ｂを第２ジェネレーター８２に入力し、第２ジェネレーター８２により、サンプル実画像Ｂを仮想模擬画像Ａ１に変換する。更に、第２ジェネレーター８２は、変換により得られた仮想模擬画像Ａ１を第１ジェネレーター８１に入力し、第１ジェネレーター８１により、仮想模擬画像Ａ１を実模擬画像Ｂ２に変換し、サンプル実画像Ｂと実模擬画像Ｂ２との再構築誤差ＲＢを算出することでサイクル損失を決定する。再構築誤差ＲＢは、２つのジェネレーターにより画調変換されたサンプル実画像Ｂと、元サンプル実画像Ｂとの画像差異を示すためのものである。ここで、再構築誤差ＲＢが小さいほど、サンプル実画像Ｂと実模擬画像Ｂ２との類似性が高くなる。

図８に示すＣｙｃｌｅ−ＧＡＮモデルにおけるディスクリミネーターを訓練する場合、モデル訓練装置は、サンプル仮想画像Ａ及び仮想模擬画像Ａ１を第１ディスクリミネーター８３に入力し、第１ディスクリミネーター８３により判別を行い、実際の判別結果及びターゲット判別結果に基づいて、第１ディスクリミネーター８３のディスクリミネーター損失及び第２ジェネレーター８２のジェネレーター損失を算出する。同様に、モデル訓練装置は、サンプル実画像Ｂ及び実模擬画像Ｂ１を第２ディスクリミネーター８４に入力し、第２ディスクリミネーター８４により判別を行い、実際の判別結果及びターゲット判別結果に基づいて、第２ディスクリミネーター８４のディスクリミネーター損失及び第１ジェネレーター８１のジェネレーター損失を算出する。

任意選択的に、モデル訓練装置は、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失に基づいて、Ｃｙｃｌｅ−ＧＡＮモデルの損失関数を構築する。ここで、損失関数において、サイクル損失の乗法的因子（重み）は、ディスクリミネーター損失の乗法的因子より大きい。

ステップＳ５０５において、Ｃｙｃｌｅ−ＧＡＮモデルの損失に基づいて、Ｃｙｃｌｅ−ＧＡＮモデルを逆訓練する。

任意選択的に、モデル訓練装置は、Ｃｙｃｌｅ−ＧＡＮモデルのジェネレーター損失、ディスクリミネーター損失及びサイクル損失に基づいて、バックプロパゲーションアルゴリズムでＣｙｃｌｅ−ＧＡＮモデルを訓練する。本願の実施例は、損失に基づいてＣｙｃｌｅ−ＧＡＮモデルを訓練するための具体的な形態を限定するものではない。

任意選択的に、訓練により最終的に得られたＣｙｃｌｅ−ＧＡＮモデルの損失関数は最も小さい。

訓練により最終的に得られたＣｙｃｌｅ−ＧＡＮモデルにおいて、ジェネレーターとディスクリミネーターとの間で、ナッシュ均衡（Ｎａｓｈ ｅｑｕｉｌｉｂｒｉｕｍ）が実現された。つまり、ジェネレーターから出力された画像の画調はターゲット画像の画調と一致し（出力がターゲット分布に近似する）、ディスクリミネーターは、ランダム判別状態にある（元画像及びジェネレーターから出力された画像に対する判別の確率が均等である）。

上記ステップＳ５０１からＳ５０５により、モデル訓練装置は、サンプル仮想画像及びサンプル実画像に基づいて訓練を行い、画調変換用Ｃｙｃｌｅ−ＧＡＮモデルを得る。後続で手部キーポイント認識モデルの訓練を行う場合、モデル訓練装置は、該モデルを利用して、ラベル情報を搬送しているサンプル仮想画像に対して画調変換を行う。

ステップＳ５０６において、Ｃｙｃｌｅ−ＧＡＮモデルにおける第１ジェネレーターにより、サンプル仮想画像を実模擬画像に変換する。

訓練サンプルを実際のシーンで収集された実画像に更に近似させるために、モデル訓練装置は、サンプル仮想画像をＣｙｃｌｅ−ＧＡＮモデルの第１ジェネレーターに入力し、第１ジェネレーターにより、サンプル仮想画像を実模擬画像に変換する。

実模擬画像における手部が小さな空間を占用する可能性があるため、実模擬画像をスケーリングした後に直接的に訓練又はテストを行うと、手部画像の面積が更に圧縮されてしまう。なお、手部キーポイントの分布が密であり、且つ自己遮蔽等の問題が存在するため、解像度が小さくて画像ぼけが存在する場合、認識効果は著しく低下する。このような問題を軽減するために、本願の実施例において、モデル訓練装置は、まず、手部信頼領域を位置決めし、続いて、手部信頼領域に基づいて、手部及び周辺の一部の領域を切り出してスケーリングし、次段の入力とする。図５に示すように、モデル訓練装置は更に、下記ステップＳ５０７からＳ５０８により、実模擬画像から手部画像を抽出する。

ステップＳ５０７において、実模擬画像をジェスチャー分割ニューラルネットワークに入力し、手部信頼領域を出力し、ジェスチャー分割ニューラルネットワークは、手部領域がラベリングされた画像に基づいて訓練を行うことで得られる。

可能な実施形態において、ジェスチャー分割ニューラルネットワークは、Ｕ型ネットワーク（Ｕ−ＮＥＴ）構造を用いた畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）である。それは、ｎ個層の畳み込み層及びｎ個層の逆畳み込み層を含む。ここで、ｎ個層の畳み込み層は、画像に対して様々なレベルの特徴抽出を行うために用いられる。ｎ個層の逆畳み込み層は、抽出された特徴をデコーディングして出力するために用いられる。例示的に、図９に示すように、該ジェスチャー分割ニューラルネットワークは、３層の畳み込み層及び３層の逆畳み込み層を含む。

任意選択的に、図１０に示すように、ジェスチャー分割ニューラルネットワークにより、手部信頼領域を決定するステップは、下記ステップを含む。

ステップＳ５０７Ａにおいて、ｎ個層の畳み込み層により実模擬画像を処理し、実模擬画像に対応する中間特徴マップを得る。

モデル訓練装置は、実模擬画像をジェスチャー分割ニューラルネットワークに入力し、ｎ個層の畳み込み層により、実模擬画像に対して順に畳み込み処理を行い、実模擬画像における特徴を抽出し、実模擬画像に対応する中間特徴マップを得る。ここで、第１層の畳み込み層にとって、その入力は、実模擬画像である。第ｉ層の畳み込み層にとって、その入力は、第ｉ−１層の畳み込み層から出力された特徴マップである。

任意選択的に、各層の畳み込み層は、畳み込みカーネルを利用して入力画像又は特徴マップ（上位層の畳み込み層から出力される）に対して畳み込み処理を行うことに加えて、畳み込み結果に対して活性化及びプーリング処理を行う。

ここで、ＲｅＬＵ関数を利用して畳み込み結果を活性化処理する。本願の実施例は、用いられる具体的な活性化関数を限定するものではない。

活性化処理を行った後、畳み込み層は、活性化結果（特徴マップ）をプーリング処理し、プーリング処理された特徴マップを次の畳み込み層に入力する。ここで、プーリング処理は、特徴マップのサイズを縮小し、特徴マップにおける重要な情報を保留するために用いられる。任意選択的に、各階層のプーリング層は、入力された特徴マップを最大プーリング処理する。例えば、２×２ブロックについて、ステップ幅２で特徴マップをプーリング処理する場合、特徴マップにおける２×２ブロックの最大値を抽出し、特徴マップのサイズを四分の一までに縮小する。

任意選択的に、平均プーリング又は確率的プーリングを用いてプーリング処理を行うこともでき、本実施例はこれを限定するものではない。

例示的に、図９に示すように、実模擬画像９１を第一層の畳み込み層に入力した後、第１層の畳み込み層で、畳み込み−プーリング処理を行い、特徴マップ９２を得て、第２層の畳み込み層に入力する。特徴マップ９２を第２層の畳み込み層で畳み込み−プーリング処理した後、特徴マップ９３を得て、第３層の畳み込み層に入力する。特徴マップ９３を第３層の畳み込み層で畳み込み−プーリング処理した後、更に畳み込み処理し、特徴マップ９４を得て、ｎ個層の逆畳み込み層に入力する。

ステップＳ５０７Ｂにおいて、ｎ個層の逆畳み込み層により、中間特徴マップを処理し、実模擬画像に対応するターゲット特徴マップを得る。

ジェスチャー分割ニューラルネットワークは更に、ｎ個層の逆畳み込み層により、中間特徴マップに対して逆畳み込み処理を行い、実模擬画像に対応するターゲットマップを最終的に得る。ここで、ターゲット特徴マップのサイズは、実模擬画像のサイズに等しい。

底層特徴マップは、より優れた空間的情報を持ち、上位層特徴マップは、より優れたセマンティック情報を持つため、特徴マップでより好適に特徴を表すように、可能な実施形態において、中間特徴マップに対して逆畳み込み処理を行う過程において、上位層特徴マップと先に生成された底層特徴マップをスプライシングしてフュージョンする。従って、該ステップは、下記ステップを含んでもよい。

ステップ１において、第ｍ層の逆畳み込み層から出力された特徴マップと第ｎ−ｍ層の畳み込み層から出力された特徴マップをスプライシングし、１≦ｍ≦ｎ−１である。

第ｍ層の逆畳み込み層から出力された特徴マップに対して、モデル訓練装置は、該特徴マップと第ｎ−ｍ層の畳み込み層から出力された特徴マップをチャネルスプライシングし、スプライシングされた特徴マップを得る。ここで、スプライシングされた特徴マップのチャネル数は、スプライシングされる前の特徴マップのチャネル数の合計である。

第ｎ−ｍ層の畳み込み層から出力された特徴マップのサイズが、第ｍ層の逆畳み込み層から出力された特徴マップのサイズより大きいため、第ｍ層の逆畳み込み層から出力された特徴マップに対して更にアップサンプリング処理を行い、特徴マップのサイズを大きくする必要がある。

任意選択的に、スプライシングを行う前に、１×１の畳み込みカーネルを利用して特徴マップを更に畳み込み処理し、特徴マップの次元を低下させ、スプライシングされた特徴マップのチャネル数を低減させ、演算量を低減させる。１×１の畳み込みカーネルを利用して畳み込み処理を行うことに加えて、３×３の畳み込みカーネルを利用して特徴マップを更に畳み込み処理し、特徴マップの受容野を拡大し、アップサンプリング過程における不正確な縁による影響を無くすこともできる。

ステップ２において、第ｍ＋１層の逆畳み込み層により、スプライシングされた特徴マップを処理する。

更に、スプライシングされた特徴マップは、第ｍ＋１層の逆畳み込み層に入力され、第ｍ＋１層の逆畳み込み層により、逆畳み込み活性化処理される。

例示的に、図９に示すように、特徴マップ９４を第１層の逆畳み込み層で逆畳み込み−アップサンプリング処理した後、第２層畳み込み層で生成された特徴マップ９２とスプライシングし、特徴マップ９５を生成し、第２層の逆畳み込み層に入力する。特徴マップ９５を第２層の逆畳み込み層で逆畳み込み−アップサンプリング処理した後、第１層の畳み込み層で生成された特徴マップ９１とスプライシングし、特徴マップ９６を生成する。

上記実施例は、３層の畳み込み層及び３層の逆畳み込み層を含むことを例として説明するが、ジェスチャー分割ニューラルネットワークの構造を限定するものではない。

ステップＳ５０７Ｃにおいて、ターゲット特徴マップに基づいて確率行列を生成し、確率行列は、実模擬画像における各画素点が手部である確率を表すためのものである。

更に、出力されたターゲット特徴マップに基づいて、モデル訓練装置は、実模擬画像における手部信頼領域を決定する。可能な実施形態において、モデル訓練装置は、ターゲット特徴マップに基づいて、画素レベルの認識及び分類を行い、各画素点に対応する手部領域の確率を決定する。ここで、画素点に対応する確率が高いほど、該画素点が手部領域である確率が高いことを表す。

ステップＳ５０７Ｄにおいて、確率行列に対して二値化処理を行い、手部領域に対応するヒートマップを出力し、ヒートマップは、実模擬画像における手部信頼領域を示すためのものである。

二値化処理の方式について、可能な実施形態において、モデル訓練装置は、確率行列における各確率を確率閾値と比較する。確率が確率閾値より大きいと、該確率を１とし、確率が確率閾値より小さいと、該確率を０とする。

例示的に、図１１に示すように、モデル訓練装置は、確率閾値０．６に基づいて、確率行列１１０１に対して二値化処理を行い、確率が０．６より大きい領域を１とし、確率が０．６より小さい領域を０とし、ヒートマップ１１０２を得る。ヒートマップ１１０２において、値が１である領域は、手部信頼領域である。

例えば、図９に示すように、二値化処理により得られたヒートマップ９７において、白色領域は、手部信頼領域であり、黒色領域は、非手部信頼領域である。

ステップＳ５０８において、手部信頼領域に基づいて、実模擬画像から手部画像を抽出する。

ジェスチャー分割ニューラルネットワークから出力された手部信頼領域の座標に基づいて、モデル訓練装置は、実模擬画像から手部画像を抽出する。

上記ステップＳ５０７Ｄにおいて、二値化処理により手部信頼領域を得る場合、一部の手部領域の画素点を非手部領域と誤分類し、一部の非手部領域の画素点を手部領域と誤分類することがある。このような誤分類は一般的には、実際の手部領域の縁に存在する。従って、可能な実施形態において、モデル訓練装置は、手部信頼領域の座標に基づいて、実模擬画像のＸＹ平面から、サイズが手部信頼領域よりもやや大きい手部画像を抽出する。

任意選択的に、モデル訓練装置は、抽出された手部画像をスケーリング処理し、手部画像のサイズを手部キーポイント認識モデルの入力サイズと一致させるように確保する。

ステップＳ５０９において、手部キーポイント認識モデルを構築し、手部キーポイント認識モデルに、二次元認識分岐及び三次元認識分岐が含まれる。

図２に示した訓練されたモデルを利用して手部キーポイント認識を行う場合、まず、２Ｄキーポイント認識モデル２３により、二次元キーポイントヒートマップを得て、続いて、二次元キーポイントを３Ｄキーポイント認識モデル２４に入力し、手部キーポイントの三次元座標を最終的に得る。しかしながら、このような方式によれば、二次元及び三次元手部キーポイントを、独立したモデルにより認識し、二次元知覚と三次元知覚との相互関係が無視され、キーポイント認識の正確性が低くなってしまう。

本願の実施例において、モデル訓練装置は、二次元ヒートマップと三次元キーポイント座標を結合した深層学習方法で、手部キーポイント認識モデルを訓練する。このような結合方式は、眼によって視覚画像を処理するメカニズム（奥行きの立体情報を三次元で予測し、表現情報を二次元で観測する）に更に近似するため、訓練されたモデルを利用してキーポイント認識を行う場合の正確率はより高い。

任意選択的に、モデル訓練装置により構築された手部キーポイント認識モデルは、二次元認識分岐及び三次元認識分岐を含む。ここで、二次元認識分岐は、ｉ個層の二次元残差層と畳み込み層を含み、三次元認識分岐は、ｉ個層の三次元残差層と全結合層を含む。また、最初のj個層の二次元残差層は、最初のj個層の三次元残差層と結合され、２≦ｊ≦ｉ−１であり、ｉ及びｊは整数である。任意選択的に、
例示的には、図１２に示すように、モデル訓練装置により構築された手部キーポイント認識モデルに、二次元認識分岐１２１０及び三次元認識分岐１２２０が含まれる。二次元認識分岐１２１０は、５個の二次元残差ブロック（各二次元残差ブロックは、一層の二次元残差層に対応する）及び１つの全結合層１２１６で構成され、三次元認識分岐１２２０は、５個の三次元残差ブロック（各三次元残差ブロックは、一層の三次元残差層に対応する）及び１つの畳み込み層１２２６で構成される。また、二次元認識分岐１２１０の先頭の３層は、三次元認識分岐１２２０の先頭の３層と互いに結合される。任意選択的に、二次元認識分岐及び三次元認識分岐における残差ブロックとして、一般的に用いられるＲｅｓｉｄｕａｌ残差ブロックを用いることができる。また、一部の残差ブロックにおいて、ステップ幅が２である畳み込みカーネルを利用して特徴マップに対して次元削減を行い、演算量を低減させ特徴マップの受容野を拡大することができる。本願は、これを限定するものではない。

図１２において、第１二次元残差ブロック１２１１及び第１三次元残差ブロック１２２１の入力はいずれも、抽出された手部画像である。第２二次元残差ブロック１２１２の入力は、第１二次元残差ブロック１２１１及び第１三次元残差ブロック１２２１の出力である。第２三次元残差ブロック１２２２の入力は、第１二次元残差ブロック１２１１及び第１三次元残差ブロック１２２１の出力である。第３二次元残差ブロック１２１３の入力は、第２二次元残差ブロック１２１２及び第２三次元残差ブロック１２２２の出力である。第３三次元残差ブロック１２２３の入力は、第２二次元残差ブロック１２１２及び第２三次元残差ブロック１２２２の出力である。

ステップＳ５１０において、手部画像及びキーポイント座標に基づいて、手部キーポイント認識モデルの二次元認識損失及び三次元認識損失を算出し、二次元認識損失は、二次元認識分岐の認識損失であり、三次元認識損失は、三次元認識分岐の認識損失である。

更に、モデル訓練装置は、手部画像をそれぞれ二次元認識分岐及び三次元認識分岐に入力し、キーポイント座標及び二次元認識分岐から出力された認識結果に基づいて二次元認識損失を算出し、キーポイント座標及び三次元認識分岐から出力された認識結果に基づいて三次元認識損失を算出する。可能な実施形態において、図１３に示すように、該ステップは、下記ステップを含む。

ステップＳ５１０Ａにおいて、手部画像をそれぞれ二次元認識分岐及び三次元認識分岐に入力する。

図１２に示すように、モデル訓練装置は、手部画像をそれぞれ第１二次元残差ブロック１２１１及び第１三次元残差ブロック１２２１に入力する。

ステップＳ５１０Ｂにおいて、第ｋ層の二次元残差層から出力された特徴マップと第ｋ層の三次元残差層から出力された特徴マップを加算し、１≦ｋ≦ｊ−１である。

最初のj個層の相互結合された二次元残差層及び三次元残差層について、モデル訓練装置は、第ｋ層の二次元残差層から出力された特徴マップと第ｋ層の三次元残差層から出力された特徴マップを加算し、加算により得られた特徴マップを第ｋ＋１層の二次元残差層及び第ｋ＋１層の三次元残差層の入力とする。

ここで、加算される特徴マップの次元は同じであり、且つ、加算前後の特徴マップの次元は一致する。

例示的に、図１２に示すように、モデル訓練装置は、第１二次元残差ブロック１２１１から出力された特徴マップと第１三次元残差ブロック１２２１から出力された特徴マップに対して要素ごとの加算を行う。第２二次元残差ブロック１２１２から出力された特徴マップと第２三次元残差ブロック１２２２から出力された特徴マップに対して要素ごとの加算を行う。

ステップＳ５１０Ｃにおいて、加算された特徴マップを第ｋ＋１層の二次元残差層及び第ｋ＋１層の三次元残差層に入力する。

更に、モデル訓練装置は、加算された特徴マップをそれぞれ第ｋ＋１層の二次元残差層及び第ｋ＋１層の三次元残差層に入力し、第ｋ＋１層の二次元残差層及び第ｋ＋１層の三次元残差層により、加算された特徴マップに対して残差処理を行う。

先頭のｊ−１層の二次元残差層及び先頭のｊ−１層の三次元残差層に対して、モデル訓練装置は、加算された特徴マップを第ｊ層の二次元残差層及び第ｊ層の三次元残差層に入力するまで上記ステップＳ５１０Ｂ及びＳ５１０Ｃを繰り返して実行する。

ステップＳ５１０Ｄにおいて、第ｊ＋１層から第ｉ層の二次元残差層及び畳み込み層により、第ｊ層の二次元残差層から出力された特徴マップを処理し、二次元認識結果を得る。

第ｊ層の二次元残差層から出力された特徴マップについて、モデル訓練装置は、順に第ｊ＋１層から第ｉ層の二次元残差層により、特徴マップを残差処理し、更に、畳み込み層により、第ｉ層の二次元残差層から出力された特徴マップを処理し、二次元認識結果を得て、下記ステップＳ５１０Ｆを実行する。

任意選択的に、該二次元認識結果は、手部画像における二次元キーポイントのヒートマップである。該ヒートマップのサイズは、手部画像と一致し、且つヒートマップにおける応答性が高い点は、手部キーポイントである。

任意選択的に、二次元認識分岐は、二次元認識結果で示された手部キーポイントを元実模擬画像上に重畳表示し、異なる色で、異なる指に対応する手部キーポイントをマーキングする。

ステップＳ５１０Ｅにおいて、第ｊ＋１層から第ｉ層の三次元残差層及び全結合層により、第ｊ層の三次元残差層から出力された特徴マップを処理し、三次元認識結果を得る。

二次元認識と同様に、第ｊ層の三次元残差層から出力された特徴マップについて、モデル訓練装置は、順に第ｊ＋１層から第ｉ層の三次元残差層により特徴マップを残差処理し、更に、全結合層により、第ｉ層の三次元残差層から出力された特徴マップを処理し、三次元認識結果を得て、下記ステップＳ５１０Ｇを実行する。

任意選択的に、該三次元認識結果は、手部画像における各手部キーポイントの三次元座標であり、且つ、該三次元座標は相対的座標である。つまり、手部における所定のキーポイントを座標原点として、他のキーポイントと所定のキーポイントとの正規化距離を算出して他のキーポイントの三次元座標を決定する。例えば、２１個の手部キーポイントが含まれる場合、三次元認識分岐における全結合層のニューロンの数は、２１×３＝６３個である。

ステップＳ５１０Ｆにおいて、二次元認識結果及びキーポイント座標に基づいて二次元認識損失を算出する。

モデル訓練装置は、二次元認識結果で示される手部キーポイントの二次元座標に基づいて、該二次元座標とキーポイント座標（即ちグラウンドトルス（Ｇｒｏｕｎｄ Ｔｒｕｔｈ））との二次元認識損失を算出する。任意選択的に、キーポイント座標は、サンプル仮想画像における手部キーポイントの二次元座標であり、且つ、二次元認識損失は、ユークリッド距離でマーキングされてもよい。例えば、二次元認識結果においてキーポイントＡの二次元座標が（１００ｐｘ，１５０ｐｘ）であり、また、キーポイントＡの実際の二次元座標が（９０ｐｘ，１４０ｐｘ）である場合、キーポイントＡの二次元認識損失は、

である。

ステップＳ５１０Ｇにおいて、三次元認識結果及びキーポイント座標に基づいて三次元認識損失を算出する。

二次元認識損失の算出と同様に、モデル訓練装置は、三次元認識結果で示される手部キーポイントの三次元座標に基づいて、該三次元座標とキーポイント座標（即ちグラウンドトルス（Ｇｒｏｕｎｄ Ｔｒｕｔｈ））との三次元認識損失を算出する。任意選択的に、キーポイント座標は、サンプル仮想画像における手部キーポイントの三次元座標であり、且つ、三次元認識損失は、ユークリッド距離でマーキングされてもよい。例えば、三次元認識結果においてキーポイントＡの二次元座標が（１００ｐｘ，１５０ｐｘ，１００ｐｘ）であり、また、キーポイントＡの実際の三次元座標が（９０ｐｘ，１４０ｐｘ，１００ｐｘ）である場合、キーポイントＡの三次元認識損失は、

である。

ステップＳ５１１において、二次元認識損失及び三次元認識損失に基づいて手部キーポイント認識モデルを逆訓練する。

任意選択的に、算出された二次元認識損失に基づいて、モデル訓練装置は、バックプロパゲーションアルゴリズムで手部キーポイント認識モデルの二次元認識分岐を訓練する。算出された三次元認識損失に基づいて、モデル訓練装置は、バックプロパゲーションアルゴリズムで手部キーポイント認識モデルの三次元認識分岐を訓練する。本願の実施例は、認識損失に基づいて手部キーポイント認識モデルを訓練するための具体的な形態を限定するものではない。

本実施例において、２つのジェネレーター及び２つのディスクリミネーターを含むＣｙｃｌｅ−ＧＡＮモデルを構築し、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失に基づいてＣｙｃｌｅ−ＧＡＮモデルを逆訓練することで、得られたＣｙｃｌｅ−ＧＡＮモデルの品質を向上させる。

本実施例において、手部キーポイント認識モデルを訓練する場合、二次元認識分岐と三次元認識分岐を結合させることで、訓練された手部キーポイント認識モデルを、眼によって視覚画像を処理するメカニズムに更に近似させ、手部キーポイント認識の正確率を向上させる。

本願の一実施例による認識方法を示すフローチャートである図１４を参照されたい。本実施例において、該手部キーポイントの認識方法が手部キーポイント認識装置に適用されることを例として説明する。該方法は下記ステップを含んでもよい。

ステップＳ１４０１において、実画像を収集し、実画像に手部画像が含まれる。

可能な実施形態において、手部キーポイント認識装置は、カメラが設けられた端末である。端末は、カメラにより、手部画像を含む実画像を収集する。

ステップＳ１４０２において、実画像における手部画像を抽出する。

可能な実施形態において、手部キーポイント認識装置は、図５に示す実施例中におけるジェスチャー分割ニューラルネットワークを利用して、実画像における手部画像を抽出する。本実施例は、手部画像の抽出プロセスの詳細な説明を省略する。

ステップＳ１４０３において、手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得て、手部キーポイント認識モデルは、実模擬画像及び実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルによりサンプル仮想画像に基づいて生成されたものであり、Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及びサンプル仮想画像に基づいて訓練されて生成されたものであり、サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる。

手部キーポイント認識装置は、抽出された手部画像を上記実施例で訓練された手部キーポイント認識モデルに入力し、モデルから出力された手部キーポイント座標を得る。ここで、該手部キーポイント座標は、二次元座標及び／又は三次元座標である。

可能な実施形態において、図１５における（ａ）に示すように、手部キーポイント座標が二次元座標である場合、手部キーポイント認識装置は、二次元座標に基づいて手部キーポイントを実画像上に重畳表示し、異なる色で、同一の指におけるキーポイントをマーキングする。図１５における（ｂ）に示すように、手部キーポイント座標が三次元座標である場合、手部キーポイント認識装置は、三次元座標に基づいて、三次元座標系において、三次元手部モデルを構築し、異なる色で、同一の指におけるキーポイントをマーキングする。

図１５に示すように、上記方法が手話認識シーンに適用される場合、端末は、手部キーポイントにより認識されたＯＫジェスチャーに基づいて、インタフェースに手話翻訳結果「ＯＫ」を表示する。手部特殊効果シーンに適用される場合、端末は、認識されたＯＫジェスチャーに基づいて、インタフェースにおける手部領域で、熊の手のひらを模擬してＯＫジェスチャーを作る。ジェスチャーインタラクションシーンに適用される場合、スマートホーム装置は、認識されたＯＫジェスチャーに基づいて確認操作を実行する。

要するに、本実施例において、サンプル実画像及びサンプル仮想画像に基づいてＣｙｃｌｅ−ＧＡＮモデルを予め訓練し、Ｃｙｃｌｅ−ＧＡＮモデルを利用してサンプル仮想画像を実模擬画像に変換することで、実模擬画像における手部画像及びキーポイント座標に基づいて、手部キーポイント認識モデルを訓練する。Ｃｙｃｌｅ−ＧＡＮモデルにより変換を行うことで得られた実模擬画像は、サンプル実画像の画調を模擬することできる。つまり、訓練サンプルは、採集された実画像に近似する。従って、後続で該手部キーポイント認識モデルを利用して実画像に対してジェスチャー認識を行う場合の正確率は、より高い。また、キーポイント座標を搬送しているサンプル仮想画像に基づいて手部キーポイント認識モデルを訓練することにより、キーポイント座標を手動でラベリングすることが避けられ、モデル訓練の効率及び正確性を更に向上させる。

以下は、本願の装置の実施例であり、本願の方法の実施例を実行するために用いられる。本願の装置の実施例で開示されていない細部については、本願の方法の実施例を参照されたい。

本願の一実施例による認識モデル訓練装置を示すブロック図である図１６を参照されたい。該装置は、上記方法の例を実行する機能を持ち、機能は、ハードウェアにより実現されてもよく、ハードウェアによって実行されるソフトウェアにより実現されてもよい。該装置は、変換モジュール１６１０と、第１抽出モジュール１６２０と、第１訓練モジュール１６３０と、を備えてもよく、ここで、
変換モジュール１６１０は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するように構成され、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである。

第１抽出モジュール１６２０は、前記実模擬画像における手部画像を抽出するように構成される。

第１訓練モジュール１６３０は、前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するように構成され、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである。

任意選択的に、前記装置は、サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを訓練するように構成される第２訓練モジュールであって、前記サンプル実画像は、実際のシーンで収集された画像である、第２訓練モジュールを更に備える。

任意選択的に、前記第２訓練モジュールは更に、第１ジェネレーター及び第２ジェネレーターを構築するように構成され、前記第１ジェネレーターは、前記実模擬画像を生成するためのものであり、前記第２ジェネレーターは、仮想模擬画像を生成するためのものであり、前記仮想模擬画像は、前記サンプル仮想画像の画調を模倣するためのものであり、前記第２訓練モジュールは更に、第１ディスクリミネーター及び第２ディスクリミネーターを構築するように構成され、前記第１ディスクリミネーターは、前記サンプル仮想画像と前記仮想模擬画像を判別するために用いられ、前記第２ディスクリミネーターは、前記サンプル実画像と前記実模擬画像を判別するために用いられ、前記第２訓練モジュールは更に、前記第１ジェネレーター、前記第２ジェネレーター、前記第１ディスクリミネーター及び前記第２ディスクリミネーターに基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを構築し、前記サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失を算出するように構成され、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失に、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失が含まれ、前記第２訓練モジュールは更に、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを逆訓練するように構成される。

任意選択的に、前記変換モジュール１６１０は更に、前記Ｃｙｃｌｅ−ＧＡＮモデルにおける前記第１ジェネレーターにより、前記サンプル仮想画像を前記実模擬画像に変換するように構成される。

任意選択的に、前記第１抽出モジュール１６２０は更に、前記実模擬画像をジェスチャー分割ニューラルネットワークに入力し、手部信頼領域を出力するように構成され、ジェスチャー分割ニューラルネットワークは、手部領域がラベリングされた画像に基づいて訓練を行うことで得られ、前記第１抽出モジュール１６２０は更に、前記手部信頼領域に基づいて、前記実模擬画像から手部画像を抽出するように構成される。

任意選択的に、前記ジェスチャー分割ニューラルネットワークは、ｎ個層の畳み込み層及びｎ個層の逆畳み込み層を含み、ｎ≧２であり、ｎは整数であり、前記第１抽出モジュール１６２０は更に、前記ｎ個層の畳み込み層により前記実模擬画像を処理し、前記実模擬画像に対応する中間特徴マップを得て、前記ｎ個層の逆畳み込み層により、前記中間特徴マップを処理し、前記実模擬画像に対応するターゲット特徴マップを得て、前記ターゲット特徴マップに基づいて確率行列を生成するように構成され、前記確率行列は、前記実模擬画像における各画素点が手部である確率を表すためのものであり、前記前記第１抽出モジュール１６２０は更に、前記確率行列に対して二値化処理を行い、前記手部領域に対応するヒートマップを出力するように構成され、前記ヒートマップは、前記実模擬画像における前記手部信頼領域を示すためのものである。

任意選択的に、前記ｎ個層の逆畳み込み層により、前記中間特徴マップを処理し、前記実模擬画像に対応するターゲット特徴マップを得る場合、前記第１抽出モジュール１６２０は更に、第ｍ層の逆畳み込み層から出力された特徴マップと第ｎ−ｍ層の畳み込み層から出力された特徴マップをスプライシングするように構成され、１≦ｍ≦ｎ−１であり、前記第１抽出モジュール１６２０は更に、第ｍ＋１層の逆畳み込み層により、スプライシングされた特徴マップを処理するように構成される。

任意選択的に、前記第１訓練モジュール１６３０は更に、前記手部キーポイント認識モデルを構築するように構成され、前記手部キーポイント認識モデルに、二次元認識分岐及び三次元認識分岐が含まれ、前記二次元認識分岐は、ｉ個層の二次元残差層と畳み込み層を含み、三次元認識分岐は、ｉ個層の三次元残差層と全結合層を含み、また、最初のj個層の二次元残差層は、最初のj個層の三次元残差層と結合され、２≦ｊ≦ｉ−１であり、ｉ及びｊは整数であり、前記第１訓練モジュール１６３０は更に、前記手部画像及び前記キーポイント座標に基づいて、前記手部キーポイント認識モデルの二次元認識損失及び三次元認識損失を算出するように構成され、前記二次元認識損失は、前記二次元認識分岐の認識損失であり、前記三次元認識損失は、前記三次元認識分岐の認識損失であり、前記第１訓練モジュール１６３０は更に、前記二次元認識損失及び前記三次元認識損失に基づいて、前記手部キーポイント認識モデルを逆訓練するように構成される。

任意選択的に、前記手部画像及び前記キーポイント座標に基づいて、前記手部キーポイント認識モデルの二次元認識損失及び三次元認識損失を算出する場合、前記第１訓練モジュール１６３０は更に、前記手部画像をそれぞれ前記二次元認識分岐及び前記三次元認識分岐に入力し、第ｋ層の二次元残差層から出力された特徴マップと第ｋ層の三次元残差層から出力された特徴マップを加算するように構成され、１≦ｋ≦ｊ−１であり、前記第１訓練モジュール１６３０は更に、加算された特徴マップを第ｋ＋１層の二次元残差層及び第ｋ＋１層の三次元残差層に入力し、第ｊ＋１層から第ｉ層の二次元残差層及び前記畳み込み層により、前記第ｊ層の二次元残差層から出力された特徴マップを処理し、二次元認識結果を得て、第ｊ＋１層から第ｉ層の三次元残差層及び前記全結合層により、前記第ｊ層の三次元残差層から出力された特徴マップを処理し、三次元認識結果を得て、前記二次元認識結果及び前記キーポイント座標に基づいて前記二次元認識損失を算出し、前記三次元認識結果及び前記キーポイント座標に基づいて前記三次元認識損失を算出するように構成される。

本願の一実施例による認識装置を示すブロック図である図１７を参照されたい。該装置は、情報方法の例を実行する機能を持つ。機能は、ハードウェアにより実現されてもよく、ハードウェアによって実行されるソフトウェアにより実現されてもよい。該装置は、収集モジュール１７１０と、第２抽出モジュール１７２０と、認識モジュール１７３０と、をそなえてもよく、ここで、
収集モジュール１７１０は、実画像を収集するように構成され、前記実画像に、手部画像が含まれる。

第２抽出モジュール１７２０は、前記実画像における前記手部画像を抽出するように構成される。

認識モジュール１７３０は、前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るように構成され、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる。

本願の一実施例によるモデル訓練装置の構造を示す概略図である図１８を参照されたい。該モデル訓練装置は、上記実施例で提供される手部キーポイント認識モデルの訓練方法を実行するように構成される。具体的には、
前記モデル訓練装置１８００は、中央処理ユニット（ＣＰＵ）１８０１と、ランダムアクセスメモリ（ＲＡＭ）１８０２及び読み出し専用メモリ（ＲＯＭ）１８０３を含むシステムメモリ１８０４と、システムメモリ１８０４と中央処理ユニット１８０１とを接続するためのシステムバス１８０５と、を備える。前記モデル訓練装置１８００は、コンピュータ内の各機器間の情報伝送に寄与する基本入力／出力システム（Ｉ／Ｏシステム）１８０６と、オペレーティングシステム１８１３、アプリケーションプログラム１８１４及び他のプログラムモジュール１８１５を記憶するための大容量記憶装置１８０７と、を更に備える。

前記基本入力／出力システム１８０６は、情報を表示するためのディスプレイ１８０８と、ユーザによる情報入力のためのマウス、キーボードのような入力装置１８０９と、を備える。ここで、前記ディスプレイ１８０８及び入力装置１８０９はいずれも、システムバス１８０５に接続された入力出力コントローラ１８１０を介して中央処理ユニット１８０１に接続される。前記基本入力／出力システム１８０６は、キーボード、マウス又は電子スタイラスなどのような複数の他の装置からの入力を受信して処理するための入力出力コントローラ１８１０を更に備えてもよい。同様に、入力出力コントローラ１８１０は更に、出力をディスプレイスクリーン、プリンタ又は他のタイプの出力装置に提供する。

前記大容量記憶装置１８０７は、システムバス１８０５に接続された大容量記憶コントローラ（図示されず）を介して中央処理ユニット１８０１に接続される。前記大容量記憶装置１８０７及びそれに関連するコンピュータ可読媒体は、モデル訓練装置１８００のために不揮発性記憶を提供する。つまり、前記大容量記憶装置１８０７は、ハードディスク又はＣＤ−ＲＯＭドライブのようなコンピュータ可読媒体（図示されず）を含んでもよい。

一般性を失うことなく、前記コンピュータ可読媒体は、コンピュータ記憶媒体及び通信媒体を含んでもよい。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、程序モジュール又は他のデータなどの情報を記憶するための如何なる方法又は技術で実現された、揮発性および不揮発性、取外し可能および取外し不可能な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のソリッドステートメモリ及び技術、ＣＤ−ＲＯＭ、ＤＶＤ又は他の光学記憶装置、磁気テープカセット、磁気テープ、磁気ディスクメモリ又は他の磁気記憶装置を含む。勿論、前記コンピュータ記憶媒体が上述したものに限定されないことは、当業者には明らかである。上記システムメモリ１８０４及び大容量記憶装置１８０７は、メモリと総称されてもよい。

本願の種々の実施例によれば、前記モデル訓練装置１８００は更に、インターネットなどのネットワークを介してネットワーク上のリモートコンピュータに接続されて実行されることも可能である。つまり、モデル訓練装置１８００は、前記システムバス１８０５に接続されたネットワークインタフェースユニット１８１１を介してネットワーク１８１２に接続されてもよい。又は、ネットワークインタフェースユニット１８１１を利用して他のタイプのネットワーク又はリモートコンピュータシステムに接続されてもよい。

前記メモリに、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶されており、前記少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットは、１つ又は１つ以上のプロセッサにより実行され、上記手部キーポイント認識モデルの訓練方法における各工程の機能を実現させる。

図１９は、本願の一例示的な実施例による手部キーポイント認識装置１０００の構造を示すブロック図である。該手部キーポイント認識装置１０００は、スマートフォン、タブレット、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ：動画専門家集団オーディオ規格のレイヤ３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ：：動画専門家集団オーディオ規格のレイヤ４）プレーヤーのような携帯型移動端末であってもよい。

一般的に、手部キーポイント認識装置１０００は、プロセッサ１００１と、メモリ１００２とを備える。

プロセッサ１００１は、１つ又は複数のプロセッシングコアを含んでもよい。例えば、４コアプロセッサ、８コアプロセッサ等である。プロセッサ１００１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ：プログラマブルロジックアレイ）のうちの少なくとも１つのハードウェア形態により実現してもよい。プロセッサ１００１は、ホストプロセッサ及びコプロセッサを含んでもよい。ホストプロセッサは、アウェイク状態であるデータを処理するためのプロセッサであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央プロセッサ）とも呼ばれる。コプロセッサは、待機状態であるデータを処理するための低電力プロセッサである。幾つかの実施例において、プロセッサ１００１に、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：画像プロセッサ）が集積されてもよい。ＧＰＵは、ディスプレイが表示すべきコンテンツのレンダリング及び描画に用いられる。幾つかの実施例において、プロセッサ１００１は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：人工知能）プロセッサを含んでもよい。該ＡＩプロセッサは、機器学習に関わる演算操作を処理するためのものである。任意選択的に、本願の実施例において、該ＡＩプロセッサは、ジェスチャー認識機能を持つニューラルネットワークプロセッサ（チップ）である。

メモリ１００２は、１つ又は複数のコンピュータ可読記憶媒体を含んでもよい。該コンピュータ可読記憶媒体は、有形で非一時的なものであってもよい。メモリ１００２は、高速ランダムアクセスメモリ、及び不揮発性メモリを含んでもよい。例えば、１つ又は複数の磁気ディスク記憶装置、フラッシュ記憶装置を含む。幾つかの実施例において、メモリ１００２における非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶するためのものである。該少なくとも１つの命令は、プロセッサ１００１により実行され、本願の方法実施例で提供される手部キーポイント認識方法を実現させる。

幾つかの実施例において、手部キーポイント認識装置１０００は、任意選択的に、外部装置インタフェース１００３と、少なくとも１つの外部装置と、を備えてもよい。具体的に、外部装置は、無線周波数回路１００４、タッチディスプレイ１００５、カメラコンポーネント１００６、オーディオ回路１００７、位置決めコンポーネント１００８及電源１００９のうちの少なくとも１つを含む。

外部装置インタフェース１００３は、Ｉ／Ｏ（Ｉｎｐｕｔ ／Ｏｕｔｐｕｔ：入力／出力）に関わる少なくとも１つの外部装置をプロセッサ１００１及びメモリ１００２に接続するためのものであってもよい。幾つかの実施例において、プロセッサ１００１、メモリ１００２及び外部装置インタフェース１００３は、同一のチップ又は回路基板に集積される。幾つかの他の実施例において、プロセッサ１００１、メモリ１００２及び外部装置インタフェース１００３のうちのいずれか１つ又は２つは、単独のチップ又は回路基板上で実現されてもよく、本実施例はこれを限定するものではない。

無線周波数回路１００４は、電磁信号とも呼ばれるＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ：無線周波数）信号の受信及び送信に用いられる。無線周波数回路１００４は電磁信号を経由して通信ネットワーク及び他の通信装置と通信する。無線周波数回路１００４は、電気信号を電磁信号に変換して送信するか又は受信した電磁信号を電気信号に変換する。任意選択的に、無線周波数回路１００４は、アンテナシステム、ＲＦ送受信機、１つ又は複数の増幅器、チューナ、発振器、デジタル信号プロセッサ、コーデックチップセット、加入者識別モジュールカードなどを含む。無線周波数回路１００４は、少なくとも１つの無線通信プロトコルにより、他の端末と通信することができる。該無線通信プロトコルは、ワールドワイドウェブ、メトロエリアネットワーク、イントラネット、各世代の移動体通信ネットワーク（２Ｇ、３Ｇ、４Ｇ及び５Ｇ）、無線ローカルエリアネットワーク及び／又はＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ：ワイヤレスフィデリティ）ネットワークを含むが、これらに限定されない。幾つかの実施例において、無線周波数回路１００４は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：近接場通信）に関わる回路を含んでもよく、本願は、これを限定するものではない。

ディスプレイ１００５は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ユーザインタフェース）を表示するためのものである。該ＵＩは、図形、テキスト、アイコン、ビデオ及びそれらの任意の組み合わせを含んでもよい。ディスプレイ１００５がタッチディスプレイである場合、ディスプレイ１００５は、ディスプレイ１００５の表面又は表面の上方のタッチ信号を収集する能力を持つ。該タッチ信号は、制御信号としてプロセッサ１００１に入力されて処理されてもよい。この場合、ディスプレイ１００５は、ソフトボタン及び／又はソフトキーボードとも呼ばれる仮想ボタン及び／又は仮想キーボードを提供するためのものであってもよい。幾つかの実施例において、ディスプレイ１００５は、１つであってもよく、手部キーポイント認識装置１０００のフロントパネルに設けられる。別の幾つかの実施例において、ディスプレイ１００５は少なくとも２つであってもよく、それぞれ手部キーポイント認識装置１０００の異なった表面に設けられるか又は折り畳むように設けられる。また幾つかの実施例において、ディスプレイ１００５は、フレキシブルディスプレイであってもよく、手部キーポイント認識装置１０００の湾曲表面又は折り畳み面に設けられる。なお、ディスプレイ１００５は、非矩形の不規則な画像に設けられてもよく、つまり、異形ディスプレイであってもよい。ディスプレイ１００５として、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：有機発光ダイオード）などの材質からなるものであってもよい。

カメラコンポーネント１００６は、画像又はビデオの収集に用いられる。任意選択的に、カメラコンポーネント１００６は、フロントカメラ及びリアカメラを備える。一般的に、フロントカメラは、ビデオ通話又は自撮りを実現させるためのものである。リアカメラは、写真又はビデオの撮影を実現させるためのものである。幾つかの実施例において、リアカメラは少なくとも２つであり、それぞれメインカメラ、デプスカメラ、広角カメラのうちのいずれか１つである。これにより、メインカメラとデプスカメラを組み合わせて背景ぼかし機能を実現させる。メインカメラと広角カメラを組み合わせてパノラマ撮影及びＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）撮影機能を実現させる。幾つかの実施例において、カメラコンポーネント１００６は、フラッシュを含んでもよい。フラッシュは、単色フラッシュであってもよく、二色フラッシュであってもよい。二色フラッシュは、暖色光フラッシュと冷色光フラッシュとの組み合わせを指し、様々な色温度での光線補償に用いられる。

オーディオ回路１００７は、ユーザと手部キーポイント認識装置１０００とのオーディオインタフェースを提供するためのものである。オーディオ回路１００７は、マイクロホン及びスピーカーを含んでもよい。マイクロホンは、ユーザ及び環境の音波を収集し、音波を電気信号に変換してプロセッサ１００１に入力して処理するか、又は無線周波数回路１００４に入力して音声通信を実現させる。ステレオ音響の収集又はノイズ低減を実現させるために、マイクロホンは、複数であってもよく、それぞれ手部キーポイント認識装置１０００の様々な部位に設けられる。マイクロホンは、アレイマイクロホン又は全方向収集型マイクロホンであってもよい。スピーカーは、プロセッサ１００１又は無線周波数回路１００４からの電気信号を音波に変換するためのものである。スピーカーは、従来のフィルムスピーカーであってもよく、圧電セラミックススピーカーであってもよい。スピーカーは、圧電セラミックススピーカーである場合、電気信号を、人間にとって可聴な音波に変換することができるだけでなく、電気信号を、人間にとって不可聴な音波に変換して距離測定などの用途に適用することもできる。幾つかの実施例において、オーディオ回路１００７は、イヤホンジャックを含んでもよい。

位置決めコンポーネント１００８は、手部キーポイント認識装置１０００の現在の地理的位置を位置決めし、ナビゲーション又はＬＢＳ（Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ：ロケーションベースサービス）を実現させるためのものである。位置決めコンポーネント１００８は、米国のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）、中国の北斗システム又はロシアのガリレオシステムに基づいた位置決めコンポーネントであってもよい。

電源１００９は、手部キーポイント認識装置１０００における各ユニットに給電するためのものである。電源１００９は、交流電、直流電、使い捨て電池又は充電可能な電池であってもよい。電源１００９が充電可能な電池を含む場合、該充電可能な電池は、有線充電電池又は無線充電電池であってもよい。有線充電電池は、有線回路により充電される電池であり、無線充電電池は、無線コイルにより充電される電池である。該充電可能な電池は、急速充電技術をサポートするものであってもよい。

幾つかの実施例において、手部キーポイント認識装置１０００は、１つ又は複数のセンサ１０１０を更に備える。該１つ又は複数のセンサ１０１０は、加速度センサ１０１１、ジャイロセンサ１０１２、圧力センサ１０１３、指紋センサ１０１４、光学センサ１０１５及び近接センサ１０１６を含むが、これらに限定されない。

加速センサ１０１１は、手部キーポイント認識装置１０００により確立された座標系の３つの座標軸における加速度の大きさを検出することができる。例えば、加速度センサ１０１１は、３つの座標軸における重力加速度の成分を検出することができる。プロセッサ１００１は、加速度センサ１０１１により収集された重力加速度信号に基づいて、タッチディスプレイ１００５を、横ビュー又は縦ビューによりユーザインタフェースの表示を行うように制御することができる。加速度センサ１０１１は、ゲーム又はユーザの運動データの収集にも用いられる。

ジャイロセンサ１０１２は、手部キーポイント認識装置１０００の本体方向及び回転角度を検出することができる。ジャイロセンサ１０１２は、ユーザによる端末１８００に対する３Ｄ動作を加速度センサ１０１１と協力して収集することができる。プロセッサ１００１は、ジャイロセンサ１０１２により収集されたデータに基づいて、動作検知（例えば、ユーザによる傾斜操作に基づいてＵＩを変える）、撮影時の画像安定化、ゲーム制御及び慣性航法機能を実現させることができる。

圧力センサ１０１３は、手部キーポイント認識装置１０００の側枠及び／又はタッチディスプレイ１００５の下層に設けられてもよい。圧力センサ１０１３が端末１８００の側枠に設けられる時、ユーザによる手部キーポイント認識装置１０００に対する把持信号を検出することができる。プロセッサ１００１は、圧力センサ１０１３により収集された把持信号に基づいて、左右手識別又はショートカット操作を行う。圧力センサ１０１３がタッチディスプレイ１００５の下層に設けられる時、プロセッサ１００１は、ユーザによるタッチディスプレイ１００５に対する加圧操作に基づいて、ＵＩインタフェースにおける操作可能なコントロールの制御を実現させる。操作可能なコントロールは、ボタンコントロール、スクロールバーコントロール、アイコンコントロール、メニューコントロールのうちの少なくとも１つを含む。

指紋センサ１０１４は、ユーザの指紋の収集に用いられる。収集された指紋に基づいて、ユーザの身分認証を行う。ユーザの身分が信頼できる身分であると判定した時、プロセッサ１００１は、該ユーザによる関連機密操作の実行を許可する。該機密操作は、スクリーンアンロック、暗号化情報の確認、ソフトウェアダウンロード、支払い及び設定変更などを含む。指紋センサ１０１４は、手部キーポイント認識装置１０００の正面、背面又は側面に設けられてもよい。手部キーポイント認識装置１０００に物理的ボタン又はメーカーＬｏｇｏが設けられた場合、指紋センサ１０１４は、物理的ボタン又はメーカーＬｏｇｏと一体化されてもよい。

光学センサ１０１５は、環境光の強度の収集に用いられる。一実施例において、プロセッサ１００１は、光学センサ１０１５により収集された環境光の強度に基づいて、タッチディスプレイ１００５の表示輝度を制御することができる。具体的に、環境光の強度が高い時、タッチディスプレイ１００５の表示輝度を高くする。環境光の強度が低い時、タッチディスプレイ１００５の表示輝度を低くする。別の実施例において、プロセッサ１００１は、光学センサ１０１５により収集された環境光の強度に基づいて、カメラコンポーネント１００６の撮影パラメータを動的に調整することもできる。

近接センサ１０１６は、距離センサとも呼ばれ、一般的に、手部キーポイント認識装置１０００の正面に設けられる。近接センサ１０１６は、ユーザと手部キーポイント認識装置１０００の正面との距離の収集に用いられる。一実施例において、近接センサ１０１６は、ユーザと手部キーポイント認識装置１０００の正面との距離が次第に小さくなることを検出した時、プロセッサ１００１により、タッチディスプレイ１００５をスクリーン点灯状態からスクリーン消灯状態に切り替えるように制御する。近接センサ１０１６は、ユーザと手部キーポイント認識装置１０００の正面との距離が次第に大きくなることを検出した時、プロセッサ１００１により、タッチディスプレイ１００５をスクリーン消灯状態からスクリーン点灯状態に切り替えるように制御する。

図１０に示した構造は、手部キーポイント認識装置１０００を限定するものではなく、図示したものより多く又は少ないユニットをふくんでもよく、幾つかのユニットを組み合わせてもよく、様々なユニット配置を利用してもよいことは、当業者であれば理解されるべきである。

一実施例において、モデル訓練装置を提供する。該装置は、メモリと、プロセッサと、を備え、メモリに、コンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行される場合、プロセッサに上記認識モデルの訓練方法の工程を実行させる。ここで、認識モデルの訓練方法の工程は、上記各実施例の認識モデルの訓練方法における工程であってもよい。

一実施例において、コンピュータ可読記憶媒体を提供する。該記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行される場合、プロセッサに上記認識モデルの訓練方法の工程を実行させる。ここで、認識モデルの訓練方法の工程は、上記各実施例の認識モデルの訓練方法における工程であってもよい。

一実施例において、手部キーポイント認識装置を提供する。該装置は、メモリと、プロセッサと、を備え、メモリにコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行される場合、プロセッサに、上記認識方法の工程を実行させる。ここで、認識方法の工程は、上記各実施例の認識方法における工程であってもよい。

一実施例において、コンピュータ可読記憶媒体を提供する。該記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサにより実行される場合、プロセッサに上記認識方法の工程を実行させる。ここで、認識方法の工程は、上記各実施例の認識方法における工程であってもよい。

任意選択的に、該コンピュータ可読記憶媒体は、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅｓ）又は光ディスク等を含んでもよい。ここで、ランダムアクセスメモリは、抵抗変化型ランダムアクセスメモリ（ＲｅＲＡＭ： Ｒｅｓｉｓｔａｎｃｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びダイナミックランダムアクセスメモリ（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。上記本願の実施例の番号は、ただ、記述するためのものであり、実施例の優劣を意味しない。

1001 プロセッサ
1002 メモリ
1003 外部装置インタフェース
1004 無線周波数回路
1005 ディスプレイ
1006 カメラコンポーネント
1007 オーディオ回路
1008 位置決めコンポーネント
1009 電源
1010 センサ
1011 加速度センサ
1012 ジャイロセンサ
1013 圧力センサ
1014 指紋センサ
1015 光学センサ
1016 近接センサ
1610 変換モジュール
1620 第１抽出モジュール
1630 第１訓練モジュール
1710 収集モジュール
1720 第２抽出モジュール
1730 認識モジュール
1801 中央処理ユニット
1802 ランダムアクセスメモリ
1803 読み出し専用メモリ
1804 システムメモリ
1805 システムバス
1807 大容量記憶装置
1808 ディスプレイ
1809 入力装置
1810 入力／出力コントローラ
1811 ネットワークインタフェースユニット
1812 ネットワーク
1813 オペレーティングシステム
1814 アプリケーションプログラム
1815 他のプログラムモジュール

Claims (20)

1. モデル訓練装置が実行する手部キーポイント認識モデルの訓練方法であって、
   Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するステップであって、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、ステップと、
   前記実模擬画像における手部画像を抽出するステップと、
   前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するステップであって、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、ステップと、を含むことを特徴とする、前記方法。
2. 前記Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換する前に、前記方法は、
   サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを訓練するステップであって、前記サンプル実画像は、実際のシーンで収集された画像である、ステップを更に含むことを特徴とする
   請求項１に記載の方法。
3. 前記サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを訓練するステップは、
   第１ジェネレーター及び第２ジェネレーターを構築するステップであって、前記第１ジェネレーターは、前記実模擬画像を生成するためのものであり、前記第２ジェネレーターは、仮想模擬画像を生成するためのものであり、前記仮想模擬画像は、前記サンプル仮想画像の画調を模倣するためのものである、ステップと、
   第１ディスクリミネーター及び第２ディスクリミネーターを構築するステップであって、前記第１ディスクリミネーターは、前記サンプル仮想画像と前記仮想模擬画像を判別するために用いられ、前記第２ディスクリミネーターは、前記サンプル実画像と前記実模擬画像を判別するために用いられる、ステップと、
   前記第１ジェネレーター、前記第２ジェネレーター、前記第１ディスクリミネーター及び前記第２ディスクリミネーターに基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを構築するステップと、
   前記サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失を算出するステップであって、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失に、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失が含まれる、ステップと、
   前記Ｃｙｃｌｅ−ＧＡＮモデルの損失に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを逆訓練するステップと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するステップは、
   前記Ｃｙｃｌｅ−ＧＡＮモデルにおける前記第１ジェネレーターにより、前記サンプル仮想画像を前記実模擬画像に変換するステップを含むことを特徴とする
   請求項３に記載の方法。
5. 前記実模擬画像における手部画像を抽出するステップは、
   前記実模擬画像をジェスチャー分割ニューラルネットワークに入力し、手部信頼領域を出力するステップであって、前記ジェスチャー分割ニューラルネットワークは、手部領域がラベリングされた画像に基づいて訓練を行うことで得られる、ステップと、
   前記手部信頼領域に基づいて、前記実模擬画像から手部画像を抽出するステップと、を含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
6. 前記ジェスチャー分割ニューラルネットワークは、ｎ個層の畳み込み層及びｎ個層の逆畳み込み層を含み、ｎ≧２であり、ｎは整数であり、
   前記実模擬画像をジェスチャー分割ニューラルネットワークに入力し、手部信頼領域を出力するステップは、
   前記ｎ個層の畳み込み層により前記実模擬画像を処理し、前記実模擬画像に対応する中間特徴マップを得るステップと、
   前記ｎ個層の逆畳み込み層により、前記中間特徴マップを処理し、前記実模擬画像に対応するターゲット特徴マップを得るステップと、
   前記ターゲット特徴マップに基づいて確率行列を生成するステップであって、前記確率行列は、前記実模擬画像における各画素点が手部である確率を表すためのものである、ステップと、
   前記確率行列に対して二値化処理を行い、前記手部領域に対応するヒートマップを出力するステップであって、前記ヒートマップは、前記実模擬画像における前記手部信頼領域を示すためのものである、ステップと、を含むことを特徴とする
   請求項５に記載の方法。
7. 前記ｎ個層の逆畳み込み層により、前記中間特徴マップを処理し、前記実模擬画像に対応するターゲット特徴マップを得ることは、
   第ｍ層の逆畳み込み層から出力された特徴マップと第ｎ−ｍ層の畳み込み層から出力された特徴マップをスプライシングするステップであって、１≦ｍ≦ｎ−１である、ステップと、
   第ｍ＋１層の逆畳み込み層により、スプライシングされた特徴マップを処理するステップと、を含むことを特徴とする
   請求項６に記載の方法。
8. 前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、前記手部キーポイント認識モデルを訓練するステップは、
   前記手部キーポイント認識モデルを構築するステップであって、前記手部キーポイント認識モデルに、二次元認識分岐及び三次元認識分岐が含まれ、前記二次元認識分岐は、ｉ個層の二次元残差層と畳み込み層を含み、前記三次元認識分岐は、ｉ個層の三次元残差層と全結合層を含み、また、最初のj個層の二次元残差層は、最初のj個層の三次元残差層と結合され、２≦ｊ≦ｉ−１であり、ｉ及びｊは整数である、ステップと、
   前記手部画像及び前記キーポイント座標に基づいて、前記手部キーポイント認識モデルの二次元認識損失及び三次元認識損失を算出するステップであって、前記二次元認識損失は、前記二次元認識分岐の認識損失であり、前記三次元認識損失は、前記三次元認識分岐の認識損失である、ステップと、
   前記二次元認識損失及び前記三次元認識損失に基づいて、前記手部キーポイント認識モデルを逆訓練するステップと、を含むことを特徴とする
   請求項１から４のうちいずれか一項に記載方法。
9. 前記手部画像及び前記キーポイント座標に基づいて、前記手部キーポイント認識モデルの二次元認識損失及び三次元認識損失を算出するステップは、
   前記手部画像をそれぞれ前記二次元認識分岐及び前記三次元認識分岐に入力するステップと、
   第ｋ層の二次元残差層から出力された特徴マップと第ｋ層の三次元残差層から出力された特徴マップを加算するステップであって、１≦ｋ≦ｊ−１である、ステップと、
   加算された特徴マップを第ｋ＋１層の二次元残差層及び第ｋ＋１層の三次元残差層に入力するステップと、
   第ｊ＋１層から第ｉ層の二次元残差層及び前記畳み込み層により、前記第ｊ層の二次元残差層から出力された特徴マップを処理し、二次元認識結果を得るステップと、
   第ｊ＋１層から第ｉ層の三次元残差層及び前記全結合層により、前記第ｊ層の三次元残差層から出力された特徴マップを処理し、三次元認識結果を得るステップと、
   前記二次元認識結果及び前記キーポイント座標に基づいて前記二次元認識損失を算出するステップと、
   前記三次元認識結果及び前記キーポイント座標に基づいて前記三次元認識損失を算出ステップと、を含むことを特徴とする
   請求項８に記載の方法。
10. 手部キーポイント認識装置が実行する手部キーポイント認識方法であって、
    実画像を収集するステップであって、前記実画像に、手部画像が含まれる、ステップと、
    前記実画像における前記手部画像を抽出するステップと、
    前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るステップであって、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる、ステップと、を含むことを特徴とする、前記方法。
11. 手部キーポイント認識モデル訓練装置であって、
    Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像を実模擬画像に変換するように構成される変換モジュールであって、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイント座標が含まれ、前記実模擬画像は、実際のシーンで収集された画像を模倣するためのものである、変換モジュールと、
    前記実模擬画像における手部画像を抽出するように構成される第１抽出モジュールと、
    前記実模擬画像における手部画像及び前記キーポイント座標に基づいて、手部キーポイント認識モデルを訓練するように構成される第１訓練モジュールであって、前記手部キーポイント認識モデルは、入力された実画像に基づいて、前記実画像における手部の手部キーポイント座標を出力するためのものである、第１訓練モジュールと、を備えることを特徴とする、前記装置。
12. 前記装置は、
    サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを訓練するように構成される第２訓練モジュールを更に備え、前記サンプル実画像は、実際のシーンで収集された画像であることを特徴とする
    請求項１１に記載の装置。
13. 第２訓練モジュールは更に、第１ジェネレーター及び第２ジェネレーターを構築するように構成され、前記第１ジェネレーターは、前記実模擬画像を生成するためのものであり、前記第２ジェネレーターは、仮想模擬画像を生成するためのものであり、前記仮想模擬画像は、前記サンプル仮想画像の画調を模倣するためのものであり、前記第２訓練モジュールは更に、第１ディスクリミネーター及び第２ディスクリミネーターを構築するように構成され、前記第１ディスクリミネーターは、前記サンプル仮想画像と前記仮想模擬画像を判別するために用いられ、前記第２ディスクリミネーターは、サンプル実画像と前記実模擬画像を判別するために用いられ、前記第２訓練モジュールは更に、前記第１ジェネレーター、前記第２ジェネレーター、前記第１ディスクリミネーター及び前記第２ディスクリミネーターに基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを構築し、前記サンプル実画像及び前記サンプル仮想画像に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失を算出するように構成され、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失に、ジェネレーター損失、ディスクリミネーター損失及びサイクル損失が含まれ、前記第２訓練モジュールは更に、前記Ｃｙｃｌｅ−ＧＡＮモデルの損失に基づいて、前記Ｃｙｃｌｅ−ＧＡＮモデルを逆訓練するように構成されることを特徴とする
    請求項１１に記載の装置。
14. 前記変換モジュールは更に、前記Ｃｙｃｌｅ−ＧＡＮモデルにおける前記第１ジェネレーターにより、前記サンプル仮想画像を前記実模擬画像に変換するように構成されることを特徴とする
    請求項１３に記載の装置。
15. 前記第１抽出モジュールは更に、前記実模擬画像をジェスチャー分割ニューラルネットワークに入力し、手部信頼領域を出力するように構成され、前記ジェスチャー分割ニューラルネットワークは、手部領域がラベリングされた画像に基づいて訓練を行うことで得られ、前記第１抽出モジュールは更に、前記手部信頼領域に基づいて、前記実模擬画像から手部画像を抽出するように構成されることを特徴とする
    請求項１１から１４のうちいずれか一項に記載の装置。
16. 前記ジェスチャー分割ニューラルネットワークは、ｎ個層の畳み込み層及びｎ個層の逆畳み込み層を含み、ｎ≧２であり、ｎは整数であり、前記第１抽出モジュールは更に、前記ｎ個層の畳み込み層により前記実模擬画像を処理し、前記実模擬画像に対応する中間特徴マップを得て、前記ｎ個層の逆畳み込み層により、前記中間特徴マップを処理し、前記実模擬画像に対応するターゲット特徴マップを得て、前記ターゲット特徴マップに基づいて確率行列を生成するように構成され、前記確率行列は、前記実模擬画像における各画素点が手部である確率を表すためのものであり、前記前記第１抽出モジュールは更に、前記確率行列に対して二値化処理を行い、前記手部領域に対応するヒートマップを出力するように構成され、前記ヒートマップは、前記実模擬画像における前記手部信頼領域を示すためのものであることを特徴とする
    請求項１５に記載の装置。
17. 手部キーポイント認識装置であって、
    実画像を収集するように構成される収集モジュールであって、前記実画像に、手部画像が含まれる、収集モジュールと、
    前記実画像における前記手部画像を抽出するように構成される第２抽出モジュールと、
    前記手部画像を手部キーポイント認識モデルに入力し、手部キーポイント座標を得るように構成される認識モジュールであって、前記手部キーポイント認識モデルは、実模擬画像及び前記実模擬画像における手部画像の三次元ラベリングデータに基づいて訓練されたものであり、前記実模擬画像は、Ｃｙｃｌｅ−ＧＡＮモデルにより、サンプル仮想画像に基づいて生成されたものであり、前記Ｃｙｃｌｅ−ＧＡＮモデルは、サンプル実画像及び前記サンプル仮想画像に基づいて訓練されて生成されたものであり、前記サンプル仮想画像は、三次元モデリングにより生成された画像であり、且つ、前記サンプル仮想画像に、手部キーポイントに対応するキーポイン座標が含まれる、認識モジュールと、を備えることを特徴とする、前記手部キーポイント認識装置。
18. モデル訓練装置であって、前記モデル訓練装置は、プロセッサと、メモリと、を備え、前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサにより実行される場合、前記プロセッサに、請求項１から９のうちいずれか一項に記載の方法の工程を実行させることを特徴とする、前記モデル訓練装置。
19. 手部キーポイント認識装置であって、前記手部キーポイント認識装置は、プロセッサと、メモリと、を備え、前記メモリにコンピュータ可読命令が記憶されており、前記コンピュータ可読命令が前記プロセッサにより実行される場合、前記プロセッサに、請求項１０に記載の方法の工程を実行させることを特徴とする、前記手部キーポイント認識装置。
20. コンピュータに、請求項１から９のうちいずれか一項に記載の方法、又は請求項１０に記載の方法を実行させることを特徴とする、コンピュータプログラム。

Images