JP2021533483A - ビデオフレーム処理方法及び装置 - Google Patents

Abstract

本願の実施例は、ビデオフレーム処理方法及び装置を開示する。この方法の具体的な一実施形態は、手を含むビデオフレームを取得し、このビデオフレームに含まれる手のキーポイントを検出するステップと、このキーポイントに基づいて手の特殊効果を生成するステップと、生成した特殊効果をこのビデオフレームの画面に表示するステップと、を含む。本願の実施例は、ビデオ再生中に手部の特殊効果を生成し且つビデオフレームの画面に表示することで、ビデオフレームにおける手の効果を豊富にして、手のビデオフレームでの表現力をより強くすることができる。

Description

関連出願の相互参照
本願は、２０１８年８月７日に提出された、出願番号が２０１８１０８８８８７８．１で、出願者が北京バイトダンスネットワーク技術株式会社で、発明の名称が「ビデオフレーム処理方法及び装置」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願の実施例は、コンピュータ技術に関し、具体的には、インターネット技術に関し、特に、ビデオフレーム処理方法及び装置に関する。

画像処理技術が発展するに従って、画像に編集や装飾等の処理を施すことが一般になっている。従来技術においては、画像における顔に様々な効果を加えて、画像における顔をより活気のあるようにすることができる。画像における顔以外の位置は、表示する効果が一般に単一である。

本願の実施例は、ビデオフレーム処理方法及び装置を提供する。

第１の態様では、本願の実施例は、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出するステップと、キーポイントに基づいて手の特殊効果を生成するステップと、生成した特殊効果をビデオフレームの画面に表示するステップと、を含むビデオフレーム処理方法を提供する。

何らかの実施例では、生成する特殊効果が線状パターンを含み、キーポイントに基づいて手の特殊効果を生成するステップには、キーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定するステップと、少なくとも１つの端点の位置に基づいて、線状パターンを生成するステップと、を含む。

何らかの実施例では、キーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定するステップには、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するステップを含み、少なくとも１つの端点の位置に基づいて、線状パターンを生成するステップには、１つの端点の位置に基づいて、メインラインを生成するステップを含み、メインラインの方向と所定指示方向の差が所定の角度範囲にある。

何らかの実施例では、少なくとも１つの端点の位置に基づいて、線状パターンを生成するステップには、少なくとも１つの端点がメインラインに位置する付属ラインを生成するステップを更に含む。

何らかの実施例では、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するステップには、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の手指が曲がっているか否かを決定するステップと、そのうちの１本の指が曲がっていないと決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するステップと、を含む。

何らかの実施例では、線状パターンが目標ラインを含み、キーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定するステップには、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択し、選択した目標キーポイントの位置に基づいて目標ラインの目標端点の位置を決定するステップを含み、少なくとも１つの端点の位置に基づいて、線状パターンを生成するステップには、目標端点の位置により、目標端点を端点とする目標ラインを生成するステップを含み、目標ラインが２つの手の間の領域に位置する。

何らかの実施例では、目標ラインの数量が少なくとも２本であり、少なくとも２本の目標ラインのうち、交差するものがある。

何らかの実施例では、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択するステップには、手において指示方向が所定指示方向である指が存在しないと決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するステップを含む。

何らかの実施例では、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択するステップには、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、所定指示方向になっているそのうちの１本の指が曲がっているか否かを決定するステップと、所定指示方向になっているそのうちの１本の指が曲がっていると決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するステップと、を含む。

第２の態様では、本願の実施例は、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出するように構成される取得ユニットと、キーポイントに基づいて手の特殊効果を生成するように構成される生成ユニットと、生成した特殊効果をビデオフレームの画面に表示するように構成される表示ユニットと、を含むビデオフレーム処理装置を提供する。

何らかの実施例では、生成する特殊効果が線状パターンを含み、生成ユニットは、キーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定するように構成される決定モジュールと、少なくとも１つの端点の位置に基づいて、線状パターンを生成するように構成される生成モジュールと、を含む。

何らかの実施例では、決定モジュールは、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するように構成される決定サブモジュールを含み、生成モジュールは、１つの端点の位置に基づいて、メインラインを生成するように構成されるメインライン生成サブモジュールを含み、メインラインの方向と所定指示方向の差が所定の角度範囲にある。

何らかの実施例では、生成モジュールは、少なくとも１つの端点がメインラインに位置する付属ラインを生成するように構成される付属ライン生成モジュールを更に含む。

何らかの実施例では、決定サブモジュールは、更に、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の手指が曲がっているか否かを決定し、そのうちの１本の指が曲がっていないと決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するように構成される。

何らかの実施例では、線状パターンが目標ラインを含み、決定モジュールは、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択し、選択した目標キーポイントの位置に基づいて目標ラインの目標端点の位置を決定するように構成される決定サブモジュールを含み、生成モジュールは、目標端点の位置により、目標端点を端点とする目標ラインを生成するように構成される生成サブモジュールを含み、目標ラインが２つの手の間の領域に位置する。

何らかの実施例では、目標ラインの数量が少なくとも２本であり、少なくとも２本の目標ラインのうち、交差するものがある。

何らかの実施例では、決定サブモジュールは、更に、手において指示方向が所定指示方向である指が存在しないと決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するように構成される。

何らかの実施例では、決定サブモジュールは、更に、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、所定指示方向になっているそのうちの１本の指が曲がっているか否かを決定し、所定指示方向になっているそのうちの１本の指が曲がっていると決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するように構成される。

第３の態様では、本願の実施例は、１つ又は複数のプロセッサーと、１つ又は複数のプログラムを記憶するための記憶装置と、を含み、１つ又は複数のプログラムが１つ又は複数のプロセッサーにより実行されると、１つ又は複数のプロセッサーがビデオフレーム処理方法のいずれか１つの実施例の方法を実現する電子機器を提供する。

第４の態様では、本願の実施例は、コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、このプログラムがプロセッサーにより実行されると、ビデオフレーム処理方法のいずれか１つの実施例の方法を実現するコンピュータ可読記憶媒体を提供する。

本願の実施例が提供するビデオフレーム処理手段は、まず、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出する。次に、キーポイントに基づいて手の特殊効果を生成し、ビデオフレームの画面に特殊効果を表示する。本願の実施例は、ビデオ再生中に手部の特殊効果を生成し且つビデオフレームの画面に表示することで、ビデオフレームにおける手の効果を豊富にして、手のビデオフレームでの表現力をより強くすることができる。

以下の図面を参照して行った非限定的実施例に対する詳しい説明を読むことで、本願の他の特徴、目的及びメリットがより明瞭になる。

本願を適用できる例示的システム構造図である。 本願のビデオフレーム処理方法に係る一実施例のフローチャートである。 本願のビデオフレーム処理方法に係る一適用場面の模式図である。 本願のビデオフレーム処理方法に係るまた１つの実施例のフローチャートである。 図４ａにおける線状パターンの模式図である。 本願のビデオフレーム処理装置に係る一実施例の構造模式図である。 本願の実施例の電子機器を実現することに適合するコンピュータシステムの構造模式図である。

以下、図面及び実施例を参照しながら、本願を更に詳細に説明する。ここに記載の具体的な実施例は関連発明を解釈するためのものに過ぎず、この発明を限定する意図がないことを理解されたい。なお、更に、説明の便宜上、発明に関連する部分しか図示されていないことを説明する必要がある。

矛盾しない限り、本願の実施例や実施例の特徴を互に組み合わせても良いことを説明する必要がある。以下、図面を参照しながら実施例に基づいて本願を詳細に説明する。

図１は本願のビデオフレーム処理方法又はビデオフレーム処理装置の実施例を適用できる例示的システム構造１００を示す。

図１に示すように、システム構造１００は、端末装置１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含んで良い。ネットワーク１０４は端末装置１０１、１０２、１０３及びサーバ１０５の間で通信リンクを提供するための媒体である。ネットワーク１０４は、例えば、有線、無線通信リンク又は光ファイバー通信ケーブル等の様々な接続タイプを含んでよい。

ユーザは、端末装置１０１、１０２、１０３を用いてネットワーク１０４を経由してサーバ１０５と対話して、メッセージの受信又は送信等を行うことができる。端末装置１０１、１０２、１０３には、例えば、画像処理アプリケーション、映像類アプリケーション、生放送アプリケーション、インスタントメッセージングツール、メールクライアント、ソーシャルプラットフォームソフトウェア等の様々な通信クライアントアプリケーションがインストールされていてよい。

ここの端末装置１０１、１０２、１０３はハードウェアであっても、ソフトウェアであってもよい。端末装置１０１、１０２、１０３がハードウェアである時に、ディスプレイスクリーンを備えた各種電子機器であってよく、スマートフォン、タブレット、電子書籍リーダー、ラップトップ及びデスクトップコンピューター等を含むが、それらに限定されない。端末装置１０１、１０２、１０３がソフトウェアである時に、以上で列挙された電子機器にインストールされてよい。複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するための複数のソフトウェア又はソフトウェアモジュール）として実現してもよく、単一なソフトウェア又はソフトウェアモジュールとして実現してもよい。ここで具体的に限定されない。

サーバ１０５は各種サービスを提供するサーバ、例えば、端末装置１０１、１０２、１０３を支援する後段サーバであってよい。後段サーバは、受信した画像等のデータに分析等の処理を実施し、処理結果（例えば、特殊効果を含むビデオフレーム）を端末装置にフィードバックすることができる。

本願の実施例で提供されたビデオフレーム処理方法がサーバ１０５又は端末装置１０１、１０２、１０３によって実行可能であり、それに対応するように、ビデオフレーム処理装置がサーバ１０５又は端末装置１０１、１０２、１０３に設置可能であることを説明する必要がある。

図１における端末装置、ネットワーク及びサーバの数量が例示的なものに過ぎないことを理解されたい。実現の需要に応じて、任意数量の端末装置、ネットワーク及びサーバを備えても良い。

次に、本願のビデオフレーム処理方法に係る一実施例のフロー２００を示す図２を参照する。このビデオフレーム処理方法は、下記ステップを含む。

ステップ２０１、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出する。

本実施例では、ビデオフレーム処理方法の実行主体（例えば、図１に示すサーバ又は端末装置）は、ビデオ再生中に手を含むビデオフレームを取得することができる。また、上記実行主体は、このビデオフレームに含まれる手のキーポイントを検出することができる。キーポイントの情報はキーポイントの位置情報を含んでよく、なお、キーポイントの情報は更にキーポイントの特徴情報、例えばキーポイントの色情報を含んで良い。例を挙げると、キーポイントの情報は特徴ベクトルであってよい。

本実施例の何らかの選択可能な実現形態では、
手を含むビデオフレームを取得するステップ２０１には、
ビデオフレームを取得し、ビデオフレームに手検出を実施して画像に手を含むか否かを決定するステップと、ビデオフレームに手を含むと決定したことに応えて、ビデオフレームを手を含むビデオフレームとするステップと、を含んで良い。

これらの選択可能な実現形態では、ビデオフレーム処理方法の実行主体は、ビデオ中のビデオフレームを取得し、このビデオフレームに手検出を実施することができる。手検出によって、ビデオフレームに手を含むか否かを決定することができる。手検出の結果として、このビデオフレームに手を含む場合に、このビデオフレームを手を含むビデオフレームとする。

これらの実現形態は、手検出によって、ビデオフレームに手を含むか否かを正確に決定することができる。

ステップ２０２、キーポイントに基づいて手の特殊効果を生成する。

本実施例では、上記実行主体は、キーポイントを検出した後、キーポイントに基づいて手の特殊効果を生成することができる。具体的には、特殊効果は、例えば、稲妻、暗雲、光束又は水柱等のビデオフレームに表示可能な各種形状のパターンであってよい。ここの手の特殊効果は、具体的には、手が所在する位置、手の周り及び／又は手の間等に表示される特殊効果であってよい。

実践する際に、上記実行主体は様々な方式でキーポイントに基づいて手の特殊効果を生成することができる。例えば、予め決定された特殊効果のテンプレートを取得し、キーポイントを特殊効果の中心点として手の特殊効果を生成することができる。なお、検出されたキーポイント毎に、予め設定された特殊効果のパターンを表示することもできる。

ステップ２０３、生成した特殊効果をビデオフレームの画面に表示する。

本実施例では、上記実行主体は、生成した特殊効果をビデオフレームの画面に表示することができる。ビデオ再生中に、あるビデオフレームを再生している時に、このビデオフレームの画面に特殊効果をリアルタイムに表示することができる。

次に、本実施例のビデオフレーム処理方法に係る適用場面の一模式図である図３を参照する。図３の適用場面で、実行主体３０１は、手を含むビデオフレーム３０２を取得し、ビデオフレーム３０２に含まれる手のキーポイント３０３を検出し、キーポイント３０３に基づいて手の特殊効果３０４を生成し、生成した特殊効果をビデオフレームの画面３０４に表示することができる。

本実施例は、ビデオ再生中に手部の特殊効果を生成し且つビデオフレームの画面に表示することで、ビデオフレームにおける手の効果を豊富にして、手のビデオフレームでの表現力をより強くすることができる。

更に、ビデオフレーム処理方法のまた１つの実施例のフロー４００を示す図４ａを参照する。このビデオフレーム処理方法のフロー４００は、下記ステップを含む。

ステップ４０１、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出する。

本実施例では、ビデオフレーム処理方法の実行主体（例えば、図１に示すサーバ又は端末装置）は、手を含むビデオフレームを取得することができる。また、このビデオフレームに含まれる手のキーポイントを検出することができる。キーポイントの情報は、キーポイントの位置情報を含んで良いが、更にキーポイントの特徴情報を含んでも良い。

ステップ４０２、キーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定する。

本実施例では、特殊効果が線状パターンを含んで良い。上記実行主体はキーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定することができる。ここで、線状パターンが２つの端点を有することが一般であり、キーポイントに基づいて少なくとも１つの端点の位置を決定することができる。具体的には、様々な方式で少なくとも１つの端点の位置を決定することができる。例えば、キーポイントの位置を線状パターンの端点としてよい。キーポイントの座標値との差が所定の閾値以内である座標を決定し、この座標を端点の座標とするようにしてもよく、例えば、このキーポイントを円心とし、このキーポイントの横縦座標値との差が３以内であるある位置にする。具体的には、線状パターンは細長いパターンであり、直線型や曲がっているもの、方向を変えたもの又はブランチ等であってよい。

ステップ４０３、少なくとも１つの端点の位置に基づいて、線状パターンを生成する。

実施例では、上記実行主体は、上記少なくとも１つの端点の位置に基づいて、線状パターンを生成することができる。様々な方式で線状パターンを決定することができる。例えば、線状パターンのテンプレートが決定されたものであり、テンプレートが１つであっても、複数であってもよい。それらからランダムに又は優先順位で１つのテンプレートを選択することができる。次に、上記少なくとも１つの端点を端点とする、選択したテンプレートに対応する線状パターンを表示できる。１つの端点だけを決定した場合に、所定のパターン表示方向でテンプレートに対応する線状パターンを生成することができる。２つの端点が決定された場合に、これら２つの端点を直接テンプレートの２つの端点に対応付けることができる。図４ｂは線状パターンを示す。

本実施例の何らかの選択可能な実現形態では、上記ステップ４０２には、
手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するステップを含んで良い。

これらの実現形態では、上記実行主体は、ビデオフレームに含まれる手のそのうちの１本の指の指示方向が所定指示方向であると決定した場合に、上記そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定することができる。具体的には、所定指示方向は、例えば、上向き、左向きのような任意の指示方向であってよい。ここの方向は一定の誤差が許容され、例えば、上向きの場合にそれぞれ左又は右への１０度の誤差が許容される。

これらの実現形態の何らかの選択可能な適用場面では、ステップ４０３には、
１つの端点の位置に基づいて、メインラインを生成するステップを含んでよく、メインラインの方向と所定指示方向の差が所定の角度範囲にある。

これらの選択可能な適用場面では、線状パターンがメインラインを含んで良い。上記実行主体は、１つの端点の位置に基づいて、線状パターンのメインラインを生成することができる。メインラインは上記所定指示方向を体現することができ、所定指示方向に対して一致性がある。

これらの適用場面の何らかの選択可能な状況では、ステップ４０３には、
少なくとも１つの端点がメインラインに位置する付属ラインを生成するステップを含んで良い。

これらの選択可能な状況では、上記実行主体は付属ラインを生成できる。具体的には、付属ラインは、１つの端点のみがメインラインに位置してもよく、２つの端点が共にメインラインに位置してもよい。付属ラインはメインラインのブランチであってよい。例を挙げると、線状パターンは１本の木であってよく、メインラインは木の幹であってよく、そのように付属ラインは木の幹の傍の枝であってよい。一般的には、メインラインのライン幅が付属ラインより大きくなっていてよい。

これらの実現形態においては、メインライン及び付属ラインを利用して、筋が豊富な線状パターンを生成することができる。また、手キーポイントの位置に基づいて、線状パターンを正確に決定する。

これらの実現形態の何らかの選択可能な適用場面では、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定する上記ステップには、
手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の手指が曲がっているか否かを決定するステップと、
そのうちの１本の指が曲がっていないと決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するステップと、を含む。

これらの選択可能な適用場面では、上記実行主体は、上記手のそのうちの１本の指の指示方向が所定指示方向であると決定した場合に、この指が曲がっているか否かを決定してよい。具体的には、検出されたキーポイントの位置によって、指が曲がっているか否かを決定することができる。例えば、キーポイントａが人差し指の指先キーポイントであり、キーポイントｂが人差し指の根部キーポイントであり、キーポイントａの位置とキーポイントｂの位置との間の距離が所定の閾値Ｘより小さければ、指が曲がっていると決定でき、この条件を満足しなければ指が曲がっていないと決定できる。なお、上記キーポイントａ及びキーポイントｂを検出した上で、人差し指が曲がっている時に主に関わる指関節のキーポイントｃを検出してもよい。キーポイントｃを頂点とした夾角ａｃｂが１２０°より小さい時に、指が曲がっていると決定できる。この夾角が１２０°より小さくない時に、指が曲がっていないと決定できる。

本実施例の何らかの選択可能な実現形態では、線状パターンが目標ラインを含み、上記ステップ４０２には、
ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択し、選択した目標キーポイントの位置に基づいて目標ラインの目標端点の位置を決定するステップを含んで良い。

これらの選択可能な実現形態では、上記実行主体は２つの手の間で１本又は２本以上の目標ラインを生成することができる。２つの手のそれぞれのキーポイントから目標キーポイントを選択できる。それぞれの目標キーポイントに基づいて目標ラインの１つの端点、即ち目標端点を生成する。

実践する際に、それぞれの手の複数のキーポイントからランダムに目標キーポイントを選択できる。所定の優先順位で、複数のキーポイントから優先順位が高い目標キーポイントを決定することもできる。

具体的には、様々な方式で目標端点の位置を決定できる。目標キーポイントの位置を線状パターンの端点としてよい。目標キーポイント座標値との差が所定の閾値以内にある座標を決定し、この座標を目標端点の座標とするようにしてもよい。

これらの実現形態の何らかの選択可能な適用場面では、上記ステップ４０３には、
目標端点の位置により、目標端点を端点とする目標ラインを生成するステップを含んでよく、目標ラインが２つの手の間の領域に位置する。

これらの選択可能な適用場面では、上記実行主体は決定された目標端点の位置により目標ラインを生成でき、この目標ラインは目標端点を端点とする。上記２つの手の各者の１つの目標キーポイントにより、１つの目標端点を決定して、２つの手に対応する２つの目標端点を得る。これら２つの目標端点が目標ラインの２つの端点となる。特殊効果としては、目標ラインは、稲妻、うどん、水柱等であってよい。２つの手の間のキーポイントに基づいて生成した目標ラインがビデオフレームにおける２つの手の間の領域に位置する。

これらの適用場面の何らかの選択可能な状況では、目標ラインの数量が少なくとも２本であり、少なくとも２本の目標ラインのうち、交差するものがある。

これらの選択可能な状況では、目標ラインの数量が少なくとも２本である。特殊効果の模擬効果を増強するために、目標ラインのうち、少なくとも１つの交差箇所がある。

これらの実現形態の何らかの選択可能な適用場面では、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択する上記ステップには、
手において指示方向が所定指示方向である指が存在しないと決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するステップを含んで良い。

これらの選択可能な適用場面では、上記実行主体は、ビデオフレームに含まれる手において指示方向が所定指示方向である指が存在するか否かを決定でき、存在しない場合に、ビデオフレームに２つの手を含むか否かを決定する。２つの手を含む場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択する。

これらの実現形態の何らかの選択可能な適用場面では、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択する上記ステップには、
手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、所定指示方向になっているそのうちの１本の指が曲がっているか否かを決定するステップと、所定指示方向になっているそのうちの１本の指が曲がっていると決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するステップと、を含んで良い。

これらの適用場面では、そのうちの１本の指が所定指示方向である場合に、指が曲がっているものであり且つビデオフレームに２つの手を含むと決定した時に、それぞれの手の複数のキーポイントから目標キーポイントを選択することができる。

これらの実現形態においては、２つの手の間の目標ラインを生成でき、画面における２つの手にインタラクション効果を持たせ、特殊効果をより豊富にすることができる。

ステップ４０４、生成した特殊効果をビデオフレームの画面に表示する。

本実施例では、上記実行主体は、生成した特殊効果をビデオフレームの画面に表示することができる。ビデオ再生中に、あるビデオフレームを再生している時に、このビデオフレームの画面に特殊効果をリアルタイムに表示することができる。

本実施例は、ビデオフレームの画面に１つの手の特殊効果及び／又は２つの手の特殊効果を表示でき、そのようにして、ビデオフレームでは多種の特殊効果を正確且つ豊富に表示することができる。

更に図５を参照し、上記の各図面に示す方法を実現するために、本願はビデオフレーム処理装置の一実施例を提供し、この装置実施例は図２に示す方法実施例に対応するものであり、この装置は具体的に各種電子機器に適用可能である。

図５に示すように、本実施例のビデオフレーム処理装置５００は、取得ユニット５０１、生成ユニット５０２及び表示ユニット５０３を含む。そのうち、取得ユニット５０１は、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出するように構成され、生成ユニット５０２は、キーポイントに基づいて手の特殊効果を生成するように構成され、表示ユニット５０３は、ビデオフレームの画面に特殊効果を表示する。

何らかの実施例では、取得ユニット５０１は、ビデオ再生中に手を含むビデオフレームを取得することができる。また、上記実行主体は、このビデオフレームに含まれる手のキーポイントを検出することができる。キーポイントの情報は、キーポイントの位置情報を含んでよく、なお、キーポイントの情報は、更にキーポイントの特徴情報、例えばキーポイントの色情報を含んでもよい。例を挙げると、キーポイントの情報は特徴ベクトルであってよい。

何らかの実施例では、生成ユニット５０２は、キーポイントを検出した後、キーポイントに基づいて手の特殊効果を生成することができる。具体的には、特殊効果は、例えば、稲妻、暗雲、光束又は水柱等のビデオフレームに表示可能な各種形状のパターンであってよい。ここの手の特殊効果は、具体的には、手が所在する位置、手の周り及び／又は手の間等に表示される特殊効果であってよい。

何らかの実施例では、生成した特殊効果をビデオフレームの画面に表示することができる。ビデオ再生中に、あるビデオフレームを再生している時に、このビデオフレームの画面に特殊効果をリアルタイムに表示することができる。

本実施例の何らかの選択可能な実現形態では、生成する特殊効果が線状パターンを含み、生成ユニットは、キーポイントの位置に基づいて、線状パターンの少なくとも１つの端点の位置を決定するように構成される決定モジュールと、少なくとも１つの端点の位置に基づいて、線状パターンを生成するように構成される生成モジュールと、を含む。

本実施例の何らかの選択可能な実現形態では、決定モジュールは、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するように構成される決定サブモジュールを含み、生成モジュールは、１つの端点の位置に基づいて、メインラインを生成するように構成されるメインライン生成サブモジュールを含み、メインラインの方向と所定指示方向の差が所定の角度範囲にある。

本実施例の何らかの選択可能な実現形態では、生成モジュールは、少なくとも１つの端点がメインラインに位置する付属ラインを生成するように構成される付属ライン生成モジュールを更に含む。

本実施例の何らかの選択可能な実現形態では、決定サブモジュールは、更に、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、そのうちの１本の手指が曲がっているか否かを決定し、そのうちの１本の指が曲がっていないと決定したことに応えて、そのうちの１本の指の指先キーポイントの位置に基づいて、線状パターンのメインラインの一つの端点の位置を決定するように構成される。

本実施例の何らかの選択可能な実現形態では、線状パターンが目標ラインを含み、決定モジュールは、ビデオフレームに２つの手を含むと決定したことに応えて、２つの手のそれぞれのキーポイントから目標キーポイントを選択し、選択した目標キーポイントの位置に基づいて目標ラインの目標端点の位置を決定するように構成される決定サブモジュールを含み、生成モジュールは、目標端点の位置により、目標端点を端点とする目標ラインを生成するように構成される生成サブモジュールを含み、目標ラインが２つの手の間の領域に位置する。

本実施例の何らかの選択可能な実現形態では、目標ラインの数量が少なくとも２本であり、少なくとも２本の目標ラインのうち、交差するものがある。

本実施例の何らかの選択可能な実現形態では、決定サブモジュールは、更に、手において指示方向が所定指示方向である指が存在しないと決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するように構成される。

本実施例の何らかの選択可能な実現形態では、決定サブモジュールは、更に、手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、所定指示方向になっているそのうちの１本の指が曲がっているか否かを決定し、所定指示方向になっているそのうちの１本の指が曲がっていると決定したことに応えて、ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するように構成される。

本願の実施例の電子機器を実現することに適合するコンピュータシステム６００の構造模式図を示す図６を参照する。図６に示す電子機器は一例に過ぎず、本願の実施例の機能や使用範囲にどんな制限も加えない。

図６に示すように、コンピュータシステム６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されたプログラム又は記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムによって各種の適当な動作及び処理を実行できる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、更に、システム６００の動作に必要な各種のプログラム及びデータが記憶されている。ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３がバス６０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェイス６０５もバス６０４に接続される。

キーボード、マウスなどを含む入力部６０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部６０７と、ハードディスクなどを含む記憶部６０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部６０９とがＩ／Ｏインタフェース６０５に接続されている。通信部６０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライバ６１０も必要に応じてＩ／Ｏインタフェース６０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体６１１は、必要に応じてドライバ６１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部６０８にインストールする。

特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それはコンピュータ可読媒体に搭載された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例では、該コンピュータプログラムは通信部６０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体６１１からインストールされ得る。中央処理装置（ＣＰＵ）６０１によって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。本願のコンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体又はそれらの任意の組合せであってよいことを説明する必要がある。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線又は半導体のシステム、装置又はデバイス或いはそれらの任意の組合であってよいが、それらに限定されない。コンピュータ可読記憶媒体は、より具体的な例として、１つ又は複数の導線を有する電気接続、携帯型コンピュータディスク、ハードディス、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスク・リード・オンリー・メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置又はそれらの任意の適切な組合を含んでよいが、それらに限定されない。本願では、コンピュータ可読記憶媒体はプログラムを含むか記憶するいかなる有形媒体であってもよく、このプログラムはコマンド実行システム、装置又はデバイスに使用されるか、それらと組み合わせて使用されることが可能である。本願では、コンピュータ可読信号媒体はベースバンドで伝播されるデータ信号又は搬送波で一部を伝播するデータ信号を含んでよく、その中にコンピュータ可読プログラムコードを搭載した。このように伝播されるデータ信号は多種の形式を採用してよく、電磁信号、光信号又はそれらの任意の適切な組合を含むが、それらに限定されない。コンピュータ可読信号媒体は更にコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、このコンピュータ可読媒体はコマンド実行システム、装置又はデバイスに使用されるかそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送可能であり、無線、電線、光ケーブル、ＲＦ等又はそれらの任意の適切な組合を含んでよいが、それらに限定されない。

図面のうちフローチャートおよびブロック図は本願の各種の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたはコードの一部分を代表することができ、該モジュール、プログラムセグメントまたはコードの一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよいことを理解されたい。例えば、二つの連続的に示されたブロックは実質的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または操作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

本願の実施例に記載のユニットはソフトウェアで実現してもよいし、ハードウェアで実現してもよい。上述したユニットはプロセッサーに設置されてもよく、例えば、取得ユニット、生成ユニット及び表示ユニットを含むプロセッサーとして記載してよい。ここで、これらのユニットの名称はこのユニット自身を限定しない場合があり、例えば、取得ユニットは更に「手を含むビデオフレームを取得するユニット」として記載されてもよい。

別の態様として、本願は更にコンピュータ可読媒体を提供し、このコンピュータ可読媒体は上記実施例に記載の装置に含まれるものであってもよいし、この装置に実装されていない単独したものであってもよい。上記コンピュータ可読媒体には１つ又は複数のプログラムが搭載されており、上記１つ又は複数のプログラムがこの装置により実行されると、この装置は、手を含むビデオフレームを取得し、ビデオフレームに含まれる手のキーポイントを検出し、キーポイントに基づいて手の特殊効果を生成し、生成した特殊効果をビデオフレームの画面に表示する。

上述したのは本願の好ましい実施例及び適用する技術原理の説明に過ぎない。本願に係る発明範囲は、上記技術特徴の特定組合による技術手段に限定されなく、上記発明構想を逸脱することなく上記技術特徴又はそれと同等な特徴を任意に組み合わせて形成した他の技術手段をも含むべきであることが当業者に自明である。例えば、上記特徴と本願の開示（それに限定されない）による類似的な機能を有する技術特徴を互いに取り替えて形成した技術手段をも含む。

Claims (20)

1. 手を含むビデオフレームを取得し、前記ビデオフレームに含まれる手のキーポイントを検出するステップと、
   前記キーポイントに基づいて手の特殊効果を生成するステップと、
   生成した特殊効果を前記ビデオフレームの画面に表示するステップと、を含むビデオフレーム処理方法。
2. 生成する特殊効果が線状パターンを含み、
   前記キーポイントに基づいて手の特殊効果を生成する前記ステップには、
   前記キーポイントの位置に基づいて、前記線状パターンの少なくとも１つの端点の位置を決定するステップと、
   前記少なくとも１つの端点の位置に基づいて、前記線状パターンを生成するステップと、を含む請求項１に記載の方法。
3. 前記キーポイントの位置に基づいて、前記線状パターンの少なくとも１つの端点の位置を決定する前記ステップには、
   前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、前記そのうちの１本の指の指先キーポイントの位置に基づいて、前記線状パターンのメインラインの１つの端点の位置を決定するステップを含み、
   前記少なくとも１つの端点の位置に基づいて、前記線状パターンを生成する前記ステップには、
   前記１つの端点の位置に基づいて、前記メインラインを生成するステップを含み、前記メインラインの方向と前記所定指示方向の差が所定の角度範囲にある請求項２に記載の方法。
4. 前記少なくとも１つの端点の位置に基づいて、前記線状パターンを生成する前記ステップには、
   少なくとも１つの端点が前記メインラインに位置する付属ラインを生成するステップを更に含む請求項３に記載の方法。
5. 前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、前記そのうちの１本の指の指先キーポイントの位置に基づいて、前記線状パターンのメインラインの１つの端点の位置を決定する前記ステップには、
   前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、前記そのうちの１本の指が曲がっているか否かを決定するステップと、
   前記そのうちの１本の指が曲がっていないと決定したことに応えて、前記そのうちの１本の指の指先キーポイントの位置に基づいて、前記線状パターンのメインラインの１つの端点の位置を決定するステップと、を含む請求項３に記載の方法。
6. 前記線状パターンが目標ラインを含み、前記キーポイントの位置に基づいて、前記線状パターンの少なくとも１つの端点の位置を決定する前記ステップには、
   前記ビデオフレームに２つの手を含むと決定したことに応えて、前記２つの手のそれぞれのキーポイントから目標キーポイントを選択し、選択した目標キーポイントの位置に基づいて前記目標ラインの目標端点の位置を決定するステップを含み、
   前記少なくとも１つの端点の位置に基づいて、前記線状パターンを生成する前記ステップには、
   前記目標端点の位置により、前記目標端点を端点とする目標ラインを生成するステップを含み、前記目標ラインが前記２つの手の間の領域に位置する請求項２に記載の方法。
7. 前記目標ラインの数量が少なくとも２本であり、前記少なくとも２本の目標ラインのうち、交差するものがある請求項６に記載の方法。
8. 前記ビデオフレームに２つの手を含むと決定したことに応えて、前記２つの手のそれぞれのキーポイントから目標キーポイントを選択する前記ステップには、
   前記手において指示方向が所定指示方向である指が存在しないと決定したことに応えて、前記ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するステップを含む請求項６に記載の方法。
9. 前記ビデオフレームに２つの手を含むと決定したことに応えて、前記２つの手のそれぞれのキーポイントから目標キーポイントを選択する前記ステップには、
   前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、所定指示方向になっているそのうちの１本の指が曲がっているか否かを決定するステップと、所定指示方向になっているそのうちの１本の指が曲がっていると決定したことに応えて、前記ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するステップと、を含む請求項６に記載の方法。
10. 手を含むビデオフレームを取得し、前記ビデオフレームに含まれる手のキーポイントを検出するように構成される取得ユニットと、
    前記キーポイントに基づいて手の特殊効果を生成するように構成される生成ユニットと、
    生成した特殊効果を前記ビデオフレームの画面に表示するように構成される表示ユニットと、を含むビデオフレーム処理装置。
11. 生成する特殊効果が線状パターンを含み、
    前記生成ユニットは、
    前記キーポイントの位置に基づいて、前記線状パターンの少なくとも１つの端点の位置を決定するように構成される決定モジュールと、
    前記少なくとも１つの端点の位置に基づいて、前記線状パターンを生成するように構成される生成モジュールと、を含む請求項１０に記載の装置。
12. 前記決定モジュールは、
    前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、前記そのうちの１本の指の指先キーポイントの位置に基づいて、前記線状パターンのメインラインの１つの端点の位置を決定するように構成される決定サブモジュールを含み、
    前記生成モジュールは、
    前記１つの端点の位置に基づいて、前記メインラインを生成するように構成されるメインライン生成サブモジュールを含み、前記メインラインの方向と前記所定指示方向の差が所定の角度範囲にある請求項１１に記載の装置。
13. 前記生成モジュールは、
    少なくとも１つの端点が前記メインラインに位置する付属ラインを生成するように構成される付属ライン生成モジュールを更に含む請求項１２に記載の装置。
14. 前記決定サブモジュールは、更に、
    前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、前記そのうちの１本の指が曲がっているか否かを決定し、
    前記そのうちの１本の指が曲がっていないと決定したことに応えて、前記そのうちの１本の指の指先キーポイントの位置に基づいて、前記線状パターンのメインラインの１つの端点の位置を決定するように構成される請求項１２に記載の装置。
15. 前記線状パターンが目標ラインを含み、前記決定モジュールは、
    前記ビデオフレームに２つの手を含むと決定したことに応えて、前記２つの手のそれぞれのキーポイントから目標キーポイントを選択し、選択した目標キーポイントの位置に基づいて前記目標ラインの目標端点の位置を決定するように構成される決定サブモジュールを含み、
    前記生成モジュールは、
    前記目標端点の位置により、前記目標端点を端点とする目標ラインを生成するように構成される生成サブモジュールを含み、前記目標ラインが前記２つの手の間の領域に位置する請求項１１に記載の装置。
16. 前記目標ラインの数量が少なくとも２本であり、前記少なくとも２本の目標ラインのうち、交差するものがある請求項１５に記載の装置。
17. 前記決定サブモジュールは、更に、
    前記手において指示方向が所定指示方向である指が存在しないと決定したことに応えて、前記ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するように構成される請求項１５に記載の装置。
18. 前記決定サブモジュールは、更に、
    前記手のそのうちの１本の指の指示方向が所定指示方向であると決定したことに応えて、所定指示方向になっているそのうちの１本の指が曲がっているか否かを決定し、所定指示方向になっているそのうちの１本の指が曲がっていると決定したことに応えて、前記ビデオフレームに２つの手を含むと決定した場合に、それぞれの手の複数のキーポイントから目標キーポイントを選択するように構成される請求項１５に記載の装置。
19. １つ又は複数のプロセッサーと、
    １つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサーにより実行されると、前記１つ又は複数のプロセッサーが請求項１−９のいずれか一項に記載の方法を実現する電子機器。
20. コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、このプログラムがプロセッサーにより実行されると、請求項１−９のいずれか一項に記載の方法を実現するコンピュータ可読記憶媒体。

Images