JP2013061845A

JP2013061845A - 携帯機器及びその制御方法

Info

Publication number: JP2013061845A
Application number: JP2011200360A
Authority: JP
Inventors: Toshio Miyazawa; 利夫宮澤; Yoichi Okamoto; 洋一岡本; Haike Guan; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-09-14
Filing date: 2011-09-14
Publication date: 2013-04-04

Abstract

【課題】クラウドと接続されるフォーム解析に利用する携帯機器においてトータルレスポンスを最適化する。
【解決手段】ネットワークを介してフォーム解析サーバ群２００と接続された携帯機器１００は、人体の動作を撮像する撮像手段１０１と、撮像した動作の画像から抽出されたパラメータに基づいた前記動作へのアドバイスを表示する表示手段１０４を有する。パラメータ抽出やアドバイス生成などのフォームの解析処理は、携帯機器側のクラウド側とで分担処理する。役割分担は、事前にテストデータの送受信を行い、かかった時間に応じて動的に決定する。
【選択図】図５

Description

本発明は、携帯機器及びその制御方法に関し、詳細には、いわゆるクラウドコンピューティング可能な携帯機器に関する。

ゴルフのスイングやテニスのサーブなど、プレーヤーの動作を解析する装置の技術分野においては、動作者の動作をカメラによって撮像し、撮像した動画像又は連続した静止画像に基づいて動作を分析することが従来知られている（例えば、特許文献１や特許文献２）。

特許文献１では、ユーザが撮影したデータと「教師データベース」との相違点を認識し、相違点に基づいたアドバイスデータを提供することが開示されている。特許文献１は身体の動作が３次元的である点を指摘する一方、３次元データ同士の相違点認識には装置の大型化や高コストが不可避であるため、「教師データ」等を２次元データに変換している。

このように、動作解析は動画（以下、特に断りがない限り「動画」には連続した静止画像も含むこととする）を扱うため、解析に高い処理能力を持ったハードウェアの存在が必要であり、そのため、従来技術においては、装置の大型化や冷却装置が必要になるなどの課題があった。

特許文献２が開示する「スイングフォーム診断装置」は、動画からスイングデータの抽出などを行いスイングフォームの診断を行うとするものであるが、上記同様に動画を扱うために、装置の大型化などの課題がある。また、さまざまなスポーツなどに対応するため、知識情報の拡充をしようとしても、ネットワークに接続されていないために更新が容易ではない。スポーツにおいては、適切な動き方が数年経つと変わるということがあるが、そのような変化に対応するためにも知識情報の拡充が望ましい。

他方で、特許文献３は、ユーザが携帯する携帯端末にモーションセンサを搭載し、モーションセンサによってゴルフスイングの動作を検出するものである。動画像等を扱わないため重い処理をする必要がないが、モーションセンサでは体の部位のそれぞれの動きを検知することができないという問題がある。

上述した従来技術に鑑みて本願では、スポーツ等の動作者の動作を解析し、動作に対するアドバイスを出力するにあたって、当該動作を撮像した動画像等（連続した静止画像も含む）を解析対象にする。そして、装置の大型化や知識情報の拡充が容易でないという課題に対応するため、動作の解析や知識情報からのアドバイスの抽出といった一部の処理をクラウド化する。動作の撮像にはカメラと、クラウドとの通信機能を搭載した小型の携帯機器（例えば、デジタルカメラが好適）を用いる。

ところがこの場合、スポーツの動作を行うゴルフ練習場やテニスコートなど通信を行う場所は多様であり、通信条件が場所によって大きく異なる。そのため、どこまでの処理を携帯機器側で行い、どこからの処理をクラウドに分担させるかという役割分担を、単純に一つに決めてしまうと多様な通信条件に対応できない。場所と場合によっては、ユーザが感じるレスポンスが悪化する可能性がある。また、トータルレスポンスに影響を与えるのは通信条件だけでなく、携帯機器の性能やクラウド側の処理の集中度合いも影響を与える。携帯機器の性能はユーザごとに多様であり、クラウド側の処理の集中度合いも時間等によって異なる。そのため、トータルレスポンスの最適化は、携帯機器ごとにまた実際に利用するときに都度行う必要がある。

本発明は、上記実情に鑑みてなされたものであって、トータルレスポンスを最適化した携帯機器及びその制御方法を提供することを目的とする。

上記目的を達成するために本発明は、ネットワークを介してフォーム解析サーバ群と接続された携帯機器であって、人体の動作を撮像する撮像手段と、撮像した動作の画像から抽出されたパラメータに基づいた前記動作へのアドバイスを表示する表示手段と、テストデータを前記フォーム解析サーバ群に送出するテストデータ送出手段と、前記テストデータに対して前記フォーム解析サーバ群による所定の処理がなされ前記テストデータのレスポンスとしてテストアドバイスデータが送信されてきた場合に、前記テストアドバイスデータを受信するテストアドバイスデータ受信手段と、前記テストデータの送出から前記テストアドバイスデータの受信までにかかった時間に基づいて、前記動作の画像からパラメータを抽出し前記アドバイスを生成するフォームの解析処理の処理分担を決定する処理分担決定手段と、を有し、前記フォームの解析処理は、決定した前記処理分担に基づいて、前記携帯機器と前記フォーム解析サーバ群との間で分担して処理され、前記動作へのアドバイスは、分担して処理された前記フォームの解析処理の結果、生成されることを特徴とする、携帯機器を提供する。

また、本発明は、ネットワークを介してフォーム解析サーバ群と接続された携帯機器の制御方法であって、テストデータを前記フォーム解析サーバ群に送出するテストデータ送出ステップと、前記テストデータに対して前記フォーム解析サーバ群による所定の処理がなされ前記テストデータのレスポンスとしてテストアドバイスデータが送信されてきた場合に、前記テストアドバイスデータを受信するテストアドバイスデータ受信ステップと、前記テストデータの送出から前記テストアドバイスデータの受信までにかかった時間に基づいて、前記動作の画像からパラメータを抽出し前記アドバイスを生成するフォームの解析処理の処理分担を決定する処理分担決定ステップと、を含み、前記フォームの解析処理は、決定した前記処理分担に基づいて、前記携帯機器と前記フォーム解析サーバ群との間で分担して処理され、前記動作へのアドバイスは、分担して処理された前記フォームの解析処理の結果、生成されるるものであり、人体の動作を撮像する撮像ステップと、撮像した動作の画像から抽出されたパラメータに基づいた前記動作へのアドバイスを表示する表示ステップと、を含むことを特徴とする、携帯機器の制御方法を提供する。

本発明によれば、トータルレスポンスを最適化した携帯機器及びその制御方法を提供することが可能となる。

本発明の好適な実施形態のネットワーク構成を例示する概念図である。図１のフォーム解析システム１の機能構成を示すブロック図である。図１のフォーム解析システム１による、フォームの解析処理の流れを示すフローチャート図である。図３における骨格抽出処理を説明するための概念図である。図２の処理手段１１０，２１０の詳細な機能構成を示すブロック図である。図１の携帯機器１００による、トータルレスポンスの最適化処理の流れを示すフローチャート図である。

以下、図面を参照しながら本発明の好適な実施形態について説明する。説明の順序としては、まず実施形態の静的な構成を説明し、次にスポーツ等をする人体の動作解析からアドバイスの出力までの一連のプロセスを、次に当該一連のプロセスを最適なレスポンススピードで提供するための仕組み及び処理の流れを説明する。

図１に、本実施形態全体のネットワーク構成を例示する。図示するように、本実施形態に係るフォーム解析システム１は、被写体である人体を撮像する機能を搭載する携帯機器１００と、クラウド側にあるフォーム解析サーバ群２００とを含む情報処理システムである。

フォーム解析サーバ群２００は、物理的なサーバ構成例の観点から述べると、ナレッジデータベースサーバ、画像解析サーバ、アドバイス生成サーバなどからなるインターネット上のサーバ群である。もちろんこれは当業者が実施可能な一例を述べているに過ぎない。

フォーム解析サーバ群２００と携帯機器１００の間の通信ネットワークの具体的態様は、例えば、無線ローカルエリアネットワークとアクセスポイントを介してインターネットに接続するような態様が利用可能である。

携帯機器１００は、物理的なハードウェア構成例の観点から述べると、デジタルカメラやカメラを搭載したスマートフォンが利用できる。デジタルカメラであれば、ゴルフのスイング等をする被写体の前に三脚で立たせることができるので利便性の点で有利である。

機能構成の観点からは、本実施形態に係るフォーム解析システム１は、図２に示すような機能を備える。図２に、フォーム解析システム１の機能構成を示す。携帯機器１００は、撮像手段１０１、通信手段１０２、操作手段１０３、表示手段１０４、処理手段１１０を有する。他方、フォーム解析サーバ群２００は、処理手段２１０、ナレッジデータベース２０１を有する。

撮像手段１０１は、光学レンズや光電変換素子などのハードウェア及びこれを制御するドライバソフトウェアによって実現される手段である。スポーツ等をする人体の動作を撮像する機能を備える。撮像によって得られた動画像データ（連写した静止画でもよい）は、処理手段１１０に入力される。

処理手段１１０は、中央演算装置を中心に一次記憶（作業メモリ）などのハードウェア及びこれを制御するソフトウェアプログラムによって実現される手段である。処理手段１１０の有する機能ブロックについては、図６を参照して後述する。また、処理手段１１０は携帯機器１００全体を制御し、通信条件が不良の場合等に図３で説明するフォームの解析処理を実行する。

操作手段１０３はユーザによる手動入力操作を携帯機器１００に入力する一方、表示手段１０４は携帯機器１００による情報処理の結果を液晶表示装置等の表示デバイスの画面に出力する。通信手段１０２は、ネットワークを介して、クラウド側のフォーム解析サーバ群２００と通信を行う。

クラウド側の処理手段２１０は、携帯機器１００側の処理手段１１０が実行可能なフォームの解析処理を、同様に、実行可能である。処理手段２１０がフォームの解析処理を実行するのは、通信条件が良好な場合等である。また、処理手段２１０は、ナレッジデータベース２０１を参照して、参照した知識情報に基づいて撮像した動作の分析処理や、アドバイスの生成処理も行う。

基本的に図２に示したような機能構成を備えるフォーム解析システム１が、スポーツ等をする人体の動作解析を行い、アドバイスを出力するまでの一連のプロセスを図３のフローチャート図に示す。

図３はフォームの解析処理の流れを示す。フォームの解析処理は、大きく分けて、撮像、画像処理、パラメータ抽出、解析・アドバイス生成、アドバイス表示のプロセスに分かれる。

図３において、まず、撮像手段１０１が被写体の動作を撮像する（ステップＳ１０１）。以降のステップＳ１０２からステップＳ１０９の動作主体は、通信条件によって処理手段１１０か処理手段２１０のどちらかが選ばれる。撮像した動画像（連写によって得られた連続した静止画像でもよい）に基づいて、移動物体の抽出が行われる（ステップＳ１０２）。移動物体の抽出は、例えば、時間的に前後する２フレーム間で差分を取り、静止画領域を取り除くことで行う。次に、抽出した移動物体の画像を所定の時間分重ね合わせた画像を生成する（ステップＳ１０３）。

次に、重ね合わせた画像から骨格を抽出する（ステップＳ１０４）。骨格の抽出方法は、まず、処理対象の画像から人の部分を抽出した二値画像を作成する（これはステップＳ１０２で得られた画像を二値化したものでよい）。二値画像は例えば、人の部分１、その他を０とする。次に、二値画像をＸ方向にラスタ走査し、１の画素が連続している場合にその中央の画素を残し、残された中央の画素を骨格と見なす（図４参照）。

次に、抽出した骨格の任意の点（例えば、肩や肘にあたる点）の加速度を抽出する（ステップＳ１０５）。例えば、肩の動きの加速度を求める場合、肩の点の時間“０”の座標を（Ｘ１１，Ｙ１１）とし、０．１秒後の座標を（Ｘ１３，Ｙ１３）としたとき、肩の点の加速度はＸ方向とＹ方向でそれぞれ、次のように求まる。
Ｘ方向の加速度＝（Ｘ１３−Ｘ１１）／（０．１−０）
Ｙ方向の加速度＝（Ｙ１３−Ｙ１１）／（０．１−０）
この例では２次元の場合であるが、３次元で計測してもよい。

次に、抽出した骨格の任意の点の軌跡を検出する（ステップＳ１０６）。軌跡の検出は、重ね合わせた画像において骨格上の任意の点を結ぶことで検出できる。肘の点なら、動作の間に肘の点がどのように動くのかが軌跡を検出することによって表される。

以上、ステップＳ１０２からステップＳ１０６の処理を実行して、フォーム解析システム１は、フォームの解析の基礎となる情報を抽出・検出する。フォームの解析の基礎となる情報は、本実施形態では、重ね合わせた画像、抽出した骨格、骨格上の任意の点の加速度、骨格上の任意の点の軌跡である。次に、これらフォームの解析の基礎となる情報に基づいて、解析を行う（ステップＳ１０７）。また、解析に必要な情報を取得するため、適宜ナレッジデータベース２０１を参照する（ステップＳ１０８）。

ステップＳ１０７の具体的なアルゴリズムについては、従来公知のものなど、種々のアルゴリズムを用いて実施することができる。例えば、撮像したフォームの軌跡と、ナレッジデータベース２０１に記憶されているプロプレーヤーのフォームの軌跡とを比較して、類似度を算出するなどの処理を行う。

次に、フォーム解析システム１は、ステップＳ１０２からステップＳ１０８までの処理による処理結果に基づいて、フォームの改善点などのアドバイスを生成する（ステップＳ１０９）。

生成するアドバイスは、通信条件が良好な場合は、クラウド側の処理手段２１０が行い、フォームの解析処理による処理結果に応じたアドバイスを動的に生成する。この場合、生成するアドバイスは、音声や動画像やテキストデータを含んだマルチメディアデータとしてもよい。一方、通信条件が不良の場合は、ナレッジデータベース２０１に記憶されている、いくつかの定められたアドバイスの中から、抽出されたパラメータに対応したアドバイスを読み出し、携帯機器１００に送出する。この場合、生成するアドバイスは、テキストデータとする。

携帯機器１００は、生成したアドバイスを出力する。好適には、表示手段１０４に重ね合わせ画像の上に検出した軌跡を重ね合わせて表示し、さらに、生成したアドバイスを添付して表示する（ステップＳ１１０）。以上が、スポーツ等をする人体の動作解析からアドバイスの出力までの一連のプロセス（フォームの解析処理）である。

ところで、本実施形態の動作解析は、動画像を扱うので比較的重い処理になる。そのため、クラウド側のフォーム解析サーバ群２００にアクセスが集中したような場合に、ユーザが望むようなレスポンスが得られない可能性がある。また、クラウド側の混み具合に問題がない場合でも、携帯機器１００からインターネットや携帯電話キャリアが提供する通信網への接続が不安定でつながりにくいときには、やはりユーザが望むようなレスポンスが得られない可能性がある。また、スポーツの動作を行うゴルフ練習場やテニスコートなど通信を行う場所は多様であり、通信電波の受信感度の差が激しい。

このような場所と場合によってはユーザが感じるレスポンスが悪化するケースがあることに備えて、本実施形態では、図３に示したような画像処理、パラメータ抽出、解析、アドバイス生成の各処理を、携帯機器１００側で実行するかクラウド側で実行するかをあらかじめ定めず、事前にテストデータを送受信し処理に要した時間等に基づいて、前記各処理を実行する主体を動的に決定する。このような動的な役割分担機能を提供する構成を図５に、トータルレスポンスの最適化処理の流れを図６に示す。

図５は、処理手段１１０，２１０の詳細な機能構成を示すブロック図である。処理手段１１０，２１０の構成の理解を助けるために通信手段１０２などについては図２同様に記載しているがそれ以外のものについては記載を省略している。

図示のように、処理手段１１０，２１０は、いずれも画像処理手段、パラメータ抽出手段、解析・アドバイス生成手段を備える。処理手段１１０は、さらに、テストデータ送出手段１１４、テストアドバイスデータ受信手段１１５、処理分担決定手段１１６を備える。以下は、図６も参照しながら説明する。

テストデータ送出手段１１４は、図３に示したようなフォームの解析処理（図３又は図６のステップＳ２０７参照）を行う前に、あらかじめ定められた短めの動画像をテストデータとしてフォーム解析サーバ群２００へ送出する（ステップＳ２０１）。また、送出と同時に、レスポンスであるテストアドバイスデータを受信するまでの時間を計測する（ステップＳ２０２）。

テストデータは、処理手段２１０によって所定の処理がなされ、携帯機器１００へテストアドバイスデータが返信される（ステップＳ２０３）。テストアドバイスデータ受信手段１１５が返信されたテストアドバイスデータを受信し、テストデータ送出からテストアドバイスデータ受信までにかかった時間の計測を終了する（ステップＳ２０４、ステップＳ２０５）。処理分担決定手段１１６は、このかかった時間に基づいて、フォームの解析処理のどこまでのステップを携帯機器１００側で実行させ、どこからのステップをフォーム解析サーバ群２００側で実行させるかという処理分担を決定する（ステップＳ２０６）。

その後、フォーム解析システム１は、前段の処理で決定した処理分担にしたがった役割分担で、フォームの解析処理（図３に示した一連の処理）を実行する（ステップＳ２０７）。

テストデータは、標準的な長さの動画像を送った場合よりも比較的短いデータとするとよい。また、処理分担は、テストデータの送出から受信までにかかった時間に応じて、次のようにする。

かかった時間が短く転送速度が速い（あるいはクラウド側の処理が軽い）と判断される場合は、画像処理から解析・アドバイス生成までをフォーム解析サーバ群２００に実行させる。すなわち、通信手段１０２は動画像をフォーム解析サーバ群２００に送り、画像処理手段２１１、パラメータ抽出手段２１２、解析・アドバイス生成手段２１３が図３のステップＳ１０２〜Ｓ１０９までの処理を実行する。

かかった時間が長く転送速度が遅い（あるいはクラウド側の処理が重い）と判断される場合は、画像処理からパラメータ抽出までを携帯機器１００で分担し、解析・アドバイス生成をフォーム解析サーバ群２００に実行させる。すなわち、通信手段１０２は、抽出したパラメータをフォーム解析サーバ群２００に送り、画像処理手段１１１、パラメータ抽出手段１１２が図３のステップＳ１０２〜Ｓ１０６までの処理を実行し、解析・アドバイス生成手段２１３が図３のステップＳ１０７〜Ｓ１０９までの処理を実行する。

また、かかった時間が極端に長く転送速度がきわめて遅いと判断される場合には、抽出処理を次のように簡略化するとよい。図３のステップＳ１０４〜Ｓ１０６で抽出されるパラメータのパターンに応じた番号をあらかじめ定めておき、実際に抽出されたパラメータから撮像した動作をパターンに当てはめ、そのパターンの番号をフォーム解析サーバ群２００に送る。

フォーム解析サーバ群２００のナレッジデータベース２０１では番号に応じた定型のアドバイスを用意しておき、受信した番号に応じてアドバイスを携帯機器１００に送り返す。スポーツ等では初心者が陥りやすい、よくないフォームのパターンがあるため、このように構成することで効率的にアドバイスが生成できる一方、クラウド側の処理を軽くすることができる。

上述したところによると、処理分担に応じて図５の通信手段１０２からクラウド側の処理手段２１０に送信される信号ｓ１は、動画像データ、抽出されたパラメータ（骨格データ、加速度データ、軌跡データ）、又は、抽出されたパラメータ（フォームの類型に応じた番号）のいずれかの場合があることになる。なお、抽出されたパラメータに動画像データを含めてもよい。

上述した本実施形態によれば、多様な通信環境下に携帯機器を持ち出す場合や、クラウド側の処理負荷が不明である場合であってもテストデータの送受信によりトータルレスポンスの良否を確かめた上で処理分担を決定するので、動的な役割分担が実現し、トータルレスポンスの最適化が可能となる。また、上述した本実施形態によれば最適なレスポンスで、テニスのサーブやゴルフのスイングなどのフォームを確認し、フォームの改善点などのアドバイスを得ることのできる携帯機器を提供することができる。

なお、テストデータの送受信は、フォームの解析処理の事前に行うこととしたが、さらに具体的には、携帯機器ごとに、また実際に利用するときに都度行うとよい。トータルレスポンスに影響を与えるのは通信条件だけでなく、携帯機器の性能やクラウド側の処理の集中度合いも影響を与える。携帯機器の性能はユーザごとに多様であり、クラウド側の処理の集中度合いも時間等によって異なる。そのため、本実施形態のように、携帯機器ごとにテストデータの送受信を行い、また実際に利用する都度テストデータの送受信を行うことで、携帯機器ごとの性能差やクラウド側のアクセス集中の度合いの変動に対応することができるようになる。

１フォーム解析システム
１００携帯機器
１０１撮像手段
１０２通信手段
１０３操作手段
１０４表示手段
１１０処理手段
１１１画像処理手段
１１２パラメータ抽出手段
１１３解析・アドバイス生成手段
１１４テストデータ送出手段
１１５テストアドバイスデータ受信手段
１１６処理分担決定手段
２００フォーム解析サーバ群
２０１ナレッジデータベース
２１０処理手段
２１１画像処理手段
２１２パラメータ抽出手段
２１３解析・アドバイス生成手段

特開２００６−１８１０１４号公報特開２００３−１１７０４５号公報特開２０１０−０６８９４７号公報

Claims

ネットワークを介してフォーム解析サーバ群と接続された携帯機器であって、
人体の動作を撮像する撮像手段と、
撮像した動作の画像から抽出されたパラメータに基づいた前記動作へのアドバイスを表示する表示手段と、
テストデータを前記フォーム解析サーバ群に送出するテストデータ送出手段と、
前記テストデータに対して前記フォーム解析サーバ群による所定の処理がなされ前記テストデータのレスポンスとしてテストアドバイスデータが送信されてきた場合に、前記テストアドバイスデータを受信するテストアドバイスデータ受信手段と、
前記テストデータの送出から前記テストアドバイスデータの受信までにかかった時間に基づいて、前記動作の画像からパラメータを抽出し前記アドバイスを生成するフォームの解析処理の処理分担を決定する処理分担決定手段と、を有し、
前記フォームの解析処理は、決定した前記処理分担に基づいて、前記携帯機器と前記フォーム解析サーバ群との間で分担して処理され、
前記動作へのアドバイスは、分担して処理された前記フォームの解析処理の結果、生成される
ことを特徴とする、携帯機器。
前記フォームの解析処理が、前記動作の画像の画像処理、前記動作の画像からパラメータを抽出する処理、前記パラメータに基づいて前記アドバイスを生成する処理を含み、
前記処理分担決定手段は、当該画像処理、パラメータを抽出する処理、アドバイスを生成する処理のいずれを前記携帯機器に実行させ、残りを前記フォーム解析サーバ群に実行させるかを決定する
ことを特徴とする、請求項１記載の携帯機器。
前記パラメータが、フォームの類型からあらかじめ定められた所定の番号であり、
前記表示手段は、前記処理分担決定手段が、画像処理からパラメータを抽出する処理までを前記携帯機器で実行させるように処理分担を決定し、前記所定の番号を前記フォーム解析サーバ群に送信し、前記所定の番号に対応するアドバイスを受信した場合に、受信したアドバイスを表示する
ことを特徴とする請求項２記載の携帯機器。
ネットワークを介してフォーム解析サーバ群と接続された携帯機器の制御方法であって、
テストデータを前記フォーム解析サーバ群に送出するテストデータ送出ステップと、
前記テストデータに対して前記フォーム解析サーバ群による所定の処理がなされ前記テストデータのレスポンスとしてテストアドバイスデータが送信されてきた場合に、前記テストアドバイスデータを受信するテストアドバイスデータ受信ステップと、
前記テストデータの送出から前記テストアドバイスデータの受信までにかかった時間に基づいて、前記動作の画像からパラメータを抽出し前記アドバイスを生成するフォームの解析処理の処理分担を決定する処理分担決定ステップと、を含み、
前記フォームの解析処理は、決定した前記処理分担に基づいて、前記携帯機器と前記フォーム解析サーバ群との間で分担して処理され、
前記動作へのアドバイスは、分担して処理された前記フォームの解析処理の結果、生成されるものであり、
人体の動作を撮像する撮像ステップと、
撮像した動作の画像から抽出されたパラメータに基づいた前記動作へのアドバイスを表示する表示ステップと、を含む
ことを特徴とする、携帯機器の制御方法。