JP2016015780A - 情報処理装置、記録媒体および情報処理システム - Google Patents

情報処理装置、記録媒体および情報処理システム Download PDF

Info

Publication number
JP2016015780A
JP2016015780A JP2015202726A JP2015202726A JP2016015780A JP 2016015780 A JP2016015780 A JP 2016015780A JP 2015202726 A JP2015202726 A JP 2015202726A JP 2015202726 A JP2015202726 A JP 2015202726A JP 2016015780 A JP2016015780 A JP 2016015780A
Authority
JP
Japan
Prior art keywords
image
time
play
information
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015202726A
Other languages
English (en)
Inventor
英行 松永
Hideyuki Matsunaga
英行 松永
功誠 山下
Katsuaki Yamashita
功誠 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015202726A priority Critical patent/JP2016015780A/ja
Publication of JP2016015780A publication Critical patent/JP2016015780A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザによるスポーツのプレーの状態に対応するシーンをより高い精度で抽出する。
【解決手段】 被写体を撮像した第１の画像を取得する画像取得部と、前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを備え、前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置が提供される。
【選択図】図１８

Description

本開示は、情報処理装置、記録媒体および情報処理システムに関する。
スポーツの上達のためには、自らのプレーを客観的に分析し、改善のための意識をもってプレーすることが重要である。そのために、例えば、プレーを静止画像や動画として録画し、プレー後にその静止画像や動画を視聴して、改善点などを把握することが広く行われている。このような静止画像や動画は、他人に撮影してもらう場合もあるが、ユーザ自身が撮影する、いわゆる自分撮りである場合も多い。
このような場合に、例えば、静止画像や動画のコンテンツの中から、特定のユーザが映っている部分や、ユーザが特定のプレーをしている部分を抽出できれば、短い時間でプレーを振り返り、改善点を把握することができる。つまり、コンテンツからユーザの所望のシーンを自動的に検出することができれば、コンテンツの検索性が向上し、プレーの上達のためにコンテンツを効率的に活用することができる。
コンテンツからユーザの所望のシーンを自動的に検出する技術は、例えばプロスポーツの中継のような商用のコンテンツでは既に提案されている。例えば、特許文献１には、コンテンツの画像や音声の特徴量に基づく学習によって、ユーザの興味の対象となるシーン（ハイライトシーン）を自動的に検出する技術が記載されている。
特開２０１１−２２３２８７号公報
しかしながら、上記の特許文献１に記載のような技術を、ユーザが自身のスポーツの上達のために撮影したコンテンツに適用することは、容易ではない。上記の技術では、例えばサッカーの試合のコンテンツの場合、フィールドのラインやボールの軌跡を示す画像の特徴量や、ホイッスルや歓声を示す音声の特徴量を抽出して学習し、ハイライトシーンを検出する。ところが、ユーザが撮影したコンテンツの場合、プレーする場所が様々であり、またホイッスルや歓声もない場合が多い。さらに、例えばコートから出たボールを拾いに行っている間など、明らかに不要なシーンもコンテンツに含まれている。従って、商用のコンテンツと同じように特徴量の学習をすることは難しく、また効率的ではない。
それゆえ、例えばユーザが自身のスポーツの上達のために撮影したようなコンテンツについて、上記の技術とは異なる手法によってユーザの所望のシーンを精度よく検出する技術が求められていた。そこで、本開示では、ユーザによるスポーツのプレーの状態に対応するシーンをより高い精度で抽出することが可能な、新規かつ改良された情報処理装置、記録媒体および情報処理システムを提案する。
本開示によれば、被写体を撮像した第１の画像を取得する画像取得部と、前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを備え、前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置が提供される。
また、本開示によれば、被写体を撮像した第１の画像を取得する機能と、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記被写体を撮像した第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する機能と、をコンピュータに実現するためのプログラムが記録された記録媒体が提供される。
また、本開示によれば、被写体を撮像した第１の画像を取得する画像取得部、および前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを有し、前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置と、前記被写体を撮像する撮像装置と、を含む情報処理システムが提供される。
以上説明したように本開示によれば、ユーザによるスポーツのプレーの状態に対応するシーンをより高い精度で抽出することができる。
本開示の第１の実施形態に係る情報処理システムの概要を示す図である。 本開示の第１の実施形態に係る情報処理システムにおいて発生しうる時刻の固定値ずれの例について説明するための図である。 図２の例のような固定値ずれが生じた状態におけるプレーイベントとプレー画像とのタイムスタンプのずれについて説明するための図である。 本開示の第１の実施形態に係る情報処理システムにおいて発生しうる時刻の線形ずれの例について説明するための図である。 本開示の第１の実施形態における時刻ずれの調整方法について説明するための図である。 本開示の第１の実施形態に係るセンサ装置および撮像装置の概略的な機能構成を示すブロック図である。 本開示の第１の実施形態における、センサ装置での時刻の表現の例について説明するための図である。 本開示の第１の実施形態における、センサ装置での時刻の取得の例について説明するための図である。 本開示の第１の実施形態における撮像時の処理の例を示すフローチャートである。 本開示の第１の実施形態における撮像後の処理の例を示すフローチャートである。 本開示の第２の実施形態に係るセンサ装置および撮像装置の概略的な機能構成を示すブロック図である。 本開示の第２の実施形態における撮像時の処理の例を示すフローチャートである。 本開示の第２の実施形態における撮像後の処理の例を示すフローチャートである。 本開示の第３の実施形態に係るセンサ装置および撮像装置の概略的な機能構成を示すブロック図である。 本開示の第３の実施形態における撮像後の処理の例を示すフローチャートである。 本開示の第３の実施形態における時系列の調整処理について説明するための図である。 本開示の第３の実施形態における時系列調整パラメータの算出処理の例を示すフローチャートである。 本開示の第４の実施形態に係る情報処理システムの概要を示す図である。 本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．システム構成
１−２．時刻のずれについて
１−３．装置構成
１−４．時系列の調整処理
２．第２の実施形態
２−１．機能構成
２−２．時系列の調整処理
３．第３の実施形態
３−１．機能構成
３−２．時系列の調整処理
３−３．時系列の調整処理
４．第４の実施形態
５．ハードウェア構成
６．補足
（１．第１の実施形態）
（１−１．システム構成）
まず、図１を参照して、本開示の第１の実施形態に係る情報処理システムの構成について説明する。
図１は、本開示の第１の実施形態に係る情報処理システムの概要を示す図である。図１を参照すると、情報処理システム１０は、センサ装置１００と、撮像装置２００とを含む。
（センサ装置）
センサ装置１００は、スポーツをプレーしているユーザ、またはユーザが使用するスポーツ用具に装着される。センサ装置１００をユーザに装着する場合、例えば、図示しているようにセンサ装置１００を腕輪状の形状にして、ユーザの体に直接装着してもよい。また、センサ装置１００をスポーツ用具（例えばテニスの場合、ラケット、ウェア、シューズ、リストバンドなど）に装着する場合、センサ装置１００をシャフト部分などに巻きつけたり、布地に縫い付けたり、貼り付けたり、また予め用具に内蔵したりしてもよい。
ここで、センサ装置１００は、スポーツをプレーするユーザの挙動を示すセンサ情報を取得する、センサ情報によって示されるユーザの挙動は、例えば、ユーザや用具の物理的な運動（位置、速度、加速度など）でありうる。かかるセンサ情報を取得するために、例えば、センサ装置１００は、少なくとも１つのセンサを有する。センサは、例えば加速度、角速度、振動、温度、時刻、または位置（例えば緯度経度によって表される地表上の位置、またはコートなどに対する相対的な位置）などを検出する。センサ装置１００は、例えばこのようにして取得されたセンサ情報を蓄積する。蓄積されたセンサ情報は、例えばプレー終了後にユーザがセンサ装置１００と撮像装置２００とを接続したときに、撮像装置２００に送信されうる。
（撮像装置）
撮像装置２００は、スポーツのプレー画像を撮像する。プレー画像は、少なくともその一部にスポーツをプレーしているユーザとユーザまたはユーザの用具に装着されたセンサ装置１００とが写っている動画像でありうる。撮像装置２００は、例えばユーザがスポーツをプレーしているコートなどの周りに設置されて、プレー画像を撮像する。撮像されたプレー画像のデータは、撮像装置２００に少なくとも一時的に蓄積される。その後、例えばプレー終了後にユーザがセンサ装置１００と撮像装置２００とを接続したときに、撮像装置２００は、プレー画像の撮影中にセンサ装置１００が取得したセンサ情報を受信しうる。
ここで受信されたセンサ情報に基づいて、撮像装置２００は、ユーザがプレーしているスポーツにおけるプレーイベントの発生を検出し、プレーイベントに対応するプレーイベント情報を生成する。例えば、撮像装置２００は、プレーイベント情報に基づいてプレー画像からシーンを抽出してダイジェスト画像を生成する。これによって、例えば、ユーザが指定したプレーイベントのシーンだけを含むダイジェスト画像が生成されうる。また、例えば、撮像装置２００は、プレーイベント情報に基づいてプレー画像にチャプタ情報などの付加情報を設定する。これによって、例えば、ユーザがプレー画像を視聴するときに、所望のプレーイベントのシーンを検索することが容易になる。
なお、撮像装置２００は、例えばダイジェスト画像や付加情報が設定されたプレー画像を、図示しないサーバにアップロードしてもよい。あるいは、撮像装置２００が撮像したプレー画像をサーバにアップロードし、センサ装置１００もセンサ情報をサーバにアップロードし、サーバにおいて上記のようなプレーイベントの発生の検出とプレーイベント情報に基づいたダイジェスト画像の生成や付加情報の設定が実行されてもよい。
（１−２．時刻のずれについて）
次に、図２〜図５を参照して、本開示の第１の実施形態において発生する時刻のずれについて説明する。
（固定値ずれ）
図２は、本開示の第１の実施形態に係る情報処理システムにおいて発生しうる時刻の固定値ずれの例について説明するための図である。図２では、基準時刻Ｔ０と、センサ装置１００の時刻Ｔ１と、撮像装置２００の時刻Ｔ２とが示されている。基準時刻Ｔ０は、例えば標準時のような現実世界での基準となる時刻である。時刻Ｔ１は、センサ装置１００に内蔵された時計によって規定される時刻である。時刻Ｔ２は、撮像装置２００に内蔵された時計によって規定される時刻である。
図示されているように、基準時刻Ｔ０と、時刻Ｔ１と、時刻Ｔ２との間には、一定のずれが生じている。例えば、基準時刻Ｔ０がｔ０ ０＝１２：００：００である時に、時刻Ｔ１は５秒後のｔ１ ０＝１２：００：０５であり、時刻Ｔ２は５秒前のｔ２ ０＝１１：５９：０５である。このずれは、例えばセンサ装置１００および撮像装置２００のそれぞれにおいて時刻を初期設定した際に生じたずれであり、後述する線形ずれの影響を受ける以外は、時刻が再設定されるまで一定（図示された例であれば時刻Ｔ１が＋５秒、時刻Ｔ２が−５秒）の大きさで残り続ける。このような時刻のずれを、本明細書では固定値ずれともいう。
この固定値ずれのために、センサ装置１００で取得されるセンサ情報のタイムスタンプと、撮像装置２００で撮像されるプレー画像のタイムスタンプとの間にはずれが生じうる。図２に示された例では、基準時刻Ｔ０がｔ０ １＝１２：１０：００である時に撮像装置２００においてプレー画像の撮像が開始されているが、このときのセンサ装置１００の時刻Ｔ１はｔ１ １＝１２：１０：０５であり、撮像装置２００の時刻Ｔ２はｔ２ １＝１２：０９：５５である。従って、この後のプレー画像の撮像中、センサ装置１００の時刻Ｔ１と撮像装置２００の時刻Ｔ２との間には１０秒のずれが存在し続ける。
図３は、図２の例のような固定値ずれが生じた状態におけるプレーイベントとプレー画像とのタイムスタンプのずれについて説明するための図である。図３には、プレー画像の撮像後に、撮像装置２００がセンサ装置１００から受信したセンサ情報に基づいてプレーイベント情報を生成し、そのプレーイベント情報をプレー画像に関連付ける場合の両者のタイムスタンプの差が示されている。
プレーイベント情報はセンサ装置１００が取得したセンサ情報に基づいて生成されるため、プレーイベント情報によって示されるプレーイベント発生のタイムスタンプは、センサ装置１００の時刻Ｔ１に基づいたタイムスタンプになる。一方、プレー画像は撮像装置２００において撮像されるため、プレー画像のタイムスタンプは、撮像装置２００の時刻Ｔ２に基づいたタイムスタンプになる。ここで、上述の通り、プレー画像の撮像中、時刻Ｔ１と時刻Ｔ２との間には１０秒のずれが存在し続けている。
ところが、プレーイベント情報をプレー画像に関連付ける場合、プレーイベント情報によって示されるプレーイベントがプレー画像のどの区間に対応するかを識別するためには、プレーイベント情報とプレー画像とをそれぞれのタイムスタンプに基づいて同期させる他ない。それゆえ、図３に示されるように、例えば時刻Ｔ１では１２：１７：０５、時刻Ｔ２では１２：１６：５５にあたる時刻（基準時刻Ｔ０では１２：１７：００）にプレーイベントが発生した場合、プレー画像では１２：１６：５５のタイムスタンプ（Ｐ１）でこのプレーイベントが映っているにもかかわらず、プレーイベント情報ではこのプレーイベントが１２：１７：０５のタイムスタンプ（Ｐ２）で発生したことになってしまう。従って、例えばプレーイベント情報に基づいてプレー画像からシーンを抽出してダイジェスト画像を生成すると、実際のプレーイベントの発生よりも１０秒遅れたシーンが当該プレーイベントのシーンとして抽出されることになってしまう。この遅れを、図中にＤとして示す。
ここで、例えばダイジェスト画像やチャプタ情報を利用した検索などによってプレー画像のシーンを切り出して再生する場合、ユーザが違和感を覚えることなく許容できる時刻のずれはあまり大きくなく、例えば０．１秒程度までである。また、プレーイベントの種類によっては、その持続時間が数秒程度と短いものも多い。従って、例えば上記の例のように１０秒ものずれが発生すると、ユーザが違和感を覚えるのみならず、プレーイベントのシーンの再生として用をなさない場合もありうる。
そこで、本実施形態では、後述するように、プレー画像に何らかの形でセンサ装置１００での時刻Ｔ１を記録させることによって、後にセンサ情報が撮像装置２００に送信されたときに、撮像装置２００においてセンサ情報に基づいて生成されたプレーイベント情報の時系列とプレー画像の時系列とを調整し、プレーイベント情報によって示されるプレーイベントの発生タイミングをプレー画像でプレーイベントが映っているタイミングに同期させることを可能にする。
（線形ずれ）
図４は、本開示の第１の実施形態に係る情報処理システムにおいて発生しうる時刻の線形ずれの例について説明するための図である。図４では、上記の図２と同様に、基準時刻Ｔ０と、センサ装置１００の時刻Ｔ１と、撮像装置２００の時刻Ｔ２とが示されている。
図示された例において、基準時刻Ｔ０と、時刻Ｔ１と、時刻Ｔ２とは、基準時刻Ｔ０がｔ０ ０＝１２：００：００の時点では同期している。つまり、時刻ｔ１ ０＝１２：００：００であり、時刻ｔ２ ０＝１２：００：００である。ところが、時刻が進むにつれて、各時刻の間にはずれが生じる。より具体的には、基準時刻Ｔ０がｔ０１＝１３：００：００になった時点で、時刻Ｔ１はｔ１１＝１２：５９：５９であり、基準時刻Ｔ０に比べて１秒遅れている。また、同じ時点で時刻Ｔ２はｔ２１＝１３：００：０１であり、基準時刻Ｔ０に比べて１秒進んでいる。このようなずれは、例えばセンサ装置１００および撮像装置２００のそれぞれに内蔵された時計に使われている水晶発振子の振動数の誤差のために発生する。水晶発振子は電圧を印加されることによってほぼ一定の振動数で振動するが、この振動数には水晶の個体差や周辺温度などのために、例えば既定の振動数に対して最大で１５０ｐｐｍ（parts per million：１００万分の１）程度の誤差が発生する。
この誤差によって、水晶振動子を使った時計によって規定される時刻には、基準時刻と比べて最大で１時間あたり１秒程度のずれが発生しうる。図４に示した例でいえば、時刻Ｔ１を規定しているセンサ装置１００の時計に使われている水晶発振子の振動数が規定の振動数よりもわずかに少なく、時刻Ｔ２を規定している撮像装置２００の時計に使われている水晶発振子の振動数が規定の振動数よりもわずかに多いために、図示されているような時刻のずれが発生していると考えられる。周辺温度の大幅な変化などが生じない限り、水晶発振子の振動数は時間的に一定であるため、時刻が進むにつれて、時刻Ｔ１と時刻Ｔ２との間のずれは拡大していくことになる。このような時刻のずれを、本明細書では線形ずれともいう。
（ずれの調整方法）
図５は、本開示の第１の実施形態における時刻ずれの調整方法について説明するための図である。これまでに説明したように、本実施形態に係る情報処理システム１０に含まれるセンサ装置１００および撮像装置２００のそれぞれにおける時刻Ｔ１，Ｔ２の間には、固定値ずれと線形ずれとの２種類の時刻のずれが発生しうる。図５には、この固定値ずれと線形ずれとが複合して生じる時刻のずれのモデルが示されている。なお、図示されたこのモデルにおいて、ｘ軸はセンサ装置１００での時刻を示し、ｙ軸は撮像装置２００での時刻を示す。センサ装置１００での時刻ｘと撮像装置２００での時刻ｙとの関係は、ｙ＝ａｘ＋ｂとして表される。
ここで、ａは、時刻ｘと時刻ｙとの間に生じている線形ずれを示す。上記の図４の例のように、撮像装置２００での時刻ｙの方がセンサ装置１００での時刻ｘよりも進みが速いために線形ずれが生じている場合、時刻ｘよりも時刻ｙの方が時間あたりの変化率が大きいため、ａ＞１になる。逆に、撮像装置２００での時刻ｙの方がセンサ装置１００での時刻ｘよりも進みが遅いために線形ずれが生じている場合、時刻ｘよりも時刻ｙの方が時間あたりの変化率が小さいため、図５に示された例のようにａ＜１になる。時刻ｘと時刻ｙとの間に線形ずれが生じていなければ、ａ＝１になる。
一方、ｂは、時刻ｘと時刻ｙとの間に生じている固定値ずれを示す。上記の図２の例のように、撮像装置２００での時刻ｙの方がセンサ装置１００での時刻ｘよりも遅れている場合、時刻ｘがある時刻（図５の例ではｘ＝０）になった時点で時刻ｙはまだその時刻には達していないことになるため、ｂ＜０になる。逆に、撮像装置２００での時刻ｙの方がセンサ装置１００での時刻ｘよりも進んでいる場合、時刻ｘがある時刻になった時点で時刻ｙはその時刻よりも先の時刻に達していることになるため、図５に示された例のようにｂ＞０になる。時刻ｘと時刻ｙとの間に固定値ずれが生じていなければ、ｂ＝０になる。
従って、ａ，ｂの値が特定されれば、図５に示されるように、固定値ずれと線形ずれとを考慮した上で、センサ装置１００での時刻ｘに基づいて付与されたプレーイベント情報のタイムスタンプ群Ｘ１∈｛ｘ１ ０，ｘ１ １，・・・ｘ１ ｎ｝を、撮像装置２００での時刻ｙに基づいて付与されたプレー画像のタイムスタンプ群Ｙ１２∈｛ｙ１２ ０，ｙ１２ １，・・・ｙ１２ ｎ｝に変換することができる。
本実施形態では、プレー画像に何らかの形で記録されたセンサ装置１００での時刻ｘを記録し、時刻ｘが記録された時点での撮像装置２００での時刻ｙ、すなわちプレー画像のタイムスタンプと比較することによって、上記のａ，ｂの値を特定し、後にセンサ情報が撮像装置２００に送信されたときに、撮像装置２００においてプレーイベント情報のタイムスタンプ群をプレー画像のタイムスタンプ群に変換することを可能にする。なお、プレー画像に時刻ｘを記録する処理、およびａ，ｂの値を特定する処理の詳細については後述する。
（１−３．装置構成）
次に、図６を参照して、本開示の第１の実施形態に係る情報処理システムに含まれる装置の機能構成について説明する。
図６は、本開示の第１の実施形態に係るセンサ装置および撮像装置の概略的な機能構成を示すブロック図である。以下、図６を参照して、それぞれの装置の機能構成について説明する。なお、これらの機能を実現するためのハードウェア構成については後述する。
(センサ装置)
センサ装置１００は、センサ１０１と、前処理部１０３と、記憶部１０５と、時計１０７と、ドライバ１０９とを含む。後述する変形例において、センサ装置１００は、解析部１１１をさらに含んでもよい。
センサ１０１は、例えば加速度、角速度、振動、温度、時刻、または位置などを検出する。より具体的には、センサ１０１は、例えば加速度センサ、角速度センサ、振動センサ、温度センサ、圧力センサ（押下スイッチを含む）、またはＧＰＳ（Global Positioning System）受信機などを含みうる。
前処理部１０３は、センサ１０１によって検出されたデータの前処理を実行する。前処理は、例えば、検出されたデータの増幅や、閾値以下のデータのフィルタリングなどでありうる。なお、センサ１０１の種類によっては、データが必ずしも前処理部１０３を経由せずに記憶部１０５に供給される場合もある。
記憶部１０５は、センサ１０１によって検出され、必要に応じて前処理部１０３で処理されたデータを、センサ情報として一時的に格納する。このとき、センサ情報は、時計１０７によって与えられるタイムスタンプとともに格納される。
ここで、記憶部１０５に格納されたセンサ情報は、後に図示しない通信部を介して撮像装置２００に送信される。本実施形態において、センサ情報は、生成されたときにリアルタイムでセンサ装置１００から撮像装置２００に送信されるのではなく、事後的に送信される。これは、例えば、センサ装置１００が、装置の小型化もしくは軽量化、または電力消費の節減などのために、無線通信のための通信装置を有さない、または通信装置を有していてもセンサ情報の取得中に何度も通信を実行することはしないような場合である。
時計１０７は、センサ装置１００において使用される時刻を規定する。時計１０７は、例えば、初期設定された時刻と、水晶振動子の振動数とに基づいて時刻を規定する。上述の通り、基準時刻、または撮像装置２００のような他の装置の時刻と、時計１０７によって規定されるセンサ装置１００の時刻との間では、時刻の初期設定のずれのために固定値ずれが生じる可能性があり、また水晶振動子の振動数の誤差のために線形ずれが生じる可能性がある。
ドライバ１０９は、光または音などによってセンサ装置１００の時刻を表現する出力装置、例えばＬＥＤ（Light Emitted Diode）などのランプ、ＬＣＤ（Liquid Crystal Display）などのディスプレイ、またはスピーカなどを駆動する。ドライバ１０９は、例えば時計１０７が所定の時刻に到達した場合に、その時刻を示すパターンで出力装置を駆動する。ドライバ１０９は、例えば、ランプを所定の色または所定のパターンで点灯させたり、ディスプレイに時刻を示す文字またはコードを表示させたり、スピーカを所定の発振周波数または所定の発振パターンで鳴動させる。
（撮像装置）
撮像装置２００は、撮像部２０１と、記憶部２０３と、時計２０５と、解析部２０７とを含む。撮像装置２００は、出力部２０９をさらに含んでもよい。
撮像部２０１は、画像を撮像するための撮像素子やレンズ、およびそれらの駆動回路などを含む。撮像部２０１は、センサ装置１００またはセンサ装置１００が装着された用具を装着してスポーツをプレーしているユーザの画像を撮像する。この画像が、上述したプレー画像である。従って、プレー画像には、被写体であるユーザとともに、ユーザが直接的または間接的に装着しているセンサ装置１００も映っていることになる。
記憶部２０３は、撮像部２０１が撮像したプレー画像のデータを一時的または持続的に格納する。このとき、プレー画像のデータは、時計２０５によって与えられるタイムスタンプとともに格納される。プレー画像のデータは、後に図示しない通信部を介してセンサ装置１００からセンサ情報が受信されたときに、プレーイベントに対応するシーンを特定するために解析部２０７に提供されうる。また、解析部２０７における解析の結果を反映して生成されたダイジェスト画像や、チャプタ画像などの付加情報が設定されたプレー画像が、再び記憶部２０３に格納されてもよい。
時計２０５は、撮像装置２００において使用される時刻を規定する。時計２０５は、例えば、初期設定された時刻と、水晶振動子の振動数とに基づいて時刻を規定する。上述の通り、基準時刻、またはセンサ装置１００のような他の装置の時刻と、時計２０５によって規定される撮像装置２００の時刻との間では、時刻の初期設定のずれのために固定値ずれが生じる可能性があり、また水晶振動子の振動数の誤差のために線形ずれが生じる可能性がある。
解析部２０７は、プレー画像の撮像後に図示しない通信部を介してセンサ装置１００から受信されたセンサ情報を解析することによって、撮像部２０１の被写体であるユーザがプレーしているスポーツにおけるプレーイベントの発生を検出し、プレーイベントに対応するプレーイベント情報を生成する。さらに、解析部２０７は、プレー画像撮像中の少なくとも１つの時点におけるセンサ装置１００での時刻を示す情報に基づいて、プレーイベント情報の時系列とプレー画像の時系列とを調整することによって、プレーイベント情報によって特定されるプレーイベントに対応するプレー画像のシーンを正確に特定する。解析部２０７は、解析の結果に基づいてプレー画像から１または複数のシーンを抽出して、指定されたプレーイベントのシーンだけを含むダイジェスト画像を生成してもよい。また、解析部２０７は、解析の結果に基づいてプレー画像にプレーイベントに対応するチャプタ情報などの付加情報を設定してもよい。あるいは、解析部２０７は、解析の結果をプレー画像とは別のデータとして記憶部２０３に格納してもよい。
ここで、プレーイベントは、スポーツのプレーにおいて何らかの意味を有する動作の単位として定義される。例えば、テニスの場合であれば、「スイング」、「ジャンプ」、「ボールを打つ」、「コート内での移動」といったようなプレーイベントが定義されうる。解析部２０７は、予め定義されたプレーイベントの発生を、機械学習やパターン認識などを用いたセンサ情報の解析によって検出する。さらに、解析部２０７は、発生したことが検出されたプレーイベントについて、例えば必要に応じてセンサ情報をさらに参照して当該プレーイベントに関する詳細な情報を付加して、プレーイベント情報を生成する。プレーイベント情報には、例えばプレーイベントの開始時刻および終了時刻として、タイムスタンプの情報が含まれうる。
プレーイベントの定義の一例を以下の表１に示す。このように、プレーイベントは、スポーツごとに定義されてもよく、また種類ごとに定義されてもよい。種類の中で、さらに詳細にプレーイベントが分類されていてもよい。なお、ここで示されたプレーイベントは一例であり、他にもさまざまなスポーツで、さまざまな種類のプレーイベントが定義されうる。
Figure 2016015780
上述の通り、プレーイベント情報のタイムスタンプは、センサ装置１００の時計１０７に基づいて与えられたセンサ情報のタイムスタンプに基づくため、プレー画像のタイムスタンプとの間にはずれが生じている可能性がある。そこで、解析部２０７は、後述するようにタイムスタンプの調整のための処理を実行する。
出力部２０９は、記憶部２０３に格納されたプレー画像などのデータを出力する。出力部２０９は、例えば画像を表示するディスプレイや音声を出力するスピーカなどを含み、プレー画像、またはプレー画像に基づいて生成されたダイジェスト画像などを再生してもよい。あるいは、出力部２０９は、ネットワーク上のサーバやユーザが所有する他の装置と通信する通信装置を含み、プレー画像またはダイジェスト画像などをサーバまたは他の装置に送信してもよい。
（変形例）
本実施形態の変形例として、センサ装置１００が解析部１１１を有し、上記の例では撮像装置２００の解析部２０７で実行されていたプレーイベント情報の生成処理が、解析部１１１で実行されてもよい。この場合、記憶部１０５には、センサ情報に代えて、またはこれとともにプレーイベント情報が格納され、後に図示しない通信部を介して撮像装置２００に送信される。また、この場合、解析部１１１は、センサ情報に基づいてプレーイベントの発生が検出された場合に、そのことを時計１０７またはドライバ１０９に通知してもよい。この通知によって、ドライバ１０９が、プレーイベントの発生が検出されたタイミングで、センサ装置１００の時刻を出力装置によって表現させることが可能になる。このような構成は、例えばプレー画像の撮像時間が短く、ドライバ１０９が時刻を表現する所定の時刻が撮像時間に含まれない可能性があるような場合に有用である。あるいは、ドライバ１０９は、別途設けられる操作部によるユーザからの指示操作（例えば、センサ装置１００の電源投入、センサ装置１００に設けられたボタンを押す、など）、または通常ではないプレーイベントの発生（例えば、センサ装置１００が装着された用具をぐるぐる回す、用具を所定の回数叩く、など）が検出されたタイミングでセンサ装置１００の時刻を表現させてもよい。
（１−４．時系列の調整処理）
次に、図７〜図１０を参照して、本開示の第１の実施形態における時系列の調整処理について説明する。
（センサ装置における時刻の表現）
図７は、本開示の第１の実施形態における、センサ装置での時刻の表現の例について説明するための図である。図７に示されるように、撮像装置２００が、スポーツをプレーしているユーザの画像を撮像した場合、この画像（プレー画像）には、被写体であるユーザとともに、ユーザが直接的または間接的に装着しているセンサ装置１００も映っている。ここで、上述のように、センサ装置１００は、ドライバ１０９が出力装置を駆動することによって、光または音などによってセンサ装置１００の時刻を表現している。図示された例では、センサ装置１００がランプの発光によって時刻を表現しているため、撮像されたプレー画像１０００には、センサ装置１００による時刻を示す発光の画像１１００が含まれる。
上述のように、センサ装置１００は、例えばランプを所定のパターンで点灯させることによって時刻を表現する。この場合、パターンは所定の時間持続するため、画像１１００は、動画像中の単一のフレーム画像ではなく、パターンの持続時間の間の一連のフレーム画像として認識されうる。あるいは、センサ装置１００がランプの色や、ディスプレイに表示される文字やパターンによって時刻を表現する場合には、画像１１００が単一のフレーム画像であってもよい。また、センサ装置１００が音声によって時刻を表現する場合、画像１１００の代わりに所定の区間の音声データが、センサ装置１００の時刻を表現する情報として認識されうる。
図８は、本開示の第１の実施形態における、センサ装置での時刻の取得の例について説明するための図である。図８の例では、撮像装置２００において、時刻Ｔ２がｔ２ ０＝１３：００：００だった時点でプレー画像の撮像が開始され、ｔ２ ３＝１４：００：００の時点でプレー画像の撮像が終了されている。従って、プレー画像のタイムスタンプは、１３：００：００から始まり、１４：００：００で終了している。ここで、プレー画像には、タイムスタンプ（時刻Ｔ２）がｔ２ １＝１３：０９：５５の時とｔ２ ２＝１３：４９：５３の時に、センサ装置１００が時刻を表現した画像（ランプの発光もしくはディスプレイの表示など）または音声（所定の周波数もしくは所定のパターンの音など）が記録されている。
撮像装置２００の解析部２０７が、例えば予め決められたパターンやコード、周波数などと時刻情報との対応に従ってこれらの画像または音声を解析した結果、ｔ２ １＝１３：０９：５５に記録された画像または音声は、センサ装置１００の時刻がｔ１ １＝１３：１０：００であることを示していることがわかった。同様に、ｔ２ ２＝１３：４９：５３に記録された画像または音声は、センサ装置１００の時刻がｔ１ ２＝１３：５０：００であることを示していることがわかった。解析部２０７は、これらの情報から、センサ情報の時系列とプレー画像の時系列とを調整するためのパラメータ（以下、時系列調整パラメータともいう）、例えば上述した図５のモデルにおけるａ，ｂの値を算出することができる。ａ，ｂの値は、式ｙ＝ａｘ＋ｂにｘおよびｙの値を代入して得られる、ａ，ｂに関する二元一次方程式を解くことによって算出されうる。
例えば、図８に示した例において、ｔ１ １＝１３：１０：００を時刻０（秒）とし、他の時刻をｔ２ １との差によって秒で表現して（ｔ２ １＝−５，ｔ１ ２＝２４００、ｔ２ ２＝２９５３になる）ａ，ｂを算出すると、ａ＝０．９９，ｂ＝−５になる（ここでは簡単のために小数第３位以下を切り捨てて表記しているが、実際にはさらに細かい単位まで算出されうる）。この結果は、ｔ１ １＝１３：１０：００の時点において、撮像装置２００の時刻Ｔ２にはセンサ装置１００の時刻Ｔ１からみて−５秒の固定値ずれが存在し、また、時刻Ｔ２は時刻Ｔ１が１秒進む間に０．９９秒しか進まないため、その差分の線形ずれが加算されていく（つまり、時刻Ｔ２が時刻Ｔ１から少しずつ遅れていく）ことがわかる。
撮像装置２００の解析部２０７は、このようにして算出されたパラメータに基づいて、センサ情報の時系列とプレー画像の時系列とを調整することができる。ここで注意すべきは、パラメータの算出にあたり、図２の例で示したような基準時刻Ｔ０を参照する必要は必ずしもないということである。本実施形態では、センサ情報の時系列とプレー画像の時系列とが相対的に調整されれば十分であるため、センサ情報やプレー画像のタイムスタンプが、基準時刻ではどの時刻であるかといった情報は、必ずしも必要ではない。
（処理フロー）
図９は、本開示の第１の実施形態における撮像時の処理の例を示すフローチャートである。図９に示された例では、まず、撮像装置２００の撮像部２０１がプレー画像の撮像を開始する（ステップＳ１０１）。撮像されたプレー画像は、撮像装置２００の時計２０５によって規定される時刻に基づくタイムスタンプとともに、記憶部２０３に蓄積される。
なお、本実施形態では、プレー画像の撮像開始時点において撮像装置２００からセンサ装置１００に通知が送信されることはないが、他の実施形態では、上記のステップＳ１０１とともに、撮像装置２００が、例えば無線通信によってセンサ装置１００にプレー画像の撮像開始を通知するステップが実行されてもよい。この場合、センサ装置１００は、後述するステップＳ１０３における時刻を表現する所定の動作を、撮像装置２００がプレー画像を撮像している間に限って実行することが可能になる。従って、プレー画像が撮像されていない間の無駄な動作を防ぐことができ、例えばセンサ装置１００の電力消費を節減することができる。
次に、プレー画像の撮像中に、センサ装置１００は、センサ装置１００の時計１０７によって規定された時刻を示す所定の動作を実行する（ステップＳ１０３）。上述のように、この動作は、例えばランプを所定の色や所定のパターンで点灯させることであってもよく、ディスプレイに所定の文字またはコードを表示させることであってもよく、またはスピーカを所定の発振周波数または所定の発振パターンで鳴動させることであってもよい。
このとき、撮像装置２００は、センサ装置１００によって実行された所定の動作を、被写体であるユーザの姿とともに撮像している（ステップＳ１０５）。なお、ここでいう撮像には、画像の記録だけではなく、音声の記録も含まれる。このステップにおいて、プレー画像には、センサ装置１００によって実行された、センサ装置１００の時計１０７によって規定された時刻を示す所定の動作が、画像または音声として記録される。
上記のステップＳ１０３およびステップＳ１０５が所定の回数（Ｎ回；Ｎ＝１，２，３，・・・）繰り返された後に、撮像装置２００はプレー画像の撮像を終了する（ステップＳ１０７）。なお、上記の図８の例ではＮ＝２であったが、Ｎは１でもよく、また３以上であってもよい。
ここで、Ｎが１だと、例えば上述した図５のモデルを用いる場合、式ｙ＝ａｘ＋ｂにｘおよびｙの値を代入して得られる方程式が１つになり、ａ，ｂの両方の値を算出することができない。しかしながら、例えばプレー画像が短時間である場合や、プレーイベントの性質上わずかな時刻のずれが許容される場合などであれば、線形ずれがない（ａ＝１）ものとみなすことも可能である。このような場合には、Ｎ＝１とし、固定値ずれ（ｂの値）だけを算出することによっても、十分な精度でプレー画像に含まれるプレーイベントのシーンが特定されうる。
一方、Ｎが３以上だと、例えば同じく図５のモデルを用いる場合、未知数の数（ａ，ｂ）よりも得られる方程式の数の方が多いことになる。このような場合、すべての方程式を連立させると、一般的には解が得られない。しかしながら、例えば互いに隣接する２点における（ｘ，ｙ）の値の組によってそれぞれ二元一次方程式を生成し、この方程式の解として得られるａ，ｂの値から、上記の２点の間の区間において適用される固定値ずれおよび線形ずれの値を決定してもよい。また、このようにして得られた各区間の時刻ずれの値を、所定の数の区間で平均して用いてもよい。上述したように、線形ずれの大きさはセンサ装置１００の周辺温度によっても変化するため、例えばプレー画像が長時間に及ぶ場合や、屋外で日照の変化の影響が大きい場合などには、プレー画像の区間ごとに線形ずれの値が算出されることで、全体としての時系列の調整の精度が向上する可能性がある。
また、上記のステップＳ１０３およびステップＳ１０５について、それぞれのステップが実行される回数は異なっていてもよい。より具体的には、ステップＳ１０３が実行される回数よりも、ステップＳ１０５が実行される回数の方が少なくてもよい。これは、撮像装置２００が撮像したプレー画像に、センサ装置１００が実行した所定の動作の一部が記録されないことを意味する。
センサ装置１００は、スポーツをプレーしているユーザに直接的または間接的に装着されているため、例えばユーザの動きによって、撮像装置２００から見てセンサ装置１００がユーザの体や用具の陰に隠れてしまうことがありうる。このような場合、例えばセンサ装置１００のランプの発光やディスプレイの表示はプレー画像に記録されない。また、センサ装置１００のランプの発光やディスプレイの表示がされたときにユーザの動きが激しかったために画像にぶれが生じ、ランプの発光やディスプレイの表示が鮮明に記録されないこともありうる。
さらには、ユーザが１人でスポーツをプレーしているとは限らず、またスポーツのプレー自体によって音が生じることもありうるため、例えばユーザと他のユーザとの話し声（またはユーザの独り言）や、打球音や足音などのプレーに際して生じるノイズによって、センサ装置１００のスピーカから出力された音声がクリアに記録されないこともありうる。
このような場合、例えば、ステップＳ１０３が５回実行されたとしても、そのうち２回はセンサ装置１００がユーザの体や用具の陰に隠れていたり、ユーザの動きが激しかったり、音声にノイズが入ったためにプレー画像にセンサ装置１００の所定の動作が記録されておらず、結果としてステップＳ１０５が３回しか実行されなかった、といったようなことが生じうる。このような場合でも、結果としてステップＳ１０５が少なくとも１回実行されれば、時系列の調整が可能になる。
例えば、センサ装置１００がステップＳ１０３を実行する頻度が、上記のような事情を考慮して設定されてもよい。例えば、プレー画像の平均時間が３０分であり、時系列の調整処理のために最低限必要とされるステップＳ１０５の実行回数が２回であり、センサ装置１００の所定の動作が撮像装置２００によって記録される確率が５０％である場合、センサ装置１００は、ステップＳ１０３の所定の動作を３分間隔で実行するように設定されうる。この場合、３０分間ではステップＳ１０３の動作が１０回実行されることになるが、このうちの２回以上がプレー画像に記録される、つまりステップＳ１０５が２回以上実行される確率は約９９％である。
なお、上記の例において、ステップＳ１０５が２回を超えて実行された場合、プレー画像に記録されたセンサ装置１００の動作のうち、例えば最初と最後のように２つだけを抽出して固定値ずれおよび線形ずれの値が決定されてもよい。あるいは、上述したように、区間ごとに、または各区間の算出結果を平均して固定値ずれおよび線形ずれの値が決定されてもよい。
図１０は、本開示の第１の実施形態における撮像後の処理の例を示すフローチャートである。図１０に示された例では、まず、撮像装置２００がプレーイベント情報を取得する（ステップＳ２０１）。ここで、プレーイベント情報は、プレー画像の撮像後にセンサ装置１００から受信されたセンサ情報に基づいて、撮像装置２００の解析部２０７によって生成された情報でありうる。あるいは、プレーイベント情報は、センサ装置１００でセンサ情報に基づいて生成され、プレー画像の撮像後にセンサ装置１００から撮像装置２００に送信されてもよい。
なお、本実施形態において、プレーイベント情報自体は、後述するステップＳ２０９まで参照されないため、ステップＳ２０１が実行されるタイミングはさらに後でもよい。なお、図示された例は、例えば、１または複数のプレー画像を撮像した後にユーザがセンサ装置１００と撮像装置２００とを接続し、センサ装置１００から撮像装置２００に送信されたセンサ情報に基づいて解析部２０７でプレーイベント情報が生成された（ステップＳ２０１）ことをトリガとしてステップＳ２０３以降の処理が実行される場合を想定している。他の例では、ステップＳ２０１が実行されるタイミングは、ステップＳ２０３〜Ｓ２０７のいずれかの間、またはこれらのステップの一部または全部と並行するタイミングの中で任意に設定されうる。
次に、撮像装置２００では、解析部２０７が、撮像部２０１によって撮像されて記憶部２０３に蓄積されたプレー画像を解析する（ステップＳ２０３）。ここでの解析は、例えばプレー画像の画像または音声の解析でありうる。解析部２０７は、例えば予め提供されたセンサ装置１００の所定の動作を示す画像または音声のパターンとのマッチングによって、プレー画像に記録されたセンサ装置１００の所定の動作を抽出する。なお、ステップＳ２０３でセンサ装置１００の所定の動作が１つも検出されなかった場合、撮像装置２００は、時系列調整不能として以下のステップをスキップして処理を終了し、出力部２０９などを介してユーザにエラーメッセージを表示するなどしてもよい。
次に、解析部２０７は、ステップＳ２０３で抽出されたセンサ装置１００の所定の動作を、時刻情報に変換する（ステップＳ２０５）。解析部２０７は、例えば、予め提供された、センサ装置１００の所定の動作を示す画像または音声のパターンと、当該動作によって示される時刻とを定義した情報に基づいて、抽出されたセンサ装置１００の所定の動作を時刻情報に変換する。なお、このとき、センサ装置１００の所定の動作が実行されたときのプレー画像のタイムスタンプ（時刻）も、あわせて特定されうる。
上記のステップＳ２０５は、所定の回数（Ｍ回；Ｍ＝１，２，３，・・・）繰り返される。回数Ｍは、例えばステップＳ２０３においてプレー画像から抽出されたセンサ装置１００の動作の数であってもよい。この場合、ステップＳ２０３で抽出された動作のすべてが時刻情報に変換される。ここで、例えばＭが３以上であれば、後述するステップＳ２０７において、区間ごとに、または各区間の算出結果を平均して時系列調整パラメータが算出されうる。
あるいは、回数Ｍは、例えば続くステップＳ２０７での処理の効率を考慮して予め設定された所定の数であってもよい。この場合、ステップＳ２０３で抽出された動作の一部だけが時刻情報に変換されうる。なお、ステップＳ２０３で抽出された動作の数が回数Ｍに満たない場合（例えば、Ｍ＝２が設定されているのにステップＳ２０３で抽出された動作が１回だけの場合など）、撮像装置２００は、その時点で時系列調整不能として以下のステップをスキップして処理を終了してもよいし、その回数に応じて以下のステップの処理を通常とは変更（例えば、ステップＳ２０３で動作が１回だけ抽出された場合には線形ずれがないものとみなすなど）して実行してもよい。
次に、解析部２０７は、ステップＳ２０５で特定されたセンサ装置１００の時刻と撮像装置２００の時刻との組に基づいて、時系列調整パラメータを算出する（ステップＳ２０７）。時系列調整パラメータは、上述の通り、センサ情報の時系列とプレー画像の時系列とを調整するためのパラメータであり、上述した図５のモデルを用いる場合であればａ，ｂの値がこれにあたる。解析部２０７は、例えば、時系列のずれのモデル（図５の例には限られない）から導出される関係式に、センサ装置１００の時刻と撮像装置２００の時刻との組を代入することによって得られる方程式を解くことによって、時系列調整パラメータを算出する。センサ装置１００の時刻と撮像装置２００の時刻との組が３以上与えられた場合、時系列調整パラメータは、区間ごとに、または各区間の算出結果を平均して算出されてもよい。
次に、解析部２０７は、ステップＳ２０７で算出された時系列調整パラメータを利用して、プレーイベント情報のタイムスタンプによって示されるセンサ装置１００の時刻をプレー画像のタイムスタンプに用いられている撮像装置２００の時刻に変換し、変換された時刻に対応するプレー画像のシーンを、プレーイベントのシーンとして特定する（ステップＳ２０９）。ここで、プレーイベントのシーンは、例えば、上記の変換された時刻の前後に、プレーイベントの種類に応じた長さで設定されてもよい。あるいは、プレーイベントのシーンは、プレーイベント情報に含まれるプレーイベントの開始および終了のそれぞれのタイムスタンプから変換された時刻を始点および終点として設定されてもよい。
上記の処理によってプレー画像におけるプレーイベントのシーンが特定された後の処理については図示されていないが、解析部２０７の機能として既に説明した通り、例えば指定されたプレーイベントのシーンだけを含むダイジェスト画像が生成されたり、プレー画像にプレーイベントに対応するチャプタ情報などの付加情報が設定されたり、プレー画像とは別のデータとしてプレーイベントのシーンの定義が記録されたりしうる。
以上、本開示の第１の実施形態について説明した。本実施形態では、プレーイベント情報（センサ情報）の時系列とプレー画像の時系列とが調整されることによって、プレー画像に含まれるプレーイベントのシーンが正確に特定される。従って、例えばダイジェスト画像やチャプタ情報を利用した検索などによってプレー画像のシーンを切り出して再生する場合に、ユーザが違和感を覚えたり、実際のプレーイベントのシーンから大きくずれたシーンが再生されたりすることが少なくなる。
また、本実施形態では、上記の時系列の調整にあたり、センサ装置と撮像装置とがプレー画像の撮像中にリアルタイムで通信しなくてよい。センサ装置の時刻の情報は画像または音声としてプレー画像の中に記録されるため、撮像装置はセンサ装置と通信することなく時系列の調整のためのパラメータを算出することが可能である。また、本実施形態における時系列の調整では、それぞれの装置における時刻と基準時刻との関係は特定されなくてよいため、それぞれの装置が基準時刻を取得するための通信も必要ではない。従って、例えば各装置の通信装置の構成を簡略化して装置を小型化または軽量化したり、通信装置が通信を実行する回数を減らして電力消費を節減したりすることが可能である。
（２．第２の実施形態）
次に、図１１〜図１３を参照して、本開示の第２の実施形態について説明する。本実施形態は、センサ装置と撮像装置とがプレー画像の撮像中に通信を実行し、この通信によってセンサ装置での時刻が撮像装置に伝達される点において、上記の第１の実施形態とは異なる。なお、この点以外の本実施形態の構成については、第１の実施形態の構成と同様とすることが可能であるため、詳細な説明を省略する。
（２−１．機能構成）
図１１は、本開示の第２の実施形態に係るセンサ装置および撮像装置の概略的な機能構成を示すブロック図である。以下、図１１を参照して、それぞれの装置の機能構成について説明する。なお、これらの機能を実現するためのハードウェア構成については後述する。また、第１の実施形態と同様の機能構成については、同一の符号を付することによって重複した説明を省略する。
（センサ装置）
センサ装置１００−２は、センサ１０１と、前処理部１０３と、記憶部１０５と、時計１０７と、通信部１１３とを含む。後述する変形例において、センサ装置１００−２は、解析部１１１をさらに含んでもよい。
通信部１１３は、例えば無線通信によってセンサ装置１００−２の時刻情報を撮像装置２００−２に送信する通信装置を含む。通信部１１３は、例えば時計１０７が所定の時刻に到達した場合に、その時刻を示す時刻情報を撮像装置２００−２の通信部２１１に送信する。また、通信部１１３は、通信部２１１と双方向で通信し、通信部２１１から受信した問い合わせに応じて時刻情報を送信してもよい。なお、通信部１１３は、記憶部１０５に格納されたセンサ情報を撮像装置２００−２に送信する通信部と同一であってもよいし、異なっていてもよい。
（撮像装置）
撮像装置２００−２は、撮像部２０１と、記憶部２０３と、時計２０５と、解析部２０７と、通信部２１１とを含む。撮像装置２００−２は、出力部２０９をさらに含んでもよい。
通信部２１１は、例えば無線通信によってセンサ装置１００−２から送信されたセンサ装置１００−２の時刻情報を受信する通信装置を含む。通信部２１１がセンサ装置１００−２の通信部１１３から受信した時刻情報は、その時に撮像部２０１によって撮像されているプレー画像のデータに関連付けられるメタデータとして記憶部２０３に格納される。通信部２１１は、通信部１１３と双方向で通信し、例えば撮像部２０１がプレー画像の撮像を開始および終了する時に、またはプレー画像の撮像中に所定の間隔で、通信部１１３に時刻情報の問い合わせを送信してもよい。なお、通信部２１１は、解析部２０７に提供されるセンサ情報をセンサ装置１００−２から受信する通信部と同一であってもよいし、異なっていてもよい。
（変形例）
本実施形態の変形例として、センサ装置１００−２が解析部１１１を有し、上記の例では撮像装置２００−２の解析部２０７で実行されていたプレーイベント情報の生成処理が、解析部１１１で実行されてもよい。この場合、記憶部１０５には、センサ情報に代えて、またはこれとともにプレーイベント情報が格納され、後に通信部を介して撮像装置２００−２に送信される。また、この場合、解析部１１１は、センサ情報に基づいてプレーイベントの発生が検出された場合に、そのことを時計１０７または通信部１１３に通知してもよい。この通知によって、通信部１１３が、プレーイベントの発生が検出されたタイミングで、センサ装置の時刻を示す時刻情報を撮像装置２００−２に送信することが可能になる。このような構成は、例えばプレー画像の撮像時間が短く、通信部１１３が時刻情報を送信する所定の時刻が撮像時間に含まれない可能性があるような場合に、撮像装置２００−２側からの問い合わせに依存することなく適切なタイミングで時刻情報を送信したい場合に有用である。
（２−２．時系列の調整処理）
図１２は、本開示の第２の実施形態における撮像時の処理の例を示すフローチャートである。図１２に示された例では、まず、撮像装置２００−２の撮像部２０１がプレー画像の撮像を開始する（ステップＳ３０１）。撮像されたプレー画像は、撮像装置２００−２の時計２０５によって規定される時刻に基づくタイムスタンプとともに、記憶部２０３に蓄積される。
次に、プレー画像の撮像中に、撮像装置２００−２は、センサ装置１００−２にセンサ装置１００−２での時刻（以下、センサ時刻ともいう）の問い合わせを送信する（ステップＳ３０３）。この問い合わせを受信したセンサ装置１００−２は、応答として、センサ装置１００−２の時計１０７によって規定されたセンサ時刻を示す時刻情報を撮像装置２００−２に送信する（ステップＳ３０５）。この時刻情報を受信した撮像装置２００−２は、時刻情報によって示されるセンサ時刻を、プレー画像のメタデータとして記録する（ステップＳ３０７）。
上記のステップＳ３０３〜Ｓ３０７が所定の回数（Ｎ回；Ｎ＝１，２，３，・・・）繰り返された後に、撮像装置２００−２はプレー画像の撮像を終了する（ステップＳ３０９）。なお、Ｎの数と実行可能な時系列調整処理との関係は、上記の第１の実施形態と同様である。
ただし、本実施形態では、センサ装置１００−２と撮像装置２００−２との間での時刻情報のやりとりが無線通信などの通信によって実行されるため、撮像装置２００−２から見てセンサ装置１００−２がユーザの体や用具の陰に隠れたり、ユーザの動きが激しかったり、音声にノイズが入ったりしても、時刻情報が撮像装置２００−２に伝達されないことはほとんどない。従って、ステップＳ３０３〜Ｓ３０７が実行される回数は、通常は同じになる。従って、設定される回数Ｎは、時系列の調整処理のために必要とされる時刻情報の数に近い数に設定されてもよい。
また、図示された例では、時刻情報のやりとりが撮像装置２００−２からの問い合わせによって開始されるため、やりとりを実行するタイミングや回数Ｎは、撮像装置２００−２側で決定されうる。他の例では、ステップＳ３０３が実行されず、ステップＳ３０５に代えて、センサ装置１００−２が自発的に、例えば所定の間隔で、または解析部１１１が存在する場合はプレーイベントの発生が検出されたタイミングで、時刻情報を撮像装置２００−２に送信するステップが実行されてもよい。この場合、第１の実施形態と同様に、撮像装置２００−２がセンサ装置１００−２にプレー画像の撮像開始を通知するステップが実行されてもよい。
図１３は、本開示の第２の実施形態における撮像後の処理の例を示すフローチャートである。図１３に示された例では、まず、撮像装置２００−２がプレーイベント情報を取得する（ステップＳ４０１）。なお、本実施形態でも、プレーイベント情報自体は、後述するステップＳ４０９まで参照されないため、ステップＳ４０１が実行されるタイミングはさらに後でもよい。なお、図示された例は、例えば、１または複数のプレー画像を撮像した後にユーザがセンサ装置１００−２と撮像装置２００−２とを接続し、センサ装置１００−２から撮像装置２００−２に送信されたセンサ情報に基づいて解析部２０７でプレーイベント情報が生成された（ステップＳ４０１）ことをトリガとしてステップＳ４０３以降の処理が実行される場合を想定している。他の例では、ステップＳ４０１が実行されるタイミングは、ステップＳ４０３〜Ｓ４０７のいずれかの間、またはこれらのステップの一部または全部と並行するタイミングの中で任意に設定されうる。
次に、撮像装置２００−２では、解析部２０７が、撮像部２０１によって撮像されて記憶部２０３に蓄積されたプレー画像のメタデータを読み込む（ステップＳ４０３）。上述のように、プレー画像のメタデータには、プレー画像の撮像中にセンサ装置１００−２から撮像装置２００−２に送信された、センサ時刻を示す時刻情報が含まれる。なお、ステップＳ４０３でプレー画像のメタデータに時刻情報が含まれていなかった場合、撮像装置２００−２は、時系列調整不能として以下のステップをスキップして処理を終了し、出力部２０９などを介してユーザにエラーメッセージを表示するなどしてもよい。
次に、解析部２０７は、ステップＳ４０３で読み込まれたプレー画像のメタデータに含まれる時刻情報から、時刻情報が送信されたときのセンサ時刻を取得する（ステップＳ４０５）。なお、解析部２０７は、時刻情報のメタデータが関連付けられた時のプレー画像のタイムスタンプ（時刻）を、あわせて特定する。ここで、センサ装置１００−２と撮像装置２００−２との間の通信遅延が既知であり、また遅延が無視できない大きさである場合には、センサ時刻またはプレー画像のタイムスタンプ（時刻）が、遅延の分だけ前後に修正されてもよい。
上記のステップＳ４０５は、所定の回数（Ｍ回；Ｍ＝１，２，３，・・・）繰り返される。回数Ｍは、例えばステップＳ４０３で読み込まれたプレー画像のメタデータに含まれる時刻情報の数であってもよい。この場合、メタデータに含まれている時刻情報のすべてが時系列調整パラメータの算出に利用される。ここで、例えばＭが３以上であれば、後述するステップＳ４０７において、区間ごとに、または各区間の算出結果を平均して時系列調整パラメータが算出されうる。
あるいは、回数Ｍは、例えば続くステップＳ４０７での処理の効率を考慮して予め設定された所定の数であってもよい。この場合、ステップＳ４０３で読み込まれたプレー画像のメタデータに含まれる時刻情報の一部だけが時系列調整パラメータの算出に利用されうる。なお、メタデータに含まれる時刻情報の数が回数Ｍに満たない場合（例えば、Ｍ＝２が設定されているのにメタデータに含まれる時刻情報が１つだけの場合など）、撮像装置２００−２は、その時点で時系列調整不能として以下のステップをスキップして処理を終了してもよいし、その回数に応じて以下のステップの処理を通常とは変更（例えば、メタデータに含まれる時刻情報の数が１つである場合には線形ずれがないものとみなすなど）して実行してもよい。
次に、解析部２０７は、ステップＳ４０５で取得されたセンサ時刻と撮像装置２００−２の時刻との組に基づいて、時系列調整パラメータを算出する（ステップＳ４０７）。センサ時刻と撮像装置２００−２の時刻との組が３以上与えられた場合、時系列調整パラメータは、区間ごとに、または各区間の算出結果を平均して算出されてもよい。
次に、解析部２０７は、ステップＳ４０７で算出された時系列調整パラメータを利用して、プレーイベント情報のタイムスタンプによって示されるセンサ装置１００−２の時刻をプレー画像のタイムスタンプに用いられている撮像装置２００−２の時刻に変換し、変換された時刻に対応するプレー画像のシーンを、プレーイベントのシーンとして特定する（ステップＳ４０９）。
上記の処理によってプレー画像におけるプレーイベントのシーンが特定された後の処理については図示されていないが、解析部２０７の機能として既に説明した通り、例えば指定されたプレーイベントのシーンだけを含むダイジェスト画像が生成されたり、プレー画像にプレーイベントに対応するチャプタ情報などの付加情報が設定されたり、プレー画像とは別のデータとしてプレーイベントのシーンの定義が記録されたりしうる。
以上、本開示の第２の実施形態について説明した。本実施形態でも、第１の実施形態と同様に、プレーイベント情報（センサ情報）の時系列とプレー画像の時系列とが調整されることによって、プレー画像に含まれるプレーイベントのシーンが正確に特定される。
また、本実施形態では、上記の時系列の調整にあたり、センサ装置の時刻が無線通信などの通信によって撮像装置に伝達される。従って、センサ装置がユーザの体や用具の陰になったり、ユーザの動きが激しかったり、音声にノイズが入ったりしても、それらの影響を受けずにセンサ装置の時刻を伝達することが可能である。それぞれの装置がプレー画像の撮像中に通信を実行するための通信装置を有することになり、また通信を実行するための電力消費も発生するが、例えば撮像装置側からプレー画像の撮像開始および終了に合わせて時刻情報の問い合わせを送信し、問い合わせがあった場合に限ってセンサ装置から時刻情報を送信することで、電力消費を最小化することができる。
（３．第３の実施形態）
次に、図１４〜図１７を参照して、本開示の第３の実施形態について説明する。本実施形態では、プレー画像の撮像中にセンサ装置がセンサ情報の取得以外の動作をしなくても（してもよい）、撮像装置における画像解析によって、センサ装置がプレーイベントの発生を検出したタイミングが特定される点において、上記の第１および第２の実施形態とは異なる。なお、この点以外の本実施形態の構成については、第１または第２の実施形態の構成と同様とすることが可能であるため、詳細な説明を省略する。
（３−１．機能構成）
図１４は、本開示の第３の実施形態に係るセンサ装置および撮像装置の概略的な機能構成を示すブロック図である。以下、図１４を参照して、それぞれの装置の機能構成について説明する。なお、これらの機能を実現するためのハートウェア構成については後述する。また、第１または第２の実施形態と同様の機能構成については、同一の符号を付することによって重複した説明を省略する。
（センサ装置）
センサ装置１００−３は、センサ１０１と、前処理部１０３と、記憶部１０５と、時計１０７とを含む。後述する変形例において、センサ装置１００−３は、解析部１１１およびドライバ１０９をさらに含んでもよい。
上記のセンサ装置１００−３の各機能構成は、第１または第２の実施形態で説明されたものと同様でありうる。ただし、本実施形態に係るセンサ装置１００−３は、例えば、ドライバ１０９や通信部１１３のような、所定の動作または通信によって、プレー画像の撮像中に撮像装置２００−３にセンサ装置１００−３の時刻を伝達する手段を有さなくてよいという点で、第１の実施形態に係るセンサ装置１００や、第２の実施形態に係るセンサ装置１００−２とは異なる。
（撮像装置）
撮像装置２００−３は、撮像部２０１と、記憶部２０３と、時計２０５と、解析部２０７とを含む。撮像装置２００−３は、出力部２０９をさらに含んでもよい。
上記の撮像装置２００−３の各機能構成も、第１または第２の実施形態で説明されたものと同様でありうる。ただし、本実施形態に係る撮像装置２００−３では、解析部２０７において実施される解析の内容が、第１および第２の実施形態とは異なりうる。より具体的には、本実施形態では、必ずしも、プレー画像の撮像中にセンサ装置１００−３の時刻を示す情報がプレー画像中に記録されたり、通信によってセンサ装置１００−３から提供されたりしない。そこで、解析部２０７は、プレー画像の解析によってプレーイベントの発生タイミングを検出し、そのタイミングでのプレー画像のタイムスタンプと、センサ情報の解析によって取得されたプレーイベント情報によって示される当該プレーイベントに対応するタイムスタンプ（このタイムスタンプはセンサ装置１００−３の時刻に基づく）とを比較することによって、プレーイベント情報の時系列とプレー画像の時系列とを調整する。なお、この時系列調整処理の詳細については後述する。
（変形例）
本実施形態の第１の変形例として、センサ装置１００−３が解析部１１１を有し、上記の例では撮像装置２００−３の解析部２０７で実行されていたプレーイベント情報の生成処理が、解析部１１１で実行されてもよい。この場合、記憶部１０５には、センサ情報に代えて、またはこれとともにプレーイベント情報が格納され、後に通信部を介して撮像装置２００−３に送信される。
また、第２の変形例として、上記の場合、解析部１１１は、センサ情報に基づいてプレーイベントの発生が検出された場合に、そのことをドライバ１０９に通知してもよい。この通知によって、ドライバ１０９が、プレーイベントの発生が検出されたタイミングで、プレーイベントが発生したこと、または発生したプレーイベントの種類を出力装置によって例えば音または光で表現させることが可能になる。あるいは、ドライバ１０９は、別途設けられる操作部によるユーザからの指示操作（例えば、センサ装置１００−３の電源投入、センサ装置１００−３に設けられたボタンを押す、など）、または通常ではないプレーイベントの発生（例えば、センサ装置１００−３が装着された用具をぐるぐる回す、用具を所定の回数叩く、など）が検出されたタイミングで、操作またはプレーイベントが発生したことを出力装置によって表現させてもよい。
上記の第２の変形例と第１の実施形態の変形例との違いは、この例では出力装置によって発生したプレーイベントそのものに関する情報が表現されるのに対し、第１の実施形態の変形例ではプレーイベントが発生したことが検出されたときのセンサ装置の時刻が表現される点にある。本実施形態では、撮像装置２００−３の解析部２０７がプレーイベント情報の時系列とプレー画像の時系列とを調整するにあたり、センサ装置１００−３の時刻ではなくプレーイベントの発生タイミングを基準にするため、上記のような違いが生じる。
（３−２．時系列の調整処理）
図１５は、本開示の第３の実施形態における撮像後の処理の例を示すフローチャートである。図１５に示された例では、まず、撮像装置２００−３の解析部２０７が、プレー画像およびセンサ情報を取得する（ステップＳ５０１）。ここで、プレー画像は、撮像装置２００−３の撮像部２０１によって撮像され、記憶部２０３に格納された画像データとして取得されうる。また、センサ情報は、プレー画像の撮像後に通信部を介してセンサ装置１００−３から受信されうる。
次に、解析部２０７は、プレー画像の解析によってプレーイベントを抽出する（ステップＳ５０３）とともに、センサ情報の解析によってプレーイベント情報を取得する（ステップＳ５０５）。ここでの処理は、プレー画像の撮像中におけるプレーイベントの発生を、プレー画像に基づく第１の解析処理と、センサ情報に基づく第２の解析処理の両方によって検出しようとするものである。なお、上記の変形例において、プレーイベント情報がセンサ装置１００−３で生成される場合、上記のステップＳ５０１でセンサ情報が取得されず、代わりにステップＳ５０１でプレーイベント情報が取得されるか、ステップＳ５０５に代えてセンサ装置１００−３からプレーイベント情報を取得するステップが実行されうる。
上記の処理によって、プレー画像の解析によって抽出されたプレーイベントの情報と、センサ情報に基づいて生成されたプレーイベント情報とが用意されると、解析部２０７は時系列調整パラメータを算出する（ステップＳ５０７）。上述の通り、本実施形態では時系列の調整がプレーイベントの発生タイミングを基準にして実行されるため、後述するように、時系列調整パラメータの算出の処理が第１および第２の実施形態とは異なりうる。
次に、解析部２０７は、ステップＳ５０７で算出された時系列調整パラメータを利用して、プレーイベント情報のタイムスタンプによって示されるセンサ装置１００−３の時刻をプレー画像のタイムスタンプに用いられている撮像装置２００−３の時刻に変換し、変換された時刻に対応するプレー画像のシーンを、プレーイベントのシーンとして特定する（ステップＳ５０９）。
上記の処理によってプレー画像におけるプレーイベントのシーンが特定された後の処理については図示されていないが、解析部２０７の機能として既に説明した通り、例えば指定されたプレーイベントのシーンだけを含むダイジェスト画像が生成されたり、プレー画像にプレーイベントに対応するチャプタ情報などの付加情報が設定されたり、プレー画像とは別のデータとしてプレーイベントのシーンの定義が記録されたりしうる。
（３−３．時系列の調整処理）
図１６は、本開示の第３の実施形態における時系列の調整処理について説明するための図である。図１６には、プレー画像の解析によって抽出されたプレーイベント群Ｘ２と、センサ情報に基づいて生成されたプレーイベント情報によって示されるプレーイベント群Ｘ１とが示されている。上述したようにセンサ装置１００−３の時刻と撮像装置２００−３の時刻との間にはずれが生じる場合があるため、図示された例において、プレーイベント群Ｘ２とプレーイベント群Ｘ１との間には、時系列のずれが存在する。
このずれを調整するために、本実施形態では、プレーイベント群Ｘ１の時系列をオフセットおよび伸縮させることによって時系列が調整されたプレーイベント群Ｙ１２を生成する。プレーイベント群Ｙ１２と、プレー画像の解析によって抽出されたプレーイベント群Ｘ２との相関値が高くなるようにプレーイベント群Ｙ１２を反復的に更新することで、プレーイベント群Ｘ２との間の時系列のずれが調整された最適なプレーイベント群Ｙ１２を導出する。
なお、図示された例では、プレー画像の解析によるプレーイベントの抽出の方が、センサ情報の解析によるプレーイベントの抽出よりも精度が低いため、プレーイベント群Ｘ１に含まれるプレーイベントのうちのいくつかが、プレーイベント群Ｘ２には含まれていない。つまり、プレー画像の解析では、センサ情報の解析によって検出されるいくつかのプレーイベントを検出できていない。また、検出方法の違いのために、プレー画像の解析によって検出されたプレーイベントの発生タイミングと、プレーイベント情報によって示されるプレーイベントの発生タイミングとの間に、時系列のずれとは別のずれがある場合もありうる。
従って、プレーイベント群Ｙ１２のオフセットおよび伸縮が最適に実施されたとしても、プレーイベント群Ｘ２との相関値が１になるとは限らない。図示された例では、調整前のプレーイベント群Ｘ１のプレーイベント群Ｘ２との相関値が０．３であり、最初に生成したプレーイベント群Ｙ１２の相関値が０．５、それを更新したプレーイベント群Ｙ１２の相関値が０．８５であり、この相関値０．８５をもって、最適化がされたものとみなしている。なお、図示された例では簡単のためにプレーイベント群Ｙ１２が１つしか示されていないが、実際にはさらに多くの回数にわたってプレーイベント群Ｙ１２の更新が繰り返されうる。
上述した本実施形態の第２の変形例において、ドライバ１０９がプレーイベントの発生に関する情報を出力装置によって例えば音または光で表現させる場合、プレー画像に基づくプレーイベントの抽出において、ユーザの動きを解析するのではなく音や光を解析すればよくなる。従って、プレー画像に基づくプレーイベントの解析の精度が向上するのに加え、解析のための処理負荷も低減されうる。ただし、この場合も、例えば出力装置であるランプやディスプレイなどが撮像部２０１から見て陰になっている可能性があるため、プレーイベント情報に含まれるすべてのプレーイベントがプレー画像に基づいて抽出可能であるとは限らない。
図１７は、本開示の第３の実施形態における時系列調整パラメータの算出処理の例を示すフローチャートである。図１７に示された例では、上述した図５のモデルを用いて、ｙ＝ａｘ＋ｂ（ｘはセンサ装置１００−３での時刻、ｙは撮像装置２００−３での時刻）におけるパラメータａおよびｂの最適値を探索する。
図示された例では、上記のパラメータａおよびｂについて、それぞれループ処理が実行される（ステップＳ６０１，Ｓ６０３）。それぞれのループでは、試行の最小値（ａｍｉｎ，ｂｍｉｎ）、最大値（ａｍａｘ，ｂｍａｘ）、およびステップ幅（ａｓｔｅｐ，ｂｓｔｅｐ）が設定されている。これらの値は、例えば、想定されうる最大／最小の線形ずれ／固定値ずれの幅や、処理負荷の観点から合理的な処理試行回数などに基づいて設定されうる。例えば、ｂについてのループ処理（ステップＳ６０３）の場合、想定される固定値ずれの幅が最大で１０分程度であれば、最小値ｂｍｉｎ＝−１０分、最大値ｂｍａｘ＝＋１０分が設定されうる。また、例えばｂについて１２００回程度のループ処理の実行が合理的であれば、ステップ幅ｂｓｔｅｐ＝１秒が設定されうる。ａについてのループ処理（ステップＳ６０１）でも同様に、例えば線形ずれが最大１５０ｐｐｍ程度の水晶発振子の振動数の誤差によって発生することなどに基づいて最小値ａｍｉｎ、最大値ａｍａｘ、およびステップ幅ａｓｔｅｐが設定されてもよい。
ループ内の処理では、まず、プレーイベント群Ｘ１（プレーイベント情報によって示されるプレーイベント群）から、現在設定されているパラメータａ，ｂの値を用いてプレーイベント群Ｙ１２を生成する（ステップＳ６０５）。ここで、プレーイベント群Ｙ１２では、プレーイベント群Ｘ１に含まれる各プレーイベントのタイムスタンプｘ１が、ｙ１２＝ａｘ１＋ｂに変換される。
次に、ステップＳ６０５で生成されたＹ１２と、プレーイベント群Ｘ２（プレー画像の解析によって抽出されたプレーイベント群）との相関値が算出される（ステップＳ６０７）。なお、相関値の算出方法の例については後述する。
ここで算出された相関値が、それまでのループ処理で算出された相関値における最大値を更新した場合（ステップＳ６０９でＹＥＳの場合）、一時的に記憶されているパラメータａ，ｂの値が更新される。一方、算出された相関値がそれまでのループ処理で算出された相関値以下であった場合、（ステップＳ６０９でＮＯの場合）、記憶されているパラメータａ，ｂは更新されず、処理は次のループに移行する。なお、初回のループ処理では、初回に設定されたパラメータａ，ｂの値がそのまま記憶される。
以上のようにして、パラメータａ，ｂのそれぞれについて、所定の最小値から最大値まで、所定のステップ幅でのループ処理を実行した結果として得られたパラメータａ，ｂの値が、最適なパラメータａ，ｂの値である。
（相関値の算出）
上述の通り、プレーイベント群Ｙ１２には、プレーイベント群Ｘ２に含まれるプレーイベントの一部が含まれていない場合がありうる。つまり、Ｙ１２＝｛ｙ１２ １，ｙ１２ ２，・・・，ｙ１２ ｍ｝とし、Ｘ２＝｛ｘ２ １，ｘ２ ２，・・・,ｘ２ ｎ｝とすると、ｍ≠ｎである場合がありうる。従って、Ｙ１２とＸ２とのそれぞれの要素であるプレーイベントのタイムスタンプを先頭から順に比較しても、例えば図１６に示した例で意図されたような相関値は算出されない場合がありうる。
そこで、一つの例として、プレーイベント群Ｙ１２およびプレーイベント群Ｘ２を、プレー画像の撮影時間（線形ずれの最大値が考慮されうる）をタイムスタンプの最小分解能で分割した微小時間配列に変換することによって、相関値を算出してもよい。この場合、各微小時間配列は、（プレー画像の撮像時間／タイムスタンプの最小分解能）個の微小時間を要素として含む。例えば、プレー画像の撮像時間が１５分（線形ずれが最大の場合、１５分＋０．３秒になる）であり、タイムスタンプの最小分解能が０．１秒であれば、各微小時間配列は９００３個の微小時間を要素として含む。
このようにして生成された微小時間配列において、プレーイベントのタイムスタンプに対応する微小時間（例えば１に設定されうる）とそうでない微小時間（例えば０に設定されうる）との配置の相関に基づいて相関率を算出することができる。なお、相関値の算出手法はこの例には限られず、公知のさまざまな手法を利用することが可能である。
以上、本開示の第３の実施形態について説明した。本実施形態でも、第１の実施形態と同様に、プレーイベント情報（センサ情報）の時系列とプレー画像の時系列とが調整されることによって、プレー画像に含まれるプレーイベントのシーンが正確に特定される。上述の通り、プレー画像に基づく解析の精度は十分でない可能性があるため、時系列が調整されたプレーイベント情報を利用することで、プレー画像に含まれるプレーイベントのシーンを正確に特定することができる。
また、本実施形態では、撮像装置におけるプレー画像の解析からプレーイベントの発生を検出することによって、プレー画像の撮像中にセンサ装置が時刻を示す所定の動作をしたり、通信によって時刻を撮像装置に伝達したりしなくても、上記の時系列の調整が実行されうる。従って、センサ装置の装置構成や電力消費を最小化することが可能である。
（４．第４の実施形態）
次に、図１８を参照して、本開示の第４の実施形態について説明する。図１８を参照すると、情報処理システム２０は、撮像装置１００−４と、撮像装置２００−４とを含む。本実施形態は、センサ装置として機能する装置（撮像装置１００−４）が、センサ情報を取得するのではなく、撮像装置２００−４と同様にプレー画像を撮像し、撮像したプレー画像の解析によってプレーイベント情報が生成される点において、上記の第１〜第３の実施形態とは異なる。なお、この点以外の本実施形態の構成については、第１〜第３の実施形態の構成と同様とすることが可能であるため、詳細な説明を省略する。
撮像装置１００−４は、上述の他の実施形態における撮像装置と同様に、撮像部、記憶部、時計などの機能構成を有し、スポーツのプレー画像を、例えば撮像装置２００−４とは画角で撮像する。撮像されたプレー画像のデータは、撮像装置１００−４に一時的に蓄積された後、例えばプレー終了後にユーザが撮像装置１００−４と撮像装置２００−４とを接続したときに、撮像装置２００−４に送信されうる。撮像装置１００−４は、さらに解析部を有し、撮像したプレー画像の解析によってプレーイベント情報を生成してもよい。プレーイベント情報は、プレー画像とともに撮像装置２００−４に送信されうる。
撮像装置２００−４は、上述の他の実施形態における撮像装置と同様に、撮像部、記憶部、時計、解析部などの機能構成を有し、スポーツのプレー画像を撮像する。撮像されたプレー画像のデータは、撮像装置２００−４に少なくとも一時的に蓄積される。撮像装置２００−４は、例えばプレー終了後に、撮像装置１００−４から、別の画角から撮像されたプレー画像を受信する。また、撮像装置２００−４は、撮像装置１００−４から、撮像装置１００−４が撮像したプレー画像の解析によって生成されたプレーイベント情報を受信してもよい。
撮像装置２００−４は、撮像装置２００−４自身が撮像したプレー画像（第１のプレー画像）の解析によってプレーイベント情報（第１のプレーイベント情報）を生成し、撮像装置１００−４が撮像したプレー画像（第２のプレー画像）の解析によって生成されたプレーイベント情報（第２のプレーイベント情報；解析は撮像装置２００−４で実行されてもよいし撮像装置１００−４で実行されてもよい）との間でプレーイベントの発生タイミングを比較する。例えば、上記の第３の実施形態と同様の比較処理によって、第１のプレー画像と第２のプレーイベント情報との時系列を調整するためのパラメータが算出されうる。
ここで、第２のプレーイベント情報は、撮像装置１００−４の時刻に基づく第２のプレー画像のタイムスタンプに対応して設定されている。従って、第１および第２のプレーイベント情報のそれぞれの時系列を調整するためのパラメータを用いて、第１および第２のプレー画像のタイムスタンプをも調整することができる。それゆえ、例えば、この時系列調整パラメータを適用することによって、第１のプレー画像と第２のプレー画像とを同期させ、同じプレーを異なる画角で撮像した複数のプレー画像を同時に再生させることができる。
以上、本開示の第４の実施形態について説明した。本実施形態では、プレーイベント情報とプレー画像の時系列を調整する処理を応用して、複数のプレー画像を同期して再生させることができる。複数の画像の同期再生は、一般的には例えば複数の撮像装置が共通のマスタ時刻を参照することによって実行されるが、本実施形態によれば、通信環境などの事情によって共通のマスタ時刻の参照が困難である場合でも、プレーイベントの発生タイミングを基準にすることによって、それぞれのプレー画像の時系列を調整することが可能である。
（５．ハードウェア構成）
次に、図１９および図２０を参照して、本開示の実施形態に係るセンサ装置および情報処理装置（上述した例では撮像装置）を実現するためのハードウェア構成の例について説明する。
（センサ装置）
図１９は、本開示の実施形態に係るセンサ装置のハードウェア構成の例を示す図である。センサ装置８００は、本開示の実施形態に係るセンサ装置、例えば上記で説明したセンサ装置１００〜１００−３や撮像装置１００−４を実現しうる。
センサ装置８００は、ＣＰＵ（Central Processing Unit）８０１と、ＲＯＭ（Read Only Memory）８０２と、ＲＡＭ（Random Access Memory）８０３と、センサ８０４と、ユーザインターフェース８０５と、外部記憶装置８０６と、通信装置８０７と、出力装置８０８とを含みうる。これらの要素は、例えばバス８０９によって相互に接続される。
ＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、例えば外部記憶装置８０６に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、ＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３によって、例えば、センサ装置８００全体の制御や、上記の例でいう前処理部１０３の機能が実現されうる。
センサ８０４は、上記の実施形態の機能構成ではセンサ１０１に対応する。なお、センサ８０４は、例えば加速度センサ、角速度センサ、振動センサ、温度センサ、圧力センサ（押下スイッチを含む）、またはＧＰＳ受信機などを含みうる。あるいは、例えば撮像装置１００−４では、センサ８０４に代えて撮像部が設けられてもよい。
ユーザインターフェース８０５は、センサ装置８００へのユーザの操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。ユーザの操作は、例えば、センサ装置からのセンサ情報の送信の開始や終了を指示するものでありうる。
外部記憶装置８０６は、センサ装置８００に関する各種の情報を記憶する。外部記憶装置８０６には、例えば、ＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、またセンサ８０４によって取得されたデータが一時的にキャッシュされてもよい。センサ装置８００がユーザ自身やスポーツ用具に装着されることを考慮すると、外部記憶装置８０６としては、例えば半導体メモリなどの衝撃に強いものを使用することが望ましい。
通信装置８０７は、上記の実施形態の機能構成では通信部（図示されなかったものを含む）に対応する。通信装置８０７は、有線または無線の各種通信方式によって後述する情報処理装置９００と通信する。また、通信装置８０７は、機器間通信によって直接的に情報処理装置９００と通信してもよいし、インターネットなどのネットワークを介して情報処理装置９００と通信してもよい。
出力装置８０８は、情報を光、音声または画像として出力することが可能な装置で構成される。出力装置８０８は、例えば上記の実施形態のように、センサ装置８００における時刻やプレーイベントの検出を通知する情報を出力してもよいし、ユーザに対する視覚的または聴覚的な通知を出力してもよい。出力装置８０８は、例えば、例えばＬＥＤなどのランプ、ＬＣＤなどのディスプレイ、スピーカ、またはユーザ自身や用具に振動を与えるバイブレータなどを含む。
（情報処理装置）
図２０は、本開示の実施形態に係る情報処理装置のハードウェア構成の例を示す図である。情報処理装置９００は、本開示の実施形態に係る情報処理装置、例えば上記で説明した撮像装置２００〜２００−４を実現しうる。また、上述のように、情報処理装置は、上記で説明した撮像装置の解析部２０７と同様の機能を有するネットワーク上のサーバとして実現されてもよい。
情報処理装置９００は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、ユーザインターフェース９０５と、外部記憶装置９０６と、通信装置９０７と、出力装置９０８とを含みうる。これらの要素は、例えばバス９０９によって相互に接続される。例えば情報処理装置９００が上記の例のように撮像装置として実現される場合、情報処理装置９００はさらに撮像部を含んでもよい。
ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、例えば外部記憶装置９０６に記録されたプログラム命令を読み込んで実行することによって、様々な機能をソフトウェア的に実現する。本開示の実施形態では、ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３によって、例えば、情報処理装置９００全体の制御や、上記の例でいう解析部２０７の機能などが実現されうる。
ユーザインターフェース９０５は、情報処理装置９００へのユーザの操作を受け付ける、例えばボタンやタッチパネルなどの入力装置である。
外部記憶装置９０６は、情報処理装置９００に関する各種の情報を記憶する。外部記憶装置９０６には、例えば、ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３にソフトウェア的に機能を実現させるためのプログラム命令が格納されてもよく、また通信装置９０７が受信したセンサ情報が一時的にキャッシュされてもよい。また、外部記憶装置９０６には、プレーイベント情報やセンサ情報のログが蓄積されてもよい。
出力装置９０８は、情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９０８は、例えば、ＬＣＤなどの表示装置、またはスピーカやヘッドホンなどの音声出力装置などでありうる。出力装置９０８は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。情報処理装置９００がユーザによって使用される端末装置である場合、出力装置９０８は、例えば、プレー画像や、プレー画像に基づいて生成されたダイジェスト画像などを出力してもよい。
（６．補足）
上記の実施形態では、センサ装置と情報処理装置（撮像装置）とを含む情報処理システムについて説明したが、本開示の実施形態は、例えば、情報処理装置の機能の少なくとも一部を実現するネットワーク上のサーバ（複数の装置の機能の集合として実現されるものを含む）、コンピュータにこれらの装置の機能を実現させるためのプログラム、およびかかるプログラムが記録された記録媒体などをも含む。
また、上記の実施形態では、情報処理装置（撮像装置）が自動的にプレー画像の時系列とプレーイベント情報の時系列とを調整する例について説明したが、本開示の実施形態はこれに限られない。他の実施形態では、例えば、特定のユーザ操作またはプレーイベントが発生した時点でのプレー画像をユーザに提示し、その時点とプレーイベント情報に含まれるユーザ操作やプレーイベントの時点とを対応付ける（つまり、これらの時点を時系列の調整の基準点として使用する）か否かをユーザが選択可能であってもよい。この場合も、情報処理装置は、（ユーザの確認を取得するステップを含む）時系列の調整処理を実行しているといえる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
被写体を撮像した第１の画像を取得する画像取得部と、
前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを備え、
前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置。
（２）
前記第２の画像は、前記第１の画像を撮像した装置とは異なる他の装置で撮像され、前記他の装置から取得された画像である、前記（１）に記載の情報処理装置。
（３）
前記第１の画像と前記第２の画像は異なる画角で撮像された画像である、前記（１）または（２）に記載の情報処理装置。
（４）
前記第１の画像および前記第２の画像はそれぞれスポーツのプレー画像であり、同じプレーを異なる画角で撮像して得られたプレー画像である、前記（３）に記載の情報処理装置。
（５）
前記第１の画像と前記第２の画像とを同期させ同時に再生させる、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
被写体を撮像した第１の画像を取得する機能と、
前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記被写体を撮像した第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する機能と、
をコンピュータに実現するためのプログラムが記録された記録媒体。
（７）
前記第２の画像は、前記第１の画像を撮像した装置とは異なる他の装置で撮像され、前記他の装置から取得された画像である、プログラムが記録された前記（６）に記載の記録媒体。
（８）
前記第１の画像と前記第２の画像は異なる画角で撮像された画像である、プログラムが記録された前記（６）または（７）に記載の記録媒体。
（９）
前記第１の画像および前記第２の画像はそれぞれスポーツのプレー画像であり、同じプレーを異なる画角で撮像して得られたプレー画像である、プログラムが記録された前記（８）に記載の記録媒体。
（１０）
前記第１の画像と前記第２の画像とを同期させ同時に再生させる機能を、さらに前記コンピュータに実現するためのプログラムが記録された前記（６）〜（９）のいずれか一項に記載の記録媒体。
（１１）
被写体を撮像した第１の画像を取得する画像取得部、および
前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを有し、
前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置と、
前記被写体を撮像する撮像装置と、
を含む情報処理システム。
（１２）
前記第２の画像は、前記撮像装置で撮像され、前記撮像装置から取得された画像である、前記（１１）に記載の情報処理システム。
（１３）
前記第１の画像と前記第２の画像は異なる画角で撮像された画像である、前記（１１）または（１２）に記載の情報処理システム。
（１４）
前記第１の画像および前記第２の画像はそれぞれスポーツのプレー画像であり、同じプレーを異なる画角で撮像して得られたプレー画像である、前記（１３）に記載の情報処理システム。
（１５）
前記第１の画像と前記第２の画像とを同期させ同時に再生させる、前記（１１）〜（１４）のいずれか一項に記載の情報処理システム。
１００，１００−２，１００−３ センサ装置
１０１ センサ
１０３ 前処理部
１０５ 記憶部
１０７ 時計
１０９ ドライバ
１１１ 解析部
１１３ 通信部
２００，２００−２，２００−３，１００−４，２００−４ 撮像装置
２０１ 撮像部
２０３ 記憶部
２０５ 時計
２０７ 解析部
２０９ 出力部
２１１ 通信部

Claims (15)

  1. 被写体を撮像した第１の画像を取得する画像取得部と、
    前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを備え、
    前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置。
  2. 前記第２の画像は、前記第１の画像を撮像した装置とは異なる他の装置で撮像され、前記他の装置から取得された画像である、請求項１に記載の情報処理装置。
  3. 前記第１の画像と前記第２の画像は異なる画角で撮像された画像である、請求項１に記載の情報処理装置。
  4. 前記第１の画像および前記第２の画像はそれぞれスポーツのプレー画像であり、同じプレーを異なる画角で撮像して得られたプレー画像である、請求項３に記載の情報処理装置。
  5. 前記第１の画像と前記第２の画像とを同期させ同時に再生させる、請求項１に記載の情報処理装置。
  6. 被写体を撮像した第１の画像を取得する機能と、
    前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記被写体を撮像した第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する機能と、
    をコンピュータに実現するためのプログラムが記録された記録媒体。
  7. 前記第２の画像は、前記第１の画像を撮像した装置とは異なる他の装置で撮像され、前記他の装置から取得された画像である、プログラムが記録された請求項６に記載の記録媒体。
  8. 前記第１の画像と前記第２の画像は異なる画角で撮像された画像である、プログラムが記録された請求項６に記載の記録媒体。
  9. 前記第１の画像および前記第２の画像はそれぞれスポーツのプレー画像であり、同じプレーを異なる画角で撮像して得られたプレー画像である、プログラムが記録された請求項８に記載の記録媒体。
  10. 前記第１の画像と前記第２の画像とを同期させ同時に再生させる機能を、さらに前記コンピュータに実現するためのプログラムが記録された請求項６に記載の記録媒体。
  11. 被写体を撮像した第１の画像を取得する画像取得部、および
    前記第１の画像の時系列と、前記被写体を撮像した第２の画像の時系列とを調整する調整制御部とを有し、
    前記調整制御部は、前記被写体の動作の単位として予め定義され、前記第１の画像を解析することによって検出される第１のイベント群の発生時刻と、前記被写体の動作の単位として予め定義され、前記第２の画像を解析することによって検出される第２のイベント群の発生時刻と、を比較することによって前記第１の画像の時系列と前記第２の画像の時系列とを調整する情報処理装置と、
    前記被写体を撮像する撮像装置と、
    を含む情報処理システム。
  12. 前記第２の画像は、前記撮像装置で撮像され、前記撮像装置から取得された画像である、請求項１１に記載の情報処理システム。
  13. 前記第１の画像と前記第２の画像は異なる画角で撮像された画像である、請求項１１に記載の情報処理システム。
  14. 前記第１の画像および前記第２の画像はそれぞれスポーツのプレー画像であり、同じプレーを異なる画角で撮像して得られたプレー画像である、請求項１３に記載の情報処理システム。
  15. 前記第１の画像と前記第２の画像とを同期させ同時に再生させる、請求項１１に記載の情報処理システム。
JP2015202726A 2015-10-14 2015-10-14 情報処理装置、記録媒体および情報処理システム Pending JP2016015780A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015202726A JP2016015780A (ja) 2015-10-14 2015-10-14 情報処理装置、記録媒体および情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015202726A JP2016015780A (ja) 2015-10-14 2015-10-14 情報処理装置、記録媒体および情報処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013060061A Division JP5867432B2 (ja) 2013-03-22 2013-03-22 情報処理装置、記録媒体および情報処理システム

Publications (1)

Publication Number Publication Date
JP2016015780A true JP2016015780A (ja) 2016-01-28

Family

ID=55231596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015202726A Pending JP2016015780A (ja) 2015-10-14 2015-10-14 情報処理装置、記録媒体および情報処理システム

Country Status (1)

Country Link
JP (1) JP2016015780A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078864A (ja) * 2001-08-30 2003-03-14 Nec Corp カメラ映像提供システム及びカメラ映像の時刻補正方法
JP2010130084A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2010130086A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2012213020A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 画像処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003078864A (ja) * 2001-08-30 2003-03-14 Nec Corp カメラ映像提供システム及びカメラ映像の時刻補正方法
JP2010130084A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2010130086A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2012213020A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 画像処理装置及びプログラム

Similar Documents

Publication Publication Date Title
JP5867432B2 (ja) 情報処理装置、記録媒体および情報処理システム
US20160225410A1 (en) Action camera content management system
JP6136926B2 (ja) 情報処理装置、記憶媒体および情報処理方法
US9205333B2 (en) Massively multiplayer gaming
US10070046B2 (en) Information processing device, recording medium, and information processing method
JP7424456B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2019021375A1 (ja) 映像生成プログラム、映像生成方法および映像生成装置
US9782670B2 (en) Computer program, method, and system for enabling an interactive event among a plurality of persons
JP6354461B2 (ja) フィードバック提供方法、システム、および解析装置
US20160065984A1 (en) Systems and methods for providing digital video with data identifying motion
JP6830829B2 (ja) プログラム、表示装置、表示方法、放送システム及び放送方法
JPWO2018199115A1 (ja) 演出制御装置、演出システム、及びプログラム
US11140372B2 (en) Capturing and synchronizing motion with recorded audio/video
US20230402066A1 (en) Intelligent sports video and data generation from ai recognition events
US10569135B2 (en) Analysis device, recording medium, and analysis method
JP2016015780A (ja) 情報処理装置、記録媒体および情報処理システム
JP7074059B2 (ja) 情報処理装置及び情報処理システム
JP2020136847A (ja) データ取得装置、その制御方法及び制御プログラム、並びに制御機器、データ取得機器
WO2017156642A1 (en) A system for synchronization of data logged with wearable devices and video streams in sports applications
KR101231587B1 (ko) 영상 비교 처리 장치
EP3003516A2 (en) Computer program, methods, and system for enabling an interactive event among a plurality of persons

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160229

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170613