JP2018005474A - Mobile entity identification device, mobile entity identification system, mobile entity identification method and program - Google Patents

Mobile entity identification device, mobile entity identification system, mobile entity identification method and program Download PDF

Info

Publication number
JP2018005474A
JP2018005474A JP2016130184A JP2016130184A JP2018005474A JP 2018005474 A JP2018005474 A JP 2018005474A JP 2016130184 A JP2016130184 A JP 2016130184A JP 2016130184 A JP2016130184 A JP 2016130184A JP 2018005474 A JP2018005474 A JP 2018005474A
Authority
JP
Japan
Prior art keywords
moving
moving body
time
moving image
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016130184A
Other languages
Japanese (ja)
Other versions
JP2018005474A5 (en
JP6772593B2 (en
Inventor
量平 山本
Ryohei Yamamoto
量平 山本
将司 上田
Shoji Ueda
将司 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016130184A priority Critical patent/JP6772593B2/en
Publication of JP2018005474A publication Critical patent/JP2018005474A/en
Publication of JP2018005474A5 publication Critical patent/JP2018005474A5/ja
Application granted granted Critical
Publication of JP6772593B2 publication Critical patent/JP6772593B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a mobile entity identification device, a mobile entity identification system, a mobile entity identification method and a program for reducing the correlation error of a plurality of mobile entities from a moving-image in which a plurality of mobile entities are captured.SOLUTION: In the mobile entity identification device, a specification unit specifies, on the basis of a first time-series feature pertaining to the movement of at least one mobile entity obtained from a captured moving-image and a second time-series feature pertaining to the movement of at least one mobile entity obtained from at least one measurement device mounted in at least one mobile entity, a correspondence relation between at least one mobile entity in the moving-image and at least one measurement device, except a correspondence relation between only one mobile entity in the moving-image and only one measurement device. In a time section in which the movement information measured by one of the at least one measurement device satisfies a predetermined condition, the specification unit does unit use the movement information measured by any of the measurement devices in specifying the correspondence relation.SELECTED DRAWING: Figure 5

Description

本発明は、移動体識別装置、移動体識別システム、移動体識別方法及びプログラムに関する。   The present invention relates to a mobile object identification device, a mobile object identification system, a mobile object identification method, and a program.

移動している複数の移動体の位置を追跡したり運動を解析したりするために、複数の移動体を撮像し、撮像された動画から複数の移動体を識別する技術が知られている。動画を用いることは、複数の移動体の位置及び周囲の状況を容易に把握できるというメリットがある。その反面、複数の移動体の外観が似ている場合や、移動体同士が重なったり移動体が障害物に隠れたりする場合のように、移動体個々の特定が難しい場合があるというデメリットがある。   In order to track the positions of a plurality of moving bodies and analyze the motion, a technique is known in which a plurality of moving bodies are imaged and the plurality of moving bodies are identified from the captured moving images. The use of a moving image has an advantage that the positions of a plurality of moving bodies and surrounding conditions can be easily grasped. On the other hand, there is a demerit that it is difficult to identify individual moving objects, such as when the appearance of multiple moving objects is similar, or when moving objects overlap each other or the moving objects are hidden by obstacles. .

このようなデメリットを補うために、複数の移動体のそれぞれに測定装置を装着し、測定装置による測定と動画の撮像とを組み合わせて複数の移動体を識別する手法が知られている。装着型の測定装置を用いることで、対応する移動体が特定されており、移動体の定量的な移動情報を取得することができる。   In order to compensate for these disadvantages, a technique is known in which a measuring device is attached to each of a plurality of moving bodies, and the plurality of moving bodies are identified by combining measurement by the measuring device and imaging of a moving image. By using the wearable measurement device, the corresponding moving body is specified, and quantitative movement information of the moving body can be acquired.

例えば特許文献１は、幼稚園又は保育園等において、移動体である幼児の位置を検出するシステムを開示している。特許文献１に開示された位置検出システムは、カメラの撮影によって各幼児の位置を検出し、且つ、各幼児に装着された加速度センサによって各幼児の移動量を検出する。そして、この位置検出システムは、加速度センサによって検出された各幼児の移動量とカメラの撮影によって検出された各幼児の位置とを照合し、各幼児の位置を、各幼児を個々に特定しつつ検出する。   For example, Patent Document 1 discloses a system for detecting the position of an infant that is a moving body in a kindergarten or a nursery school. The position detection system disclosed in Patent Literature 1 detects the position of each infant by photographing with a camera, and detects the amount of movement of each infant by an acceleration sensor attached to each infant. The position detection system collates the amount of movement of each infant detected by the acceleration sensor with the position of each infant detected by the camera, and identifies each infant's position individually. To detect.

また、特許文献２は、移動体である幼児の位置を、幼児が誰であるのかを認識しつつ追跡する移動体識別システムを開示している。特許文献２に開示された移動体識別システムは、２台のカメラによって移動体の上下方向の動きと水平方向の動きとを検出し、且つ、移動体に取り付けられたセンサによって移動体の上下方向及び水平方向の加速度を検出する。そして、この移動体識別システムは、上下方向と水平方向とのそれぞれについて、センサにより得られた加速度とカメラにより得られた移動体の動きとを照合して、最も一致度の高い移動体を選別する。   Patent Document 2 discloses a moving body identification system that tracks the position of an infant that is a moving body while recognizing who the infant is. The moving body identification system disclosed in Patent Document 2 detects the vertical movement and the horizontal movement of the moving body with two cameras, and the vertical direction of the moving body with a sensor attached to the moving body. And the acceleration in the horizontal direction is detected. This mobile object identification system collates the acceleration obtained by the sensor with the movement of the mobile object obtained by the camera in each of the vertical and horizontal directions, and selects the mobile object having the highest degree of coincidence. To do.

特開２００４−９６５０１号公報JP 2004-96501 A 特開２００４−２７４１０１号公報JP 2004-274101 A

前記のような、動画における複数の移動体と複数の移動体にそれぞれ装着された複数の測定装置とを対応付けることによって複数の移動体を識別する技術において、対応付けを誤ることがある。そのため、対応付けの誤りを減らすことが望まれている。   In the technique for identifying a plurality of moving bodies by associating the plurality of moving bodies in the moving image and the plurality of measuring devices respectively attached to the plurality of moving bodies as described above, the association may be erroneous. Therefore, it is desired to reduce association errors.

本発明は、以上のような課題を解決するためのものであり、動画における少なくとも１つの移動体と少なくとも１つの移動体に装着された少なくとも１つの測定装置とを対応付ける際に、対応付けの誤りを減らすことが可能な移動体識別装置、移動体識別システム、移動体識別方法及びプログラムを提供することを目的とする。   The present invention is to solve the above-described problems, and an error in association occurs when associating at least one moving body in a moving image with at least one measuring device attached to at least one moving body. It is an object of the present invention to provide a moving body identification device, a moving body identification system, a moving body identification method, and a program.

前記目的を達成するため、本発明に係る移動体識別装置の一態様は、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする。 In order to achieve the above object, one aspect of the mobile object identification device according to the present invention is:
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specifying means for specifying a moving body and a correspondence relationship between only one measuring apparatus mounted on the one moving body;
With
In the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the specifying unit is measured by any one of the measuring devices. Do not use movement information to identify correspondences,
It is characterized by that.

また、前記目的を達成するため、本発明に係る移動体識別システムの一態様は、
前記に記載の移動体識別装置と、前記撮像装置と、前記少なくとも１つの測定装置と、を備える、
ことを特徴とする。 In order to achieve the above object, one aspect of the mobile object identification system according to the present invention is:
The mobile object identification device described above, the imaging device, and the at least one measurement device,
It is characterized by that.

また、前記目的を達成するため、本発明に係る移動体識別方法の一態様は、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定ステップと、
を含み、
前記特定ステップでは、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする。 In order to achieve the above object, one aspect of the mobile object identification method according to the present invention includes:
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specific step of specifying a moving body and a single measuring device attached to only one moving body, excluding a correspondence relationship;
Including
In the specifying step, in the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the measuring information measured by any one of the measuring devices is used. Do not use movement information to identify correspondences,
It is characterized by that.

また、前記目的を達成するため、本発明に係るプログラムの一態様は、
移動体識別装置のコンピュータを、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
として機能させ、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする。 In order to achieve the above object, one aspect of the program according to the present invention is as follows:
The computer of the mobile object identification device
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specifying means for specifying a moving body and a correspondence relationship between only one measuring apparatus mounted on the one moving body;
Function as
In the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the specifying unit is measured by any one of the measuring devices. Do not use movement information to identify correspondences,
It is characterized by that.

本発明によれば、動画における少なくとも１つの移動体と少なくとも１つの移動体に装着された少なくとも１つの測定装置とを対応付ける際に、対応付けの誤りを減らすことが可能な移動体識別装置、移動体識別システム、移動体識別方法及びプログラムを提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, when associating at least 1 moving body and at least 1 measuring device with which at least 1 moving body in a moving image was matched, the moving body identification device and movement which can reduce a matching error A body identification system, a moving body identification method, and a program can be provided.

本発明の実施形態１に係る移動体識別システムの概要を示す図である。It is a figure which shows the outline | summary of the mobile body identification system which concerns on Embodiment 1 of this invention. 移動体識別システムが適用される場面の例を示す図である。It is a figure which shows the example of the scene where a mobile body identification system is applied. 複数の測定装置、撮像装置及び移動体識別装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of a some measuring device, an imaging device, and a moving body identification device. 撮像装置によって撮像された複数の移動体の動画の例を示す図である。It is a figure which shows the example of the moving image of the several mobile body imaged by the imaging device. 移動体識別装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of a mobile body identification device. （ａ）は、動画から得られた速度の時間変化の例を示す図である。（ｂ）及び（ｃ）は、測定装置から得られた加速度の分散の時間変化の例を示す図である。（ｄ）は、第１の相関値の例を示す図である。(A) is a figure which shows the example of the time change of the speed obtained from the moving image. (B) And (c) is a figure which shows the example of the time change of the dispersion | distribution of the acceleration obtained from the measuring apparatus. (D) is a figure showing an example of the 1st correlation value. （ａ）は、動画から得られた加速度の時間変化の例を示す図である。（ｂ）及び（ｃ）は、測定装置から得られた鉛直方向の加速度の時間変化の例を示す図である。（ｄ）は、第２の相関値の例を示す図である。(A) is a figure which shows the example of the time change of the acceleration obtained from the moving image. (B) And (c) is a figure which shows the example of the time change of the acceleration of the perpendicular direction obtained from the measuring apparatus. (D) is a figure showing an example of the 2nd correlation value. （ａ）は、動画から得られた移動の向きの時間変化の例を示す図である。（ｂ）及び（ｃ）は、測定装置から得られた移動の向きの時間変化の例を示す図である。（ｄ）は、第３の相関値の例を示す図である。(A) is a figure which shows the example of the time change of the direction of the movement obtained from the moving image. (B) And (c) is a figure which shows the example of the time change of the direction of the movement obtained from the measuring apparatus. (D) is a figure showing an example of the 3rd correlation value. 移動体がジャンプした場合における鉛直方向の加速度の時間変化の例を示す図である。It is a figure which shows the example of the time change of the acceleration of a perpendicular direction when a moving body jumps. 複数の移動体のそれぞれに対応する測定装置の識別情報を合わせて表示された動画の表示例を示す図である。It is a figure which shows the example of a display of the moving image displayed combining the identification information of the measuring apparatus corresponding to each of a some mobile body. 移動体識別装置によって実行される移動体識別処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the mobile body identification process performed by a mobile body identification device. 移動体識別処理の中で実行される特定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the specific process performed in a moving body identification process.

以下、本発明の実施形態について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals.

（実施形態１）
図１に、実施形態１に係る移動体識別システム１の概要を示す。移動体識別システム１は、撮像装置２００によって撮像された複数の移動体１０ａ，１０ｂ，１０ｃ…の動画において、複数の移動体１０ａ，１０ｂ，１０ｃ…を識別するシステムである。複数の移動体１０ａ，１０ｂ，１０ｃ…のそれぞれは、現実世界の空間内において移動可能な物体であって、図１の例では人間である。 (Embodiment 1)
In FIG. 1, the outline | summary of the mobile body identification system 1 which concerns on Embodiment 1 is shown. The moving body identification system 1 is a system for identifying a plurality of moving bodies 10a, 10b, 10c... In a moving image of the plurality of moving bodies 10a, 10b, 10c. Each of the plurality of moving bodies 10a, 10b, 10c... Is an object that can move in the real world space, and is a human in the example of FIG.

図１に示すように、移動体識別システム１は、複数の測定装置１００ａ，１００ｂ，１００ｃ…と、撮像装置２００と、移動体識別装置３００と、を備える。複数の測定装置１００ａ，１００ｂ，１００ｃ…は、それぞれ複数の移動体１０ａ，１０ｂ，１０ｃ…に装着されるウェアラブル型の測定装置であって、複数の移動体１０ａ，１０ｂ，１０ｃ…の移動及び運動を測定するモーションセンサを備える。   As shown in FIG. 1, the moving body identification system 1 includes a plurality of measuring devices 100a, 100b, 100c..., An imaging device 200, and a moving body identification device 300. The plurality of measuring devices 100a, 100b, 100c,... Are wearable measuring devices that are mounted on the plurality of moving bodies 10a, 10b, 10c, respectively, and the movement and movement of the plurality of moving bodies 10a, 10b, 10c,. A motion sensor for measuring

なお、以下では、複数の移動体１０ａ，１０ｂ，１０ｃ…のそれぞれを区別せずに称する場合には、移動体１０と総称し、複数の測定装置１００ａ，１００ｂ，１００ｃ…のそれぞれを区別せずに称する場合には、測定装置１００と総称する。   In the following, when each of the plurality of moving bodies 10a, 10b, 10c... Is referred to without distinction, it is collectively referred to as the moving body 10 and each of the plurality of measuring devices 100a, 100b, 100c. Are collectively referred to as the measuring device 100.

図２に、移動体識別システム１が適用される場面の例を示す。図２の例では、それぞれ移動体１０ａ〜１０ｆである６人の選手が、コート内において運動競技をしている。運動競技は、例えば、バスケットボール、ハンドボール、バレーボール又はフットサル等、屋内でプレイされるスポーツである。これら６人の選手（移動体１０ａ〜１０ｆ）には、それぞれ測定装置１００ａ〜１００ｆが１台ずつ装着されている。測定装置１００ａ〜１００ｆのそれぞれは、測定装置１００が装着された選手（移動体１０）の競技中における動きを測定する。測定装置１００ａ〜１００ｆのそれぞれは、選手の移動及び運動を的確に測定できるように、各選手（各移動体１０ａ〜１０ｆ）の体幹に取り付けられる。   In FIG. 2, the example of the scene where the mobile body identification system 1 is applied is shown. In the example of FIG. 2, six athletes, each of the moving bodies 10a to 10f, are performing athletic competitions on the court. An athletic competition is a sport played indoors, such as basketball, handball, volleyball, or futsal. Each of these six players (moving bodies 10a to 10f) is equipped with one measuring device 100a to 100f. Each of the measuring devices 100a to 100f measures the movement of the player (moving body 10) to which the measuring device 100 is attached during the competition. Each of the measuring devices 100a to 100f is attached to the trunk of each player (each moving body 10a to 10f) so that the movement and movement of the player can be accurately measured.

撮像装置２００は、移動している複数の移動体１０ａ〜１０ｆを撮像して、複数の移動体１０ａ〜１０ｆの動画を生成する。撮像装置２００は、例えばビデオカメラ、又はスマートフォン等の携帯端末に内蔵されたカメラ等である。撮像装置２００によって生成される動画は、フレーム単位で撮像された複数の画像を含んでいる。撮像装置２００は、複数の移動体１０ａ〜１０ｆの全部が視野に入るように、複数の移動体１０ａ〜１０ｆに対して斜め上方の位置（図２の例では観客席）に設置される。撮像装置２００は、斜め上方から俯瞰して撮像することによって、複数の移動体１０ａ〜１０ｆの水平方向における動きと鉛直方向における動きとのどちらも捉えることができる。   The imaging device 200 captures a plurality of moving bodies 10a to 10f that move and generates moving images of the plurality of moving bodies 10a to 10f. The imaging device 200 is, for example, a video camera or a camera built in a portable terminal such as a smartphone. The moving image generated by the imaging apparatus 200 includes a plurality of images captured in units of frames. The imaging device 200 is installed at a position diagonally above the plurality of moving bodies 10a to 10f (in the example of FIG. 2) so that all of the plurality of moving bodies 10a to 10f are in the field of view. The imaging device 200 can capture both the movement in the horizontal direction and the movement in the vertical direction of the plurality of moving bodies 10a to 10f by capturing an image from an obliquely overhead view.

なお、図２に示すように、複数の移動体１０ａ〜１０ｆが移動する空間において、ｘｙ平面が水平面に相当し、且つ、ｚ方向が鉛直方向に相当するように、世界座標系が設定されている。   As shown in FIG. 2, in the space where the plurality of moving bodies 10a to 10f moves, the world coordinate system is set so that the xy plane corresponds to the horizontal plane and the z direction corresponds to the vertical direction. Yes.

次に、図３を参照して、移動体識別システム１の構成について説明する。複数の測定装置１００のそれぞれは、制御部１０１と、記憶部１０２と、測定部１０３と、通信部１０４と、を備える。   Next, the configuration of the moving object identification system 1 will be described with reference to FIG. Each of the plurality of measurement apparatuses 100 includes a control unit 101, a storage unit 102, a measurement unit 103, and a communication unit 104.

制御部１０１は、ＣＰＵ（Central Processing Unit）を備え、様々な処理や演算を実行する中央演算処理部である。制御部１０１は、命令やデータを転送するための伝送経路であるシステムバスを介して測定装置１００の各部と接続され、測定装置１００全体を制御する。   The control unit 101 includes a CPU (Central Processing Unit), and is a central processing unit that executes various processes and operations. The control unit 101 is connected to each unit of the measuring apparatus 100 via a system bus that is a transmission path for transferring commands and data, and controls the entire measuring apparatus 100.

記憶部１０２は、制御部１０１のワークメモリとして機能するＲＡＭ（Random Access Memory）、及び、ＲＯＭ（Read Only Memory）又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部１０２は、制御部１０１が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、記憶部１０２は、制御部１０１が各種処理を行うことにより生成又は取得する各種データを記憶する。   The storage unit 102 includes a RAM (Random Access Memory) that functions as a work memory of the control unit 101, and a nonvolatile memory such as a ROM (Read Only Memory) or a flash memory. The storage unit 102 stores various programs and data used by the control unit 101 for performing various processes. The storage unit 102 stores various data generated or acquired by the control unit 101 performing various processes.

測定部１０３は、測定対象である、測定装置１００が装着された移動体１０の移動情報を測定する。ここで、移動情報とは、移動体１０の移動に関する情報であって、移動体１０の速度、加速度又は角速度等の情報である。具体的に説明すると、測定部１０３は、加速度センサ（慣性センサ）を備え、測定装置１００に付与された加速度を検出することによって、移動体１０の動き及び振動を測定する。また、加速度センサは、重力を検出してその向き（鉛直下向き）を特定することによって、測定装置１００の傾きを測定する。測定部１０３は、方角を検出する地磁気センサと、測定装置１００の回転（角速度）を検出する角速度センサ（ジャイロセンサ）と、更に備える。   The measurement unit 103 measures movement information of the moving object 10 to which the measurement apparatus 100 is attached, which is a measurement target. Here, the movement information is information related to the movement of the moving body 10 and is information such as the speed, acceleration, or angular velocity of the moving body 10. Specifically, the measurement unit 103 includes an acceleration sensor (inertia sensor), and measures the movement and vibration of the moving body 10 by detecting the acceleration applied to the measurement apparatus 100. The acceleration sensor measures the inclination of the measuring apparatus 100 by detecting gravity and specifying the direction (vertically downward). The measurement unit 103 further includes a geomagnetic sensor that detects a direction, and an angular velocity sensor (gyro sensor) that detects rotation (angular velocity) of the measurement apparatus 100.

通信部１０４は、制御部１０１の制御のもと、移動体識別装置３００と有線又は無線で通信するためインタフェースを備える。通信部１０４は、例えばＷｉ−Ｆｉ（Wireless Fidelity）等の無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＵＳＢ（Universal Serial Bus）等を介して、移動体識別装置３００と通信する。具体的に説明すると、通信部１０４は、測定部１０３が測定して得られた、測定装置１００が装着された移動体１０の移動情報を、移動体識別装置３００に送信する。   The communication unit 104 includes an interface for communicating with the mobile object identification device 300 in a wired or wireless manner under the control of the control unit 101. The communication unit 104 communicates with the mobile object identification device 300 via a wireless LAN (Local Area Network) such as Wi-Fi (Wireless Fidelity), Bluetooth (registered trademark), USB (Universal Serial Bus), or the like. More specifically, the communication unit 104 transmits the movement information of the mobile body 10 to which the measurement apparatus 100 is mounted, obtained by the measurement of the measurement unit 103, to the mobile body identification apparatus 300.

次に、撮像装置２００の構成の説明に移る。図３に示すように、撮像装置２００は、制御部２０１と、記憶部２０２と、撮像部２０３と、画像処理部２０４と、通信部２０５と、を備える。   Next, a description of the configuration of the imaging apparatus 200 will be given. As illustrated in FIG. 3, the imaging apparatus 200 includes a control unit 201, a storage unit 202, an imaging unit 203, an image processing unit 204, and a communication unit 205.

制御部２０１は、ＣＰＵを備え、様々な処理や演算を実行する中央演算処理部である。制御部２０１は、命令やデータを転送するための伝送経路であるシステムバスを介して撮像装置２００の各部と接続され、撮像装置２００全体を制御する。   The control unit 201 includes a CPU and is a central processing unit that executes various processes and calculations. The control unit 201 is connected to each unit of the imaging apparatus 200 via a system bus that is a transmission path for transferring commands and data, and controls the entire imaging apparatus 200.

記憶部２０２は、制御部２０１のワークメモリとして機能するＲＡＭ、及び、ＲＯＭ又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部２０２は、制御部２０１が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、記憶部２０２は、制御部２０１が各種処理を行うことにより生成又は取得する各種データを記憶する。   The storage unit 202 includes a RAM that functions as a work memory for the control unit 201, and a nonvolatile memory such as a ROM or a flash memory. The storage unit 202 stores various programs and data used by the control unit 201 to perform various processes. The storage unit 202 stores various data generated or acquired by the control unit 201 performing various processes.

撮像部２０３は、撮像によって静止画及び動画を取得する機能を備える。撮像部２０３は、被写体（オブジェクト）から射出された光束を集光するレンズ、及び、レンズによる集光位置に配置され、光電変換によって被写体の光学像を電気信号として取得する撮像素子（イメージセンサ）等を備える。撮像素子は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。   The imaging unit 203 has a function of acquiring a still image and a moving image by imaging. The imaging unit 203 is a lens that collects a light beam emitted from a subject (object), and an imaging element (image sensor) that is disposed at a condensing position of the lens and acquires an optical image of the subject as an electrical signal by photoelectric conversion. Etc. The imaging element is, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).

画像処理部２０４は、撮像素子から電気信号として送られた被写体の撮像画像を示すデータをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器を備える。画像処理部２０４は、制御部２０１の制御のもと、撮像部２０３によって撮像された動画のデジタルデータを生成する。また、画像処理部２０４は、ＶＲＡＭ（Video RAM）等のフレームメモリ、及び、ＧＰＵ（Graphics Processing Unit）等の画像処理用のプロセッサ（画像処理エンジン）等を備える。画像処理部２０４は、制御部２０１の制御のもと、撮像部２０３によって撮像された動画に対して加工処理を実行する機能、及び、動画に対してオブジェクト認識処理及び顔認識処理等の画像認識処理を実行する機能を備える。   The image processing unit 204 includes an A / D (Analog / Digital) converter that converts data indicating a captured image of a subject sent as an electrical signal from the image sensor into digital data. The image processing unit 204 generates digital data of a moving image captured by the imaging unit 203 under the control of the control unit 201. The image processing unit 204 includes a frame memory such as a VRAM (Video RAM) and a processor (image processing engine) for image processing such as a GPU (Graphics Processing Unit). The image processing unit 204 performs a processing process on the moving image captured by the imaging unit 203 under the control of the control unit 201, and image recognition such as object recognition processing and face recognition processing on the moving image. A function for executing processing is provided.

通信部２０５は、制御部２０１の制御のもと、移動体識別装置３００と有線又は無線で通信するためインタフェースを備える。通信部２０５は、例えばＷｉ−Ｆｉ等の無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＵＳＢ等を介して、移動体識別装置３００と通信する。具体的に説明すると、通信部２０５は、撮像部２０３が複数の移動体（選手）１０を撮像して得られた動画データを、移動体識別装置３００に送信する。   The communication unit 205 includes an interface for communicating with the mobile object identification device 300 in a wired or wireless manner under the control of the control unit 201. The communication unit 205 communicates with the mobile object identification device 300 via, for example, a wireless LAN such as Wi-Fi, Bluetooth (registered trademark), or USB. More specifically, the communication unit 205 transmits moving image data obtained by the imaging unit 203 imaging a plurality of moving bodies (players) 10 to the moving body identification device 300.

図４に、撮像装置２００によって撮像された動画５の例を示す。具体的には図４は、撮像装置２００によって撮像された動画５に含まれる１つのフレームの画像を示している。撮像装置２００は、コート内で運動競技をプレイしている複数の移動体１０ａ〜１０ｆを斜め上方から撮像することによって、図４に示すような、複数の移動体１０ａ〜１０ｆの全体の動きを捉えた動画５を生成する。   FIG. 4 shows an example of the moving image 5 imaged by the imaging device 200. Specifically, FIG. 4 illustrates an image of one frame included in the moving image 5 captured by the imaging device 200. The imaging device 200 captures a plurality of moving bodies 10a to 10f playing an athletic competition on the court from an obliquely upper side, thereby performing an overall movement of the plurality of moving bodies 10a to 10f as shown in FIG. The captured video 5 is generated.

次に、移動体識別装置３００の構成の説明に移る。図３に示すように、移動体識別装置３００は、制御部３０１と、記憶部３０２と、画像処理部３０３と、操作部３０４と、表示部３０５と、通信部３０６と、を備える。   Next, the description of the configuration of the mobile object identification device 300 will be made. As illustrated in FIG. 3, the moving body identification apparatus 300 includes a control unit 301, a storage unit 302, an image processing unit 303, an operation unit 304, a display unit 305, and a communication unit 306.

制御部３０１は、ＣＰＵを備え、様々な処理や演算を実行する中央演算処理部である。制御部３０１は、命令やデータを転送するための伝送経路であるシステムバスを介して移動体識別装置３００の各部と接続され、移動体識別装置３００全体を制御する。   The control unit 301 is a central processing unit that includes a CPU and executes various processes and calculations. The control unit 301 is connected to each unit of the mobile object identification device 300 via a system bus that is a transmission path for transferring commands and data, and controls the entire mobile object identification device 300.

記憶部３０２は、制御部３０１のワークメモリとして機能するＲＡＭ、及び、ＲＯＭ又はフラッシュメモリ等のような不揮発性メモリを備える。記憶部３０２は、制御部３０１が各種処理を行うために使用する各種プログラム及びデータを記憶する。また、記憶部３０２は、制御部３０１が各種処理を行うことにより生成又は取得する各種データを記憶する。   The storage unit 302 includes a RAM that functions as a work memory of the control unit 301, and a nonvolatile memory such as a ROM or a flash memory. The storage unit 302 stores various programs and data used by the control unit 301 to perform various processes. The storage unit 302 stores various data generated or acquired by the control unit 301 performing various processes.

画像処理部３０３は、ＶＲＡＭ等のフレームメモリ、及び、ＧＰＵ等の画像処理用のプロセッサ（画像処理エンジン）等を備える。画像処理部３０３は、制御部３０１の制御のもと、撮像装置２００によって撮像された動画５に対して、背景差分法又は特徴点追跡等の画像処理を実行する。   The image processing unit 303 includes a frame memory such as a VRAM and an image processing processor (image processing engine) such as a GPU. The image processing unit 303 executes image processing such as a background difference method or feature point tracking on the moving image 5 captured by the imaging device 200 under the control of the control unit 301.

操作部３０４は、例えば入力キー、ボタン、スイッチ、タッチパッド、又は、タッチパネル等のような入力デバイスを備える。操作部３０４は、ユーザから入力された各種の操作指示を受け付け、受け付けた操作指示を制御部３０１に送信する。   The operation unit 304 includes an input device such as an input key, a button, a switch, a touch pad, or a touch panel. The operation unit 304 receives various operation instructions input from the user, and transmits the received operation instructions to the control unit 301.

表示部３０５は、例えば液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等のような表示デバイスを備える。表示部３０５は、例えば撮像装置２００から受信した動画データ等、各種の情報を制御部３０１から取得して、取得した情報を示す画像を表示する。なお、表示部３０５は、操作部３０４と互いに重畳して配置され、表示部３０５と操作部３０４とでいわゆるタッチパネル（タッチスクリーン）を構成してもよい。表示部３０５は、撮像装置２００によって撮像された動画５を表示する表示手段として機能する。   The display unit 305 includes a display device such as a liquid crystal display or an organic EL (Electro Luminescence) display. The display unit 305 acquires various types of information such as moving image data received from the imaging apparatus 200 from the control unit 301 and displays an image indicating the acquired information. The display unit 305 may be arranged so as to overlap with the operation unit 304, and the display unit 305 and the operation unit 304 may constitute a so-called touch panel (touch screen). The display unit 305 functions as a display unit that displays the moving image 5 captured by the imaging device 200.

通信部３０６は、制御部３０１の制御のもと、複数の測定装置１００のそれぞれ及び撮像装置２００と有線又は無線で通信するためインタフェースを備える。通信部３０６は、例えばＷｉ−Ｆｉ等の無線ＬＡＮ又はＢｌｕｅｔｏｏｔｈ（登録商標）等を介して、複数の測定装置１００のそれぞれ及び撮像装置２００と通信する。具体的に説明すると、通信部３０６は、複数の測定装置１００から複数の移動体（選手）１０の移動情報を受信し、撮像装置２００から複数の移動体（選手）１０の動画データを受信する。   The communication unit 306 includes an interface for communicating with each of the plurality of measurement devices 100 and the imaging device 200 in a wired or wireless manner under the control of the control unit 301. The communication unit 306 communicates with each of the plurality of measurement devices 100 and the imaging device 200 via a wireless LAN such as Wi-Fi or Bluetooth (registered trademark), for example. Specifically, the communication unit 306 receives movement information of a plurality of moving bodies (players) 10 from a plurality of measuring devices 100 and receives moving image data of the plurality of moving bodies (players) 10 from the imaging device 200. .

次に、図５を参照して、移動体識別装置３００の機能的な構成について説明する。図５に示すように、移動体識別装置３００は、機能的に、受信部３１１と、第１の特徴取得部３１２と、第２の特徴取得部３１３と、算出部３１４と、位置推定部３１５と、特定部３１６と、表示制御部３１７と、を備える。制御部３０１は、ＲＯＭに記憶されたプログラムをＲＡＭに読み出して、そのプログラムを実行して制御することにより、これら各部として機能する。   Next, a functional configuration of the mobile object identification device 300 will be described with reference to FIG. As illustrated in FIG. 5, the mobile object identification device 300 functionally includes a reception unit 311, a first feature acquisition unit 312, a second feature acquisition unit 313, a calculation unit 314, and a position estimation unit 315. And a specifying unit 316 and a display control unit 317. The control unit 301 functions as each of these units by reading out a program stored in the ROM into the RAM, executing the program, and controlling the program.

受信部３１１は、複数の測定装置１００のそれぞれから移動情報を受信するとともに、撮像装置２００から動画５を受信する。受信部３１１が受信する移動情報は、複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆによって測定された、複数の移動体１０ａ〜１０ｆの移動情報である。受信部３１１が受信する動画５は、移動している複数の移動体１０ａ〜１０ｆを撮像装置２００が撮像することによって得られた動画５である。   The receiving unit 311 receives movement information from each of the plurality of measurement devices 100 and receives the moving image 5 from the imaging device 200. The movement information received by the receiving unit 311 is movement information of the plurality of moving bodies 10a to 10f measured by the plurality of measuring devices 100a to 100f attached to the plurality of moving bodies 10a to 10f, respectively. The moving image 5 received by the receiving unit 311 is the moving image 5 obtained when the imaging device 200 images a plurality of moving bodies 10a to 10f that are moving.

複数の測定装置１００のそれぞれは、ユーザから受け付けられた指示に従って、或いは移動体識別装置３００からの要求に応じて、測定装置１００において測定された移動情報を移動体識別装置３００に送信する。受信部３１１は、このようにして複数の測定装置１００のそれぞれから送信された移動情報を、通信部３０６を介して受信する。また、撮像装置２００は、ユーザから受け付けられた指示に従って、或いは移動体識別装置３００からの要求に応じて、撮像装置２００が撮像した動画５を移動体識別装置３００に送信する。受信部３１１は、このようにして撮像装置２００から送信された動画５を示す動画データを、通信部３０６を介して受信する。受信部３１１は、制御部３０１が通信部３０６と協働することによって実現される。受信部３１１は、受信手段として機能する。   Each of the plurality of measurement apparatuses 100 transmits movement information measured by the measurement apparatus 100 to the mobile body identification apparatus 300 in accordance with an instruction received from the user or in response to a request from the mobile body identification apparatus 300. The reception unit 311 receives the movement information transmitted from each of the plurality of measurement apparatuses 100 in this way via the communication unit 306. In addition, the imaging apparatus 200 transmits the moving image 5 captured by the imaging apparatus 200 to the moving body identification apparatus 300 in accordance with an instruction received from the user or in response to a request from the moving body identification apparatus 300. The receiving unit 311 receives the moving image data indicating the moving image 5 transmitted from the imaging apparatus 200 in this way via the communication unit 306. The receiving unit 311 is realized by the control unit 301 cooperating with the communication unit 306. The receiving unit 311 functions as a receiving unit.

第１の特徴取得部３１２は、受信部３１１によって受信された、複数の移動体１０ａ〜１０ｆが撮像された動画５から、複数の移動体１０ａ〜１０ｆの移動に関する第１の時系列的特徴を取得する。第１の時系列的特徴とは、動画５における複数の移動体１０ａ〜１０ｆの位置、速度、加速度及びそれらの向き等が時間と共にどのように変化するかを示す指標である。第１の特徴取得部３１２は、制御部３０１が画像処理部３０３と協働することによって実現される。第１の特徴取得部３１２は、第１の特徴取得手段として機能する。   The first feature acquisition unit 312 obtains the first time-series feature relating to the movement of the plurality of mobile bodies 10a to 10f from the moving image 5 in which the plurality of mobile bodies 10a to 10f are captured, which is received by the reception unit 311. get. The first time-series feature is an index indicating how the positions, speeds, accelerations, directions, and the like of the moving bodies 10a to 10f in the moving image 5 change with time. The first feature acquisition unit 312 is realized by the control unit 301 cooperating with the image processing unit 303. The first feature acquisition unit 312 functions as a first feature acquisition unit.

第１の時系列的特徴を取得するために、第１の特徴取得部３１２は、背景差分法を用いて、動画５における複数の移動体１０ａ〜１０ｆの位置を検出する。具体的に説明すると、第１の特徴取得部３１２は、動画５に含まれる複数の画像のそれぞれについて、予め用意された背景画像との差分をとることで、各画像における複数の移動体１０ａ〜１０ｆの領域の候補となる前景物体領域を抽出する。背景画像は、複数の移動体１０ａ〜１０ｆがいずれも視野に入らない状態において、撮像装置２００によって撮像された画像である。   In order to acquire the first time-series feature, the first feature acquisition unit 312 detects the positions of the plurality of moving bodies 10a to 10f in the moving image 5 using the background subtraction method. More specifically, the first feature acquisition unit 312 takes a difference from a background image prepared in advance for each of a plurality of images included in the moving image 5, thereby a plurality of moving bodies 10 a to 10 a in each image. A foreground object region that is a candidate for the region 10f is extracted. The background image is an image captured by the imaging device 200 in a state where none of the plurality of moving bodies 10a to 10f enters the field of view.

第１の特徴取得部３１２は、抽出した前景物体領域に対して膨張収縮処理及びラベリング処理を実行することで、前景物体領域をいくつかの領域にまとめる。第１の特徴取得部３１２は、このようにしてまとめられた複数の領域を、移動体領域として検出する。移動体領域は、各画像において移動体１０が位置していることが推定される領域である。第１の特徴取得部３１２は、このような移動体領域を検出する処理を、動画５に含まれる各フレームの画像について実行する。   The first feature acquisition unit 312 collects the foreground object region into several regions by executing expansion and contraction processing and labeling processing on the extracted foreground object region. The first feature acquisition unit 312 detects a plurality of areas collected in this way as a moving body area. The moving object area is an area in which the moving object 10 is estimated to be located in each image. The first feature acquisition unit 312 performs the process of detecting such a moving body region for each frame image included in the moving image 5.

移動体領域を検出することにより、各フレームにおける複数の移動体１０ａ〜１０ｆの位置を検出すると、第１の特徴取得部３１２は、連続するフレーム間で移動体１０を対応付ける。具体的に説明すると、第１の特徴取得部３１２は、第（ｎ−１）フレームの画像（ｎは２以上の自然数）において検出された複数の移動体領域のうちの、第ｎフレームの画像において検出された移動体領域の位置から最も近くに位置する移動体領域を特定する。そして、第１の特徴取得部３１２は、特定した第（ｎ−１）フレームの画像における移動体領域を、第ｎフレームの画像におけるこの移動体領域に対応する移動体領域として、これら２つの移動体領域を連結する。   When the positions of the plurality of moving bodies 10a to 10f in each frame are detected by detecting the moving body area, the first feature acquisition unit 312 associates the moving body 10 between successive frames. Specifically, the first feature acquisition unit 312 is an image of the nth frame among a plurality of moving body regions detected in the image of the (n−1) th frame (n is a natural number of 2 or more). The moving body region located closest to the position of the moving body region detected in step (2) is specified. Then, the first feature acquisition unit 312 sets the moving body region in the identified (n−1) th frame image as the moving body region corresponding to this moving body region in the nth frame image, and moves these two movements. Connect body regions.

第１の特徴取得部３１２は、このような連結処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の位置の変化を示す軌跡を取得する。   The first feature acquisition unit 312 performs such connection processing for each of the plurality of moving body regions detected in the image of the nth frame and from the first frame to the last frame included in the moving image 5. Execute for each image. Thereby, the 1st characteristic acquisition part 312 acquires the locus | trajectory which shows the change of the position in the moving image 5 about each of several moving body 10a-10f.

なお、撮像装置２００は複数の移動体１０ａ〜１０ｆを斜め上方から撮像しているため、動画５内の座標系は、世界座標系に対して傾いている。そのため、第１の特徴取得部３１２は、取得した軌跡の動画５内における位置情報を、予め用意された撮像装置２００のキャリブレーション情報により、水平面（図２におけるｘｙ平面）に投影する。このキャリブレーション情報は、撮像装置２００が設置された位置と視線方向によって定められる、動画５内の座標系を世界座標系に変換するための情報である。   In addition, since the imaging device 200 images the plurality of moving bodies 10a to 10f from obliquely above, the coordinate system in the moving image 5 is inclined with respect to the world coordinate system. Therefore, the first feature acquisition unit 312 projects the position information of the acquired trajectory in the moving image 5 onto the horizontal plane (xy plane in FIG. 2) by using calibration information of the imaging device 200 prepared in advance. This calibration information is information for converting the coordinate system in the moving image 5 to the world coordinate system, which is determined by the position where the imaging apparatus 200 is installed and the line-of-sight direction.

このように動画５中の移動体領域の軌跡を取得すると、第１の特徴取得部３１２は、第１の時系列的特徴として、以下の（１）から（３）の特徴を取得する。
（１）動画５における複数の移動体１０ａ〜１０ｆの速度。
（２）動画５における複数の移動体１０ａ〜１０ｆの鉛直方向以外の方向における加速度。
（３）動画５における複数の移動体１０ａ〜１０ｆの移動の向き。 When the trajectory of the moving object region in the moving image 5 is acquired in this way, the first feature acquisition unit 312 acquires the following features (1) to (3) as the first time-series feature.
(1) The speed of the plurality of moving bodies 10a to 10f in the moving image 5.
(2) Acceleration in a direction other than the vertical direction of the moving bodies 10a to 10f in the moving image 5.
(3) Direction of movement of the plurality of moving bodies 10a to 10f in the moving image 5.

第１に、第１の特徴取得部３１２は、動画５から検出された複数の移動体領域の位置を微分することによって、動画５における複数の移動体１０ａ〜１０ｆの速度を取得する。具体的に説明すると、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の位置と、第（ｎ−１）フレームの画像における対応する移動体領域の位置と、の差（距離）を算出し、算出した差を１フレーム分の時間で除算する。これにより、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の速度を取得する。第１の特徴取得部３１２は、このような処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の速度の大きさを取得する。   First, the first feature acquisition unit 312 obtains the speeds of the plurality of moving bodies 10 a to 10 f in the moving image 5 by differentiating the positions of the plurality of moving body regions detected from the moving image 5. More specifically, the first feature acquisition unit 312 determines the difference between the position of the moving object region in the nth frame image and the position of the corresponding moving object region in the (n−1) th frame image ( Distance) is calculated, and the calculated difference is divided by the time for one frame. Accordingly, the first feature acquisition unit 312 acquires the speed of the moving object region in the image of the nth frame. The first feature acquisition unit 312 performs such processing for each of the plurality of moving body regions detected in the image of the nth frame and for each of the first frame to the last frame included in the moving image 5. Execute on the image. Thereby, the 1st characteristic acquisition part 312 acquires the magnitude | size of the speed in the moving image 5 about each of several moving body 10a-10f.

第２に、第１の特徴取得部３１２は、動画５から検出された複数の移動体領域の位置を２回微分することによって、動画５における複数の移動体１０ａ〜１０ｆの加速度を取得する。そのために、第１の特徴取得部３１２は、前記のようにして取得した複数の移動体領域の速度を更に微分する。具体的に説明すると、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の速度と、第（ｎ−１）フレームの画像における対応する移動体領域の速度と、の差（速度差）を１フレーム分の時間で除算する。これにより、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の加速度を取得する。第１の特徴取得部３１２は、このような処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の加速度の大きさを取得する。   Secondly, the first feature acquisition unit 312 acquires the accelerations of the plurality of moving bodies 10a to 10f in the moving image 5 by differentiating the positions of the plurality of moving body regions detected from the moving image 5 twice. For this purpose, the first feature acquisition unit 312 further differentiates the velocities of the plurality of moving body regions acquired as described above. More specifically, the first feature acquisition unit 312 determines the difference between the speed of the moving object region in the image of the nth frame and the speed of the corresponding moving object region in the image of the (n−1) th frame ( (Speed difference) is divided by the time for one frame. Thereby, the first feature acquisition unit 312 acquires the acceleration of the moving object region in the image of the nth frame. The first feature acquisition unit 312 performs such processing for each of the plurality of moving body regions detected in the image of the nth frame and for each of the first frame to the last frame included in the moving image 5. Execute on the image. Thereby, the 1st characteristic acquisition part 312 acquires the magnitude | size of the acceleration in the moving image 5 about each of several moving body 10a-10f.

なお、撮像装置２００は、水平方向（真横）からではなく、複数の移動体１０ａ〜１０ｆを斜め上方から撮像している。そのため、前記のようにして動画５から取られた複数の移動体１０ａ〜１０ｆの加速度は、鉛直方向における加速度ではなく、鉛直方向以外の方向（具体的には鉛直方向と水平方向との間の斜めの方向）における加速度である。   Note that the imaging apparatus 200 images a plurality of moving bodies 10a to 10f from obliquely above, not from the horizontal direction (beside the side). Therefore, the accelerations of the plurality of moving bodies 10a to 10f taken from the moving image 5 as described above are not accelerations in the vertical direction, but directions other than the vertical direction (specifically, between the vertical direction and the horizontal direction). (Acceleration direction).

第３に、第１の特徴取得部３１２は、動画５から検出された複数の移動体領域の速度の向きを取得することによって、動画５における複数の移動体１０ａ〜１０ｆの移動の向きを取得する。具体的に説明すると、第１の特徴取得部３１２は、第（ｎ−１）フレームの画像における移動体領域の位置から第ｎフレームの画像における対応する移動体領域の位置への向きを算出する。これにより、第１の特徴取得部３１２は、第ｎフレームの画像における移動体領域の移動の向きを取得する。第１の特徴取得部３１２は、このような処理を、第ｎフレームの画像において検出された複数の移動体領域のそれぞれについて、及び、動画５に含まれる先頭のフレームから末尾のフレームまでの各画像について、実行する。これにより、第１の特徴取得部３１２は、複数の移動体１０ａ〜１０ｆのそれぞれについて、動画５中の移動の向きを取得する。   Third, the first feature acquisition unit 312 acquires the direction of movement of the plurality of moving bodies 10a to 10f in the moving image 5 by acquiring the direction of the speed of the plurality of moving body regions detected from the moving image 5. To do. Specifically, the first feature acquisition unit 312 calculates the direction from the position of the moving object region in the (n−1) th frame image to the position of the corresponding moving object region in the nth frame image. . Thereby, the first feature acquisition unit 312 acquires the direction of movement of the moving object region in the image of the nth frame. The first feature acquisition unit 312 performs such processing for each of the plurality of moving body regions detected in the image of the nth frame and for each of the first frame to the last frame included in the moving image 5. Execute on the image. Thereby, the 1st characteristic acquisition part 312 acquires the direction of the movement in the moving image 5 about each of several moving body 10a-10f.

図６（ａ）、図７（ａ）及び図８（ａ）に、複数の移動体１０ａ〜１０ｆのうちの１つである選手Ａの、動画５から得られた速度、加速度及び移動の向きの時間変化を示す。図６（ａ）からは、選手Ａが走っている時間区間では、選手Ａが歩いている時間区間に比べて速度が増大することが見て取れる。また、図７（ａ）からは、選手Ａが走っている時間区間では加速度が大きく変化することが見て取れ、図８（ａ）からは、選手Ａが様々に向きを変えていることが見て取れる。   6 (a), 7 (a), and 8 (a), the speed, acceleration, and direction of movement of the player A, one of the moving bodies 10a to 10f, obtained from the moving image 5. The time change of is shown. From FIG. 6A, it can be seen that the speed increases in the time section where the player A is running, compared to the time section where the player A is walking. Further, from FIG. 7A, it can be seen that the acceleration changes greatly in the time section where the player A is running, and from FIG. 8A, it can be seen that the player A is changing its direction in various ways.

なお、図６（ａ）及び図８（ａ）に示すように、時間区間によっては、動画５から移動体１０の軌跡の取得に失敗することがある。これは、複数の選手が動画５内で重なったり、又は選手が障害物に隠れたりすること等によって、動画５内における移動体１０の位置を推定できない時間区間があることが原因である。また、このように移動体１０の軌跡が断片化されると、フレーム間での移動体１０の対応付けを誤ることがある。例えば、２人の選手が重なった後で離れた場合、この２人の選手が入れ替わったのか入れ替わっていないのかを正しく判別できない場合等である。   In addition, as shown to Fig.6 (a) and FIG.8 (a), acquisition of the locus | trajectory of the moving body 10 from the moving image 5 may fail depending on a time interval. This is because there is a time interval in which the position of the moving body 10 in the moving image 5 cannot be estimated due to a plurality of players overlapping in the moving image 5 or a player hiding behind an obstacle. In addition, when the trajectory of the moving body 10 is fragmented in this way, the association of the moving body 10 between frames may be erroneous. For example, when two players are separated after overlapping, it is not possible to correctly determine whether the two players have been switched or not.

図５に戻って、第２の特徴取得部３１３は、受信部３１１によって受信された、複数の測定装置１００ａ〜１００ｆによって測定された複数の移動体１０ａ〜１０ｆの移動情報から、複数の移動体１０ａ〜１０ｆの移動に関する第２の時系列的特徴を取得する。第２の時系列的特徴とは、移動情報から得られた複数の移動体１０ａ〜１０ｆの位置、速度、加速度及びそれらの向き等が時間と共にどのように変化するかを示す指標である。第２の特徴取得部３１３は、制御部３０１が画像処理部３０３と協働することによって実現される。第２の特徴取得部３１３は、第２の特徴取得手段として機能する。   Returning to FIG. 5, the second feature acquisition unit 313 receives a plurality of moving bodies from movement information of the plurality of moving bodies 10 a to 10 f measured by the plurality of measuring devices 100 a to 100 f received by the receiving unit 311. A second time-series characteristic relating to movement of 10a to 10f is acquired. The second time-series feature is an index indicating how the positions, velocities, accelerations, directions, and the like of the plurality of moving bodies 10a to 10f obtained from the movement information change with time. The second feature acquisition unit 313 is realized by the control unit 301 cooperating with the image processing unit 303. The second feature acquisition unit 313 functions as a second feature acquisition unit.

第２の特徴取得部３１３は、第２の時系列的特徴を取得する前に、複数の測定装置１００ａ〜１００ｆのそれぞれから受信された移動情報を、世界座標系における移動情報に変換する。具体的に説明すると、第２の特徴取得部３１３は、加速度センサによって検出された重力の方向から、鉛直方向（図２におけるｚ方向）を判別する。また、第２の特徴取得部３１３は、地磁気センサによって検出された方角から、水平面（図２におけるｘｙ平面）におけるｘ方向及びｙ方向を判別する。第２の特徴取得部３１３は、このような重力及び地磁気の情報によって世界座標系を判別する。そして、第２の特徴取得部３１３は、様々に向きを変えて移動する複数の移動体１０ａ〜１０ｆのそれぞれの速度又は加速度の向きを、世界座標系における向きにキャリブレーションする。   The second feature acquisition unit 313 converts the movement information received from each of the plurality of measurement apparatuses 100a to 100f into movement information in the world coordinate system before acquiring the second time-series feature. More specifically, the second feature acquisition unit 313 determines the vertical direction (z direction in FIG. 2) from the direction of gravity detected by the acceleration sensor. In addition, the second feature acquisition unit 313 determines the x direction and the y direction on the horizontal plane (xy plane in FIG. 2) from the direction detected by the geomagnetic sensor. The second feature acquisition unit 313 determines the world coordinate system based on such gravity and geomagnetism information. Then, the second feature acquisition unit 313 calibrates the direction of the speed or acceleration of each of the plurality of moving bodies 10a to 10f moving in various directions to the direction in the world coordinate system.

第２の特徴取得部３１３は、受信部３１１によって受信された移動情報から、加速度センサによって測定された複数の移動体１０ａ〜１０ｆのそれぞれの加速度を取得する。そして、第２の特徴取得部３１３は、第２の時系列的特徴として、以下の（１）から（３）の特徴を取得する。
（１）移動情報における複数の移動体１０ａ〜１０ｆの加速度の分散。
（２）移動情報における複数の移動体１０ａ〜１０ｆの鉛直方向における加速度。
（３）移動情報における複数の移動体１０ａ〜１０ｆの移動の向き。 The second feature acquisition unit 313 acquires the acceleration of each of the plurality of moving bodies 10a to 10f measured by the acceleration sensor from the movement information received by the reception unit 311. Then, the second feature acquisition unit 313 acquires the following features (1) to (3) as the second time-series feature.
(1) Dispersion of accelerations of a plurality of moving bodies 10a to 10f in movement information.
(2) The acceleration in the vertical direction of the plurality of moving bodies 10a to 10f in the movement information.
(3) Direction of movement of the plurality of moving bodies 10a to 10f in the movement information.

第１に、第２の特徴取得部３１３は、撮像装置２００が動画５を撮像している最中の複数の時点における加速度の分散を、複数の移動体１０ａ〜１０ｆのそれぞれについて算出する。加速度の分散とは、加速度の大きさが時間と共にどれだけばらついているかを示す指標である。第２の特徴取得部３１３は、加速度の分散を、例えば複数の時点のそれぞれを中心に幅１秒の時間区間において算出する。加速度の分散を算出する複数の時点は、例えば、第１の特徴取得部３１２が動画５から速度を取得するタイミングと同じに設定される。   First, the second feature acquisition unit 313 calculates acceleration dispersion at a plurality of points in time during which the imaging apparatus 200 is capturing the moving image 5 for each of the plurality of moving bodies 10a to 10f. The dispersion of acceleration is an index indicating how much the magnitude of acceleration varies with time. The second feature acquisition unit 313 calculates the variance of acceleration, for example, in a time interval with a width of 1 second around each of a plurality of time points. The plurality of time points at which the acceleration dispersion is calculated are set to be the same as the timing at which the first feature acquisition unit 312 acquires the velocity from the moving image 5, for example.

第２に、第２の特徴取得部３１３は、撮像装置２００が動画５を撮像している最中の複数の時点における鉛直方向の加速度を、複数の移動体１０ａ〜１０ｆのそれぞれについて算出する。具体的に説明すると、第２の特徴取得部３１３は、移動情報に含まれる加速度情報のうちから、加速度の大きさの鉛直方向における成分を抽出する。鉛直方向は、加速度センサによって重力を検出することで判別することができる。加速度の分散を算出する複数の時点は、例えば、第１の特徴取得部３１２が動画５から加速度を取得するタイミングと同じに設定される。   Second, the second feature acquisition unit 313 calculates the acceleration in the vertical direction at each of a plurality of points in time when the imaging device 200 is capturing the moving image 5 for each of the plurality of moving bodies 10a to 10f. Specifically, the second feature acquisition unit 313 extracts a component of acceleration magnitude in the vertical direction from the acceleration information included in the movement information. The vertical direction can be determined by detecting gravity with an acceleration sensor. The plurality of time points at which the variance of acceleration is calculated are set to be the same as the timing at which the first feature acquisition unit 312 acquires acceleration from the moving image 5, for example.

第３に、第２の特徴取得部３１３は、複数の移動体１０ａ〜１０ｆのそれぞれについて、撮像装置２００が動画５を撮像している最中の複数の時点における加速度を積分することで、複数の時点における速度を算出する。そして、第２の特徴取得部３１３は、複数の移動体１０ａ〜１０ｆのそれぞれの移動の向きとして、複数の時点における速度の向きを取得する。加速度の分散を算出する複数の時点は、例えば、第１の特徴取得部３１２が動画５から移動の向きを取得するタイミングと同じに設定される。   Third, the second feature acquisition unit 313 integrates accelerations at a plurality of points in time during which the imaging device 200 is capturing the moving image 5 for each of the plurality of moving bodies 10a to 10f. Calculate the speed at the point in time. And the 2nd feature acquisition part 313 acquires the direction of the speed in a plurality of time as the direction of movement of each of a plurality of mobiles 10a-10f. The plurality of time points at which the acceleration dispersion is calculated are set to be the same as the timing at which the first feature acquisition unit 312 acquires the direction of movement from the moving image 5, for example.

図６（ｂ）、図７（ｂ）及び図８（ｂ）に、複数の移動体１０ａ〜１０ｆのうちの１つである選手Ａの、測定装置１００から得られた加速度の分散、鉛直方向の加速度及び移動の向きの時間変化を示す。また、図６（ｃ）、図７（ｃ）及び図８（ｃ）に、複数の移動体１０ａ〜１０ｆのうちの１つである選手Ｂの、測定装置１００から得られた加速度の分散、鉛直方向の加速度及び移動の向きの時間変化を示す。これらの図に示すように、測定装置１００の測定から取得される第２の時系列的特徴は、動画５から取得される第１の時系列的特徴のように、断片化することはない。また、測定装置１００は移動体１０に装着されているため、複数の測定装置１００ａ〜１００ｆのそれぞれが複数の移動体１０ａ〜１０ｆのうちのどの移動情報を測定しているかを正確に特定することができる。   FIG. 6B, FIG. 7B, and FIG. 8B show the dispersion of acceleration obtained from the measuring device 100 of the player A, one of the moving bodies 10a to 10f, in the vertical direction. The time change of the acceleration and the direction of movement is shown. 6 (c), FIG. 7 (c) and FIG. 8 (c), the dispersion of the acceleration obtained from the measuring device 100 of the player B, which is one of the plurality of moving bodies 10a to 10f, The time change of the acceleration of a perpendicular direction and the direction of a movement is shown. As shown in these drawings, the second time-series feature acquired from the measurement of the measuring apparatus 100 is not fragmented unlike the first time-series feature acquired from the moving image 5. Moreover, since the measuring apparatus 100 is mounted on the moving body 10, it is possible to accurately identify which movement information of the plurality of moving bodies 10a to 10f is measured by each of the plurality of measuring apparatuses 100a to 100f. Can do.

図５に戻って、算出部３１４は、第１の特徴取得部３１２によって取得された第１の時系列的特徴と、第２の特徴取得部３１３によって取得された第２の時系列的特徴と、の相関を示す指標を算出する。算出部３１４は、制御部３０１によって実現される。算出部３１４は、算出手段として機能する。   Returning to FIG. 5, the calculation unit 314 includes the first time-series feature acquired by the first feature acquisition unit 312 and the second time-series feature acquired by the second feature acquisition unit 313. An index indicating the correlation between is calculated. The calculation unit 314 is realized by the control unit 301. The calculation unit 314 functions as a calculation unit.

具体的に説明すると、算出部３１４は、以下のような３つの相関値を算出する。
（１）動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値。
（２）動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値。
（３）動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値。 Specifically, the calculation unit 314 calculates the following three correlation values.
(1) A first correlation value indicating a correlation between the speed of the moving object 10 in the moving image 5 and the variance of the acceleration measured by the measuring apparatus 100.
(2) A second correlation value indicating a correlation between acceleration in a direction other than the vertical direction of the moving body 10 in the moving image 5 and acceleration in the vertical direction measured by the measurement apparatus 100.
(3) A third correlation value indicating a correlation between the moving direction of the moving body 10 in the moving image 5 and the moving direction measured by the measuring apparatus 100.

第１に、算出部３１４は、動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値（相関係数）を算出する。加速度の分散が大きい場合には移動速度が大きくなり、加速度の分散が小さい場合には移動速度が小さくなる、という傾向がある。第１の相関値は、このような傾向を反映した指標である。   First, the calculation unit 314 calculates a first correlation value (correlation coefficient) indicating a correlation between the speed of the moving body 10 in the moving image 5 and the variance of the acceleration measured by the measurement apparatus 100. When the variance of acceleration is large, the moving speed tends to increase, and when the variance of acceleration is small, the moving speed tends to decrease. The first correlation value is an index reflecting such a tendency.

具体的には図６（ｄ）に示すように、動画５から得られた選手Ａの速度と選手Ａの測定装置１００から得られた加速度の分散との相関値は、相対的に大きな値になる。これに対して、動画５から得られた選手Ａの速度と選手Ｂの測定装置１００から得られた加速度の分散との相関値は、０に近い値になる。第１の相関値は、例えば単独の選手のみが走っている場合のように、複数の移動体１０ａ〜１０ｆの中で単独の移動体１０のみが移動している場合に有効な指標である。   Specifically, as shown in FIG. 6D, the correlation value between the velocity of the player A obtained from the moving image 5 and the variance of the acceleration obtained from the measuring device 100 of the player A is a relatively large value. Become. On the other hand, the correlation value between the velocity of the player A obtained from the moving image 5 and the variance of the acceleration obtained from the measuring device 100 of the player B is a value close to zero. The first correlation value is an effective index when only the single moving body 10 is moving among the plurality of moving bodies 10a to 10f, for example, when only a single player is running.

第２に、算出部３１４は、動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値（相関係数）を算出する。移動体１０が歩行又は走行する場合、上下運動を伴うことが多い。そのため、移動体１０の鉛直方向における加速度は、移動体１０の鉛直方向以外の方向（例えば水平方向、又は水平方向と鉛直方向との間の斜め方向）における加速度と相関を持つ傾向がある。第２の相関値は、このような傾向を反映した指標である。   Second, the calculation unit 314 has a second correlation value (correlation) indicating a correlation between acceleration in a direction other than the vertical direction of the moving body 10 in the moving image 5 and acceleration in the vertical direction measured by the measurement apparatus 100. Number). When the mobile body 10 walks or runs, it often involves vertical movement. Therefore, the acceleration in the vertical direction of the moving body 10 tends to have a correlation with the acceleration in a direction other than the vertical direction of the moving body 10 (for example, the horizontal direction or an oblique direction between the horizontal direction and the vertical direction). The second correlation value is an index reflecting such a tendency.

具体的には図７（ｄ）に示すように、動画５から得られた選手Ａの加速度と選手Ａの測定装置１００から得られた鉛直方向における加速度との相関値は、相対的に大きな値になる。これに対して、動画５から得られた選手Ａの加速度と選手Ｂの測定装置１００から得られた鉛直方向における加速度との相関値は、０に近い値になる。第２の相関値は、例えば選手が走行している場合のように、移動している移動体１０の速度リズムが顕著である場合に有効な指標である。   Specifically, as shown in FIG. 7D, the correlation value between the acceleration of the player A obtained from the moving image 5 and the acceleration in the vertical direction obtained from the measuring device 100 of the player A is a relatively large value. become. On the other hand, the correlation value between the acceleration of the player A obtained from the moving image 5 and the acceleration in the vertical direction obtained from the measuring device 100 of the player B is a value close to zero. The second correlation value is an effective index when the speed rhythm of the moving moving body 10 is significant, for example, when a player is running.

第３に、算出部３１４は、動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値を算出する。具体的に説明すると、算出部３１４は、第３の相関値として、動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の差（具体的には角度の差）を時間的に平均した値を算出する。   Third, the calculation unit 314 calculates a third correlation value indicating a correlation between the moving direction of the moving body 10 in the moving image 5 and the moving direction measured by the measuring apparatus 100. Specifically, the calculation unit 314 uses, as the third correlation value, a difference (specifically, an angle) between the direction of movement of the moving body 10 in the moving image 5 and the direction of movement measured by the measurement apparatus 100. Value) is calculated by averaging over time.

具体的には図８（ｄ）に示すように、動画５から得られた選手Ａの移動の向きと選手Ａの測定装置１００から得られた移動の向きとの差の平均値は、相対的に小さな値になる。これに対して、動画５から得られた選手Ａの移動の向きと選手Ｂの測定装置１００から得られた移動の向きとの差の平均値は、相対的に大きな値になる。第３の相関値は、異なる向きに複数の選手が走り出している場合のように、複数の移動体１０が異なる向きに移動している場合に有効な指標である。   Specifically, as shown in FIG. 8D, the average value of the difference between the moving direction of the player A obtained from the moving image 5 and the moving direction obtained from the measuring device 100 of the player A is relative. It becomes a small value. On the other hand, the average value of the difference between the movement direction of the player A obtained from the moving image 5 and the movement direction obtained from the measurement apparatus 100 of the player B is a relatively large value. The third correlation value is an effective index when a plurality of moving bodies 10 are moving in different directions, such as when a plurality of players are running in different directions.

算出部３１４は、このように算出された第１の相関値と第２の相関値と第３の相関値とに基づいて、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出する。具体的に説明すると、算出部３１４は、このような指標として、第１の相関値と第２の相関値と第３の相関値との重み付き和を算出する。３つの相関値の重みは、自由に定めることができる。例えば、３つの相関値の重みは、一定値であっても良いし、状況に応じて変化する値であっても良い。このようにして算出された指標は、最終的な指標として特定部３１６での特定処理に用いられる。   The calculation unit 314 calculates the first time-series feature and the second time-series feature based on the first correlation value, the second correlation value, and the third correlation value calculated in this way. An index indicating correlation is calculated. Specifically, the calculation unit 314 calculates a weighted sum of the first correlation value, the second correlation value, and the third correlation value as such an index. The weights of the three correlation values can be freely determined. For example, the weights of the three correlation values may be constant values or values that change according to the situation. The index calculated in this way is used for the specifying process in the specifying unit 316 as a final index.

位置推定部３１５は、複数の移動体１０ａ〜１０ｆのそれぞれの鉛直方向における位置を推定する。具体的に説明すると、位置推定部３１５は、複数の測定装置１００ａ〜１００ｆのそれぞれから受信した移動情報に基づいて、撮像装置２００が動画５を撮像している最中の複数の時点における鉛直方向の加速度を、複数の移動体１０ａ〜１０ｆのそれぞれについて算出する。そして、位置推定部３１５は、算出した鉛直方向における加速度を二重積分することにより、得られた値を、複数の移動体１０ａ〜１０ｆのそれぞれの、複数の時点における鉛直方向の位置と推定する。位置推定部３１５は、制御部３０１によって実現される。位置推定部３１５は、位置推定手段として機能する。   The position estimation unit 315 estimates the position of each of the plurality of moving bodies 10a to 10f in the vertical direction. Specifically, the position estimation unit 315 is based on the movement information received from each of the plurality of measuring devices 100a to 100f, and the vertical directions at a plurality of points in time when the imaging device 200 is capturing the moving image 5. Is calculated for each of the plurality of moving bodies 10a to 10f. And the position estimation part 315 estimates the value obtained by carrying out the double integration of the calculated acceleration in the vertical direction as the position of the vertical direction in each of several time points of several moving body 10a-10f. . The position estimation unit 315 is realized by the control unit 301. The position estimation unit 315 functions as a position estimation unit.

移動体１０の鉛直方向における位置は、この移動体１０がジャンプしたり屈んだりすることによって変化する。具体的に図９に、移動体１０がジャンプした場合における鉛直方向の加速度の時間変化を示す。図９に示すように、移動体１０が走っている場合には、この移動体１０に装着された測定装置１００によって測定された加速度は一定の周期で増減を繰り返す。これに対して、移動体１０がジャンプをした場合には、比較的長い時間をかけて加速度が増えるため、移動体１０の位置は鉛直上向きに増える。移動体１０の鉛直方向における位置は、変化する範囲が限られていること、及び、長時間の平均値は移動体１０が基本的な姿勢をとっている場合の値に安定するため、比較的精度良く推定することができる。   The position of the moving body 10 in the vertical direction changes when the moving body 10 jumps or bends. Specifically, FIG. 9 shows a temporal change in acceleration in the vertical direction when the moving body 10 jumps. As shown in FIG. 9, when the moving body 10 is running, the acceleration measured by the measuring device 100 attached to the moving body 10 repeatedly increases and decreases at a constant cycle. On the other hand, when the mobile body 10 jumps, the acceleration increases over a relatively long time, so the position of the mobile body 10 increases vertically upward. Since the range in which the position of the moving body 10 in the vertical direction changes is limited, and the average value for a long time is stable at a value when the moving body 10 is in the basic posture, It can be estimated with high accuracy.

算出部３１４は、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間においては、この移動情報からは前記の指標を算出せず、移動情報が予め定められた条件を満たしていない時間区間において、この移動情報から前記の指標を算出する。予め定められた条件が満たされる場合とは、本来は対応するはずの測定装置１００と移動体１０との間で相関が悪くなって、測定装置１００と移動体１０との対応付けを誤る確率が高いことが想定される場合である。そのため、算出部３１４は、このような対応付けを誤り易い時間区間を、前述した３つの相関値、及びそれらから定められる最終的な指標を算出する時間区間から除外する。   The calculation unit 314 calculates the index from the movement information in a time section in which the movement information measured by any one of the plurality of measurement apparatuses 100a to 100f satisfies a predetermined condition. In the time interval in which the movement information does not satisfy a predetermined condition without being calculated, the index is calculated from the movement information. When the predetermined condition is satisfied, there is a probability that the correlation between the measuring apparatus 100 and the moving body 10 that should originally correspond is deteriorated, and the association between the measuring apparatus 100 and the moving body 10 is erroneous. This is the case when it is assumed to be high. Therefore, the calculation unit 314 excludes a time interval in which such association is likely to be erroneous from the time interval for calculating the above-described three correlation values and a final index determined from them.

具体的に説明すると、予め定められた条件は、移動体１０の鉛直方向における位置と、移動体１０の鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる。移動体１０の鉛直方向における位置とその平均位置との差の絶対値が許容値を超えた場合とは、例えば選手がジャンプしたり屈んだりすることによって、移動体１０の鉛直方向における位置が大きく変化した場合である。このように移動体１０の鉛直方向における位置が変化すると、移動体１０を斜め上方から撮像した動画５からは、移動体１０が水平方向における奥側又は手前側に移動したのか、又は鉛直方向に移動したのか、を判別することができない。そのため、第１の時系列的特徴と第２の時系列的特徴との対応付けを誤る確率が高くなる。   More specifically, the predetermined condition is satisfied when the absolute value of the difference between the position of the moving body 10 in the vertical direction and the average position of the moving body 10 in the vertical direction exceeds an allowable value. . The case where the absolute value of the difference between the position of the moving body 10 in the vertical direction and the average position thereof exceeds the allowable value means that the position of the moving body 10 in the vertical direction is increased by, for example, a player jumping or bending. This is the case. When the position of the moving body 10 in the vertical direction changes in this way, from the moving image 5 obtained by imaging the moving body 10 from obliquely above, the moving body 10 has moved to the far side or the near side in the horizontal direction, or in the vertical direction. Cannot determine whether it has moved. Therefore, there is a high probability that the correspondence between the first time-series feature and the second time-series feature is erroneous.

このような問題を回避するため、位置推定部３１５は、複数の移動体１０ａ〜１０ｆのうちのいずれかの移動体１０の鉛直方向における位置とその平均位置との差の絶対値が許容値を超えた場合、この移動体１０がジャンプした又は屈んだと推定する。そして、位置推定部３１５によって移動体１０がジャンプした又は屈んだ時間区間においては、その移動体１０の移動情報から得られた第２の時系列的特徴からは、第１の時系列的特徴との相関を示す指標を算出しない。言い換えると、算出部３１４は、移動情報から推定された移動体１０の鉛直方向における位置とその平均位置との差の絶対値が許容値内に収まっている時間区間に限って、その移動情報から得られた第２の時系列的特徴を用いて、第１の時系列的特徴との相関を示す指標を算出する。   In order to avoid such a problem, the position estimation unit 315 determines that the absolute value of the difference between the position in the vertical direction of any one of the plurality of moving bodies 10a to 10f and the average position thereof is an allowable value. When it exceeds, it is estimated that this moving body 10 has jumped or bent. Then, in the time section in which the mobile object 10 jumps or bends by the position estimation unit 315, the second time-series feature obtained from the movement information of the mobile object 10 is the first time-series feature and The index indicating the correlation is not calculated. In other words, the calculation unit 314 calculates from the movement information only in the time interval in which the absolute value of the difference between the position in the vertical direction of the moving body 10 estimated from the movement information and the average position thereof is within the allowable value. An index indicating a correlation with the first time-series feature is calculated using the obtained second time-series feature.

なお、移動体１０の鉛直方向における平均位置は、位置推定部３１５によって推定された移動体１０の鉛直方向における位置を、例えば動画５が撮像された全体の時間区間において平均したものである。許容値は、移動体１０がジャンプした又は屈んだことを検出することができる大きさの値に予め設定され、ＲＯＭ又は記憶部３０２等に記憶されている。   In addition, the average position in the vertical direction of the moving body 10 is obtained by averaging the position in the vertical direction of the moving body 10 estimated by the position estimating unit 315, for example, in the entire time section in which the moving image 5 is captured. The allowable value is set in advance to a value that can detect that the moving body 10 has jumped or bent, and is stored in the ROM or the storage unit 302.

図５に戻って、特定部３１６は、算出部３１４によって算出された指標に基づいて、撮像装置２００によって撮像された動画５における複数の移動体１０ａ〜１０ｆと、複数の測定装置１００ａ〜１００ｆと、の対応関係を特定する。この対応関係を特定するとは、動画５に撮像された複数の移動体１０ａ〜１０ｆのそれぞれが、複数の測定装置１００ａ〜１００ｆのうちのどの測定装置１００を装着しているかを特定することである。言い換えると、特定部３１６は、動画５に撮像された複数の移動体１０ａ〜１０ｆのそれぞれが装着している測定装置１００が、複数の測定装置１００ａ〜１００ｆのうちのどの測定装置１００であるのかを特定する。特定部３１６は、制御部３０１によって実現される。特定部３１６は、特定手段として機能する。   Returning to FIG. 5, the specifying unit 316 includes a plurality of moving bodies 10 a to 10 f and a plurality of measuring devices 100 a to 100 f in the moving image 5 captured by the imaging device 200 based on the index calculated by the calculation unit 314. Identify the corresponding relationship. Specifying this correspondence is specifying which measuring device 100 of the plurality of measuring devices 100a to 100f is worn by each of the plurality of moving bodies 10a to 10f captured in the moving image 5. . In other words, the specifying unit 316 determines which measurement device 100 of the plurality of measurement devices 100a to 100f is the measurement device 100 attached to each of the plurality of moving bodies 10a to 10f captured in the moving image 5. Is identified. The specifying unit 316 is realized by the control unit 301. The specifying unit 316 functions as specifying means.

具体的に説明すると、特定部３１６は、複数の測定装置１００ａ〜１００ｆのうちの、１つの移動体１０との間で算出された最終的な指標が最も大きい測定装置１００を、この移動体１０に対応する測定装置１００であると特定する。特定部３１６は、このような処理を、動画５において移動体領域として検出された複数の移動体１０ａ〜１０ｆのそれぞれについて、及び、断片化された軌跡のそれぞれについて、繰り返し実行する。これにより、特定部３１６は、動画５に撮像された複数の移動体１０ａ〜１０ｆと、複数の測定装置１００ａ〜１００ｆと、をそれぞれ対応付ける。   More specifically, the specifying unit 316 selects the measuring device 100 having the largest final index calculated with the one moving body 10 among the plurality of measuring devices 100a to 100f. It is specified that the measuring apparatus 100 corresponds to the above. The specifying unit 316 repeatedly performs such processing for each of the plurality of moving objects 10a to 10f detected as moving object regions in the moving image 5 and for each of the fragmented trajectories. Thereby, the specifying unit 316 associates the plurality of moving bodies 10a to 10f imaged in the moving image 5 with the plurality of measuring devices 100a to 100f, respectively.

なお、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間は、算出部３１４が指標を算出する時間区間から除外されている。そのため、特定部３１６は、この時間区間においては、この測定装置１００によって測定された移動情報を、動画５における複数の移動体１０ａ〜１０ｆと複数の測定装置１００ａ〜１００ｆとの対応関係を特定するためには用いない。   Note that the time interval in which the movement information measured by any one of the plurality of measurement devices 100a to 100f satisfies a predetermined condition is excluded from the time interval in which the calculation unit 314 calculates the index. ing. Therefore, the specifying unit 316 specifies the correspondence between the plurality of moving bodies 10a to 10f and the plurality of measuring apparatuses 100a to 100f in the moving image 5 with respect to the movement information measured by the measuring apparatus 100 in this time interval. Do not use for that.

表示制御部３１７は、受信部３１１によって撮像装置２００から受信された動画５を表示部３０５に表示する。このとき、表示制御部３１７は、特定部３１６によって特定された対応関係を参照して、複数の測定装置１００ａ〜１００ｆのうちの、複数の移動体１０ａ〜１０ｆのそれぞれに対応する測定装置１００を識別する識別情報を、表示部３０５に表示する。表示制御部３１７は、制御部３０１が画像処理部３０３及び表示部３０５と協働することによって実現される。表示制御部３１７は、表示制御手段として機能する。   The display control unit 317 displays the moving image 5 received from the imaging device 200 by the reception unit 311 on the display unit 305. At this time, the display control unit 317 refers to the correspondence specified by the specifying unit 316, and selects the measuring device 100 corresponding to each of the plurality of moving bodies 10a to 10f among the plurality of measuring devices 100a to 100f. Identification information to be identified is displayed on the display unit 305. The display control unit 317 is realized when the control unit 301 cooperates with the image processing unit 303 and the display unit 305. The display control unit 317 functions as a display control unit.

具体的には図１０に示すように、表示制御部３１７は、動画５における複数の移動体１０ａ〜１０ｆのそれぞれの位置に、対応する測定装置１００の数字を表示する。表示制御部３１７は、このような測定装置１００の識別情報を、時間と共に様々な位置に移動する移動体１０に追従させて表示する。これにより、動画５を見るユーザは、動画５に写っている複数の移動体１０ａ〜１０ｆのそれぞれが、複数の測定装置１００ａ〜１００ｆのうちのどの測定装置１００を装着しているのかを容易に認識することができる。特に、複数の移動体１０ａ〜１０ｆが密集又は交差した場合、又は移動体１０が障害物に隠れた場合等であっても、ユーザは、移動体１０と測定装置１００との対応関係を誤ることなく、複数の移動体１０ａ〜１０ｆのそれぞれを正確に識別することができる。   Specifically, as illustrated in FIG. 10, the display control unit 317 displays the number of the corresponding measuring device 100 at each position of the plurality of moving bodies 10 a to 10 f in the moving image 5. The display control unit 317 displays such identification information of the measuring apparatus 100 following the moving body 10 that moves to various positions with time. Thereby, the user who views the moving image 5 can easily determine which measuring device 100 of the plurality of measuring devices 100a to 100f is mounted on each of the moving bodies 10a to 10f shown in the moving image 5. Can be recognized. In particular, even when a plurality of moving bodies 10a to 10f are crowded or crossed, or when the moving body 10 is hidden by an obstacle, the user makes a mistake in the correspondence between the moving body 10 and the measuring apparatus 100. In addition, each of the plurality of mobile bodies 10a to 10f can be accurately identified.

以上のような移動体識別装置３００において実行される移動体識別処理の流れについて、図１１及び図１２に示すフローチャートを参照して、説明する。   The flow of the mobile object identification process performed in the above mobile object identification device 300 will be described with reference to the flowcharts shown in FIGS.

図１１のフローチャートに示す移動体識別処理は、移動体識別装置３００において、移動体識別処理を実行する旨の指示が、操作部３０４を介してユーザから受け付けられると、開始する。このとき、識別対象となる複数の移動体１０ａ〜１０ｆの移動情報と、その複数の移動体１０ａ〜１０ｆを撮像した動画５とは、それぞれ複数の測定装置１００と撮像装置２００とから、受信部３１１によって既に受信されている。   The mobile object identification process shown in the flowchart of FIG. 11 starts when the mobile object identification device 300 receives an instruction from the user via the operation unit 304 to execute the mobile object identification process. At this time, the movement information of the plurality of moving bodies 10a to 10f to be identified and the moving image 5 obtained by imaging the plurality of moving bodies 10a to 10f are respectively received from the plurality of measuring devices 100 and the imaging devices 200. 311 has already been received.

移動体識別処理が開始すると、移動体識別装置３００の制御部３０１は、動画５に含まれる各フレームの画像において、複数の移動体１０ａ〜１０ｆの位置を検出する（ステップＳ１）。具体的に説明すると、制御部３０１は、動画５に含まれる各フレームの画像について、背景差分法により背景画像との差分をとり、前景物体領域を抽出する。そして、制御部３０１は、抽出した前景物体領域に対して膨張収縮処理及びラベリング処理を実行することで、移動体領域を検出する。制御部３０１は、このように検出した移動体領域の位置を、動画５における複数の移動体１０ａ〜１０ｆの位置と推定する。   When the moving body identification process starts, the control unit 301 of the moving body identification apparatus 300 detects the positions of the plurality of moving bodies 10a to 10f in each frame image included in the moving image 5 (step S1). More specifically, the control unit 301 extracts a foreground object region by taking a difference between the image of each frame included in the moving image 5 and the background image by the background subtraction method. And the control part 301 detects a moving body area | region by performing an expansion / contraction process and a labeling process with respect to the extracted foreground object area | region. The control unit 301 estimates the position of the moving body region detected in this way as the positions of the plurality of moving bodies 10 a to 10 f in the moving image 5.

動画５における複数の移動体１０ａ〜１０ｆの位置を検出すると、制御部３０１は、フレーム間で移動体１０を対応付ける（ステップＳ２）。具体的に説明すると、制御部３０１は、隣り合うフレーム間において距離が近い移動体領域同士を連結することで、動画５の先頭から末尾までにおける複数の移動体１０ａ〜１０ｆの位置の変化を示す軌跡を取得する。   When the positions of the plurality of moving bodies 10a to 10f in the moving image 5 are detected, the control unit 301 associates the moving bodies 10 between frames (step S2). More specifically, the control unit 301 indicates changes in the positions of the plurality of moving bodies 10a to 10f from the beginning to the end of the moving image 5 by connecting the moving body areas that are close to each other between adjacent frames. Get the trajectory.

複数の移動体１０ａ〜１０ｆの軌跡を取得すると、制御部３０１は、動画５と測定装置１００との間で座標系を合わせる（ステップＳ３）。具体的に説明すると、制御部３０１は、複数の移動体１０ａ〜１０ｆを斜め上方から撮像して得られた動画５内の位置情報を水平面に投影することで、世界座標系における位置情報に変換する。また、制御部３０１は、複数の測定装置１００ａ〜１００ｆのそれぞれから受信された移動情報に含まれる加速度の向きを、重力及び地磁気の情報に基づいて方向を判別し、世界座標系における向きに変換する。これにより、制御部３０１は、動画５と測定装置１００との間で座標系を合わせる。   When the trajectories of the plurality of moving bodies 10a to 10f are acquired, the control unit 301 matches the coordinate system between the moving image 5 and the measuring apparatus 100 (step S3). More specifically, the control unit 301 converts position information in the moving image 5 obtained by imaging a plurality of moving bodies 10a to 10f from obliquely above to a horizontal plane, thereby converting the position information in the world coordinate system. To do. In addition, the control unit 301 determines the direction of acceleration included in the movement information received from each of the plurality of measurement apparatuses 100a to 100f based on gravity and geomagnetic information, and converts the direction into a direction in the world coordinate system. To do. Thereby, the control unit 301 matches the coordinate system between the moving image 5 and the measurement apparatus 100.

動画５と測定装置１００との間で座標系を合わせると、制御部３０１は、移動体１０と測定装置１００との対応関係を特定する処理に移行する。まず、制御部３０１は、識別対象となる移動体１０と識別時間区間とを指定する（ステップＳ４）。具体的に説明すると、制御部３０１は、識別対象となる移動体１０として、動画５における複数の移動体１０ａ〜１０ｆのうちからいずれか１つを指定する。また、識別時間区間は、動画に含まれる先頭フレームから末尾フレームまでのうちの時間区間であって、指定した移動体１０について対応する測定装置１００を特定する時間区間である。制御部３０１は、識別時間区間として、例えば、動画５における指定した移動体１０の軌跡が断片化していないひと続きの時間区間（すなわち連続した軌跡が得られた時間区間）を指定する。   When the coordinate system is matched between the moving image 5 and the measuring apparatus 100, the control unit 301 shifts to a process of specifying the correspondence between the moving body 10 and the measuring apparatus 100. First, the control unit 301 designates the moving object 10 to be identified and the identification time interval (step S4). If demonstrating it concretely, the control part 301 will specify any one from the some moving body 10a-10f in the moving image 5 as the moving body 10 used as identification object. Further, the identification time interval is a time interval from the first frame to the end frame included in the moving image, and is a time interval for specifying the corresponding measuring device 100 for the designated moving body 10. The control unit 301 designates, for example, a continuous time interval in which the trajectory of the specified moving object 10 in the moving image 5 is not fragmented (that is, a time interval in which a continuous trajectory is obtained) as the identification time interval.

識別対象となる移動体１０と識別時間区間とを指定すると、制御部３０１は、指定した識別時間区間において、指定した移動体１０に対応する測定装置１００を特定する（ステップＳ５）。ステップＳ５における特定処理の詳細については、図１２に示すフローチャートを参照して説明する。   When the mobile object 10 to be identified and the identification time interval are designated, the control unit 301 specifies the measuring device 100 corresponding to the designated mobile object 10 in the designated identification time interval (step S5). Details of the specifying process in step S5 will be described with reference to the flowchart shown in FIG.

図１２に示す特定処理が開始すると、制御部３０１は、複数の測定装置１００ａ〜１００ｆのうちから、指標を算出する測定装置１００を指定する（ステップＳ５１）。そして、制御部３０１は、指定した測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間を、指標を算出する時間区間から除外する（ステップＳ５２）。   When the specific process illustrated in FIG. 12 is started, the control unit 301 designates the measuring device 100 that calculates the index from the plurality of measuring devices 100a to 100f (step S51). Then, the control unit 301 excludes the time interval in which the movement information measured by the designated measuring device 100 satisfies a predetermined condition from the time interval for calculating the index (step S52).

具体的に説明すると、制御部３０１は、位置推定部３１５として機能し、移動情報に含まれる鉛直方向における加速度を二重積分することによって、指定した測定装置１００を装着している移動体１０の鉛直方向における位置を推定する。そして、制御部３０１は、指定した識別時間区間の中に、推定した位置と平均位置との差の絶対値が許容値を超えている時間区間が含まれているか否かを判定する。判定の結果、指定した識別時間区間の中にそのような時間区間が含まれている場合には、制御部３０１は、指定した識別時間区間からその時間区間を除外した時間区間を、指標を算出する時間区間として設定する。これに対して、指定した識別時間区間の中にそのような時間区間が含まれていない場合には、制御部３０１は、指定した識別時間区間全体を、指標を算出する時間区間として設定する。   More specifically, the control unit 301 functions as the position estimation unit 315, and double-integrates acceleration in the vertical direction included in the movement information, so that the moving body 10 wearing the designated measuring device 100 is equipped. Estimate the position in the vertical direction. Then, the control unit 301 determines whether or not the designated identification time interval includes a time interval in which the absolute value of the difference between the estimated position and the average position exceeds the allowable value. As a result of the determination, if such a time interval is included in the specified identification time interval, the control unit 301 calculates an index for the time interval excluding the time interval from the specified identification time interval. Set as the time interval. On the other hand, when such a time interval is not included in the specified identification time interval, the control unit 301 sets the entire specified identification time interval as a time interval for calculating an index.

このようにして指標を算出する時間区間を設定すると、制御部３０１は、指定した移動体１０と測定装置１００との間の、指定した識別時間区間における相関を示す第１の相関値、第２の相関値及び第３の相関値を算出する（ステップＳ５３〜Ｓ５５）。   When the time interval for calculating the index is set in this way, the control unit 301 sets the first correlation value indicating the correlation in the specified identification time interval between the specified moving body 10 and the measuring apparatus 100, the second And the third correlation value are calculated (steps S53 to S55).

具体的に説明すると、制御部３０１は、第１の特徴取得部３１２として機能し、撮像装置２００によって撮像された複数の移動体１０ａ〜１０ｆの動画から、指定した移動体１０の指定した識別時間区間における第１の時系列的特徴を取得する。また、制御部３０１は、第２の特徴取得部３１３として機能し、指定した測定装置１００によって測定された移動情報から、指定した識別時間区間における第２の時系列的特徴を取得する。そして、制御部３０１は、算出部３１４として機能し、前述したように、（１）動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値と、（２）動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値と、（３）動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値と、を算出する。   More specifically, the control unit 301 functions as the first feature acquisition unit 312, and the specified identification time of the specified moving body 10 from the moving images of the plurality of moving bodies 10 a to 10 f captured by the imaging device 200. A first time-series feature in the section is acquired. In addition, the control unit 301 functions as the second feature acquisition unit 313, and acquires the second time-series feature in the specified identification time interval from the movement information measured by the specified measurement device 100. Then, the control unit 301 functions as the calculation unit 314, and as described above, (1) a first correlation indicating the correlation between the speed of the moving body 10 in the moving image 5 and the variance of the acceleration measured by the measurement apparatus 100. (2) a second correlation value indicating a correlation between the acceleration in a direction other than the vertical direction of the moving body 10 in the moving image 5 and the acceleration in the vertical direction measured by the measuring apparatus 100; ) A third correlation value indicating a correlation between the moving direction of the moving body 10 in the moving image 5 and the moving direction measured by the measuring apparatus 100 is calculated.

これら３つの相関値を算出すると、制御部３０１は、特定部３１６として機能し、指定した移動体１０と測定装置１００との間の、指定した識別時間区間における相関を示す最終的な指標を算出する（ステップＳ５６）。具体的に説明すると、制御部３０１は、３つの相関値の重み付き和をとることで、最終的な指標を算出する。   When these three correlation values are calculated, the control unit 301 functions as the specifying unit 316 and calculates a final index indicating the correlation in the specified identification time interval between the specified moving body 10 and the measuring apparatus 100. (Step S56). Specifically, the control unit 301 calculates a final index by taking a weighted sum of three correlation values.

最終的な指標を算出すると、制御部３０１は、全ての測定装置１００を指定し終えたか否かを判定する（ステップＳ５７）。全ての測定装置１００を指定し終えていない場合（ステップＳ５７；ＮＯ）、制御部３０１は、処理をステップＳ５１に戻す。そして、制御部３０１は、複数の測定装置１００ａ〜１００ｆのうちから未指定の測定装置１００を新たに指定し、新たに指定した測定装置１００に対して、ステップＳ５１〜Ｓ５７の処理を実行する。このように、制御部３０１は、全ての測定装置１００を指定し終えるまでステップＳ５１〜Ｓ５７の処理を繰り返し、全ての測定装置１００について、指定した移動体１０との指定した識別時間区間における相関を示す指標を算出する。   When the final index is calculated, the control unit 301 determines whether or not all the measuring apparatuses 100 have been specified (step S57). When all the measuring devices 100 have not been specified (step S57; NO), the control unit 301 returns the process to step S51. Then, the control unit 301 newly designates an undesignated measurement device 100 from among the plurality of measurement devices 100a to 100f, and executes the processes of steps S51 to S57 on the newly designated measurement device 100. As described above, the control unit 301 repeats the processes of steps S51 to S57 until all the measuring devices 100 are designated, and the correlation in the designated identification time interval with the designated moving body 10 is obtained for all the measuring devices 100. The indicator shown is calculated.

最終的に、全ての測定装置１００を指定し終えると（ステップＳ５７；ＹＥＳ）、制御部３０１は、指標を算出した測定装置１００のうちの指標が最大の測定装置１００を、指定した識別時間区間において指定した移動体１０に対応する測定装置１００と特定する（ステップＳ５８）。ステップＳ５８の処理を終えると、制御部３０１は、図１２に示した特定処理を終了する。   Finally, when all the measuring devices 100 have been specified (step S57; YES), the control unit 301 identifies the measuring device 100 with the largest index among the measuring devices 100 that have calculated the index as the specified identification time interval. The measuring device 100 corresponding to the moving body 10 designated in step S58 is identified (step S58). When the process of step S58 is completed, the control unit 301 ends the specifying process illustrated in FIG.

指定した識別時間区間において、指定した移動体１０に対応する測定装置１００を特定すると、制御部３０１は、全ての移動体１０の全ての識別時間区間を指定し終えたか否かを判定する（ステップＳ６）。全ての移動体１０の全ての識別時間区間を指定し終えていない場合（ステップＳ６；ＮＯ）、制御部３０１は、処理をステップＳ４に戻す。そして、制御部３０１は、動画に撮像された複数の移動体１０ａ〜１０ｆと識別時間区間との組み合わせのうちの未指定の組み合わせを新たに指定し、新たに指定した組み合わせにおける移動体１０及び識別時間区間に対して、ステップＳ４〜Ｓ６の処理を実行する。このように、制御部３０１は、全ての移動体１０の全ての識別時間区間を指定し終えるまでステップＳ４〜Ｓ６の処理を繰り返し、全ての移動体１０の全ての識別時間区間について、対応する測定装置１００を特定する。   When the measuring device 100 corresponding to the designated mobile object 10 is specified in the designated identification time interval, the control unit 301 determines whether or not all the identification time intervals of all the mobile objects 10 have been designated (step) S6). When the designation of all the identification time intervals of all the mobile bodies 10 has not been completed (step S6; NO), the control unit 301 returns the process to step S4. Then, the control unit 301 newly designates an unspecified combination among the combinations of the plurality of moving bodies 10a to 10f captured in the moving image and the identification time section, and the moving body 10 and the identification in the newly designated combination. Steps S4 to S6 are executed for the time interval. As described above, the control unit 301 repeats the processes in steps S4 to S6 until all the identification time intervals of all the mobile objects 10 are designated, and the corresponding measurement is performed for all the identification time intervals of all the mobile objects 10. The device 100 is specified.

最終的に、全ての移動体１０の全ての識別時間区間を指定し終えると（ステップＳ６；ＹＥＳ）、制御部３０１は、表示制御部３１７として機能し、特定結果を表示する（ステップＳ７）。具体的に説明すると、制御部３０１は、例えば図１０に示したように、複数の移動体１０ａ〜１０ｆのそれぞれに対応する測定装置１００を識別する識別情報を、動画５とともに、表示部３０５に表示する。以上によって、図１１に示した移動体識別処理は終了する。   Finally, when all the identification time intervals of all the moving bodies 10 have been specified (step S6; YES), the control unit 301 functions as the display control unit 317 and displays the specific result (step S7). Specifically, for example, as shown in FIG. 10, the control unit 301 displays identification information for identifying the measuring device 100 corresponding to each of the plurality of moving bodies 10 a to 10 f together with the moving image 5 on the display unit 305. indicate. Thus, the moving object identification process shown in FIG. 11 ends.

以上説明したように、実施形態１に係る移動体識別システム１及び移動体識別装置３００は、撮像装置２００によって撮像された複数の移動体１０ａ〜１０ｆの動画５から第１の時系列的特徴を取得し、複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆによって測定された移動情報から第２の時系列的特徴を取得する。そして、移動体識別システム１及び移動体識別装置３００は、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出し、算出した指標に基づいて、動画５における複数の移動体１０ａ〜１０ｆと複数の測定装置１００ａ〜１００ｆとの対応関係を特定する。   As described above, the mobile object identification system 1 and the mobile object identification device 300 according to the first embodiment obtain the first time-series feature from the moving images 5 of the plurality of mobile objects 10a to 10f captured by the imaging device 200. The second time-series characteristic is acquired from the movement information acquired by the plurality of measuring devices 100a to 100f respectively attached to the plurality of moving bodies 10a to 10f. Then, the mobile object identification system 1 and the mobile object identification device 300 calculate an index indicating the correlation between the first time-series feature and the second time-series feature, and based on the calculated index, The correspondence relationship between the plurality of moving bodies 10a to 10f and the plurality of measuring devices 100a to 100f is specified.

その際に、移動体識別システム１及び移動体識別装置３００は、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間においては、この移動情報からは前記の指標を算出しない。言い換えると、移動体識別システム１及び移動体識別装置３００は、測定装置１００と移動体１０との対応付けを誤る確率が高いことが想定される時間区間を、指標を算出する時間区間から除外する。その結果、対応付けの誤りを減らすことができ、動画５に撮像された複数の移動体１０ａ〜１０ｆを精度良く識別することができる。   At that time, the mobile object identification system 1 and the mobile object identification device 300 are time intervals in which the movement information measured by any one of the plurality of measurement devices 100a to 100f satisfies a predetermined condition. In this case, the index is not calculated from the movement information. In other words, the mobile object identification system 1 and the mobile object identification device 300 exclude from the time interval for calculating the index a time interval in which it is assumed that there is a high probability that the association between the measuring device 100 and the mobile object 10 is high. . As a result, errors in association can be reduced, and the plurality of moving bodies 10a to 10f captured in the moving image 5 can be identified with high accuracy.

また、実施形態１に係る移動体識別システム１及び移動体識別装置３００は、前記の指標として、（１）動画５における移動体１０の速度と、測定装置１００によって測定された加速度の分散と、の相関を示す第１の相関値と、（２）動画５における移動体１０の鉛直方向以外の方向における加速度と、測定装置１００によって測定された鉛直方向における加速度と、の相関を示す第２の相関値と、（３）動画５における移動体１０の移動の向きと、測定装置１００によって測定された移動の向きと、の相関を示す第３の相関値と、を算出し、これら３つの相関値の重み付き和を指標として算出する。このように、移動体識別システム１及び移動体識別装置３００は、第１の時系列的特徴と第２の時系列的特徴として高い相関が出やすい特徴同士を組み合わせて、相関値を算出する。その結果、動画５における複数の移動体１０ａ〜１０ｆと複数の測定装置１００ａ〜１００ｆとを精度良く対応付けることができる。   In addition, the mobile object identification system 1 and the mobile object identification device 300 according to the first embodiment include (1) the speed of the mobile object 10 in the moving image 5 and the variance of the acceleration measured by the measurement device 100 as the index. The second correlation indicating the correlation between the first correlation value indicating the correlation between the moving body 10 and the acceleration in the direction other than the vertical direction of the moving body 10 in the moving image 5 and the acceleration in the vertical direction measured by the measuring apparatus 100. A correlation value, and (3) a third correlation value indicating a correlation between the moving direction of the moving body 10 in the moving image 5 and the moving direction measured by the measuring apparatus 100 are calculated, and these three correlations are calculated. The weighted sum of values is calculated as an index. As described above, the mobile object identification system 1 and the mobile object identification device 300 calculate the correlation value by combining the first time-series features and the features that are likely to be highly correlated as the second time-series features. As a result, the plurality of moving bodies 10a to 10f in the moving image 5 can be associated with the plurality of measuring devices 100a to 100f with high accuracy.

特に、例えば屋内競技をプレイしている場合のように、複数の移動体１０ａ〜１０ｆが屋内で移動している場合、外部からの電波が届きにくいためＧＰＳ（Global Positioning System）等では移動体１０の位置を精度良く検出することが難しい。そのような場合であっても、実施形態１に係る移動体識別システム１及び移動体識別装置３００は、動画５に撮像された複数の移動体１０ａ〜１０ｆを精度良く識別することができる。   In particular, when a plurality of mobile bodies 10a to 10f are moving indoors, for example, when playing an indoor game, it is difficult for radio waves from outside to reach the mobile body 10 using GPS (Global Positioning System) or the like. It is difficult to accurately detect the position of. Even in such a case, the mobile object identification system 1 and the mobile object identification device 300 according to the first embodiment can accurately identify the plurality of mobile objects 10a to 10f captured in the moving image 5.

（変形例）
以上に本発明の実施形態について説明したが、前記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 (Modification)
Although the embodiment of the present invention has been described above, the embodiment is an example, and the scope of application of the present invention is not limited to this. That is, the embodiments of the present invention can be applied in various ways, and all the embodiments are included in the scope of the present invention.

例えば、前記実施形態では、動画５における複数の移動体１０ａ〜１０ｆと複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆとを対応付ける例を示したが、動画５における少なくとも１つの移動体１０と少なくとも１つの移動体１０に装着された少なくとも１つの測定装置１００とを対応付けてもよい。この場合、動画５における１つのみの移動体１０と１つのみの移動体１０に装着された１つのみの測定装置１００との対応関係は自明であるため除外する。すなわち、本発明は、動画５における複数の移動体１０ａ〜１０ｆと複数の移動体１０ａ〜１０ｆにそれぞれ装着された複数の測定装置１００ａ〜１００ｆとを対応付けることに限定されず、例えば、動画５における１つの移動体１０と複数の移動体１０ａ〜１０ｆに装着された複数の測定装置１００ａ〜１０ｆとを対応付けることや、動画５における複数の移動体１０ａ〜１０ｆと複数の移動体１０ａ〜１０ｆのうちの１つの移動体１０に装着された１つの測定装置１００とを対応付けることも含む。   For example, in the embodiment, the example in which the plurality of moving bodies 10a to 10f in the moving image 5 and the plurality of measuring devices 100a to 100f respectively attached to the plurality of moving bodies 10a to 10f are associated with each other is described. One moving body 10 and at least one measuring device 100 attached to at least one moving body 10 may be associated with each other. In this case, since the correspondence relationship between only one moving body 10 and only one measuring apparatus 100 attached to only one moving body 10 in the moving image 5 is obvious, it is excluded. That is, the present invention is not limited to associating the plurality of moving bodies 10a to 10f in the moving image 5 with the plurality of measuring devices 100a to 100f respectively attached to the plurality of moving bodies 10a to 10f. One moving body 10 is associated with a plurality of measuring devices 100a to 10f attached to the plurality of moving bodies 10a to 10f, or among the plurality of moving bodies 10a to 10f and the plurality of moving bodies 10a to 10f in the moving image 5 This also includes associating with one measuring apparatus 100 mounted on one moving body 10.

また、特定部３１６は、複数の測定装置１００ａ〜１００ｆのうちのいずれかの測定装置１００によって測定された移動情報が予め定められた条件を満たした時間区間においては、この測定装置１００によって測定された移動情報を、前述した対応関係を特定するためには用いなかった。しかしながら、特定部３１６は、移動情報が予め定められた条件を満たした時間区間において、撮像装置２００によって撮像された動画５から得られた、少なくとも１つの移動体１０の移動に関する情報を、前述した対応関係を特定するためには用いなくても良い。少なくとも１つの移動体１０の移動に関する情報とは、例えば第１の時系列的特徴である。言い換えると、特定部３１６は、移動情報が予め定められた条件を満たした時間区間においては、動画５における少なくとも１つの移動体１０の全てについて、動画５から得られた移動に関する情報を、特定部３１６が対応関係を特定するために用いなくても良い。   In addition, the specifying unit 316 is measured by the measurement device 100 in a time interval in which movement information measured by any one of the plurality of measurement devices 100a to 100f satisfies a predetermined condition. The movement information is not used to identify the correspondence described above. However, the specifying unit 316 has previously described information related to movement of at least one moving body 10 obtained from the moving image 5 captured by the imaging apparatus 200 in a time interval in which the movement information satisfies a predetermined condition. It may not be used to specify the correspondence. The information regarding the movement of at least one moving body 10 is, for example, a first time-series feature. In other words, the specifying unit 316 displays information related to movement obtained from the moving image 5 for all of at least one moving body 10 in the moving image 5 in a time interval in which the movement information satisfies a predetermined condition. 316 may not be used to specify the correspondence.

また、例えば、前記実施形態では、算出部３１４は、第１の相関値と第２の相関値と第３の相関値とを算出し、これら３つの相関値の重み付き和を、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標として算出した。しかしながら、本発明において、算出部３１４は、これら３つの相関値を全て算出せず、これら３つの相関値のうちのいずれか１つのみを、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標として算出しても良い。或いは、算出部３１４は、これら３つの相関値のうちのいずれか２つを用いて、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出しても良い。また、算出部３１４は、重み付き和以外の算出方法を用いても良い。   Further, for example, in the embodiment, the calculation unit 314 calculates the first correlation value, the second correlation value, and the third correlation value, and calculates the weighted sum of these three correlation values as the first correlation value. It was calculated as an index indicating the correlation between the time series feature and the second time series feature. However, in the present invention, the calculation unit 314 does not calculate all of these three correlation values, and only one of these three correlation values is used as the first time-series feature and the second time-series. You may calculate as a parameter | index which shows the correlation with a characteristic. Alternatively, the calculation unit 314 may calculate an index indicating the correlation between the first time-series feature and the second time-series feature using any two of these three correlation values. . The calculation unit 314 may use a calculation method other than the weighted sum.

前記実施形態では、第１の特徴取得部３１２は、背景差分法を用いて動画５における複数の移動体１０ａ〜１０ｆの位置を検出し、それらの位置を追跡した。しかしながら、本発明において、第１の特徴取得部３１２は、背景差分法に限らず、他の手法を用いても良い。例えば、第１の特徴取得部３１２は、特徴点追跡（オプティカルフロー）の手法を用いて、動画５中の特徴点を検出及び追跡することができる。   In the embodiment, the first feature acquisition unit 312 detects the positions of the plurality of moving bodies 10a to 10f in the moving image 5 using the background difference method, and tracks those positions. However, in the present invention, the first feature acquisition unit 312 is not limited to the background difference method, and other methods may be used. For example, the first feature acquisition unit 312 can detect and track feature points in the moving image 5 using a feature point tracking (optical flow) technique.

前記実施形態では、特定部３１６は、移動体１０の鉛直方向における位置と移動体１０の鉛直方向における平均位置との差の絶対値が許容値を超えた場合に、その移動体１０に装着された測定装置１００を対応付けから除外した。しかしながら、本発明において、対応付けから除外するための予め定められた条件は、このような場合以外の場合に満たされても良い。例えば、予め定められた条件は、移動体１０の水平方向における位置が撮像装置２００の視野の外に出たと判別された場合に、満たされても良い。この場合、移動体１０の水平方向における位置は、その移動体１０に装着された測定装置１００によって測定された移動情報から推定することができる。このように、特定部３１６は、測定装置１００と移動体１０との対応付けを誤る確率が高いことが想定される様々な条件が満たされた場合に、動画５における複数の移動体１０ａ〜１０ｆのうちからその測定装置１００に対応する移動体１０を特定しないと定めることができる。   In the embodiment, the specifying unit 316 is attached to the moving body 10 when the absolute value of the difference between the position of the moving body 10 in the vertical direction and the average position of the moving body 10 in the vertical direction exceeds an allowable value. The measuring device 100 was excluded from the association. However, in the present invention, the predetermined condition for excluding from the association may be satisfied in cases other than such a case. For example, the predetermined condition may be satisfied when it is determined that the position of the moving body 10 in the horizontal direction has gone out of the field of view of the imaging device 200. In this case, the position of the moving body 10 in the horizontal direction can be estimated from the movement information measured by the measuring apparatus 100 attached to the moving body 10. As described above, the identification unit 316 includes a plurality of moving bodies 10a to 10f in the moving image 5 when various conditions that are assumed to have a high probability of erroneous association between the measuring apparatus 100 and the moving body 10 are satisfied. It can be determined that the mobile object 10 corresponding to the measuring device 100 is not specified.

前記実施形態では、表示制御部３１７は、測定装置１００を識別する識別情報として、動画５における複数の移動体１０ａ〜１０ｆのそれぞれの位置に、対応する測定装置１００の数字を表示した。しかしながら、表示制御部３１７は、識別情報として、数字の代わりに文字、記号又は図形を表示しても良い。また、表示制御部３１７は、識別情報を、移動体１０の近傍に表示しても良いし、移動体１０に重畳させて表示しても良い。   In the embodiment, the display control unit 317 displays the number of the corresponding measuring device 100 at each position of the plurality of moving bodies 10a to 10f in the moving image 5 as identification information for identifying the measuring device 100. However, the display control unit 317 may display characters, symbols, or figures instead of numbers as identification information. Further, the display control unit 317 may display the identification information in the vicinity of the moving body 10 or may display the identification information superimposed on the moving body 10.

或いは、表示制御部３１７は、識別情報として、背景差分法又は特徴点追跡等の手法によって動画５から得られた複数の移動体１０ａ〜１０ｆの軌跡を、表示部３０５に表示しても良い。この場合、表示制御部３１７は、複数の移動体１０ａ〜１０ｆの軌跡のそれぞれを、対応する測定装置１００を識別できるように、互いに異なる表示態様で表示する。例えば、表示制御部３１７は、対応する測定装置１００に応じて軌跡の色を変える、軌跡の太さを変える、又は、実線と点線とによって軌跡の描画方法を変える等によって、対応する測定装置１００を識別できるように軌跡を表示する。   Alternatively, the display control unit 317 may display, on the display unit 305, the trajectories of the plurality of moving bodies 10a to 10f obtained from the moving image 5 by the background difference method or the feature point tracking method as identification information. In this case, the display control unit 317 displays each of the trajectories of the plurality of moving bodies 10a to 10f in different display modes so that the corresponding measuring device 100 can be identified. For example, the display control unit 317 changes the color of the trajectory according to the corresponding measuring device 100, changes the thickness of the trajectory, or changes the drawing method of the trajectory between a solid line and a dotted line. A trajectory is displayed so that can be identified.

前記実施形態では、移動体識別装置３００が第１の特徴取得部３１２と第２の特徴取得部３１３とを備えていた。しかしながら、本発明において、移動体識別装置３００は第１の時系列的特徴と第２の時系列的特徴とを取得する機能を備えておらず、撮像装置２００が第１の特徴取得部３１２を備えており、複数の測定装置１００のそれぞれが第２の特徴取得部３１３を備えていても良い。この場合、撮像装置２００は、複数の移動体１０を撮像して得られた動画５を解析して第１の時系列的特徴を取得し、取得した第１の時系列的特徴を示す情報を移動体識別装置３００に送信する。また、複数の測定装置１００のそれぞれは、測定された移動情報を解析して第２の時系列的特徴を取得し、取得した第２の時系列的特徴を示す情報を移動体識別装置３００に送信する。移動体識別装置３００は、第１の時系列的特徴を示す情報と第２の時系列的特徴を示す情報とを受信すると、第１の時系列的特徴と第２の時系列的特徴との相関を示す指標を算出して、複数の移動体１０と複数の測定装置１００との対応関係を特定する。   In the embodiment, the mobile object identification device 300 includes the first feature acquisition unit 312 and the second feature acquisition unit 313. However, in the present invention, the moving body identification device 300 does not have a function of acquiring the first time-series feature and the second time-series feature, and the imaging device 200 includes the first feature acquisition unit 312. Provided, and each of the plurality of measuring devices 100 may include a second feature acquisition unit 313. In this case, the imaging apparatus 200 analyzes the moving image 5 obtained by imaging the plurality of moving bodies 10 to acquire the first time-series feature, and obtains information indicating the acquired first time-series feature. It transmits to the mobile body identification apparatus 300. Each of the plurality of measuring devices 100 analyzes the measured movement information to acquire the second time-series feature, and sends the information indicating the acquired second time-series feature to the mobile object identification device 300. Send. When the mobile object identification device 300 receives the information indicating the first time-series feature and the information indicating the second time-series feature, the mobile object identification device 300 calculates the first time-series feature and the second time-series feature. An index indicating the correlation is calculated, and the correspondence relationship between the plurality of moving bodies 10 and the plurality of measuring devices 100 is specified.

前記実施形態では、移動体１０として人間を例にとって説明した。しかしながら、本発明において、移動体１０は、人間以外の動物であっても良いし、自動車又はロボット等の人工物であっても良い。また、前記実施形態では、移動体識別システム１が適用される場面として、屋内でプレイされるスポーツを例にとって説明した。しかしながら、本発明において、移動体識別システム１は、屋外でプレイされるスポーツに適用することもできる。また、スポーツに限らず、複数の移動体が移動する場面であれば、どのような場面に対しても適用することができる。例えば、移動体識別システム１は、保育園又は幼稚園における幼児の識別、学校における生徒の識別、及び、映画館又は競技場における入場者の識別等にも適用することができる。   In the above-described embodiment, the moving body 10 has been described taking a human as an example. However, in the present invention, the moving body 10 may be an animal other than a human being, or may be an artificial object such as an automobile or a robot. Moreover, in the said embodiment, the sport played indoors was demonstrated to the example as a scene where the mobile body identification system 1 is applied. However, in this invention, the mobile body identification system 1 can also be applied to sports played outdoors. Further, the present invention is not limited to sports and can be applied to any scene as long as a plurality of moving bodies move. For example, the moving body identification system 1 can be applied to identification of infants in a nursery school or kindergarten, identification of students in a school, identification of visitors in a movie theater or a stadium, and the like.

また、前記実施形態では、複数の測定装置１００、撮像装置２００及び移動体識別装置３００は、それぞれＣＰＵを備えていた。しかし、本発明において、複数の測定装置１００、撮像装置２００及び移動体識別装置３００は、ＣＰＵの代わりに、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用の制御回路を備えていてもよい。例えば、前記実施形態では、ＣＰＵが、受信部３１１、第１の特徴取得部３１２、第２の特徴取得部３１３、算出部３１４、位置推定部３１５、特定部３１６及び表示制御部３１７のそれぞれとして機能したが、これら各部は、それぞれ個別の制御回路によって実現されてもよい。   Moreover, in the said embodiment, the some measuring apparatus 100, the imaging device 200, and the mobile body identification device 300 were each provided with CPU. However, in the present invention, the plurality of measurement devices 100, the imaging devices 200, and the moving body identification device 300 may include a dedicated control circuit such as an ASIC (Application Specific Integrated Circuit) instead of the CPU. For example, in the above-described embodiment, the CPU is configured as each of the reception unit 311, the first feature acquisition unit 312, the second feature acquisition unit 313, the calculation unit 314, the position estimation unit 315, the specification unit 316, and the display control unit 317. Although functioning, these units may be realized by individual control circuits.

なお、本発明に係る機能を実現するための構成を予め備えた移動体識別装置、測定装置及び撮像装置して提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る移動体識別装置、測定装置及び撮像装置のそれぞれとして機能させることもできる。すなわち、前記実施形態で例示した複数の測定装置１００、撮像装置２００及び移動体識別装置３００による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る移動体識別装置、測定装置及び撮像装置として機能させることができる。また、本発明に係る表示方法は、移動体識別装置、測定装置及び撮像装置を用いて実施できる。   It should be noted that, in addition to being able to be provided as a mobile object identification device, a measurement device, and an imaging device provided with a configuration for realizing the functions according to the present invention, an existing information processing device or the like is applied to the present invention by applying a program. It can also function as each of the moving body identification device, measurement device, and imaging device. That is, it is possible for a CPU or the like that controls an existing information processing apparatus or the like to execute a program for realizing each functional configuration of the plurality of measurement apparatuses 100, the imaging apparatus 200, and the moving body identification apparatus 300 exemplified in the above embodiment. By applying to, it can be made to function as a mobile body identification device, a measurement device, and an imaging device according to the present invention. In addition, the display method according to the present invention can be implemented using a moving object identification device, a measurement device, and an imaging device.

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。   Moreover, the application method of such a program is arbitrary. The program can be applied by being stored in a computer-readable storage medium such as a flexible disk, a CD (Compact Disc) -ROM, a DVD (Digital Versatile Disc) -ROM, or a memory card. Furthermore, the program can be superimposed on a carrier wave and applied via a communication medium such as the Internet. For example, the program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network and distributed. The program may be activated and executed in the same manner as other application programs under the control of an OS (Operating System) so that the above-described processing can be executed.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。   The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the specific embodiments, and the present invention includes the invention described in the claims and the equivalent scope thereof. included. Hereinafter, the invention described in the scope of claims of the present application will be appended.

（付記１）
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする移動体識別装置。 (Appendix 1)
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specifying means for specifying a moving body and a correspondence relationship between only one measuring apparatus mounted on the one moving body;
With
In the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the specifying unit is measured by any one of the measuring devices. Do not use movement information to identify correspondences,
A mobile object identification device characterized by the above.

（付記２）
前記少なくとも１つの測定装置によって測定された前記移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段、
を更に備え、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする付記１に記載の移動体識別装置。 (Appendix 2)
Position estimating means for estimating a position in the vertical direction of each of the at least one moving body from the movement information measured by the at least one measuring device;
Further comprising
The predetermined condition is that an absolute value of a difference between a position in the vertical direction of any one of the at least one moving bodies and an average position in the vertical direction of any of the moving bodies. Satisfied if the value exceeds the tolerance
The mobile object identification device according to supplementary note 1, wherein:

（付記３）
前記少なくとも１つの測定装置のそれぞれから前記移動情報を受信するとともに、前記撮像装置から前記動画を受信する受信手段と、
前記受信手段によって受信された前記動画から前記第１の時系列的特徴を取得する第１の特徴取得手段と、
前記受信手段によって受信された前記移動情報から前記第２の時系列的特徴を取得する第２の特徴取得手段と、
を更に備える、
ことを特徴とする付記１又は２に記載の移動体識別装置。 (Appendix 3)
Receiving means for receiving the movement information from each of the at least one measuring device and receiving the moving image from the imaging device;
First feature obtaining means for obtaining the first time-series feature from the moving image received by the receiving means;
Second feature acquisition means for acquiring the second time-series feature from the movement information received by the reception means;
Further comprising
The mobile object identification device according to appendix 1 or 2, characterized in that:

（付記４）
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の速度を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の加速度の分散を取得する、
ことを特徴とする付記３に記載の移動体識別装置。 (Appendix 4)
The first feature acquisition means acquires the speed of the at least one moving body in the moving image as the first time-series feature,
The second feature acquisition means acquires a variance of acceleration of the at least one moving body from the movement information as the second time-series feature.
The mobile object identification device according to supplementary note 3, characterized by:

（付記５）
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の鉛直方向以外の方向における加速度を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の前記鉛直方向における加速度を取得する、
ことを特徴とする付記３又は４に記載の移動体識別装置。 (Appendix 5)
The first feature acquisition unit acquires an acceleration in a direction other than a vertical direction of the at least one moving body in the moving image as the first time-series feature,
The second feature acquisition means acquires acceleration in the vertical direction of the at least one moving body from the movement information as the second time-series feature.
The mobile object identification device according to appendix 3 or 4, characterized in that:

（付記６）
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の移動の向きを取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の移動の向きを取得する、
ことを特徴とする付記３から５のいずれか１つに記載の移動体識別装置。 (Appendix 6)
The first feature acquisition means acquires the movement direction of the at least one moving body in the moving image as the first time-series feature,
The second feature acquisition means acquires a direction of movement of the at least one moving body from the movement information as the second time-series feature.
The mobile object identification device according to any one of supplementary notes 3 to 5, characterized in that:

（付記７）
前記第１の時系列的特徴と前記第２の時系列的特徴との相関を示す指標を算出する算出手段を更に備え、
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の速度と、前記動画における前記少なくとも１つの移動体の鉛直方向以外の方向における加速度と、前記動画における前記少なくとも１つの移動体の移動の向きと、を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から、前記少なくとも１つの移動体の加速度の分散と、前記少なくとも１つの移動体の前記鉛直方向における加速度と、前記少なくとも１つの移動体の移動の向きと、を取得し、
前記算出手段は、前記第１の特徴取得手段によって取得された前記速度と前記第２の特徴取得手段によって取得された前記分散との相関を示す第１の相関値と、前記第１の特徴取得手段によって取得された前記加速度と前記第２の特徴取得手段によって取得された前記加速度との相関を示す第２の相関値と、前記第１の特徴取得手段によって取得された前記移動の向きと前記第２の特徴取得手段によって取得された前記移動の向きとの相関を示す第３の相関値と、に基づいて、前記指標を算出する、
ことを特徴とする付記３から６のいずれか１つに記載の移動体識別装置。 (Appendix 7)
A calculation means for calculating an index indicating a correlation between the first time-series feature and the second time-series feature;
The first feature acquisition means includes, as the first time-series feature, a speed of the at least one moving body in the moving image and an acceleration in a direction other than the vertical direction of the at least one moving body in the moving image. , Obtaining the direction of movement of the at least one moving object in the video,
The second feature acquisition means, as the second time-series feature, from the movement information, a dispersion of acceleration of the at least one moving body, acceleration in the vertical direction of the at least one moving body, Obtaining the direction of movement of the at least one moving object;
The calculation means includes a first correlation value indicating a correlation between the velocity acquired by the first feature acquisition means and the variance acquired by the second feature acquisition means, and the first feature acquisition. A second correlation value indicating a correlation between the acceleration acquired by the means and the acceleration acquired by the second feature acquisition means; the direction of the movement acquired by the first feature acquisition means; Calculating the index based on a third correlation value indicating a correlation with the direction of movement acquired by the second feature acquisition means;
The mobile object identification device according to any one of supplementary notes 3 to 6, characterized in that:

（付記８）
前記算出手段は、前記指標として、前記第１の相関値と前記第２の相関値と前記第３の相関値との重み付き和を算出する、
ことを特徴とする付記７に記載の移動体識別装置。 (Appendix 8)
The calculation means calculates a weighted sum of the first correlation value, the second correlation value, and the third correlation value as the index.
The mobile object identification device according to appendix 7, wherein:

（付記９）
前記少なくとも１つの測定装置のうちの、前記少なくとも１つの移動体のそれぞれに対応する測定装置を識別する識別情報を、前記動画とともに表示手段に表示する表示制御手段、
を更に備える、
ことを特徴とする付記１から８のいずれか１つに記載の移動体識別装置。 (Appendix 9)
Display control means for displaying, on the display means together with the moving image, identification information for identifying a measurement apparatus corresponding to each of the at least one moving body of the at least one measurement apparatus;
Further comprising
The mobile object identification device according to any one of appendices 1 to 8, characterized in that:

（付記１０）
前記撮像装置は、屋内において移動している前記少なくとも１つの移動体を撮像することによって、前記動画を生成する、
ことを特徴とする付記１から９のいずれか１つに記載の移動体識別装置。 (Appendix 10)
The imaging device generates the moving image by imaging the at least one moving body that is moving indoors.
The mobile object identification device according to any one of appendices 1 to 9, characterized in that:

（付記１１）
前記撮像装置は、前記少なくとも１つの移動体を斜め上方から撮像することによって、前記動画を生成する、
ことを特徴とする付記１から１０のいずれか１つに記載の移動体識別装置。 (Appendix 11)
The imaging device generates the moving image by imaging the at least one moving body from obliquely above.
The mobile object identification device according to any one of appendices 1 to 10, characterized in that:

（付記１２）
前記少なくとも１つの測定装置は、加速度センサを含む、
ことを特徴とする付記１から１１のいずれか１つに記載の移動体識別装置。 (Appendix 12)
The at least one measuring device includes an acceleration sensor;
The mobile object identification device according to any one of appendices 1 to 11, characterized in that:

（付記１３）
前記差の絶対値が前記許容値を超えた場合、前記位置推定手段は、前記いずれかの移動体がジャンプした又は屈んだと推定する、
ことを特徴とする付記２に記載の移動体識別装置。 (Appendix 13)
When the absolute value of the difference exceeds the allowable value, the position estimation means estimates that any one of the moving bodies has jumped or bent,
The mobile object identification device according to appendix 2, characterized by:

（付記１４）
前記特定手段は、前記時間区間においては、前記撮像装置によって撮像された前記動画から得られた、前記少なくとも１つの移動体の移動に関する情報を対応関係を特定するために用いない、
ことを特徴とする付記１から１３のいずれか１つに記載の移動体識別装置。 (Appendix 14)
In the time interval, the specifying unit does not use information about movement of the at least one moving body obtained from the moving image captured by the imaging device to specify a correspondence relationship.
14. The mobile object identification device according to any one of supplementary notes 1 to 13, characterized in that:

（付記１５）
付記１から１４のいずれか１つに記載の移動体識別装置と、前記撮像装置と、前記少なくとも１つの測定装置と、を備える、
ことを特徴とする移動体識別システム。 (Appendix 15)
The mobile object identification device according to any one of appendices 1 to 14, the imaging device, and the at least one measurement device,
A mobile object identification system characterized by the above.

（付記１６）
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定ステップと、
を含み、
前記特定ステップでは、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする移動体識別方法。 (Appendix 16)
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specific step of specifying a moving body and a single measuring device attached to only one moving body, excluding a correspondence relationship;
Including
In the specifying step, in the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the measuring information measured by any one of the measuring devices is used. Do not use movement information to identify correspondences,
A moving body identification method characterized by the above.

（付記１７）
移動体識別装置のコンピュータを、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
として機能させ、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とするプログラム。 (Appendix 17)
The computer of the mobile object identification device
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specifying means for specifying a moving body and a correspondence relationship between only one measuring apparatus mounted on the one moving body;
Function as
In the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the specifying unit is measured by any one of the measuring devices. Do not use movement information to identify correspondences,
A program characterized by that.

１…移動体識別システム、５…動画、１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ，１０ｆ…移動体、１００，１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅ、１００ｆ…測定装置、１０１…制御部、１０２…記憶部、１０３…測定部、１０４…通信部、２００…撮像装置、２０１…制御部、２０２…記憶部、２０３…撮像部、２０４…画像処理部、２０５…通信部、３００…移動体識別装置、３０１…制御部、３０２…記憶部、３０３…画像処理部、３０４…操作部、３０５…表示部、３０６…通信部、３１１…受信部、３１２…第１の特徴取得部、３１３…第２の特徴取得部、３１４…算出部、３１５…位置推定部、３１６…特定部、３１７…表示制御部 DESCRIPTION OF SYMBOLS 1 ... Mobile body identification system, 5 ... Animation, 10, 10a, 10b, 10c, 10d, 10e, 10f ... Mobile body, 100, 100a, 100b, 100c, 100d, 100e, 100f ... Measuring apparatus, 101 ... Control part, DESCRIPTION OF SYMBOLS 102 ... Memory | storage part, 103 ... Measuring part, 104 ... Communication part, 200 ... Imaging device, 201 ... Control part, 202 ... Memory | storage part, 203 ... Imaging part, 204 ... Image processing part, 205 ... Communication part, 300 ... Moving body Identification device 301... Control unit 302 302 storage unit 303 image processing unit 304 operation unit 305 display unit 306 communication unit 311 reception unit 312 first feature acquisition unit 313 Second feature acquisition unit, 314 ... calculation unit, 315 ... position estimation unit, 316 ... identification unit, 317 ... display control unit

Claims (17)

撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
を備え、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする移動体識別装置。 Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specifying means for specifying a moving body and a correspondence relationship between only one measuring apparatus mounted on the one moving body;
With
In the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the specifying unit is measured by any one of the measuring devices. Do not use movement information to identify correspondences,
A mobile object identification device characterized by the above. 前記少なくとも１つの測定装置によって測定された前記移動情報から、前記少なくとも１つの移動体のそれぞれの鉛直方向における位置を推定する位置推定手段、
を更に備え、
前記予め定められた条件は、前記少なくとも１つの移動体のうちのいずれかの移動体の前記鉛直方向における位置と、前記いずれかの移動体の前記鉛直方向における平均位置と、の差の絶対値が許容値を超えた場合に、満たされる、
ことを特徴とする請求項１に記載の移動体識別装置。 Position estimating means for estimating a position in the vertical direction of each of the at least one moving body from the movement information measured by the at least one measuring device;
Further comprising
The predetermined condition is that an absolute value of a difference between a position in the vertical direction of any one of the at least one moving bodies and an average position in the vertical direction of any of the moving bodies. Satisfied if the value exceeds the tolerance
The mobile object identification device according to claim 1. 前記少なくとも１つの測定装置のそれぞれから前記移動情報を受信するとともに、前記撮像装置から前記動画を受信する受信手段と、
前記受信手段によって受信された前記動画から前記第１の時系列的特徴を取得する第１の特徴取得手段と、
前記受信手段によって受信された前記移動情報から前記第２の時系列的特徴を取得する第２の特徴取得手段と、
を更に備える、
ことを特徴とする請求項１又は２に記載の移動体識別装置。 Receiving means for receiving the movement information from each of the at least one measuring device and receiving the moving image from the imaging device;
First feature obtaining means for obtaining the first time-series feature from the moving image received by the receiving means;
Second feature acquisition means for acquiring the second time-series feature from the movement information received by the reception means;
Further comprising
The mobile object identification device according to claim 1 or 2, characterized in that 前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の速度を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の加速度の分散を取得する、
ことを特徴とする請求項３に記載の移動体識別装置。 The first feature acquisition means acquires the speed of the at least one moving body in the moving image as the first time-series feature,
The second feature acquisition means acquires a variance of acceleration of the at least one moving body from the movement information as the second time-series feature.
The mobile object identification device according to claim 3. 前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の鉛直方向以外の方向における加速度を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の前記鉛直方向における加速度を取得する、
ことを特徴とする請求項３又は４に記載の移動体識別装置。 The first feature acquisition unit acquires an acceleration in a direction other than a vertical direction of the at least one moving body in the moving image as the first time-series feature,
The second feature acquisition means acquires acceleration in the vertical direction of the at least one moving body from the movement information as the second time-series feature.
The mobile object identification device according to claim 3 or 4, characterized by the above. 前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の移動の向きを取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から前記少なくとも１つの移動体の移動の向きを取得する、
ことを特徴とする請求項３から５のいずれか１項に記載の移動体識別装置。 The first feature acquisition means acquires the movement direction of the at least one moving body in the moving image as the first time-series feature,
The second feature acquisition means acquires a direction of movement of the at least one moving body from the movement information as the second time-series feature.
The mobile object identification device according to any one of claims 3 to 5, wherein 前記第１の時系列的特徴と前記第２の時系列的特徴との相関を示す指標を算出する算出手段を更に備え、
前記第１の特徴取得手段は、前記第１の時系列的特徴として、前記動画における前記少なくとも１つの移動体の速度と、前記動画における前記少なくとも１つの移動体の鉛直方向以外の方向における加速度と、前記動画における前記少なくとも１つの移動体の移動の向きと、を取得し、
前記第２の特徴取得手段は、前記第２の時系列的特徴として、前記移動情報から、前記少なくとも１つの移動体の加速度の分散と、前記少なくとも１つの移動体の前記鉛直方向における加速度と、前記少なくとも１つの移動体の移動の向きと、を取得し、
前記算出手段は、前記第１の特徴取得手段によって取得された前記速度と前記第２の特徴取得手段によって取得された前記分散との相関を示す第１の相関値と、前記第１の特徴取得手段によって取得された前記加速度と前記第２の特徴取得手段によって取得された前記加速度との相関を示す第２の相関値と、前記第１の特徴取得手段によって取得された前記移動の向きと前記第２の特徴取得手段によって取得された前記移動の向きとの相関を示す第３の相関値と、に基づいて、前記指標を算出する、
ことを特徴とする請求項３から６のいずれか１項に記載の移動体識別装置。 A calculation means for calculating an index indicating a correlation between the first time-series feature and the second time-series feature;
The first feature acquisition means includes, as the first time-series feature, a speed of the at least one moving body in the moving image and an acceleration in a direction other than the vertical direction of the at least one moving body in the moving image. , Obtaining the direction of movement of the at least one moving object in the video,
The second feature acquisition means, as the second time-series feature, from the movement information, a dispersion of acceleration of the at least one moving body, acceleration in the vertical direction of the at least one moving body, Obtaining the direction of movement of the at least one moving object;
The calculation means includes a first correlation value indicating a correlation between the velocity acquired by the first feature acquisition means and the variance acquired by the second feature acquisition means, and the first feature acquisition. A second correlation value indicating a correlation between the acceleration acquired by the means and the acceleration acquired by the second feature acquisition means; the direction of the movement acquired by the first feature acquisition means; Calculating the index based on a third correlation value indicating a correlation with the direction of movement acquired by the second feature acquisition means;
The mobile object identification device according to any one of claims 3 to 6, characterized in that: 前記算出手段は、前記指標として、前記第１の相関値と前記第２の相関値と前記第３の相関値との重み付き和を算出する、
ことを特徴とする請求項７に記載の移動体識別装置。 The calculation means calculates a weighted sum of the first correlation value, the second correlation value, and the third correlation value as the index.
The mobile object identification device according to claim 7. 前記少なくとも１つの測定装置のうちの、前記少なくとも１つの移動体のそれぞれに対応する測定装置を識別する識別情報を、前記動画とともに表示手段に表示する表示制御手段、
を更に備える、
ことを特徴とする請求項１から８のいずれか１項に記載の移動体識別装置。 Display control means for displaying, on the display means together with the moving image, identification information for identifying a measurement apparatus corresponding to each of the at least one moving body of the at least one measurement apparatus;
Further comprising
The mobile object identification device according to any one of claims 1 to 8, characterized in that: 前記撮像装置は、屋内において移動している前記少なくとも１つの移動体を撮像することによって、前記動画を生成する、
ことを特徴とする請求項１から９のいずれか１項に記載の移動体識別装置。 The imaging device generates the moving image by imaging the at least one moving body that is moving indoors.
The mobile object identification device according to any one of claims 1 to 9, wherein: 前記撮像装置は、前記少なくとも１つの移動体を斜め上方から撮像することによって、前記動画を生成する、
ことを特徴とする請求項１から１０のいずれか１項に記載の移動体識別装置。 The imaging device generates the moving image by imaging the at least one moving body from obliquely above.
The mobile object identification device according to any one of claims 1 to 10, wherein: 前記少なくとも１つの測定装置は、加速度センサを含む、
ことを特徴とする請求項１から１１のいずれか１項に記載の移動体識別装置。 The at least one measuring device includes an acceleration sensor;
The mobile object identification device according to any one of claims 1 to 11, characterized in that: 前記差の絶対値が前記許容値を超えた場合、前記位置推定手段は、前記いずれかの移動体がジャンプした又は屈んだと推定する、
ことを特徴とする請求項２に記載の移動体識別装置。 When the absolute value of the difference exceeds the allowable value, the position estimation means estimates that any one of the moving bodies has jumped or bent,
The mobile object identification device according to claim 2, wherein: 前記特定手段は、前記時間区間においては、前記撮像装置によって撮像された前記動画から得られた、前記少なくとも１つの移動体の移動に関する情報を対応関係を特定するために用いない、
ことを特徴とする請求項１から１３のいずれか１項に記載の移動体識別装置。 In the time interval, the specifying unit does not use information about movement of the at least one moving body obtained from the moving image captured by the imaging device to specify a correspondence relationship.
The mobile object identification device according to any one of claims 1 to 13, 請求項１から１４のいずれか１項に記載の移動体識別装置と、前記撮像装置と、前記少なくとも１つの測定装置と、を備える、
ことを特徴とする移動体識別システム。 The mobile object identification device according to claim 1, the imaging device, and the at least one measurement device.
A mobile object identification system characterized by the above. 撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定ステップと、
を含み、
前記特定ステップでは、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とする移動体識別方法。 Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specific step of specifying a moving body and a single measuring device attached to only one moving body, excluding a correspondence relationship;
Including
In the specifying step, in the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the measuring information measured by any one of the measuring devices is used. Do not use movement information to identify correspondences,
A moving body identification method characterized by the above. 移動体識別装置のコンピュータを、
撮像装置によって撮像された動画から得られた、少なくとも１つの移動体の移動に関する第１の時系列的特徴と、前記少なくとも１つの移動体に装着された少なくとも１つの測定装置から得られた、前記少なくとも１つの移動体の移動に関する第２の時系列的特徴と、に基づいて、前記動画における前記少なくとも１つの移動体と前記少なくとも１つの測定装置との対応関係を、前記動画における１つのみの移動体と前記１つのみの移動体に装着された１つのみの測定装置との対応関係を除いて特定する特定手段、
として機能させ、
前記特定手段は、前記少なくとも１つの測定装置のうちのいずれかの測定装置によって測定された移動情報が予め定められた条件を満たした時間区間においては、前記いずれかの測定装置によって測定された前記移動情報を対応関係を特定するために用いない、
ことを特徴とするプログラム。 The computer of the mobile object identification device
Obtained from a moving image captured by the imaging device, the first time-series feature relating to the movement of at least one moving body, and the at least one measuring device mounted on the at least one moving body, Based on the second time-series characteristic relating to the movement of at least one moving object, the correspondence relationship between the at least one moving object and the at least one measuring device in the moving image is changed to only one in the moving image. A specifying means for specifying a moving body and a correspondence relationship between only one measuring apparatus mounted on the one moving body;
Function as
In the time interval in which the movement information measured by any one of the at least one measuring devices satisfies a predetermined condition, the specifying unit is measured by any one of the measuring devices. Do not use movement information to identify correspondences,
A program characterized by that.
JP2016130184A 2016-06-30 2016-06-30 Mobile identification device, mobile identification system, mobile identification method and program Active JP6772593B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016130184A JP6772593B2 (en) 2016-06-30 2016-06-30 Mobile identification device, mobile identification system, mobile identification method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016130184A JP6772593B2 (en) 2016-06-30 2016-06-30 Mobile identification device, mobile identification system, mobile identification method and program

Publications (3)

Publication Number Publication Date
JP2018005474A true JP2018005474A (en) 2018-01-11
JP2018005474A5 JP2018005474A5 (en) 2019-07-25
JP6772593B2 JP6772593B2 (en) 2020-10-21

Family

ID=60947959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016130184A Active JP6772593B2 (en) 2016-06-30 2016-06-30 Mobile identification device, mobile identification system, mobile identification method and program

Country Status (1)

Country Link
JP (1) JP6772593B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249269A1 (en) * 2021-05-25 2022-12-01 日本電気株式会社 Data processing device, data processing method, and non-transitory computer-readable medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186740A (en) * 2015-03-27 2016-10-27 Kddi株式会社 Object tracking apparatus for identifying object by use of partial deletion of flow, program, and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186740A (en) * 2015-03-27 2016-10-27 Kddi株式会社 Object tracking apparatus for identifying object by use of partial deletion of flow, program, and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022249269A1 (en) * 2021-05-25 2022-12-01 日本電気株式会社 Data processing device, data processing method, and non-transitory computer-readable medium

Also Published As

Publication number Publication date
JP6772593B2 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
US11348255B2 (en) Techniques for object tracking
CN108028902B (en) Integrated sensor and video motion analysis method
US9448067B2 (en) System and method for photographing moving subject by means of multiple cameras, and acquiring actual movement trajectory of subject based on photographed images
US20100194879A1 (en) Object motion capturing system and method
US20210166479A1 (en) Program, information processor, and information processing method
US20190108391A1 (en) Information processing device, information processing method, and program
JP6444813B2 (en) Analysis system and analysis method
US20140125806A1 (en) Sports Apparatus and Method
CN111353355B (en) Motion tracking system and method
CN104870941A (en) Display of separate computer vision based pose and inertial sensor based pose
CN105850109A (en) Information processing device, recording medium, and information processing method
US20180028861A1 (en) Information processing device and information processing method
JP6690622B2 (en) Information processing apparatus, information processing system, information processing method, and program
JP6772593B2 (en) Mobile identification device, mobile identification system, mobile identification method and program
US20200226787A1 (en) Information processing apparatus, information processing method, and program
CN110169045A (en) Information processing equipment, information processing method and information processing system
JP6705316B2 (en) MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM
SE1950724A1 (en) System for analyzing movement in sport
JP6710961B2 (en) Golf swing analysis method
JP7054950B1 (en) Position measurement system and position measurement method
KR102547347B1 (en) A method for tracking a trajectory of an object
KR102329785B1 (en) Method for estimating head direction of terminal for position measurement
EP2894603A1 (en) Sports system and method
US20220339496A1 (en) Ball position identification system, ball position identification method and information storage medium
WO2023056524A1 (en) Systems and methods for generating a biomechanical model of a subject in motion

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200914

R150 Certificate of patent or registration of utility model

Ref document number: 6772593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150