JP2013072858A - Mobile object position estimation device, mobile object position estimation method and mobile object position estimation program - Google Patents

Mobile object position estimation device, mobile object position estimation method and mobile object position estimation program Download PDF

Info

Publication number
JP2013072858A
JP2013072858A JP2011214552A JP2011214552A JP2013072858A JP 2013072858 A JP2013072858 A JP 2013072858A JP 2011214552 A JP2011214552 A JP 2011214552A JP 2011214552 A JP2011214552 A JP 2011214552A JP 2013072858 A JP2013072858 A JP 2013072858A
Authority
JP
Japan
Prior art keywords
observation
value
identification information
time
observation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011214552A
Other languages
Japanese (ja)
Other versions
JP5906379B2 (en
Inventor
Katsuyoshi Yamagami
勝義 山上
Toru Tanigawa
徹 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011214552A priority Critical patent/JP5906379B2/en
Publication of JP2013072858A publication Critical patent/JP2013072858A/en
Application granted granted Critical
Publication of JP5906379B2 publication Critical patent/JP5906379B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a mobile object position estimation device and method and a mobile object position estimation program, which do not cause an estimation error of a mobile route of an object without causing lowering of position estimation accuracy even in a scene in which a correspondence between an observed value and the object becomes ambiguous due to passing of mobile objects with each other, or the like.SOLUTION: Identification information allocation means 103 allocates identification information included in observed values of first observation means 101 to observed values of second observation means 102 so that closeness in position between the observed values of the first observation means 101 and the observed values of the second observation means 102 becomes minimum at a point A of time when the observed values can be obtained from the first observation means 101 for outputting the identification information and positional information of the mobile object with a low frequency and at a point B of time when the observed values can be obtained from the observation means 101 at the next time of the point A of time and the total of movement amount of the observed values of the observation means 102 becomes minimum in a time section AB with respect to a series of observed values obtained from the second observation means 102 for outputting the positional information of the mobile object with a high frequency at the point A of time and the point B of time and in the time section AB.

Description

本発明は、センサからの対象物体に関する観測値に基づいて、観測対象の空間内に存在する複数の移動物体(人などの移動体)の位置を推定する移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラムに関するものである。   The present invention relates to a mobile object position estimation device and a mobile object position estimation device that estimate positions of a plurality of moving objects (moving objects such as people) existing in a space to be observed based on observation values relating to a target object from a sensor. The present invention relates to a method and a moving object position estimation program.

センサの観測値に基づいて人などの移動体の位置を推定する方式として、センシング性能の異なる異種のセンサの観測値を統合することにより、単体のセンサのみによるセンシングの弱点を補完する方式が存在する。   As a method for estimating the position of a moving body such as a person based on sensor observation values, there is a method that complements the weaknesses of sensing with only a single sensor by integrating the observation values of different types of sensors with different sensing performance. To do.

例えば、カメラと画像認識処理による画像センサにより人の識別と位置との推定をしようとした場合、画像認識処理だけでは、複数の人をお互いに高精度に識別する事が困難なケースが多い。そこで、カメラとは別に、人の識別性能の高いセンサ(無線タグ)の観測値と、カメラの観測値とを組み合わせることで、単体のセンサの弱点を解消しつつ、移動体の識別と位置の推定を行う従来技術(非特許文献1)がある。   For example, when trying to identify a person and estimate the position using a camera and an image sensor based on image recognition processing, it is often difficult to identify a plurality of people with high accuracy from each other only with the image recognition processing. Therefore, apart from the camera, combining the observation value of the sensor (wireless tag) with high human identification performance and the observation value of the camera eliminates the weak point of the single sensor and identifies the moving object. There is a conventional technique (Non-patent Document 1) that performs estimation.

非特許文献1では、対象物の位置情報は出力できるが、識別能力がないカメラと画像認識によるセンサの観測値と、対象物の識別能力が高く、位置情報も出力できる無線タグによるセンサの観測値とを統合することにより、移動する対象物を互いに識別しながら、逐次変化する位置を推定し対象物の移動軌跡を出力する方式が開示されている。   In Non-Patent Document 1, although the position information of the object can be output, the observation value of the sensor by the camera without image recognition capability and the sensor by image recognition, and the observation of the sensor by the wireless tag which has high object identification capability and can also output the position information A method is disclosed in which a moving locus of an object is output by estimating a position that changes sequentially while integrating moving values while identifying moving objects.

具体的には、非特許文献1で開示される方式は、オンラインベイズ推定の枠組みに、複数の観測値と、推定処理内部の複数の位置推定分布の対応付けを確率的に表現するアソシエーション変数とを導入することで、複数の人などの移動体の逐次位置推定を同時に行うものである。   Specifically, the method disclosed in Non-Patent Document 1 includes, in an online Bayesian estimation framework, an association variable that probabilistically represents a correspondence between a plurality of observation values and a plurality of position estimation distributions in the estimation process. Is used to simultaneously estimate the position of a moving body such as a plurality of people at the same time.

さらに具体的には、対象物の識別情報(ID)の離散分布であるID尤度、及び、対象物の観測位置と、推定処理内部の各対象物の推定位置分布との距離的な近さから算出される距離尤度(距離が近い方が観測値と位置推定分布との対応の可能性が大きいとして距離尤度が大きい値を取る)の2つの値の積を規格化した値を、アソシエーション値として算出する。   More specifically, the distance between the ID likelihood, which is a discrete distribution of identification information (ID) of the object, and the observed position of the object and the estimated position distribution of each object within the estimation process. The value obtained by normalizing the product of two values of distance likelihood calculated from (the distance likelihood takes a larger value because the closer the distance is, the more likely the correspondence between the observed value and the position estimation distribution is) Calculated as an association value.

このアソシエーション値は、観測値と推定位置分布の対応関係に1つ割り当てられる値であり、各観測値に含まれる位置情報を、各対象物の推定位置の更新にどれだけ寄与させればよいかの重みに相当する。   This association value is one value assigned to the correspondence between the observed value and the estimated position distribution, and how much the position information included in each observed value should contribute to the update of the estimated position of each object. It corresponds to the weight of.

各観測値の観測値位置に前記アソシエーション値を重みづけした値で、推定分布を更新することにより、観測値と対象物の対応関係の曖昧性を考慮した位置推定を行っている。   The position estimation is performed in consideration of the ambiguity of the correspondence between the observed value and the object by updating the estimated distribution with a value obtained by weighting the observed value position of each observed value with the association value.

特に、非特許文献1は、識別情報(ID)を出力できないセンサ(例えば認識機能をもつカメラセンサ)を用いた場合にも、前記のアソシエーション値に基づく、複数物体の移動軌跡を推定するための構成と方式を開示している。カメラの撮像データの画像認識処理では、対象物の識別を高精度に行うことは難しいが、1観測周期において時間的に前後する2つの観測値が同じ対象物を観測したかどうかについては、その時点で撮像した対象物の画像特徴の類似性を評価するなどにより容易に判別できる。   In particular, Non-Patent Document 1 is for estimating the movement trajectory of a plurality of objects based on the association value even when a sensor that cannot output identification information (ID) (for example, a camera sensor having a recognition function) is used. The configuration and method are disclosed. It is difficult to identify the object with high accuracy in the image recognition processing of the imaging data of the camera, but whether or not two observation values that are temporally different in one observation period observed the same object It can be easily discriminated by, for example, evaluating the similarity of the image features of the object imaged at the time.

そこで、観測周期前後で同じ対象物を観測していると判別できた場合は、前回の観測時点での観測値と対象物の対応関係が維持されているとして、カメラセンサが出力できないID尤度を、前の観測値に基づいて得られたアソシエーション値で近似する。一方、観測周期前後で同じ対象物ではないと判別された場合は、前回の観測時点での観測値と対象物の対応関係が維持されていないため、カメラセンサが出力できないID尤度を、一様分布で近似する(ID尤度が一様分布であるということは観測値と対象物の対応関係が不明であるということに対応する)。前記対象物が同一であるかどうかの判別状態が曖昧な場合は、判別状態を確率値(追跡尤度)で表現し、前記2つの場合を、この追跡尤度により結合し、ID尤度を近似する。   Therefore, if it can be determined that the same object is observed before and after the observation period, the ID likelihood that the camera sensor cannot output the correspondence between the observed value and the object at the previous observation time is maintained. Is approximated by an association value obtained based on previous observations. On the other hand, if it is determined that the objects are not the same before and after the observation period, the correspondence between the observed value and the object at the previous observation time is not maintained, and therefore the ID likelihood that the camera sensor cannot output is Approximate with a uniform distribution (the ID likelihood being a uniform distribution corresponds to the fact that the correspondence between the observed value and the object is unknown). When the determination state of whether the objects are the same is ambiguous, the determination state is expressed by a probability value (tracking likelihood), and the two cases are combined by the tracking likelihood, and the ID likelihood is calculated. Approximate.

(数1)
そのときのカメラセンサ観測値のID尤度=追跡尤度×前回のアソシエーション値+(1−追跡尤度)×一様分布
....(式1)
(Equation 1)
ID likelihood of camera sensor observation value at that time = tracking likelihood × previous association value + (1−tracking likelihood) × uniform distribution
. . . . (Formula 1)

このように、式1で示されるID尤度の近似により、対象物の識別情報が出力できないセンサに対して、識別情報の近似値を与えることで、複数物体の位置推定を行えるようにしている。   As described above, by approximating the ID likelihood shown in Equation 1, the position of the plurality of objects can be estimated by giving the approximate value of the identification information to the sensor that cannot output the identification information of the target object. .

谷川徹、山上勝義、“カメラと無線タグのセンサ情報統合による移動体トラッキング技術の開発”、第28回日本ロボット学会学術講演会、2010年9月22〜24日Toru Tanikawa, Katsuyoshi Yamagami, “Development of mobile tracking technology by integrating sensor information of camera and wireless tag”, 28th Annual Conference of the Robotics Society of Japan, September 22-24, 2010

しかしながら、非特許文献1で開示されている方式は、観測対象である移動体同士の距離が接近するような状況においては、観測値と対象物との対応関係が曖昧になるために、位置推定誤差が蓄積し、移動体の移動経路を誤って推定してしまうという課題を有する。   However, in the method disclosed in Non-Patent Document 1, in a situation where the distance between moving objects that are observation targets is close, the correspondence between the observation value and the target object becomes ambiguous, so that the position estimation is performed. There is a problem that errors accumulate and the moving path of the moving object is erroneously estimated.

この課題について、2人の人が交差するように移動した例を用いて説明する。   This problem will be described using an example in which two people move so as to cross each other.

図17は、空間1701内を北から南へ移動する人(図17中でIDが「A」の人)、西から東へ移動する人(図17中でIDが「B」の人)が真ん中付近ですれ違うように移動した場合の、人の移動経路1702,1703を示す図である。   FIG. 17 shows a person who moves from north to south in the space 1701 (a person whose ID is “A” in FIG. 17) and a person who moves from the west to the east (a person whose ID is “B” in FIG. 17). It is a figure which shows a person's movement path | route 1702, 1703 at the time of moving so that it may pass in the middle vicinity.

図17の1701Aは、破線状の矩形で表した、空間1701の中心付近の領域である。この中心付近の領域1701Aで起こる現象を、図18を用いて説明する。   1701A in FIG. 17 is an area near the center of the space 1701 represented by a broken-line rectangle. A phenomenon occurring in the region 1701A near the center will be described with reference to FIG.

図18の(A)、(B)、(C)は、図17の中心付近の領域1701Aに対応する領域でのAの人及びBの人の位置推定分布(図中丸で示す)と、カメラの観測値(図中三角で示す)を示したものである。(A)、(B)、(C)の順に観測が進んだものとする。   18A, 18B, and 18C show the position estimation distribution (indicated by a circle in the figure) of the person A and the person B in the area corresponding to the area 1701A near the center in FIG. Observed values (indicated by triangles in the figure). Assume that the observation proceeds in the order of (A), (B), and (C).

非特許文献1で開示されている方式では、移動体同士が接近する状況では、観測値と位置推定分布との近さに基づく距離尤度の観点では、観測値が真に対応する位置推定分布との距離尤度の値と、観測値が真に対応しない位置推定分布との距離尤度の値が均等に近づいていく。例えば、図18の(B)に示される状況においては、Aの人のカメラ観測値とAの人の位置推定分布との距離と、Aの人のカメラ観測値とBの人の位置推定分布との距離は、相対的に近くなるため、Aの人のカメラ観測値のAの人の位置推定分布との距離尤度の値と、Aの人のカメラ観測値とBの人の位置推定分布との距離尤度の値は相対的に近くなる。   In the method disclosed in Non-Patent Document 1, in a situation where moving objects are close to each other, a position estimation distribution in which the observation value truly corresponds in terms of distance likelihood based on the proximity between the observation value and the position estimation distribution. And the distance likelihood value of the position estimation distribution whose observation value does not truly correspond to the distance likelihood value. For example, in the situation shown in FIG. 18B, the distance between the camera observation value of person A and the position estimation distribution of person A, the camera observation value of person A, and the position estimation distribution of person B. The distance likelihood between the A person's camera observation value and the A person's position estimation distribution, the A person's camera observation value, and the B person's position estimation The distance likelihood value with the distribution is relatively close.

また、非特許文献1で開示されている方式では、移動体同士が接近する状況では、画像識別処理において2つの移動体の分別が難しくなることで、同じ対象を観測出来ているかどうかが曖昧になる。よって、式1の追跡尤度の確率値が小さい値になり、結果的に一様分布がID尤度に反映される割合が大きくなり、近似されたID尤度の観点でも観測値が真に観測値した対象物とのID尤度の値と、観測値が真に観測した対象物以外とのID尤度の値が、相対的に値が近くなる。   Further, in the method disclosed in Non-Patent Document 1, it is ambiguous whether or not the same object can be observed because it becomes difficult to separate the two moving objects in the image identification process in a situation where the moving objects approach each other. Become. Therefore, the probability value of the tracking likelihood of Equation 1 becomes a small value, and as a result, the ratio that the uniform distribution is reflected in the ID likelihood becomes large, and the observed value is true from the viewpoint of the approximated ID likelihood. The value of the ID likelihood with respect to the observed object and the value of the ID likelihood with respect to other than the object whose observed value is truly observed are relatively close to each other.

距離尤度の値、及び、ID尤度の値が均等に近づくと、その結果、距離尤度とID尤度の積から算出されるアソシエーション値についても、位置推定分布と対応するはずの観測値との間のアソシエーション値と、位置推定分布と対応しないはずの観測値との間のアソシエーション値が、相対的に近くなる。   When the distance likelihood value and the ID likelihood value approach evenly, as a result, the association value calculated from the product of the distance likelihood and the ID likelihood also corresponds to the position estimated distribution. And the association value between the observed value that should not correspond to the position estimation distribution are relatively close to each other.

このため、位置推定分布の更新時に、真に対象物を観測した観測値以外の観測値の位置情報が更新に寄与する割合が相対的に高まることにより、真に対象物を観測した観測値の方向とはずれた方向に位置推定分布の更新が行われ、位置推定誤差が増大する。   For this reason, when the position estimation distribution is updated, the ratio of the position information of observations other than the observations that actually observed the target object contributes to the update relatively. The position estimation distribution is updated in a direction deviating from the direction, and the position estimation error increases.

図18の実線矢印は、観測値により位置推定分布が更新される方向を例示したものである。図18の(B)の状況では、Aの人の位置推定分布、Bの人の位置推定分布、それぞれ更新される方向が、Aの人のカメラ観測値の位置、Bの人のカメラ観測値の位置の方向からずれている。このため、次の観測時刻((C)の状況)では、Aの人の位置推定分布は東側にずれ、Bの人の位置推定分布は南側にずれる。   The solid line arrow in FIG. 18 illustrates the direction in which the position estimation distribution is updated with the observed value. In the situation of FIG. 18 (B), the position estimation distribution of the person A, the position estimation distribution of the person B, and the updated directions are the position of the camera observation value of the person A and the camera observation value of the person B, respectively. It is shifted from the direction of the position. For this reason, at the next observation time (situation (C)), the position estimation distribution of the person A shifts to the east, and the position estimation distribution of the person B shifts to the south.

図18の(C)の状況では、観測値と、その観測値と対応するはずの位置推定分布の距離ははなれ、むしろ、その観測値と対応しないはずの位置推定分布との距離が近くなり、結果的に、観測値による位置推定分布の方向はさらに、誤った方向になり、さらに位置推定誤差が増大する。   In the situation of FIG. 18C, the distance between the observed value and the position estimated distribution that should correspond to the observed value is separated, rather, the distance between the observed value and the position estimated distribution that should not correspond to the observed value is close. As a result, the direction of the position estimation distribution based on the observed values is further incorrect, and the position estimation error further increases.

このように、非特許文献1の方式では、特に対象物が接近した状況では位置推定の誤りが起こりやすく、その誤りに起因して、真に人が移動した経路とはまったく異なる経路を推定してしまうという課題を有す。   As described above, in the method of Non-Patent Document 1, a position estimation error is likely to occur particularly in a situation where an object is approaching, and a path completely different from a path on which a person has actually moved is estimated due to the error. It has the problem of end up.

図19は、図17で示した2人の人A,Bの移動に対して非特許文献1の方式に基づいて位置推定した結果、2人の人A,Bの移動経路1702,1703とは全く異なる移動経路を誤って推定した結果を示す図である。   FIG. 19 shows the movement paths 1702 and 1703 of the two people A and B as a result of position estimation based on the method of Non-Patent Document 1 with respect to the movement of the two people A and B shown in FIG. It is a figure which shows the result of having estimated the completely different movement path | route accidentally.

図18に示したように、2人の人A,Bが接近し交差する付近での位置推定誤差の増大により、A,Bのそれぞれの人の位置推定分布の移動履歴は交差せずに、中心付近で誤った方向に移動してしまった結果である。   As shown in FIG. 18, due to an increase in position estimation error in the vicinity where two people A and B approach and intersect, the movement history of the position estimation distribution of each person A and B does not intersect, This is the result of moving in the wrong direction near the center.

図18の(C)の状況からさらに先に進むと、対象物の識別情報を出力する無線タグ観測値に関しても、観測値が出力する位置情報と、その観測値の識別情報に対応する対象物の位置推定分布との距離も大きく離れ、反対に、当該観測値の識別情報に対応しない対象物の位置推定分布に近くなるという状況が起こる。   When further proceeding from the situation of (C) in FIG. 18, with respect to the RFID tag observation value that outputs the identification information of the object, the position information output by the observation value and the object corresponding to the identification information of the observation value The distance from the position estimation distribution is also far away, and conversely, a situation occurs in which the position estimation distribution of an object that does not correspond to the identification information of the observed value is close.

非特許文献1で開示される方式では、観測値の位置情報で対象物の位置情報の推定値を更新する際の重み(アソシエーション値)の計算を、距離尤度(観測値の位置情報と対象物の位置推定分布との近さ)とID尤度の積に基づいて計算するため、ID尤度における重みが、距離尤度によって、割り引かれてしまう。そのため、対象物の識別性能が高く位置推定誤差の訂正に寄与するはずの無線タグ観測値の識別情報が、位置推定分布の推定誤差の訂正に有効に寄与しない。よって、一度、位置推定分布が真の人の位置から大きくずれると、そのずれが増大し結果的にまったく異なる推定結果を導くという課題を有す。   In the method disclosed in Non-Patent Document 1, the weight likelihood (association value) for updating the estimated value of the position information of the object with the position information of the observed value is calculated using the distance likelihood (the position information of the observed value and the target). Since the calculation is based on the product of the proximity of the object position estimation distribution) and the ID likelihood, the weight in the ID likelihood is discounted by the distance likelihood. Therefore, the identification information of the RFID tag observation value, which has high object identification performance and should contribute to the correction of the position estimation error, does not contribute effectively to the correction of the estimation error of the position estimation distribution. Therefore, once the position estimation distribution greatly deviates from the position of the true person, the deviation increases, resulting in a problem that leads to completely different estimation results.

さらに、無線タグの観測頻度が、カメラの観測頻度より低い場合は、時間の観点で見たときの無線タグの観測値の対象物の推定位置へ更新の寄与はさらに弱まるため、推定誤差の訂正が起こりにくいという課題を有す。   Furthermore, when the observation frequency of the wireless tag is lower than the observation frequency of the camera, the contribution of the update to the estimated position of the target object of the observation value of the wireless tag from the viewpoint of time is further weakened. There is a problem that is difficult to occur.

ならびに、非特許文献1では、カメラ観測値が常に人の数だけ得られている場合の方式のみ開示されており、カメラ観測値が人数分得られないケース、つまり、カメラ観測値の消失又はカメラ観測値が実際の人数よりも多く得られるケース場合の対応について記載はない。カメラによる人認識処理では、遮蔽物により観測対象の人が遮られる、接近した2人を1人と検知するなどの理由により、カメラの観測値が人数分得られないことが起こりうる。また、人ではない物体を人であると誤認識することで、カメラの観測値が人数分よりも多く得られる場合も起こりうる。しかしながら、非特許文献1ではこのようなケースにおける対応方法が開示されておらず、仮にカメラ観測値が消失し、観測値の個数が人数に満たない場合は、1つのカメラ観測値をその観測値に対応しない人も含めて複数の人の位置推定分布の更新に同時に反映させることになり、誤った推定結果を招くという課題を有す。   In addition, Non-Patent Document 1 discloses only a method in which camera observation values are always obtained by the number of people, and a case where camera observation values cannot be obtained for the number of people, that is, disappearance of camera observation values or cameras There is no description of how to handle cases where more observations are obtained than the actual number of people. In the human recognition processing by the camera, the observation value of the camera may not be obtained for the number of people due to the reason that the person to be observed is blocked by the shielding object or that two persons approaching each other are detected as one person. Further, it may happen that a camera observation value is obtained more than the number of people by misrecognizing an object that is not a person as a person. However, Non-Patent Document 1 does not disclose a method for dealing with such a case, and if the camera observation values disappear and the number of observation values is less than the number of people, one camera observation value is converted to the observation value. This is reflected in the update of the position estimation distribution of a plurality of people including those who do not correspond to the above, and has the problem of causing an erroneous estimation result.

従って、本発明の目的は、上記問題を解決することにあって、移動体がすれ違うなどの観測値と対象物の対応関係が曖昧になるシーンでも、位置推定精度の低下を招くこと無く、かつ、対象物の移動経路の推定誤りを引き起こさない、移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラムを提供することにある。   Therefore, an object of the present invention is to solve the above-described problem, without causing a decrease in position estimation accuracy even in a scene in which the correspondence between the observed value and the target object is ambiguous, such as a moving object passing through, and Another object of the present invention is to provide a mobile object position estimation device, a mobile object position estimation method, and a mobile object position estimation program that do not cause an estimation error of a moving path of an object.

前記課題を解決するために、本発明は以下のように構成される。   In order to solve the above-described problems, the present invention is configured as follows.

本発明の1つの態様によれば、観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定装置であって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に出力する第1の観測手段と、
前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で出力する第2の観測手段と、
前記第1の観測手段と前記第2の観測手段のそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる識別情報割り当て手段と、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を推定する位置推定手段を、
有する移動体位置推定装置を提供する。
According to one aspect of the present invention, a plurality of moving objects existing in an observation space are observed, and observation values including the identification information of the moving object and the position information of the moving object that are sequentially obtained for each moving object are input. As the identification information of the plurality of mobile objects that are observation targets, and a mobile object position estimation device that estimates position information,
First observation means for outputting identification information and position information of the mobile body as observation values at predetermined time intervals;
Second observation means for outputting position information of the moving body as an observation value at a time interval different from the interval of the first observation means;
Position information of the observed value of the first observing means and the observation of the second observing means in an observation section of the time interval of each of the first observing means and the second observing means. The total of the relative distance of the position information of the value and the total amount of movement of the observation value of the second observation unit in the observation section are minimized with respect to the observation value of the second observation unit. Identification information assignment means for assigning identification information obtained from the first observation means;
Position estimation means for estimating the position of the moving object based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means The
A mobile object position estimation apparatus having the same is provided.

本発明の別の態様によれば、観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定方法であって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に第1の観測手段により出力し、
前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で第2の観測手段により出力し、
前記第1の観測手段と前記第2の観測手段のそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を識別情報割り当て手段により割り当て、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を位置推定手段により推定する、
移動体位置推定方法を提供する。
According to another aspect of the present invention, a plurality of moving objects existing in an observation space are observed, and an observation value including the identification information of the moving object and the position information of the moving object that are sequentially obtained for each moving object is input. As an identification information of the plurality of mobile objects that are observation targets, and a mobile object position estimation method for estimating position information,
The identification information and position information of the mobile object are output as observation values by the first observation means at predetermined time intervals,
The position information of the moving body is output as an observation value by the second observation unit at a time interval different from the interval of the first observation unit,
Position information of the observed value of the first observing means and the observation of the second observing means in an observation section of the time interval of each of the first observing means and the second observing means. The total of the relative distance of the position information of the value and the total amount of movement of the observation value of the second observation unit in the observation section are minimized with respect to the observation value of the second observation unit. The identification information obtained from the first observation means is assigned by the identification information assignment means,
Based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means, the position of the moving body is estimated by the position estimation means To
A mobile object position estimation method is provided.

本発明のさらに別の態様によれば、観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定プログラムであって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に出力する第1の観測手段と、前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で出力する第2の観測手段とのそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる識別情報割り当て手段と、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を推定する位置推定手段と
の機能をコンピュータに実現させるための移動体位置推定プログラムを提供する。
According to yet another aspect of the present invention, a plurality of mobile objects existing in an observation space are observed, and an observation value including the identification information of the mobile object and the position information of the mobile object obtained sequentially for each mobile object is obtained. As an input, a plurality of mobile object identification information to be observed, and a mobile object position estimation program for estimating position information,
First observation means for outputting the identification information and position information of the mobile object as observation values at predetermined time intervals, and a time different from the interval of the first observation means using the position information of the mobile object as observation values Position information of the observed value of the first observing means and position of the observed value of the second observing means in a certain observation section of each time interval with the second observing means outputting at intervals The first relative to the observation value of the second observation means is such that the total of the relative distance of information and the total amount of movement of the observation value of the second observation means in the observation section are minimized. Identification information assigning means for assigning identification information obtained from the observation means;
Position estimation means for estimating the position of the moving object based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means A moving object position estimation program for causing a computer to realize the function is provided.

本発明の移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラムは、観測対象物の識別能力が高いセンサの識別情報に基づいて、観測対象物の識別能力を持たない(あるいは識別能力が低い)センサの観測値への妥当な識別情報の割り当てを行うことができるので、観測値と観測対象物との対応関係を常に確定できる。従って、移動体がすれ違うなどの観測値と対象物の対応関係が曖昧になるシーンでも、位置推定精度の低下を招くこと無く、かつ、対象物の移動経路の推定誤りを引き起こさないという格別の効果を有す。   The mobile object position estimation apparatus, the mobile object position estimation method, and the mobile object position estimation program of the present invention do not have an observation object identification capability based on identification information of a sensor having a high observation object identification capability ( Appropriate identification information can be assigned to the observation value of the sensor (or the discrimination ability is low), so the correspondence between the observation value and the observation object can always be determined. Therefore, even in scenes where the correspondence between the observed value and the target object is ambiguous, such as when the moving object passes, there is no particular effect that the position estimation accuracy will not decrease and that the target movement path will not be erroneously estimated. Have

また、本発明の移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラムは、観測エラーによる観測値の消失又は過観測が発生する状況においても、観測対象物の識別能力を持たない(あるいは識別能力が低い)センサの観測値への妥当な識別情報の割り当てを行うことができる。従って、実環境において常に観測対象が正しくセンシングされるとは限らない状況においても、位置推定精度の低下を招くことなく、かつ、対象物の移動経路の推定誤りを引き起こさないという格別の効果を有す。   In addition, the mobile object position estimation device, the mobile object position estimation method, and the mobile object position estimation program of the present invention have the ability to identify an observation object even in a situation where an observation value disappears or over-observation occurs due to an observation error. Appropriate identification information can be assigned to observation values of sensors that do not have (or have low identification ability). Therefore, even in a situation where the observation target is not always correctly sensed in the actual environment, there is a special effect that the position estimation accuracy is not lowered and an error in estimating the moving path of the target object is not caused. The

本発明の第1実施形態の移動体位置推定装置の構成を示すブロック図。The block diagram which shows the structure of the moving body position estimation apparatus of 1st Embodiment of this invention. 本発明の第1実施形態の移動体位置推定装置に係る、人位置トラッキング装置の構成を示すブロック図。The block diagram which shows the structure of the human position tracking apparatus based on the mobile body position estimation apparatus of 1st Embodiment of this invention. 本発明の第1実施形態に係る、人位置トラッキング装置で人の位置を検出する状況の例を示す図。The figure which shows the example of the condition which detects the position of a person with the person position tracking apparatus based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、観測値バッファに記録された観測値の一例を示す図。The figure which shows an example of the observed value recorded on the observed value buffer based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、観測値バッファに記録された観測値の一例を示す図。The figure which shows an example of the observed value recorded on the observed value buffer based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、人位置推定値記録部バッファに記録された人位置情報の例を示す図。The figure which shows the example of the person position information recorded on the person position estimated value recording part buffer based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、人位置表示部に表示された人の位置、及び、移動軌跡の例を示す図。The figure which shows the example of the position of a person displayed on the person position display part, and a movement locus | trajectory based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、人位置トラッキング処理のメイン処理のフローチャート。The flowchart of the main process of the person position tracking process based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理方法を説明するための人の移動軌跡例を示す図。The figure which shows the example of a movement locus | trajectory of the person for demonstrating the processing method of step S105 based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理方法を説明するためのID割り当て処理の対象となる観測値の例を示す図。The figure which shows the example of the observed value used as the object of ID allocation processing for demonstrating the processing method of step S105 based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理方法を説明するためのある時刻tにおける観測値へのID割り当ての定式化を示す図。The figure which shows the formulation of ID allocation to the observation value in the certain time t for demonstrating the processing method of step S105 based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理方法を説明するためのある時刻tにおける観測値へのID割り当ての組み合わせを示す図。The figure which shows the combination of ID allocation to the observation value in the certain time t for demonstrating the processing method of step S105 based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理が最小コスト経路探索問題となることの説明図。Explanatory drawing that ID allocation process of the process of step S105 becomes a minimum cost route search problem based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理の最小コスト経路探索問題をA*アルゴリズムで解く場合の予測コスト設定を説明する図。The figure explaining the prediction cost setting in the case of solving the minimum cost route search problem of the ID allocation process of the process of step S105 based on 1st Embodiment of this invention with an A * algorithm. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理の最小コスト経路探索問題をA*アルゴリズムで解く場合の各ノードに格納される情報の例を示す図。The figure which shows the example of the information stored in each node at the time of solving the minimum cost path | route search problem of the ID allocation process of the process of step S105 based on 1st Embodiment of this invention with an A * algorithm. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理の最小コスト経路探索問題をA*アルゴリズムで解く場合の開始ノードの作成と、目標ノードの作成に関わる動作のフローチャート。The flowchart of the operation | movement regarding creation of the start node in the case of solving the minimum cost path | route search problem of the ID allocation process of the process of step S105 based on 1st Embodiment of this invention, and creation of a target node. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理の最小コスト経路探索問題をA*アルゴリズムで解く場合の、最小コスト経路を導出する手順のフローチャート。The flowchart of the procedure which derives | leads-out the minimum cost path | route when solving the minimum cost path | route search problem of ID allocation process of the process of step S105 based on 1st Embodiment of this invention with an A * algorithm. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理の最小コスト経路探索問題でID割り当ての仮説ノードを枝刈りする方法を説明する図。The figure explaining the method of pruning the hypothesis node of ID allocation by the minimum cost path | route search problem of ID allocation process of the process of step S105 based on 1st Embodiment of this invention. 本発明の第1実施形態に係る、ステップS105の処理のID割り当て処理の最小コスト経路探索問題でID割り当ての仮説ノードを枝刈りする方法を説明する図。The figure explaining the method of pruning the hypothesis node of ID allocation by the minimum cost path | route search problem of ID allocation process of the process of step S105 based on 1st Embodiment of this invention. 従来技術における人位置推定の課題を説明するための2つの移動体の移動軌跡の例を示す図。The figure which shows the example of the movement locus | trajectory of two moving bodies for demonstrating the subject of the person position estimation in a prior art. 従来技術での課題を説明するための2つの移動体と観測値の位置関係において人位置推定間違いの原因を示す図。The figure which shows the cause of a human position estimation mistake in the positional relationship of two moving bodies and observation values for demonstrating the subject in a prior art. 従来技術における人位置移動経路の推定間違いの例を示す図。The figure which shows the example of the estimation error of the person position movement path | route in a prior art. 本発明の第2実施形態に係る、人位置トラッキング装置の構成を示すブロック図。The block diagram which shows the structure of the human position tracking apparatus based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る、人位置トラッキング処理のメイン処理のフローチャート。The flowchart of the main process of the person position tracking process based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る、ステップS105A内のID割り当て仮説を生成する処理の流れを示すフローチャート。The flowchart which shows the flow of the process which produces | generates ID allocation hypothesis in step S105A based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る、観測値移動可能性判定部の処理内容に関わる人認識カメラ観測値の例を示す図。The figure which shows the example of the person recognition camera observation value in connection with the processing content of the observation value movement possibility determination part based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る、観測値移動可能性判定部の判定結果の例を示す図。The figure which shows the example of the determination result of the observation value movement possibility determination part based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る、仮想観測値生成部の処理内容の例を示す図。The figure which shows the example of the processing content of the virtual observation value production | generation part based on 2nd Embodiment of this invention. 本発明の第2実施形態に係る、IDの割り当て制御部が観測値に対してIDを割り当てた例を示す図。The figure which shows the example which ID allocation control part based on 2nd Embodiment of this invention allocated ID with respect to the observed value. 本発明の第2実施形態に係る、IDの割り当て仮説のノード表現を表す図。The figure showing the node expression of ID allocation hypothesis based on 2nd Embodiment of this invention. 本発明の第1実施形態における人位置移動経路の推定結果の例を示す図。The figure which shows the example of the estimation result of the person position movement path | route in 1st Embodiment of this invention.

以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。   Embodiments according to the present invention will be described below in detail with reference to the drawings.

以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の種々の態様について説明する。   DESCRIPTION OF EMBODIMENTS Hereinafter, various embodiments of the present invention will be described before detailed description of embodiments of the present invention with reference to the drawings.

本発明の第1態様によれば、観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定装置であって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に出力する第1の観測手段と、
前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で出力する第2の観測手段と、
前記第1の観測手段と前記第2の観測手段のそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる識別情報割り当て手段と、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を推定する位置推定手段を、
有する移動体位置推定装置を提供する。
According to the first aspect of the present invention, a plurality of moving objects existing in an observation space are observed, and an observation value including the identification information of the moving object and the position information of the moving object that are sequentially obtained for each moving object is input. As the identification information of the plurality of mobile objects that are observation targets, and a mobile object position estimation device that estimates position information,
First observation means for outputting identification information and position information of the mobile body as observation values at predetermined time intervals;
Second observation means for outputting position information of the moving body as an observation value at a time interval different from the interval of the first observation means;
Position information of the observed value of the first observing means and the observation of the second observing means in an observation section of the time interval of each of the first observing means and the second observing means. The total of the relative distance of the position information of the value and the total amount of movement of the observation value of the second observation unit in the observation section are minimized with respect to the observation value of the second observation unit. Identification information assignment means for assigning identification information obtained from the first observation means;
Position estimation means for estimating the position of the moving object based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means The
A mobile object position estimation apparatus having the same is provided.

本発明の第2態様によれば、前記第1観測手段は、前記移動体の識別情報を含みかつ前記移動体が有する無線タグから発信される電波を受信して前記移動体の識別情報と位置情報を観測値として出力する無線タグ観測部、又は、前記移動体に超音波を発信して反射した超音波を受信して前記移動体の識別情報と位置情報を観測値として出力する超音波センサであり、
前記第2観測手段は、画像を撮像して前記移動体の位置情報を観測値として出力するカメラ、又は、前記移動体にミリ波を発信して反射したミリ波を受信して前記移動体の位置情報を観測値として出力するミリ波送受信器、又は、前記観測空間の床面に複数配置して前記移動体の位置情報を観測値として出力する圧力センサである、第1の態様に記載の移動体位置推定装置を提供する。
According to the second aspect of the present invention, the first observing means receives the radio wave including the identification information of the moving body and transmitted from the radio tag of the moving body, and receives the identification information and position of the moving body. An RFID tag observation unit that outputs information as an observation value, or an ultrasonic sensor that transmits ultrasonic waves to the moving body and receives reflected ultrasonic waves and outputs identification information and position information of the moving body as observation values And
The second observing means captures an image and outputs position information of the moving body as an observation value, or receives a millimeter wave transmitted from the moving body and reflected from the moving body, The millimeter wave transmitter / receiver that outputs position information as an observation value, or a pressure sensor that is arranged on a floor surface of the observation space and outputs position information of the moving body as an observation value. A mobile object position estimation apparatus is provided.

本発明の第3態様によれば、前記識別情報割り当て手段において、前記観測間隔の時間内に前記移動体が移動可能な移動可能範囲外にある前記第2観測手段の観測値を削除して、前記観測間隔の時間内に前記移動体が移動可能な移動可能範囲内にある前記第2観測手段の観測値を基に、識別情報割り当て処理を行うときに対する前回の前記第2観測手段の観測値の位置から移動不可能な、前記識別情報割り当てを行うときの観測値を特定し、又は、前記識別情報割り当てを行うときの前記第2観測手段の観測値の位置へ移動可能なものが1つもない、前記識別情報割り当てを行うときに対する前回の観測値を特定し、特定された前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる、第1又は2の態様に記載の移動体位置推定装置を提供する。   According to the third aspect of the present invention, in the identification information assigning means, the observed value of the second observing means that is outside the movable range in which the moving body is movable within the time of the observation interval is deleted, Based on the observation value of the second observation means within the movable range within which the mobile body can move within the observation interval, the previous observation value of the second observation means when performing the identification information assignment process An observation value that cannot be moved from the position of the second observation means when the identification information assignment is performed, or one that can be moved to the position of the observation value of the second observation means when the identification information assignment is performed A first observation value for when the identification information assignment is performed is specified, and the identification information obtained from the first observation means is assigned to the specified observation value of the second observation means. Or 2 aspects Providing mobile location estimation device according.

本構成によって、第2観測手段において想定される観測エラー、たとえば、観測対象の隠蔽又は、観測対象同士の接近等に起因する観測値の消失、あるいは、観測対象以外の物体を観測対象だと誤検知することに起因する誤観測値の発生の状況を把握することができ、第2の観測手段の観測値のうち、第1の観測手段から得られた識別情報を割り当てるべきものとそうではないものとを区別可能である。従って、観測エラーに起因する誤った識別情報の割り当てを回避でき、観測エラーによる最終的な移動体の位置推定結果の精度低下を防ぐことができる。   With this configuration, observation errors assumed in the second observation means, for example, disappearance of observation values due to concealment of observation objects or proximity of observation objects, or objects other than observation objects are erroneous It is possible to grasp the state of occurrence of erroneous observation values caused by detection, and among the observation values of the second observation means, the identification information obtained from the first observation means should or should not be assigned. It can be distinguished from things. Therefore, it is possible to avoid assignment of erroneous identification information due to an observation error, and it is possible to prevent a decrease in accuracy of the final position estimation result of the moving body due to the observation error.

本発明の第4態様によれば、前記識別情報割り当て手段は、前記識別情報割り当てを行うときの前記第2観測手段の観測値の位置へ移動可能なものが1つもないと特定された、前記識別情報割り当てを行うときに対する前回の観測値に対して、前記当該観測値の移動履歴に基づいて、前記識別情報割り当てを行うときの移動先位置を予測し、前記予測位置に仮想的な観測値を生成する仮想観測値生成部を備える、第3の態様に記載の移動体位置推定装置を提供する。   According to a fourth aspect of the present invention, the identification information assigning means is identified as having no one that can be moved to the position of the observation value of the second observation means when performing the identification information assignment, Based on the movement history of the observation value with respect to the previous observation value when the identification information assignment is performed, a movement destination position when the identification information assignment is performed is predicted, and a virtual observation value is set at the prediction position. The moving body position estimation apparatus according to the third aspect, which includes a virtual observation value generation unit that generates

本構成によって、当該観測対象の移動履歴から妥当であると思われる位置に観測対象が移動したと仮定して、仮想的に観測値を生成し、第1観測手段から得られた識別情報を割り当てることにより、観測対象が隠蔽されるなどの原因で、ある観測時刻において当該観測対象の第2の観測手段の観測値が得られなかった場合にも、当該観測対象の移動経路を推定することが可能である。   Assuming that the observation object has moved to a position that is considered to be appropriate from the movement history of the observation object, this configuration virtually generates an observation value and assigns identification information obtained from the first observation means. Thus, even when the observation value of the second observation means of the observation target is not obtained at a certain observation time due to the reason that the observation target is concealed, the movement path of the observation target can be estimated. Is possible.

本発明の第5態様によれば、前記識別情報割り当て手段において、前記観測対象の前記移動体の前記移動可能範囲を、当該移動体の移動能力の計測結果に基づく最大の移動速度と、前記観測間隔の積を半径とする円の範囲と設定する第3又は4の態様に記載の移動体位置推定装置を提供する。   According to the fifth aspect of the present invention, in the identification information allocating means, the movable range of the moving object to be observed is set to a maximum moving speed based on a measurement result of the moving ability of the moving object, and the observation. The moving body position estimation apparatus according to the third or fourth aspect is set, wherein the range is a circle having a radius of the product of the intervals.

本発明の第6態様によれば、前記識別情報割り当て手段において、前記観測対象の前記移動体の前記移動可能範囲を、前記第2の観測手段の観測値の移動履歴の、前記識別情報割り当てを行うときに対する前回の観測値の位置と、前記識別情報割り当てを行うときに対する前々回の観測値の位置から算出される移動速度と移動方向とが維持されると仮定して得られる移動先位置を中心とした所定の半径を持つ円と定める、第3又は4の態様に記載の移動体位置推定装置を提供する。   According to a sixth aspect of the present invention, in the identification information assigning means, the movable range of the mobile object to be observed is assigned to the identification information assignment of the movement history of the observation value of the second observation means. Centered on the destination position obtained on the assumption that the movement speed and the movement direction calculated from the position of the previous observation value with respect to the time of performing and the position of the previous observation value with respect to the time of assigning the identification information are maintained The moving body position estimating apparatus according to the third or fourth aspect is defined as a circle having a predetermined radius.

本発明の第7態様によれば、観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定方法であって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に第1の観測手段により出力し、
前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で第2の観測手段により出力し、
前記第1の観測手段と前記第2の観測手段のそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を識別情報割り当て手段により割り当て、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を位置推定手段により推定する、
移動体位置推定方法を提供する。
According to the seventh aspect of the present invention, a plurality of moving objects existing in the observation space are observed, and an observation value including the identification information of the moving object and the position information of the moving object that are sequentially obtained for each moving object is input. As an identification information of the plurality of mobile objects that are observation targets, and a mobile object position estimation method for estimating position information,
The identification information and position information of the mobile object are output as observation values by the first observation means at predetermined time intervals,
The position information of the moving body is output as an observation value by the second observation unit at a time interval different from the interval of the first observation unit,
Position information of the observed value of the first observing means and the observation of the second observing means in an observation section of the time interval of each of the first observing means and the second observing means. The total of the relative distance of the position information of the value and the total amount of movement of the observation value of the second observation unit in the observation section are minimized with respect to the observation value of the second observation unit. The identification information obtained from the first observation means is assigned by the identification information assignment means,
Based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means, the position of the moving body is estimated by the position estimation means To
A mobile object position estimation method is provided.

本発明の第8態様によれば、前記移動体の識別情報と位置情報を含みかつ前記第1の観測手段から出力された第1の観測値と、前記移動体の位置情報を含みかつ前記第2の観測手段から出力された第2の観測値とが同時に得られた第1の時刻から、次に、前記第1の観測値と前記第2の観測値が同時に得られた第2の時刻の間に得られた第2の観測値に対して、
前記第1の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求め、
前記第1の時刻における組み合わせに基づいて、前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当て、
さらに、前記第2の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求め、
前記第2の時刻における組み合わせにおいて前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当て、
前記識別情報割り当て手段において、前記第1の時刻における前記第2の観測値への識別情報の割り当て状態を開始ノードとし、また、前記第2の時刻における前記第2の観測値への識別情報の割り当て状態を目標ノードとし、前記第1の時刻と前記第2の時刻の間の前記第2の観測値への識別情報の割り当ての組み合わせを、前記開始ノードと前記目標ノードの間に位置するノードとすることにより得られる探索グラフにおいて、前記ノード間の遷移コストを前記第2の観測値の移動量の合計と置くことで、前記探索グラフの前記開始ノードから前記目標ノードに至る最小コスト経路を求めることにより、前記第1の時刻から前記第2の時刻までの前記第2の観測値に前記第1の観測値の識別情報を前記識別情報割り当て手段で割り当てる、
第7の態様に記載の移動体位置推定方法を提供する。
According to an eighth aspect of the present invention, the first observation value including identification information and position information of the mobile object and output from the first observation means, including the position information of the mobile object and the first From the first time when the second observation value output from the second observation means is obtained simultaneously, the second time when the first observation value and the second observation value are obtained simultaneously. For the second observation obtained during
At the first time, the identification information assigning means obtains a combination having the shortest distance between the position of the first observation value and the position of the second observation value,
Based on the combination at the first time, the identification information of the first observation value is allocated by the identification information allocation means as the identification information of the second observation value,
Further, at the second time, the identification information assigning means obtains a combination having the shortest total distance between the position of the first observation value and the position of the second observation value,
In the combination at the second time, the identification information of the first observation value is assigned by the identification information assigning means as the identification information of the second observation value,
In the identification information allocating means, the allocation state of the identification information to the second observation value at the first time is a start node, and the identification information to the second observation value at the second time is A node that is located between the start node and the target node, with a combination of identification information assigned to the second observation value between the first time and the second time, with the assignment state as the target node In the search graph obtained by setting the transition cost between the nodes as the total movement amount of the second observation value, the minimum cost path from the start node to the target node of the search graph is determined. By obtaining, the identification information allocating means assigns the identification information of the first observation value to the second observation value from the first time to the second time.
A moving body position estimation method according to a seventh aspect is provided.

本発明の第9態様によれば、前記探索グラフ上の探索処理において、前記識別情報割り当て手段により、ある観測時刻における識別情報の割り当て状態に相当するノードから、次の観測時刻への割り当て状態の仮説に相当するノードを生成する場合に、前記観測対象の前記移動体の移動可能範囲を考慮し、前記観測間隔の時間内に移動可能な前記第2観測手段の観測値の対応関係を判定し、探索処理を行うときに対する前回の前記第2観測手段の観測値の位置から移動不可能な、前記探索処理を行うときの観測値を特定することで、前記探索処理を行うときに対する前回の観測値の位置から移動不可能な観測値を含んだ割り当ての仮説ノードを生成しない、第8の態様に記載の移動体位置推定方法を提供する。   According to the ninth aspect of the present invention, in the search processing on the search graph, the identification information assigning means determines whether the assignment state from the node corresponding to the assignment state of the identification information at a certain observation time to the next observation time. When generating a node corresponding to a hypothesis, a correspondence relationship between observation values of the second observation means that can move within the observation interval is determined in consideration of the movable range of the moving object to be observed. The previous observation for the time when the search processing is performed by specifying the observation value when the search processing that is impossible to move from the position of the observation value of the second observation means for the previous time when the search processing is performed The moving body position estimation method according to the eighth aspect, which does not generate an assigned hypothesis node including an unmovable observation value from a value position.

本発明の第10態様によれば、前記探索グラフ上の探索処理において、前記識別情報割り当て手段により、ある観測時刻における識別情報の割り当て状態に相当するノードから、次の観測時刻への割り当て状態の仮説に相当するノードを生成する場合に、前記観測対象の前記移動体の移動可能範囲を考慮し、探索処理を行うときの観測値の位置へ移動可能なものが1つもないと特定された、前記探索処理を行うときに対する前回の観測値に対して、前記当該観測値の移動履歴に基づいて前記探索処理を行うときの移動先位置を予測し、前記予測位置に仮想的な観測値を生成し、前記仮想的な観測値に前記当該の観測値が移動したとする仮説ノードを生成する、第8又は9の態様に記載の移動体位置推定方法を提供する。   According to the tenth aspect of the present invention, in the search processing on the search graph, the identification information assigning means determines the assignment state from the node corresponding to the assignment state of the identification information at a certain observation time to the next observation time. When generating a node corresponding to a hypothesis, it is determined that there is no one that can move to the position of the observation value when performing the search process, considering the movable range of the mobile object to be observed, Based on the movement history of the observation value with respect to the previous observation value when the search process is performed, a movement destination position when the search process is performed is predicted, and a virtual observation value is generated at the prediction position And the moving body position estimation method as described in the 8th or 9th aspect which produces | generates the hypothesis node that the said said observed value moved to the said virtual observed value is provided.

本発明の第11態様によれば、観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定プログラムであって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に出力する第1の観測手段と、前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で出力する第2の観測手段とのそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる識別情報割り当て手段と、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を推定する位置推定手段と
の機能をコンピュータに実現させるための移動体位置推定プログラムを提供する。
According to the eleventh aspect of the present invention, a plurality of moving objects existing in an observation space are observed, and an observation value including the identification information of the moving object and the position information of the moving object that are sequentially obtained for each moving object is input. As an identification information of the plurality of mobile objects that are observation targets, and a mobile object position estimation program that estimates position information,
First observation means for outputting the identification information and position information of the mobile object as observation values at predetermined time intervals, and a time different from the interval of the first observation means using the position information of the mobile object as observation values Position information of the observed value of the first observing means and position of the observed value of the second observing means in a certain observation section of each time interval with the second observing means outputting at intervals The first relative to the observation value of the second observation means is such that the total of the relative distance of information and the total amount of movement of the observation value of the second observation means in the observation section are minimized. Identification information assigning means for assigning identification information obtained from the observation means;
Position estimation means for estimating the position of the moving object based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means A moving object position estimation program for causing a computer to realize the function is provided.

本発明の第12態様によれば、前記移動体の識別情報と位置情報を含みかつ前記第1の観測手段から出力された第1の観測値と、前記移動体の位置情報を含みかつ前記第2の観測手段から出力された第2の観測値とが同時に得られた第1の時刻から、次に、前記第1の観測値と前記第2の観測値とが同時に得られた第2の時刻の間に得られた第2の観測値に対して、
前記第1の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求める機能と、
前記第1の時刻における組み合わせに基づいて、前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当てる機能と、
さらに、前記第2の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求める機能と、
前記第2の時刻における組み合わせにおいて前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当てる機能と、
前記第1の時刻における前記第2の観測値への識別情報の割り当て状態を開始ノードとし、また、前記第2の時刻における前記第2の観測値への識別情報の割り当て状態を目標ノードとし、前記第1の時刻と前記第2の時刻の間の前記第2の観測値への識別情報の割り当ての組み合わせを、前記開始ノードと前記目標ノードの間に位置するノードとすることにより得られる探索グラフにおいて、前記ノード間の遷移コストを前記第2の観測値の移動量の合計と置くことで、前記探索グラフの前記開始ノードから前記目標ノードに至る最小コスト経路を求めることにより、前記第1の時刻から前記第2の時刻までの前記第2の観測値に前記第1の観測値の識別情報を前記識別情報割り当て手段で割り当てる機能と、
をコンピュータに実現させるための、第11の態様に記載の移動体位置推定プログラムを提供する。
According to a twelfth aspect of the present invention, the first observation value including identification information and position information of the mobile object and output from the first observation means, including the position information of the mobile object and the first From the first time when the second observation value output from the two observation means is obtained at the same time, the second observation value is obtained at the same time as the first observation value and the second observation value are obtained simultaneously. For the second observation obtained during the time,
A function for obtaining a combination of the shortest distance between the position of the first observation value and the position of the second observation value by the identification information assigning means at the first time;
A function of assigning identification information of the first observation value as identification information of the second observation value by the identification information assigning means based on the combination at the first time;
A function for obtaining a combination of the shortest distance between the position of the first observation value and the position of the second observation value by the identification information assigning unit at the second time;
A function of assigning the identification information of the first observation value by the identification information assigning means as the identification information of the second observation value in the combination at the second time;
The assignment state of identification information to the second observation value at the first time is a start node, and the assignment state of identification information to the second observation value at the second time is a target node, Search obtained by setting a combination of assignment of identification information to the second observation value between the first time and the second time as a node located between the start node and the target node In the graph, by setting the transition cost between the nodes as the total amount of movement of the second observation value, the minimum cost path from the start node to the target node of the search graph is obtained, thereby obtaining the first cost. A function of assigning identification information of the first observation value to the second observation value from the time of the second time to the second time by the identification information assigning means;
A moving body position estimation program according to an eleventh aspect for causing a computer to realize the above is provided.

以下に、本発明にかかる実施形態を図面に基づいて詳細に説明する。   Embodiments according to the present invention will be described below in detail with reference to the drawings.

(第1実施形態)
図1は、本発明の第1実施形態にかかる移動体位置推定装置の構成を示すブロック図である。移動体位置推定装置は、第1観測手段101と、第2観測手段102と、識別情報割り当て手段103と、位置推定手段104とを備えて構成している。
(First embodiment)
FIG. 1 is a block diagram showing the configuration of the mobile object position estimation apparatus according to the first embodiment of the present invention. The mobile object position estimation apparatus includes first observation means 101, second observation means 102, identification information assignment means 103, and position estimation means 104.

第1観測手段101は、複数の観測対象を区別する識別情報と、観測対象の位置情報を識別情報割り当て手段103と位置推定手段104とに出力する。   The first observation unit 101 outputs identification information for distinguishing a plurality of observation targets and position information of the observation targets to the identification information assignment unit 103 and the position estimation unit 104.

第2観測手段102は、第1観測手段101と同じ観測対象に対して、位置情報のみを識別情報割り当て手段103に出力する。   The second observation unit 102 outputs only position information to the identification information allocation unit 103 for the same observation target as the first observation unit 101.

識別情報割り当て手段103は、対象物の識別精度が高い第1観測手段101の各観測値と、対象物の識別ができない第2観測手段102の各観測値の対応関係を、対応させる観測値の距離の合計が最も小さくなるように対応付ける。この識別情報割り当て手段103での対応関係に基づき、第1観測手段101の観測値が得られた時刻において、第2観測手段102の観測値への識別情報の割り当てを識別情報割り当て手段103で行う。さらに、識別情報割り当て手段103は、第1観測手段101の観測値が得られた時刻での、第2観測手段102の観測値への識別情報の割り当てに基づいて、第1観測手段101の観測値が得られない時刻における、第2観測手段102の観測値に対する識別情報の割り当ての考えうる組み合わせの中で、観測時刻毎の第2観測手段102の識別情報を割り当てられた観測値の移動量の合計が最小になるような、識別情報の割り当ての組み合わせを決定し、第1観測手段101の観測値が得られない時刻における、第2観測手段102の観測値へも識別情報の割り当てを行う。識別情報割り当て手段103で得られた情報は、位置推定手段104に出力される。   The identification information assigning means 103 is an observation value that associates the correspondence between each observation value of the first observation means 101 with high object identification accuracy and each observation value of the second observation means 102 that cannot identify the object. Correlate so that the total distance is the smallest. Based on the correspondence in the identification information assigning unit 103, the identification information assigning unit 103 assigns the identification information to the observation value of the second observing unit 102 at the time when the observation value of the first observing unit 101 is obtained. . Further, the identification information assigning unit 103 is configured to observe the first observation unit 101 based on the assignment of the identification information to the observation value of the second observation unit 102 at the time when the observation value of the first observation unit 101 is obtained. Among the possible combinations of assignment of identification information to the observation value of the second observation means 102 at a time when a value cannot be obtained, the amount of movement of the observation value assigned the identification information of the second observation means 102 for each observation time The combination of identification information is determined so that the sum of the two is minimized, and the identification information is also assigned to the observation value of the second observation means 102 at the time when the observation value of the first observation means 101 cannot be obtained. . Information obtained by the identification information assigning means 103 is output to the position estimating means 104.

位置推定手段104は、第1観測手段101の観測値に含まれる識別情報及び位置情報、そして、識別情報割り当て手段103により識別情報が割り当てられた第2観測手段102の観測値に含まれる識別情報及び位置情報に基づいて、観測値が得られた時刻毎に、観測対象物の推定位置を更新することで、移動する対象物の位置を捕捉する。   The position estimation unit 104 includes identification information and position information included in the observation value of the first observation unit 101, and identification information included in the observation value of the second observation unit 102 to which the identification information is allocated by the identification information allocation unit 103. The position of the moving object is captured by updating the estimated position of the observation object at each time when the observation value is obtained based on the position information.

このような構成によって、識別情報割り当て手段103において、第1観測手段101の観測値の識別情報に基づいて、第2観測手段102の観測値には含まれない識別情報を割り当てる。このように構成することにより、従来技術における識別情報を近似する方式では、観測値同士が接近する状況になると、識別情報を持たないセンサの識別情報が曖昧になるという問題を回避することができる。従って、識別情報が曖昧になることに起因する対象物の位置推定誤差の増大、さらには、位置推定誤差の増大による、観測対象物の移動経路の推定間違いという問題を、この第1実施形態では回避することができる。   With this configuration, the identification information assigning unit 103 assigns identification information that is not included in the observation value of the second observation unit 102 based on the identification information of the observation value of the first observation unit 101. By configuring in this way, in the method of approximating identification information in the prior art, it is possible to avoid the problem that the identification information of a sensor that does not have identification information becomes ambiguous when the observed values are close to each other. . Therefore, the first embodiment has the problem of an increase in the position estimation error of the object due to the identification information becoming ambiguous, and further, an erroneous estimation of the movement path of the observation object due to the increase in the position estimation error. It can be avoided.

また、識別情報割り当て手段103においては、第1の観測手段101の観測値の観測頻度が、第2の観測手段102の観測頻度よりも低い場合においても、第2の観測手段102の観測値への識別情報の割り当てを行うことが可能なので、従来技術では、観測頻度が低いセンサの情報が位置推定の誤りを補正する方向に働きにくいという問題も、同時に回避することができる。   Further, in the identification information assigning means 103, even when the observation frequency of the observation value of the first observation means 101 is lower than the observation frequency of the second observation means 102, the observation value of the second observation means 102 is changed to the observation value. Since the identification information can be assigned, it is possible to simultaneously avoid the problem that the information of the sensor with low observation frequency hardly works in the direction of correcting the position estimation error in the prior art.

図2は、本発明の第1実施形態における移動体位置推定装置の具体的な一例としての人位置トラッキング装置90の構成を示すブロック図である。人位置トラッキング装置90は、第1の観測手段の一例としての無線タグ観測部201と、第2の観測手段の一例としての人認識カメラ202と、識別情報割り当て手段の一例としてのID割り当て処理部205と、位置推定手段の一例としての人位置推定部206とを備えるように構成している。人位置トラッキング装置90は、さらに、観測値取得部203と、観測値バッファ204と、人位置推定値記録部207と、人位置表示部208とを備えている。   FIG. 2 is a block diagram showing a configuration of a human position tracking device 90 as a specific example of the moving object position estimating apparatus according to the first embodiment of the present invention. The human position tracking device 90 includes a wireless tag observation unit 201 as an example of a first observation unit, a human recognition camera 202 as an example of a second observation unit, and an ID allocation processing unit as an example of an identification information allocation unit 205 and a human position estimation unit 206 as an example of a position estimation unit. The human position tracking device 90 further includes an observation value acquisition unit 203, an observation value buffer 204, a human position estimated value recording unit 207, and a human position display unit 208.

無線タグ観測部201は、観測対象である人が所持する無線タグから発信される電波を複数のアンテナで受信し、アンテナ毎の到達時間の差からタグの位置を測位する。同時に、無線タグ観測部201は、個々の無線タグに割り当てられた固有のID情報を、タグの位置の情報と組み合わせ、観測値として観測値取得部203に出力する。   The wireless tag observation unit 201 receives radio waves transmitted from a wireless tag possessed by a person who is the object of observation with a plurality of antennas, and measures the position of the tag from the difference in arrival time for each antenna. At the same time, the wireless tag observation unit 201 combines the unique ID information assigned to each wireless tag with the information on the tag position, and outputs it to the observation value acquisition unit 203 as an observation value.

人認識カメラ202は、観測対象である人と人以外のものとを識別することにより、撮像範囲内に存在する人の位置を観測値として観測値取得部203に出力する。   The human recognition camera 202 discriminates between a person who is an observation target and a person other than the person, and outputs the position of the person existing in the imaging range to the observation value acquisition unit 203 as an observation value.

図3に、第1実施形態における人位置トラッキング装置90の無線タグ観測部201と人認識カメラ202とを、観測空間91に配置した例を示す。観測対象となる人89は、無線タグ(無線発信器)301,302,303を所持することで、無線タグ301,302,303から発信される電波を、無線タグ観測部201が受信することにより、無線タグ301,302,303の位置と識別情報とが無線タグ観測部201で観測される。また、人認識カメラ202の撮像範囲が観測対象となる観測空間91の床面91fの全体を含むように、天井から床面方向に向けて人認識カメラ202を配置することで、人認識カメラ202により、床面91f上を移動する人89の位置を観測する。   FIG. 3 shows an example in which the wireless tag observation unit 201 and the human recognition camera 202 of the human position tracking device 90 in the first embodiment are arranged in the observation space 91. The person 89 to be observed possesses the wireless tags (wireless transmitters) 301, 302, and 303 so that the wireless tag observation unit 201 receives radio waves transmitted from the wireless tags 301, 302, and 303. The wireless tag observation unit 201 observes the positions and identification information of the wireless tags 301, 302, and 303. Further, the human recognition camera 202 is arranged by arranging the human recognition camera 202 from the ceiling toward the floor so that the imaging range of the human recognition camera 202 includes the entire floor surface 91f of the observation space 91 to be observed. Thus, the position of the person 89 moving on the floor surface 91f is observed.

観測値取得部203は、内部に無線タグ観測部201及び人認識カメラ202の観測値をそれぞれ取得するタイミングを管理するタイマ203Aを持っている。観測値取得部203は、無線タグ観測部201の観測周期としてタイマ203Aで設定された時間間隔、及び、人認識カメラ202の観測周期としてタイマ203Aで設定された時間間隔で、それぞれの観測値を取得し、観測値バッファ204に追加記録する。   The observation value acquisition unit 203 has a timer 203 </ b> A that manages timing for acquiring observation values of the wireless tag observation unit 201 and the human recognition camera 202. The observation value acquisition unit 203 sets each observation value at the time interval set by the timer 203A as the observation cycle of the wireless tag observation unit 201 and at the time interval set by the timer 203A as the observation cycle of the human recognition camera 202. Acquired and additionally recorded in the observation value buffer 204.

観測値バッファ204は、観測値取得部203が取得した観測値を観測時刻毎に記録する。図4A及び図4Bに、観測値バッファ204に記録される観測値の例を示す。   The observation value buffer 204 records the observation value acquired by the observation value acquisition unit 203 for each observation time. 4A and 4B show examples of observation values recorded in the observation value buffer 204. FIG.

図4A及び図4Bでは、観測対象の人が3人存在する場合の例で、各観測時刻において、無線タグ観測値及び人認識カメラ観測値は、それぞれ3個ずつ記録される。1つの観測値は、位置情報とID情報とで構成される。位置情報は、観測空間91内に人89の存在する座標である。第1実施形態では、人89の存在する空間91の床面91fの平面における2次元座標を位置座標とした場合の例を示す。ID情報は、観測された人89を互いに区別するための情報である。第1実施形態では、3人の人89をそれぞれA,B,CというID情報の値で区別するものとする。   4A and 4B are examples in which there are three persons to be observed, and three wireless tag observation values and three human recognition camera observation values are recorded at each observation time. One observation value includes position information and ID information. The position information is coordinates where the person 89 exists in the observation space 91. In the first embodiment, an example in which the two-dimensional coordinates in the plane of the floor surface 91f of the space 91 where the person 89 exists is used as the position coordinates is shown. The ID information is information for distinguishing the observed persons 89 from each other. In the first embodiment, three people 89 are distinguished by ID information values of A, B, and C, respectively.

観測値バッファ204に記録される観測値は、無線タグ観測値が得られた時刻から次の無線タグ観測値が得られた時刻までの観測値とする。第1実施形態においては、人認識カメラ202の観測周期をΔtとし、無線タグ観測部201の観測周期を4Δtとする。すなわち、無線タグ観測部201と人認識カメラ202との観測頻度の比は、1:4であるとする。従って、図4A及び図4Bでは観測時刻が0から4Δtまでの5つの時刻の観測値が記録される。   The observation value recorded in the observation value buffer 204 is an observation value from the time when the RFID tag observation value is obtained to the time when the next RFID tag observation value is obtained. In the first embodiment, the observation period of the human recognition camera 202 is Δt, and the observation period of the wireless tag observation unit 201 is 4Δt. That is, the ratio of the observation frequencies of the wireless tag observation unit 201 and the human recognition camera 202 is assumed to be 1: 4. Accordingly, in FIG. 4A and FIG. 4B, observation values at five times from 0 to 4Δt are recorded.

図4Aは、観測値取得部203が、無線タグ観測部201及び人認識カメラ202から観測値を取得した直後の状態を示す。無線タグ観測値には、位置情報とID情報とが含まれるが、人認識カメラ観測値には識別情報は含まれない。このため、図4Aでは、人認識カメラ202の観測値のID情報は不定(Unknown)を意味する「UK」という値である。   FIG. 4A shows a state immediately after the observation value acquisition unit 203 acquires observation values from the wireless tag observation unit 201 and the human recognition camera 202. The wireless tag observation value includes position information and ID information, but the human recognition camera observation value does not include identification information. For this reason, in FIG. 4A, the ID information of the observation value of the human recognition camera 202 is a value “UK” meaning “unknown”.

図4Bは、後述するID割り当て処理部205が、人認識カメラ観測値に対しID情報を割り当てた直後の状態を示す。図4Bでは、人認識カメラ202の観測値のID情報は、それぞれ割り当てられたID情報が格納されている。   FIG. 4B shows a state immediately after an ID assignment processing unit 205 (to be described later) assigns ID information to a human recognition camera observation value. In FIG. 4B, ID information assigned to the observation information ID information of the human recognition camera 202 is stored.

ID割り当て処理部205は、観測値バッファ204に記録された観測値の内容を読み出し、無線タグ観測値の位置情報と人認識カメラ観測値の位置情報との対応関係、及び、人認識カメラ観測値の観測時刻毎の観測値の移動量の評価に基づいて、人認識カメラ観測値へのID識別情報の割り当てを決定し、割り当てられたID識別情報を観測値バッファ204の人認識カメラ観測値のID情報に書き込む。   The ID assignment processing unit 205 reads the content of the observation value recorded in the observation value buffer 204, the correspondence between the position information of the wireless tag observation value and the position information of the human recognition camera observation value, and the human recognition camera observation value Based on the evaluation of the movement amount of the observation value at each observation time, the assignment of the ID identification information to the human recognition camera observation value is determined, and the assigned ID identification information is used as the human recognition camera observation value in the observation value buffer 204. Write to ID information.

人位置推定部206は、ID情報が書き込まれた状態の観測値バッファ204の観測値に基づいて、各観測時刻における人89の位置を推定する。人位置推定部206は、その内部に、識別される人毎に推定位置を保持している。観測値と推定位置との対応関係は、観測値バッファ204の観測値の識別情報から直ちに分かるので、対応する観測値により人89の推定位置を観測時刻毎に更新することで、移動する人89の位置を推定し、人位置の推定値を人位置推定値記録部207に記録する。   The person position estimation unit 206 estimates the position of the person 89 at each observation time based on the observation value in the observation value buffer 204 in the state where the ID information is written. The person position estimation unit 206 holds an estimated position for each identified person. Since the correspondence between the observed value and the estimated position is immediately known from the identification information of the observed value in the observed value buffer 204, by updating the estimated position of the person 89 with the corresponding observed value at each observation time, the moving person 89 And the estimated value of the person position is recorded in the person position estimated value recording unit 207.

人位置推定値記録部207には、人位置推定部206で推定された人89の推定位置の情報が観測時刻毎に人89の人数分だけ記録される。   In the human position estimated value recording unit 207, information on the estimated position of the person 89 estimated by the human position estimating unit 206 is recorded for the number of persons 89 at each observation time.

図5に、人位置推定値記録部207に記録される人89の位置の推定位置の例を示す。各観測値時刻におけるIDで区別された3人A,B,Cの人89の推定位置(2次元座標)が記録される。   FIG. 5 shows an example of the estimated position of the person 89 recorded in the person position estimated value recording unit 207. The estimated positions (two-dimensional coordinates) of the three persons A, B, and C who are distinguished by the ID at each observation time are recorded.

人位置表示部208は、人位置推定値記録部207に記録された人位置の推定値の任意の時間範囲の人位置推定値、さらに、任意の人89の人位置推定値を、指定して読み出し、各人の位置の軌跡を表示する。人位置表示部208は、例えばCRT又は液晶ディスプレイのようなディスプレイを含んだ装置として構成される。   The human position display unit 208 specifies a human position estimated value in an arbitrary time range of the estimated human position recorded in the human position estimated value recording unit 207, and further specifies a human position estimated value of an arbitrary person 89. Read and display the locus of each person's position. The human position display unit 208 is configured as a device including a display such as a CRT or a liquid crystal display.

図6に人位置表示部208の表示例を示す。ここでは、第1実施形態において3人の人(ID=A,B,C)604,605,606が移動しており、601、602、603で示される丸印と丸印間を結ぶ矢印線が3人それぞれの人604,605,606の移動軌跡を表す。最新の観測値時刻(t=4Δt)から7回前の観測時刻までの3人604,605,606それぞれの推定位置が丸印で表示されており、各観測時刻間の移動は、丸印を結ぶ矢印線で表される。   FIG. 6 shows a display example of the person position display unit 208. Here, in the first embodiment, three people (ID = A, B, C) 604, 605, and 606 are moving, and the arrow lines connecting between the circle marks indicated by 601 602, and 603 are shown. Represents the movement trajectory of each of the three persons 604, 605, 606. The estimated positions of the three persons 604, 605, and 606 from the latest observation value time (t = 4Δt) to the observation time seven times before are indicated by circles, and movement between each observation time is indicated by a circle. It is represented by a connecting arrow line.

なお、人認識カメラ202で天井から床面方向に撮像した映像を人位置表示部208へ送り、人位置表示部208において、人認識カメラ202からの映像に、図6に示す人の移動軌跡601、602、603を重ねて表示する構成を取ることもできる。   It should be noted that an image captured by the human recognition camera 202 in the direction from the ceiling to the floor is sent to the human position display unit 208, and the human position display unit 208 displays the video from the human recognition camera 202 on the movement locus 601 shown in FIG. , 602, 603 can be displayed in an overlapping manner.

図6の604、605、606は、人認識カメラ202で撮影した映像中に映る人A,B,Cを示す。天井方向から床面方向の撮影なので、頭頂部分と肩が主に映る。   Reference numerals 604, 605, and 606 in FIG. 6 indicate people A, B, and C appearing in the video captured by the human recognition camera 202. Since the shooting is from the ceiling to the floor, the top and shoulders are mainly reflected.

次に、図7に示すフロー図に基づいて、第1実施形態における人位置トラッキング装置90の動作の流れについて説明する。   Next, based on the flowchart shown in FIG. 7, the flow of operation of the human position tracking device 90 in the first embodiment will be described.

図7に示すステップS101からステップS107は、無線タグ観測部101及び人認識カメラ102から観測値をそれぞれ取得し、ID割り当て処理部103で人認識カメラ観測値へのID情報の割り当て処理を行い、ID情報割り当て済みの観測値に対して、人位置推定部206で人の位置推定を行うまでの動作フローに相当する。   Steps S101 to S107 shown in FIG. 7 acquire observation values from the wireless tag observation unit 101 and the human recognition camera 102, respectively, and an ID assignment processing unit 103 assigns ID information to the human recognition camera observation values. This corresponds to an operation flow until the human position estimating unit 206 estimates the position of the person with respect to the observation value to which the ID information has been assigned.

まず、ステップS101では、観測値取得部203が、無線タグ観測部201及び人認識カメラ202のそれぞれにタイマー203Aで設定した観測周期に同期した時刻において、無線タグ観測部201及び人認識カメラ202から観測値を取得する。観測周期に同期した時刻以外では、観測値の取得を行わない。第1実施形態においては、無線タグ201の観測周期は、人認識カメラ202の観測周期の4倍に設定しているので、無線タグ観測値と人認識カメラ観測値とが同時に取得できるときと、人認識カメラ観測値のみ取得できるときとがある。   First, in step S101, the observation value acquisition unit 203 from the wireless tag observation unit 201 and the human recognition camera 202 at a time synchronized with the observation cycle set by the timer 203A in each of the wireless tag observation unit 201 and the human recognition camera 202. Get observations. Observation values are not acquired at times other than the time synchronized with the observation period. In the first embodiment, since the observation period of the wireless tag 201 is set to four times the observation period of the human recognition camera 202, when the wireless tag observation value and the human recognition camera observation value can be acquired simultaneously, Sometimes only human recognition camera observations can be acquired.

次いで、ステップS102では、観測値取得部203が、ステップS101で取得した観測値を観測値バッファ204に記録する。   Next, in step S <b> 102, the observation value acquisition unit 203 records the observation value acquired in step S <b> 101 in the observation value buffer 204.

次いで、ステップS103では、ステップS101で無線タグ観測値が取得できたかどうかをID割り当て処理部205で判断する。ステップS101で無線タグ観測値が取得できなかったと観測値取得部203で判断した場合は、フローはステップS104へ進む。ステップS104では、人認識カメラの観測周期であるΔt時間ウェイトし、ステップS101へ戻る。   Next, in step S103, the ID assignment processing unit 205 determines whether or not the wireless tag observation value has been acquired in step S101. If the observation value acquisition unit 203 determines that the wireless tag observation value could not be acquired in step S101, the flow proceeds to step S104. In step S104, the process waits for Δt time, which is the observation cycle of the human recognition camera, and returns to step S101.

ステップS101において、無線タグ観測値が取得できたと観測値取得部203で判断した場合は、ステップS105へ進む。この場合は、図4Aに示した例と同様に、観測値バッファ204には、そのときの観測時刻と前回の観測値時刻との間に観測された無線タグ観測値及び人認識カメラ観測値が記録されている。   If the observation value acquisition unit 203 determines in step S101 that the wireless tag observation value has been acquired, the process proceeds to step S105. In this case, similarly to the example shown in FIG. 4A, the observation value buffer 204 stores the RFID tag observation value and the human recognition camera observation value observed between the observation time at that time and the previous observation time. It is recorded.

ステップS105では、ID割り当て処理部205が、観測値バッファ204に記録された無線タグ観測値と人認識カメラ観測値とに含まれる、位置情報及びID情報に基づいて、人認識カメラ観測値へのID情報の割り当て処理を行う。ステップS105の処理の詳細については、後ほど述べる。   In step S <b> 105, the ID allocation processing unit 205 sets the human recognition camera observation value based on the position information and the ID information included in the wireless tag observation value and the human recognition camera observation value recorded in the observation value buffer 204. ID information assignment processing is performed. Details of the processing in step S105 will be described later.

次いで、ステップS106では、人位置推定部206が、観測値バッファ204に記録されている無線タグ観測値、及び、ステップS105でID情報が割り当てられた人認識カメラ観測値の位置情報、及び、ID情報に基づいて、人89の位置の推定処理を行う。人位置推定部206の人位置推定の方法としては、既に提案されている逐次推定手法を用いることができる。例えば、オンラインベイズフィルタの一種であるVariational Data Association Filter(VADAF)を用いることができる。   Next, in step S106, the human position estimation unit 206, the wireless tag observation value recorded in the observation value buffer 204, the position information of the human recognition camera observation value to which the ID information is assigned in step S105, and the ID Based on the information, the position of the person 89 is estimated. As a method for estimating the human position of the human position estimating unit 206, a previously proposed sequential estimation method can be used. For example, a Variant Data Association Filter (VADAF), which is a kind of online Bayes filter, can be used.

ここで、オンラインベイズフィルターに基づく位置推定処理を行うことで、無線タグ観測部201及び人認識カメラ202の観測値にそれぞれ含まれる位置情報の誤差特性、つまり、位置センサとしての観測値のバラツキを考慮した位置推定を行うことができ、観測値の位置情報をそのまま人の位置として取り扱うのに較べて、真の人の位置との誤差を低減できる。観測値の位置情報をそのまま人の位置としても、誤差が問題にならない場合には、位置推定処理を行わなくてもよく、本発明の効果を損なうものではない。   Here, by performing position estimation processing based on the online Bayes filter, error characteristics of the position information included in the observation values of the RFID tag observation unit 201 and the human recognition camera 202, that is, variations in the observation values as the position sensors can be reduced. It is possible to perform position estimation in consideration, and it is possible to reduce an error from the position of the true person as compared with the position information of the observation value as it is as the position of the person. Even if the position information of the observation value is directly used as the position of the person, if the error does not become a problem, the position estimation process may not be performed, and the effect of the present invention is not impaired.

次いで、ステップS107では、人位置推定部206が推定した人位置の情報を、人位置推定値記録部207に書き込む。   Next, in step S <b> 107, the information on the human position estimated by the human position estimating unit 206 is written in the human position estimated value recording unit 207.

以上が、人位置トラッキング装置90の動作のフローである。   The operation flow of the human position tracking device 90 has been described above.

次に、ステップS105のID割り当て処理部205によるID割り当て処理の詳細について説明する。   Next, details of the ID allocation processing by the ID allocation processing unit 205 in step S105 will be described.

まず、ステップS105のID割り当て処理が、組み合わせ探索問題の一種である最小コスト経路探索問題として定式化できることを説明する。   First, it will be described that the ID assignment process in step S105 can be formulated as a minimum cost route search problem which is a kind of combination search problem.

その後で、最小コスト経路探索問題を解く手順として、A*アルゴリズムが適用できることを述べ、A*アルゴリズムにより最小コスト経路を導出する手順を説明する。   After that, the A * algorithm can be applied as a procedure for solving the minimum cost route search problem, and the procedure for deriving the minimum cost route by the A * algorithm will be described.

最小コスト経路問題としてID割り当て処理を定式化する説明を行う。   An explanation will be given of formulating the ID allocation process as a minimum cost route problem.

図8は、以下の定式化の説明において、A,B,CのID情報で区別される3人の人89が実際に移動した軌跡801,802,803の例を示す図である。   FIG. 8 is a diagram illustrating examples of trajectories 801, 802, and 803 in which three persons 89 identified by the ID information of A, B, and C have actually moved in the following description of the formulation.

図9は、図8の灰色の矩形領域804を3人の人が移動した際に得られた観測値の例を示す図である。A、B,Cの人の無線タグの観測値は、それぞれ、黒く塗りつぶされた正方形と、内部が斜線模様の正方形と、正方形とで示す。黒く塗りつぶされた丸は、人認識カメラ202の観測値である。   FIG. 9 is a diagram illustrating an example of observation values obtained when three people move in the gray rectangular region 804 in FIG. 8. The observed values of the wireless tags of people A, B, and C are indicated by a black-filled square, a diagonally shaded square inside, and a square, respectively. The circles filled in with black are observation values of the human recognition camera 202.

図9において、点線の矩形で囲んだ領域910に含まれる観測値は、それぞれ、同じ観測時刻に得られた観測値である。5つの点線矩形領域910は、無線タグ観測値が得られた時刻t=0から、次の無線タグ観測値が得られた時刻t=4Δtまでの各観測時刻に同時に得られた観測値である。ここで、人認識カメラ観測値へID情報をID割り当て処理部205で割り当てるということは、各観測時刻ごとに3つある人認識カメラ202の観測値の各々にA,B,CのどのID情報をID割り当て処理部205で割り当てるかということである。このことを定式化するために、各観測時刻の3つの観測値を区別するために観測値のインデックスとして変数iを用いる。i=1は1番目、i=2は2番目、i=3は3番目の観測値を指す。次に、i番目の観測値に対するID情報の割り当ての定式化のために変数ID(t)を用いる。例えば、ID(t)=Aは時刻tのi番目の観測値にID情報Aが割り当てられていることを表す。 In FIG. 9, the observation values included in the area 910 surrounded by the dotted rectangle are observation values obtained at the same observation time. Five dotted rectangular regions 910 are observation values obtained at the same time at each observation time from time t = 0 when the RFID tag observation value is obtained to time t = 4Δt when the next RFID tag observation value is obtained. . Here, assigning ID information to the human recognition camera observation values by the ID assignment processing unit 205 means that each of the observation values of the three human recognition cameras 202 at each observation time includes any ID information of A, B, and C. Is assigned by the ID assignment processing unit 205. In order to formulate this, the variable i is used as an observation value index to distinguish the three observation values at each observation time. i = 1 indicates the first observation value, i = 2 indicates the second observation value, and i = 3 indicates the third observation value. Next, the variable ID i (t) is used to formulate the assignment of ID information to the i-th observation value. For example, ID i (t) = A indicates that ID information A is assigned to the i-th observed value at time t.

次に、後に最小コスト経路問題として定式化するために観測値の位置情報(座標)を用いるので、x(t)を時刻tのi番目の観測値の座標とする。 Next, since the position information (coordinates) of the observation value is used for later formulation as a minimum cost path problem, x i (t) is set as the coordinate of the i-th observation value at time t.

ここで述べた、観測値とi, ID(t), x(t)の定式化に関しては、観測値との対応関係を図10に示す。 Regarding the formulation of the observed values and i, ID i (t), x i (t) described here, the correspondence relationship with the observed values is shown in FIG.

図11は、3人の人がいるときに得られる3つの人認識カメラ観測値へのID情報の割り当ての組み合わせを示す図である。3つの観測値へのA,B,CのID情報の割り当ての組み合わせは3!=6通りあることがわかる。n人の場合は、n!通りである。   FIG. 11 is a diagram illustrating a combination of ID information assignments to three human recognition camera observation values obtained when there are three persons. The combination of ID information of A, B, and C to the three observations is 3! It can be seen that there are six ways. For n people, n! Street.

まず、無線タグ観測値が得られる時刻t=0、及び、時刻t=4Δtにおいては、これら6通りの人認識カメラの観測値へのID割り当ての組み合わせの中で最適な組み合わせを決定することができる。無線タグ観測値の位置と、その無線タグ観測値のID情報と同じID情報が割り当てられた人認識カメラ観測値の位置の距離の合計(ここでは観測値間の3つの距離の合計)が最も小さくなるような、ID割り当ての組み合わせをID割り当て処理部205で選ぶ。例えば、t=0においては、図9の観測値901にはID情報Aを割り当て、観測値902にはID情報Bを割り当て、観測値903にはID情報Cを割り当てるという組み合わせをID割り当て処理部205で選べばよい。t=4Δtにおいては、観測値904にはID情報Bを割り当て、観測値905にはID情報Cを割り当て、観測値906にはID情報Aを割り当てる組み合わせをID割り当て処理部205で選べばよい。   First, at the time t = 0 when the RFID tag observation value is obtained and the time t = 4Δt, it is possible to determine the optimum combination among the combinations of ID assignments to the observation values of these six types of human recognition cameras. it can. The sum of the distance between the position of the wireless tag observation value and the position of the observation value of the human recognition camera assigned the same ID information as the ID information of the wireless tag observation value (here, the sum of the three distances between the observation values) is the most. The ID allocation processing unit 205 selects a combination of ID allocations that is small. For example, at t = 0, the ID assignment processing unit assigns a combination of assigning ID information A to the observed value 901, assigning ID information B to the observed value 902, and assigning ID information C to the observed value 903 in FIG. Choose 205. At t = 4Δt, the ID assignment processing unit 205 may select a combination in which ID information B is assigned to the observed value 904, ID information C is assigned to the observed value 905, and ID information A is assigned to the observed value 906.

ここまでで、時刻t=0と時刻t=4Δtでは、1つのID割り当ての組み合わせ、それ以外の時刻では6つのID割り当ての組み合わせが考えられることが分かる。   Up to this point, it can be seen that one combination of ID assignments can be considered at time t = 0 and time t = 4Δt, and a combination of six ID assignments can be considered at other times.

ここで、i=1〜3の観測値へのID情報の割り当て状態を、3つの横に並んだ矩形にA,B,Cを並べる順番で表現する。   Here, the allocation state of ID information to the observation values of i = 1 to 3 is expressed in the order in which A, B, and C are arranged in three horizontally arranged rectangles.

図12は、t=0からt=4Δtに到るまでの、人認識カメラ観測値へのID割り当ての組み合わせの探索空間を探索グラフで表した図である。各観測時刻における人認識カメラ観測値へのIDの割り当て状態が探索グラフのノードとなる。   FIG. 12 is a diagram representing a search space of a combination of ID assignments to human recognition camera observation values from t = 0 to t = 4Δt by a search graph. The assignment state of the ID to the observation value of the human recognition camera at each observation time becomes a node of the search graph.

ノード間を結ぶエッジは、観測時刻が1つ進む度に、エッジが始まるノードが表す観測値へのIDの割り当て状態から、エッジが終わるノードが表す観測値へのIDの割り当て状態に変化した時の遷移を表す。また各エッジにはCostというコスト値を割り当てる。Costを定義する式を以下に(式2)として掲げる。   Each time an observation time advances by one, an edge connecting nodes changes from an ID assignment state to an observation value represented by the node at which the edge begins to an ID assignment state to an observation value represented by the node at which the edge ends. Represents a transition. Each edge is assigned a cost value of Cost. The formula that defines Cost is listed below as (Formula 2).

(数2)

Figure 2013072858
(Equation 2)
Figure 2013072858

前記(式2)の左辺のCost(t,t+Δt)は、時刻tのn個の観測値、及び、次の観測時刻t+Δtのn個の観測値にそれぞれあるIDが割り当てられているとし、そのID割当状態において、同じIDを持つ観測値間の距離を合計したものである。   Cost (t, t + Δt) on the left side of (Equation 2) is assumed to have an ID assigned to each of n observation values at time t and n observation values at the next observation time t + Δt. In the ID allocation state, the distances between observation values having the same ID are totaled.

図12に示す探索グラフのt=0のノードからエッジとノードを辿って、t=4Δtのノードへ辿る経路のうち、Costの合計が最小となる経路(最小コスト経路)をID割り当て処理部205で考える。その経路上に存在するノードが表す観測値へのID割り当ては、観測時刻間での同じIDをもつ観測値の移動距離の合計が最も小さいID割り当てになる。すなわち、時刻t=0、t=4Δtでは、無線タグ観測値のID情報との位置関係から最適な人認識カメラへのID割り当てがなされた上で、その制約を満たす中で、時刻t=0、t=4Δt以外の人認識カメラの観測値へは移動距離の観点から最適なID割り当てがID割り当て処理部205で求まる。従って、人認識カメラ観測値へのID割り当て問題が、ID割り当て処理部205で、最小コスト経路探索問題として定式化できる。   In the search graph shown in FIG. 12, the path (minimum cost path) having the smallest cost among the paths traced from the node at t = 0 to the edge and the node at t = 4Δt is the ID allocation processing unit 205. Think in. The ID assignment to the observation value represented by the node existing on the route is the ID assignment with the smallest total movement distance of the observation values having the same ID between the observation times. That is, at time t = 0 and t = 4Δt, the ID is assigned to the optimum human recognition camera based on the positional relationship with the ID information of the RFID tag observation value, and the time t = 0 while satisfying the restriction. The ID assignment processing unit 205 obtains the optimum ID assignment from the viewpoint of the moving distance to the observation value of the human recognition camera other than t = 4Δt. Therefore, the ID assignment problem to the human recognition camera observation value can be formulated as a minimum cost route search problem in the ID assignment processing unit 205.

次に、ここまでで定式化した最小コスト経路探索問題を解く手順として、ID割り当て処理部205において、A*アルゴリズムが適用できることを説明する。A*アルゴリズムはコスト最小に基づいて探索問題を解くアルゴリズムの一種として知られており、探索の手順の中に予測コストを導入することにより、ダイクストラ法などの予測コストによらない方法よりも、効率的に最小コスト経路をID割り当て処理部205で導出できる。   Next, it will be described that the ID assignment processing unit 205 can apply the A * algorithm as a procedure for solving the minimum cost route search problem formulated so far. The A * algorithm is known as a kind of algorithm that solves the search problem based on the minimum cost. By introducing the prediction cost into the search procedure, it is more efficient than the method that does not depend on the prediction cost such as Dijkstra method. In particular, the ID allocation processing unit 205 can derive the minimum cost route.

以下、A*アルゴリズムの説明を行う。図12に示すように、探索グラフの各エッジにコストが設定されているとし、探索グラフの中の任意のノードnを経由しかつ最小コストとなる経路のコストをf(n)とおくと、f(n)は、
f(n)=g(n)+h(n)
と表すことができる。g(n)は開始ノードからnまでの最小コスト、h(n)はnから目標ノードまでの最小コストである。ノードnを通る経路でコストが最小の経路は未知であり、g(n),h(n),f(n)も未知である。よって、f(n)の推定値f*(n)を考える。
Hereinafter, the A * algorithm will be described. As shown in FIG. 12, assuming that a cost is set for each edge of the search graph, and a cost of a route that passes through an arbitrary node n in the search graph and is the minimum cost is f (n), f (n) is
f (n) = g (n) + h (n)
It can be expressed as. g (n) is the minimum cost from the start node to n, and h (n) is the minimum cost from n to the target node. The route that passes through the node n and has the lowest cost is unknown, and g (n), h (n), and f (n) are also unknown. Therefore, an estimated value f * (n) of f (n) is considered.

f*(n)=g*(n)+h*(n)
ここで、g*(n)は開始ノードからnまでの最小コストの推定値であり、h*(n)はnから目標ノードまでの最小コストの推定値である。g*(n)については、開始ノードから探索を順次進めることにより、エッジに割り当てられたコストの積算から推定できるが、h*(n)については、探索の途中で求めることはできない。従って、h*(n)に対して適当な推定値を与え、ノードnを経由する経路の推定コストf*(n)を評価し、より小さいf*(n)を与える経路を辿ることにより、最小コスト経路を探索するのがA*アルゴリズムである。
f * (n) = g * (n) + h * (n)
Here, g * (n) is an estimated value of the minimum cost from the start node to n, and h * (n) is an estimated value of the minimum cost from n to the target node. g * (n) can be estimated from the integration of the cost assigned to the edge by sequentially proceeding with the search from the start node, but h * (n) cannot be obtained during the search. Therefore, by giving an appropriate estimate for h * (n), evaluating the estimated cost f * (n) of the route through node n, and following the route that gives a smaller f * (n), The A * algorithm searches for the least cost path.

h*(n)はA*アルゴリズムのヒューリスティクス関数と呼ばれ、すべてのnについて、h*(n)が、
h*(n)≦h(n)
を満たすとき、A*アルゴリズムにより求められた開始ノードから目標ノードに至る経路が、最小コスト経路であることが保証される。逆に言うと、この式を満たすh*(n)が設定できれば、その問題はA*アルゴリズムで解くことができる。
h * (n) is called the heuristic function of the A * algorithm, and for all n, h * (n) is
h * (n) ≦ h (n)
When satisfying, the path from the start node to the target node determined by the A * algorithm is guaranteed to be the minimum cost path. Conversely, if h * (n) satisfying this equation can be set, the problem can be solved by the A * algorithm.

第1実施形態において、h*(n)の設定方法を示す。時刻ΔtにおけるID割り当て状態のノードのいずれかをnとする。h*(n)として、図13の破線で示すように、時刻Δtの観測値から時刻4Δtの観測値への同じIDを持つ観測値間の距離の合計をh*(n)と考える。あるIDの観測値ついて、時刻tの観測値の位置から時刻4Δtの観測値の位置へ移動する距離の中で、破線の距離は最短であることは、ID割り当て処理部205で、すぐわかるので、nから時刻4Δtの目標ノードまでの真の最小コストh(n)に対して、
h*(n)≦h(n)
が成り立つ。従って、ID割り当て処理部205により、第1実施形態のID割り当て問題をA*アルゴリズムで解くことができる。
In the first embodiment, a method for setting h * (n) will be described. Let n be one of the nodes in the ID assignment state at time Δt. As h * (n), as indicated by a broken line in FIG. 13, the total distance between observation values having the same ID from the observation value at time Δt to the observation value at time 4Δt is considered as h * (n). The ID allocation processing unit 205 immediately knows that the distance of the broken line is the shortest among the distances from the observed value at time t to the observed value at time 4Δt for the observed value of a certain ID. , For true minimum cost h (n) from n to the target node at time 4Δt,
h * (n) ≦ h (n)
Holds. Therefore, the ID assignment processing unit 205 can solve the ID assignment problem of the first embodiment by the A * algorithm.

次に、ID割り当て処理部205において、ID割り当て問題をA*アルゴリズムで解く手順について説明する。図14は、ID割り当て処理部205において、A*アルゴリズムで解く場合の、ノードの表現形式を示す図である。1つのノードは、時刻t、各観測値へのIDの割り当て状態、そのノードの推定コストf*の値、1つ前のノードへのポインタからなる。ノードへのポインタを辿ることにより、開始ノードから経由してきたノードを知ることができる。図14では、時刻Δtのノードのポインタが時刻0のノード(開始ノード)へのポインタを持つ例を示している。   Next, a procedure for solving the ID assignment problem by the A * algorithm in the ID assignment processing unit 205 will be described. FIG. 14 is a diagram illustrating a node expression format when the ID assignment processing unit 205 solves with the A * algorithm. One node consists of a time t, an ID assignment state to each observation value, an estimated cost f * value of the node, and a pointer to the previous node. By following the pointer to the node, it is possible to know the node that has passed from the start node. FIG. 14 shows an example in which the pointer of the node at time Δt has a pointer to the node at time 0 (start node).

図15A及び図15Bは、ID割り当て処理部205において、A*アルゴリズムで解く場合の手順のフロー図である。図15A及び図15Bのフローの手順は、ID割り当て処理部205で実行される。   FIG. 15A and FIG. 15B are flowcharts of procedures when the ID assignment processing unit 205 solves with the A * algorithm. 15A and 15B is executed by the ID assignment processing unit 205.

図15Aのフロー中のts、teは、それぞれ無線タグ観測値が得られた時刻であり、ts<teである。   Ts and te in the flow of FIG. 15A are times when the RFID tag observation values are obtained, respectively, and ts <te.

ステップS201〜S203までは、ID割り当て処理部205により、ID割り当ての探索問題の開始ノードを設定する処理である。   Steps S <b> 201 to S <b> 203 are processes in which the ID assignment processing unit 205 sets a start node for an ID assignment search problem.

まず、ステップS201では、無線タグ観測値が得られた時刻tsにおいて、無線タグ観測値と人認識カメラ観測値との距離が最小になる対応関係をID割り当て処理部205で求める。   First, in step S201, the ID assignment processing unit 205 obtains a correspondence that minimizes the distance between the wireless tag observation value and the human recognition camera observation value at time ts when the wireless tag observation value is obtained.

次いで、ステップS202では、その対応に基づいて、人認識カメラ観測値に対応する無線タグ観測値のID情報をID割り当て処理部205で割り当てる。   Next, in step S202, based on the correspondence, ID information of the wireless tag observation value corresponding to the human recognition camera observation value is assigned by the ID assignment processing unit 205.

次いで、ステップS203で、その割当状態から開始ノードをID割り当て処理部205で作成する。   In step S203, the ID assignment processing unit 205 creates a start node from the assignment state.

ステップS204〜S206までは、ID割り当て処理部205において、ID割り当ての探索問題の目標ノードを設定する処理である。   Steps S <b> 204 to S <b> 206 are processing for setting a target node for an ID assignment search problem in the ID assignment processing unit 205.

ステップS204では、無線タグ観測値が得られた時刻teにおいて、無線タグ観測値と人認識カメラ観測値の距離が最小になる対応関係をID割り当て処理部205で求める。   In step S204, the ID assignment processing unit 205 obtains a correspondence relationship that minimizes the distance between the wireless tag observation value and the human recognition camera observation value at time te when the wireless tag observation value is obtained.

次いで、ステップS205では、その対応に基づいて、人認識カメラ観測値に対応する無線タグ観測値のID情報をID割り当て処理部205で割り当てる。   Next, in step S205, based on the correspondence, ID information of the RFID tag observation value corresponding to the human recognition camera observation value is assigned by the ID assignment processing unit 205.

次いで、ステップS206では、その割当状態から目標ノードをID割り当て処理部205で作成する。   In step S206, the ID assignment processing unit 205 creates a target node from the assignment state.

次に、図15Bのフロー図で、ステップS206に続く手順について説明する。   Next, the procedure following step S206 will be described with reference to the flowchart of FIG. 15B.

図15B中のsは開始ノードであり、OPENリスト及びCLOSEリストは、それぞれノードを格納するリストである。CLOSEリストは、自ノードから先のノードの探索が進んでいるノードを格納するリストであり、OPENリストは、自ノードから先のノードへの探索が進んでいないノードを格納するリストである。   In FIG. 15B, s is a start node, and the OPEN list and the CLOSE list are lists for storing nodes, respectively. The CLOSE list is a list that stores nodes that have been searched for the node ahead of the own node, and the OPEN list is a list that stores nodes that have not been searched for from the own node to the next node.

ステップS207がA*アルゴリズムの開始になり、ID割り当て処理部205において、OPENリストに開始ノードを入れる。このときの開始ノードの推定コストf*(s)は、f*(s)=h*(s)にID割り当て処理部205で設定する。なお、第1実施形態では、開始ノードの観測値と目標ノードの観測値との同じID同士の観測値間の距離の合計である。   Step S207 is the start of the A * algorithm, and the ID assignment processing unit 205 puts the start node in the OPEN list. The ID allocation processing unit 205 sets the estimated cost f * (s) of the start node at this time to f * (s) = h * (s). In the first embodiment, it is the sum of the distances between the observed values of the same IDs of the observed value of the start node and the observed value of the target node.

次いで、ステップS208では、ID割り当て処理部205において、OPENリストが空かどうかを調べ、OPENリストが空であるとID割り当て処理部205で判断すれば終了する。OPENリストが空である場合は、目標ノードに達する経路が見つからなかったケースに相当するが、第1実施形態の探索問題の場合は、必ず開始ノードから目標ノードへの経路がID割り当て処理部205で見つかる。OPENリストが空でないとID割り当て処理部205で判断する場合は、ステップS209に進む。   In step S208, the ID assignment processing unit 205 checks whether the OPEN list is empty. If the ID assignment processing unit 205 determines that the OPEN list is empty, the process ends. When the OPEN list is empty, this corresponds to a case where a route reaching the target node has not been found. However, in the search problem of the first embodiment, the route from the start node to the target node is always the ID allocation processing unit 205. Can be found at When the ID assignment processing unit 205 determines that the OPEN list is not empty, the process proceeds to step S209.

次いで、ステップS209で、ID割り当て処理部205において、OPENリストから最小のf*の値を持つノードnを取り出し、CLOSEリストに移す。   Next, in step S209, the ID assignment processing unit 205 extracts the node n having the smallest value of f * from the OPEN list and moves it to the CLOSE list.

次いで、ステップS210で、ID割り当て処理部205において、nが目標ノードかどうかを判別し、nが目標ノードであるとID割り当て処理部205で判断すれば探索は終了である。このとき、nのポインタを開始ノードに達するまで辿って得られるノードの経路が、最小コスト経路である。nが目標ノードではないとID割り当て処理部205で判断する場合は、ステップS211に進む。   Next, in step S210, the ID allocation processing unit 205 determines whether n is a target node, and if the ID allocation processing unit 205 determines that n is a target node, the search ends. At this time, the path of the node obtained by tracing the pointer of n until it reaches the start node is the minimum cost path. When the ID assignment processing unit 205 determines that n is not the target node, the process proceeds to step S211.

次いで、ステップS211では、ID割り当て処理部205において、nのノードの観測時刻の次の観測値時刻のID割り当て状態の仮説を生成し、それらをノードnの継続ノードとしてノードの集合Mとする。Mの各ノードmについて、f’(m)=g*(n)+h*(m)+Cost(n,m)の値をID割り当て処理部205で計算する。Cost(n,m)はノードnからノードmへのエッジに割り当てられたコストであり、(式2)に基づいてID割り当て処理部205で計算する。   Next, in step S211, the ID assignment processing unit 205 generates a hypothesis of the ID assignment state at the observation value time next to the observation time of the n node, and sets these as a node M as a continuation node of the node n. For each node m of M, the ID assignment processing unit 205 calculates the value of f ′ (m) = g * (n) + h * (m) + Cost (n, m). Cost (n, m) is a cost assigned to the edge from the node n to the node m, and is calculated by the ID assignment processing unit 205 based on (Equation 2).

次いで、ステップS212では、ID割り当て処理部205において、Mから1つノードを取り出しmとする。   In step S212, the ID assignment processing unit 205 extracts one node from M and sets it as m.

次いで、ステップS213では、ID割り当て処理部205において、ノードmがOPENリストに含まれるノードに一致するか、あるいは、CLOSEリストに含まれるノードに一致するか、あるいは、そのどちらのリストのノードにも一致しないかを判断する。   Next, in step S213, in the ID assignment processing unit 205, the node m matches the node included in the OPEN list, or the node m matches the node included in the CLOSE list, or the node in either of the lists. Determine if they do not match.

ノードmがどちらのリストにも含まれないとID割り当て処理部205で判断する場合は、ステップS214に進む。ステップS214では、ID割り当て処理部205において、ステップS211で計算したf’(m)をノードmの予測コストf*として設定し、ノードmのポインタをノードn設定してOPENリストに追加する。   When the ID assignment processing unit 205 determines that the node m is not included in either list, the process proceeds to step S214. In step S214, the ID allocation processing unit 205 sets f ′ (m) calculated in step S211 as the predicted cost f * of node m, sets the pointer of node m to node n, and adds it to the OPEN list.

ノードmがOPENリストに含まれるとID割り当て処理部205で判断する場合は、ステップS215に進む。ステップS215では、ID割り当て処理部205において、含まれているノードの予測コストf*(m)とステップS211で計算したf’(m)を比較し、f’(m)<f*(m)ならば、f*(m)=f’(m)でf*の値を置き換えて、ノードmのポインタをノードnに設定する。   When the ID assignment processing unit 205 determines that the node m is included in the OPEN list, the process proceeds to step S215. In step S215, the ID allocation processing unit 205 compares the predicted cost f * (m) of the included node with f ′ (m) calculated in step S211, and f ′ (m) <f * (m). Then, the value of f * is replaced with f * (m) = f ′ (m), and the pointer of node m is set to node n.

ノードmがCLOSEリストに含まれるとID割り当て処理部205で判断する場合は、ステップS216に進む。ステップS216では、ID割り当て処理部205において、含まれているノードの予測コストf*(m)とステップS211で計算したf’(m)を比較し、f’(m)<f*(m)ならば、f*(m)=f’(m)でf*の値を置き換えて、ノードmのポインタをノードnに設定した上で、mをCLOSEリストからOPENリストへ移す。   When the ID assignment processing unit 205 determines that the node m is included in the CLOSE list, the process proceeds to step S216. In step S216, the ID allocation processing unit 205 compares the predicted cost f * (m) of the included node with f ′ (m) calculated in step S211, and f ′ (m) <f * (m). Then, the value of f * is replaced by f * (m) = f ′ (m), the pointer of node m is set to node n, and m is moved from the CLOSE list to the OPEN list.

ステップS214、ステップS215、ステップS216の次は、ステップS217で、ID割り当て処理部205において、ノードの集合Mからすべてのmを取り出したかを判断する。すべてのmを取り出していないとID割り当て処理部205で判断する場合は、ステップS212に戻る。すべてのmを取り出したとID割り当て処理部205で判断する場合は、ステップS208に戻る。   Following step S214, step S215, and step S216, in step S217, the ID assignment processing unit 205 determines whether all m have been extracted from the node set M. If the ID assignment processing unit 205 determines that all m has not been extracted, the process returns to step S212. If the ID assignment processing unit 205 determines that all m have been extracted, the process returns to step S208.

ステップS210で、nが目標ノードまで達して終了したときに得られる、目標ノードのポインタを辿り、開始ノードに至るまでの間のノードに表現されているID割り当て状態が、ID割り当て処理部205で求めるべき各観測値における人認識カメラ観測値へのID割り当て状態である。   In step S210, the ID allocation processing unit 205 displays the ID allocation state expressed by the node between the target node and the start node obtained by following the pointer of the target node obtained when n reaches the target node and ends. It is an ID assignment state to the human recognition camera observation value in each observation value to be obtained.

さて、A*アルゴリズムでの解法の手順のステップS211において、ノードnの次の観測時刻のID割り当て状態仮説をID割り当て処理部205で生成する際、ここまでの説明では、考えうるすべてのID割り当て状態をID割り当て処理部205で考えるとしている。例えば、観測値が3つある場合は、6通りの割り当て状態すべてを仮説としてID割り当て処理部205で生成するわけである。   Now, in step S211 of the solution procedure in the A * algorithm, when the ID allocation state hypothesis at the next observation time of the node n is generated by the ID allocation processing unit 205, all the possible ID allocations have been described so far. The state is considered by the ID allocation processing unit 205. For example, when there are three observation values, the ID assignment processing unit 205 generates all six assignment states as hypotheses.

しかし、第1実施形態の観測対象が人であるとすると、実際に観測周期Δtの間に人が動ける距離には限界がある。よって、ステップS211で、ID割り当て状態の仮説をID割り当て処理部205で生成する際に、ノードnのID割り当て状態から、次の観測時刻の観測値へのID割り当て状態として考えられる仮説の中には、実際に人の移動により実現不可能な仮説も含まれる場合がある。そのような仮説は人の移動では実現不可能であるため、生成して探索の対象としても無駄である。図16Aは、時刻0の観測値のID割り当てから、時刻ΔtのID割り当てで、同じIDの観測値が移動する距離が、いずれも人の移動可能な範囲(図中の点線の円の範囲)になっている例を示している。   However, if the observation target of the first embodiment is a person, there is a limit to the distance that the person can actually move during the observation period Δt. Therefore, when the ID assignment processing unit 205 generates the ID assignment state hypothesis in step S211, the hypothesis considered as the ID assignment state from the ID assignment state of the node n to the observation value at the next observation time is included. May also include hypotheses that are not feasible due to human movement. Since such a hypothesis cannot be realized by human movement, it is useless to generate and search. In FIG. 16A, the distance that the observation value of the same ID moves from the ID assignment of the observation value at time 0 to the ID assignment at time Δt is all within the movable range (the range of the dotted circle in the figure). An example is shown.

一方、図16Bは、時刻0の観測値のID割り当てから、時刻ΔtのID割り当てで、同じIDの観測値が移動する距離のうち、Bについては人の移動可能な範囲(図中の点線の円の範囲)になっているが、A,Cについては、人の移動可能な範囲(図中の点線の円の範囲)を超えている例である。   On the other hand, FIG. 16B shows the range in which the observation value of the same ID moves from the ID assignment of the observation value at time 0 to the ID assignment at time Δt, and B is a human movable range (the dotted line in the figure). In this example, A and C exceed the human movable range (the dotted circle in the figure).

第1実施形態においては、ある位置からの人の移動可能な範囲(図中の点線の円の範囲)の設定については、当該位置を中心とし、観測周期Δtと観測対象空間において予め計測した最大の人の移動速度の積により算出される距離を半径とする円の内部とする。   In the first embodiment, the setting of the range in which a person can move from a certain position (the range of the dotted circle in the figure) is the maximum measured in advance in the observation period Δt and the observation target space with the position as the center. It is assumed that the distance calculated by the product of the movement speeds of the person is the inside of a circle having a radius.

もちろん、他の方法による人の移動可能範囲の設定も可能である。例えば、観測値の移動履歴から予想される移動速度と移動方向に基づいて、そのときの観測時刻における観測値の予想位置を設定することもできる。   Of course, it is possible to set the movable range of the person by other methods. For example, the predicted position of the observed value at the observation time can be set based on the moving speed and moving direction expected from the observed movement history.

よって、図16Aの時刻ΔtのID割り当ての仮説は生成可能だが、図16Bの時刻ΔtのID割り当ての仮説は生成不可能である。   Therefore, the hypothesis of ID assignment at time Δt in FIG. 16A can be generated, but the hypothesis of ID assignment at time Δt in FIG. 16B cannot be generated.

従って、ステップS211では、図16Bの例のように人の移動可能距離の限界を超える同じIDの観測値の移動距離が生じてしまう仮説をID割り当て処理部205で捨てることにより、探索空間を減らし、探索を効率的に行うことができる。   Accordingly, in step S211, the search space is reduced by discarding the hypothesis that the movement distance of the observed value of the same ID exceeding the limit of the human movable distance occurs as shown in the example of FIG. The search can be performed efficiently.

かかる構成によって、ID割り当て処理部203により、無線タグ観測部201のID情報を手がかりにID情報を持たない人認識カメラ202の観測値に対して、ID情報を割り当てることで、観測対象が互いに接近するような状況を含む、任意の状況において、観測値のID情報を確定することができ、その結果として、人同士のすれ違いを含む人位置推定の誤りが発生しやすい状況での、推定誤りの問題を解決することができる。一例として、図17の場合のように人が移動経路1702,1703に沿って移動した場合に、第1実施形態を使用して人位置移動経路の推定結果の例を図28に示す。図28より、従来技術の図19とは大きく異なり、図17の人の移動経路1702,1703とほぼ同じように、人位置移動経路を推定できることがわかる。   With this configuration, the ID assignment processing unit 203 assigns ID information to the observation value of the human recognition camera 202 that does not have ID information based on the ID information of the wireless tag observation unit 201, so that the observation objects approach each other. It is possible to determine the ID information of the observation value in any situation including the situation where the estimation error occurs in the situation where the error of the human position estimation including the passing of people is likely to occur as a result. The problem can be solved. As an example, FIG. 28 shows an example of a person position movement path estimation result using the first embodiment when a person moves along the movement paths 1702 and 1703 as in FIG. From FIG. 28, it can be seen that the human position movement path can be estimated in substantially the same manner as the human movement paths 1702 and 1703 in FIG.

なお、本第1実施形態においては、人位置の推定位置をディスプレイなどの人位置表示部208に表示するとしている。しかしながら、人位置の推定値の利用形態は、人の位置を要求する他の装置への入力とすることも、もちろん可能であり、本発明の範囲を限定するものではない。   In the first embodiment, the estimated position of the person position is displayed on the person position display unit 208 such as a display. However, the estimated form of the person position can be used as an input to another apparatus that requests the position of the person, and does not limit the scope of the present invention.

(第2実施形態)
図20は、本発明の第2実施形態における人位置トラッキング装置90Aの構成を示すブロック図である。本発明の第2実施形態は、人認識カメラ観測値の個数が、隠蔽又は誤認識などにより無線タグ観測値の個数と一致しない場合にも人認識カメラ観測値へのID割り当て処理を行うよう構成したものである。本発明の第2実施形態は、本発明の第1実施形態のID割り当て処理部205を、内部構成が異なるID割り当て処理部210に置き換えたものであり、その他の構成部については、本発明の第1実施形態と同じである。第1実施形態の記述において説明済みの構成部分の説明は省略する。
(Second Embodiment)
FIG. 20 is a block diagram showing a configuration of a human position tracking device 90A in the second embodiment of the present invention. The second embodiment of the present invention is configured to perform ID assignment processing for human recognition camera observation values even when the number of human recognition camera observation values does not match the number of RFID tag observation values due to concealment or misrecognition. It is a thing. In the second embodiment of the present invention, the ID allocation processing unit 205 of the first embodiment of the present invention is replaced with an ID allocation processing unit 210 having a different internal configuration. The same as in the first embodiment. The description of the components already described in the description of the first embodiment is omitted.

ID割り当て処理部210は、内部の構成として、ID割り当て制御部210Aと、観測値移動可能性判定部210Bと、仮想観測値生成部210Cとを備えるように構成される。   The ID allocation processing unit 210 is configured to include an ID allocation control unit 210A, an observation value movement possibility determination unit 210B, and a virtual observation value generation unit 210C as internal configurations.

ID割り当て処理部210の全体の処理の制御を行うのが、ID割り当て制御部210Aである。ID割り当て制御部210Aは、本発明の第1実施形態のID割り当て処理部205と同様に、各観測時刻における人認識カメラ202の複数の観測値に対して、ID割り当ての仮説の探索グラフを生成したのち、その探索グラフ上で最もコストが小さい経路を導出することで、各観測時刻における人認識カメラ観測値へのID情報の最適な割り当てを決定する。   The ID allocation control unit 210A controls the entire processing of the ID allocation processing unit 210. The ID allocation control unit 210A generates a search graph of hypotheses for ID allocation for a plurality of observation values of the human recognition camera 202 at each observation time, as with the ID allocation processing unit 205 of the first embodiment of the present invention. After that, by deriving the route with the lowest cost on the search graph, the optimum assignment of ID information to the human recognition camera observation value at each observation time is determined.

ただし、各観測時刻において人認識カメラ観測値の個数が無線タグ観測値の個数と一致しない場合、あるいは、観測対象の移動体(例えば、人)の移動能力又は移動履歴から予想される位置に観測値が無い場合、あるいは、予想される位置から外れた位置に観測値が存在する場合であっても、ID割り当ての仮説ノードを生成するために、観測値移動可能性判定部210Bにおいて、1単位の観測時刻間で移動可能な観測値の組み合わせを判定したのち、IDを割り当てるべき観測値がない場合には、仮想観測値生成部210Cで、観測値の移動履歴から予想される位置に仮想の観測値を生成し、すべてのIDを割り当て可能にする。   However, if the number of human recognition camera observations does not match the number of RFID tag observations at each observation time, or observation is made at a position expected from the movement capability or movement history of the moving object (eg, person) to be observed Even if there is no value or there is an observation value at a position deviating from the expected position, in order to generate a hypothesis node for ID assignment, the observation value movement possibility determination unit 210B has one unit. After determining the combination of observation values that can be moved between the observation times, if there is no observation value to which an ID should be assigned, the virtual observation value generation unit 210C has a virtual position at the position expected from the observation history of the observation value. Generate observations and allow all IDs to be assigned.

次に、第2実施形態における人位置トラッキング装置90Aの動作の流れについて説明する。図21は、第2実施形態の人位置トラッキング装置90Aの動作の流れを示すフロー図である。   Next, an operation flow of the human position tracking device 90A in the second embodiment will be described. FIG. 21 is a flowchart showing an operation flow of the human position tracking device 90A of the second embodiment.

第2実施形態の動作は、第1実施形態における人位置トラッキング装置90の動作の流れと基本的には同じであり、ステップS105Aでの処理の内容を除いて、各ステップの処理内容、及び、動作フローの構成は、図7のフロー図に示される動作フローと同一である。   The operation of the second embodiment is basically the same as the operation flow of the human position tracking device 90 in the first embodiment, except for the processing content in step S105A, The configuration of the operation flow is the same as the operation flow shown in the flowchart of FIG.

ステップS105AがステップS105と異なるのは、上述の通り、無線タグ観測値の個数と人認識カメラ観測値の個数が一致しない場合への対応を含む処理内容になっている点である。具体的には、人認識カメラ観測値へのID割り当て処理のうち、人認識カメラ観測値へのID割り当ての仮説ノードを生成する部分の処理が異なる部分なので、この部分に絞って動作フローを説明する。   As described above, step S105A differs from step S105 in that the processing content includes a response to a case where the number of RFID tag observation values does not match the number of human recognition camera observation values. Specifically, in the process of assigning IDs to human recognition camera observation values, the process of generating a hypothesis node for ID assignment to human recognition camera observation values is different, so the operation flow will be described focusing on this part. To do.

観測値バッファ204には、図4に示すように、人認識カメラ観測値が観測間隔Δtで得られている。ここで、観測時刻t=tにおける人認識カメラ観測値へのID割り当て状態から、観測時刻t=t+Δtにおける人認識カメラ観測値へのID割り当て状態の仮説をID割り当て処理部210で生成する状況を考える。 In the observation value buffer 204, as shown in FIG. 4, human recognition camera observation values are obtained at an observation interval Δt. Generating Here, the ID assignment state to human recognition camera observations in observation time t = t 0, a hypothesis ID assignment state to human recognition camera observations in observation time t = t 0 + Δt with ID allocation processing unit 210 Think about the situation.

図22は、この状況での人認識カメラ観測値へのID割り当て仮説ノードをID割り当て処理部210で生成する動作のフロー図である。   FIG. 22 is a flowchart of an operation of generating an ID assignment hypothesis node for the human recognition camera observation value in this situation by the ID assignment processing unit 210.

まず、ステップS2201では、観測値移動可能性判定部210Bが、時刻t=tにおける人認識カメラ202の各観測値から時刻t=t+Δtにおける人認識カメラ202の各観測値への移動可能性を判定する。図23は、観測時刻t=tから観測時刻t=t+Δtへの観測値間の移動を表す例である。観測値の側の数字は、各観測時刻における観測値を区別するための数字である。 First, in step S2201, the observed value movability determination unit 210B is movable to each observation of the human recognition camera 202 at time t = t 0 + Δt from each observation of the human recognition camera 202 at time t = t 0 Determine sex. FIG. 23 is an example showing movement between observation values from observation time t = t 0 to observation time t = t 0 + Δt. The numbers on the observation value side are numbers for distinguishing observation values at each observation time.

図23の観測時刻t=tにおける参照符号1〜5までの観測値を中心に点線で示される円2301は、各観測値が観測時間間隔Δtの間に、人(移動体)が移動可能な範囲の境界を表す。第2実施形態では、観測対象の人89が移動可能な範囲の指定については、本発明の第1実施形態と同様に、観測時間間隔Δtと観測対象の人89の移動速度の限界から定めた半径を持つ円2301内とする。 A circle 2301 indicated by a dotted line centered on the observation values 1 to 5 at the observation time t = t 0 in FIG. 23 allows a person (moving body) to move during the observation time interval Δt. Represents the boundaries of various ranges. In the second embodiment, the designation of the range in which the observation target person 89 can move is determined from the observation time interval Δt and the limit of the moving speed of the observation target person 89, as in the first embodiment of the present invention. It is within a circle 2301 having a radius.

この移動可能性の判定基準により、観測値移動可能性判定部210Bは、観測時刻t=tおける各観測値が、観測時刻t=t+Δtのどの観測値の位置まで移動可能かを判定する。 The criterion of the movement possibilities, the observation value movability determination unit 210B, each observed value definitive measurement time t = t 0 is determined whether movable to a position of the observation time t = t 0 + Δt observations of the throat To do.

図24に、観測値移動可能性判定部210Bの移動可能性判定結果を表にしたものを示す。図24の左側の表2401は、ステップS2201での移動可能性判定の結果を表の形式で示したものである。表2401において、縦軸が観測時刻t=tにおける観測値の識別番号、横軸が観測時刻t=t+Δtにおける観測値の識別番号である。観測時刻t=tにおけるある観測値の位置から、観測時刻t=t+Δtにおける観測値の位置に移動可能である場合は「○」で示し、移動可能ではない場合は「×」で示す。 FIG. 24 is a table showing the movement possibility determination result of the observed value movement possibility determination unit 210B. The table 2401 on the left side of FIG. 24 shows the result of the movement possibility determination in step S2201 in the form of a table. In Table 2401, and the vertical axis the identification number of observations at the observation time t = t 0, the horizontal axis is the identification number of observations at the observation time t = t 0 + Δt. From the position of the observed value in the observation time t = t 0, if it is movable to a position of the observation value at the observation time t = t 0 + Δt are indicated by "○", if it is not movable are indicated by "×" .

次に、ステップS2202では、ID割り当て制御部210Aが、ステップS2201の処理で求めた観測値の移動可能性判定結果に基づいて、観測時刻t=tのどの観測値からも移動不可能な観測時刻t=t+Δtの観測値を、ID割り当ての対象から除外する。 Next, in step S2202, the ID assignment control unit 210A performs observation that cannot be moved from any observation value at observation time t = t 0 based on the observation value movement possibility determination result obtained in step S2201. The observed value at time t = t 0 + Δt is excluded from ID assignment targets.

図24に示す観測値の移動可能性判定結果では、観測時刻t=t+Δtの識別番号3の観測値は、観測時刻t=tのどの観測値からも移動不可能となっているため、この観測値をID割り当ての対象からID割り当て制御部210Aで除外する。 In the determination result of the observation value movement possibility shown in FIG. 24, the observation value with the identification number 3 at the observation time t = t 0 + Δt cannot be moved from any observation value at the observation time t = t 0 . The observation value is excluded from the ID allocation target by the ID allocation control unit 210A.

次に、ステップS2203では、仮想観測値生成部210Cが、観測時刻t=t+Δtのどの観測値にも移動可能なものがない観測時刻t=tの観測値に対して、当該の観測値の移動履歴から予想される移動位置に仮想の観測値を生成する。 Next, in step S2203, the virtual observation value generation unit 210C performs the observation for the observation value at observation time t = t 0 where none of the observation values at observation time t = t 0 + Δt is movable. A virtual observation value is generated at a movement position expected from the movement history of the value.

図24に示す観測値の移動可能性判定結果では、観測時刻t=tの識別番号5の観測値は、観測時刻t=t+Δtのどの観測値にも移動可能ではない。よって、仮想観測値生成部210Cにおいて、当該観測値が観測時刻t=t+Δtにおける移動予測位置を当該観測値の移動履歴から求め、その位置に仮想観測値を生成し、観測値バッファ204に生成した仮想観測値の情報を追加する。 In movability determination result of the observations shown in Figure 24, the observed value of the identification number 5 in the observation time t = t 0, the observation time t = t 0 + Δt not be movable in the observations of the throat. Therefore, in the virtual observation value generation unit 210C, the movement predicted position of the observation value at the observation time t = t 0 + Δt is obtained from the movement history of the observation value, a virtual observation value is generated at the position, and the observation value buffer 204 is generated. Add the information of the generated virtual observation value.

図25は、図23に示す観測時刻での観測値に加え、観測時刻での観測値と、生成した仮想観測値(図25中の識別番号5*を付与した○)を示す図である。観測時刻の識別番号5の観測値は、観測時刻の識別番号5の観測値が移動したという仮説(すなわち両者に同じIDを割り当てるという仮説)が仮想観測値生成部210Cで生成されているので、仮想観測値生成部210Cにおいて、その仮説に基づき、観測時刻から観測時刻への移動速度と移動方向が維持されると仮定して、観測時刻における移動予測位置を図25の「○」で表す位置と定め、そこに仮想観測値(図中「○」で示す)を生成する。   FIG. 25 is a diagram showing the observed value at the observation time and the generated virtual observed value (O assigned the identification number 5 * in FIG. 25) in addition to the observed value at the observation time shown in FIG. Since the observation value with the observation time identification number 5 is generated by the virtual observation value generation unit 210C, the hypothesis that the observation value with the observation time identification number 5 has moved (that is, the hypothesis that the same ID is assigned to both) is generated. In the virtual observation value generation unit 210C, based on the hypothesis, it is assumed that the movement speed and the movement direction from the observation time to the observation time are maintained, and the movement predicted position at the observation time is represented by “◯” in FIG. And a virtual observation value (indicated by “◯” in the figure) is generated there.

次に、ステップS2204において、観測値移動可能性判定部210Bは、ID割り当て仮想観測値生成部210Cが生成した観測時刻における仮想観測値に対して、移動可能性を再評価する。観測値移動可能性判定部210Bで再評価した結果を図24の右側の表2402に示す。仮想的に生成した観測値を真に得られた観測値の個数の次の数字(仮想観測値が複数あれば順次数字を加算する)に*を付けた形の識別番号で区別する。   Next, in step S2204, the observation value movement possibility determination unit 210B re-evaluates the movement possibility with respect to the virtual observation value at the observation time generated by the ID assignment virtual observation value generation unit 210C. The result of re-evaluation by the observation value movement possibility determination unit 210B is shown in a table 2402 on the right side of FIG. The virtually generated observation value is distinguished by an identification number in the form of * added to the next number of the number of observation values that are truly obtained (if there are multiple virtual observation values, the number is added sequentially).

次に、ステップS2205において、ID割り当て制御部210Aは、ステップS2204までの処理で、評価された観測値の移動可能性判定結果として得られる観測時刻の観測値と観測時刻の観測値の移動に関する対応関係に基づき、対応関係にある観測時刻の観測値に観測時刻の観測時刻の観測値に割り当てられたIDを割り当てた仮説を複数生成する。   Next, in step S2205, the ID assignment control unit 210A responds to the movement of the observation value at the observation time and the observation value at the observation time obtained as a result of determining the movement possibility of the observed observation value by the processing up to step S2204. Based on the relationship, a plurality of hypotheses are generated by assigning the ID assigned to the observation value at the observation time to the observation value at the observation time in the correspondence relationship.

図26は、図24の観測値の移動可能性判定結果から得られる観測値へのID割り当ての仮説の組み合わせを示す表である。ID割り当て制御部210Aにおいて、観測時刻の観測値のうち識別番号1,2の観測値には、IDの多重の割り当てを許容したID割り当てを行うことになる。観測時刻の識別番号4,識別番号5*へは、それぞれID=D、ID=EがID割り当て制御部210Aで割り当てられる。   FIG. 26 is a table showing combinations of hypotheses for assigning IDs to observed values obtained from the result of determining the possibility of movement of observed values in FIG. In the ID allocation control unit 210A, ID allocation that allows multiple allocation of IDs is performed on the observation values of the identification numbers 1 and 2 among the observation values at the observation time. ID = D and ID = E are assigned to the identification number 4 and the identification number 5 * of the observation time by the ID assignment control unit 210A, respectively.

図27は、図26に示した3つのID割り当て仮説に対応する仮説ノードの表現を示す図である。仮説ノードの内部構造は、第1実施形態の図14で説明した仮説ノードの構造同じである。1つの観測値に対して2つ以上のIDを割り当てた場合は、観測値の識別番号に「’」(ダッシュ)を追加して、同じ識別番号にIDが複数割り当てられていることを示す。ID割り当て仮説1の場合は、識別番号2の観測値にID=B,ID=Cの2つのIDが多重割り当てされるので、ID=Cの割り当てに関しては、識別番号を2’としてノードに記録する。2つ以上のIDが割り当てられる場合は、「’」を順次増やして区別する。   FIG. 27 is a diagram showing the representation of hypothesis nodes corresponding to the three ID assignment hypotheses shown in FIG. The internal structure of the hypothesis node is the same as that of the hypothesis node described in FIG. 14 of the first embodiment. When two or more IDs are assigned to one observation value, “′” (dash) is added to the identification number of the observation value to indicate that a plurality of IDs are assigned to the same identification number. In the case of ID assignment hypothesis 1, since two IDs of ID = B and ID = C are assigned to the observed value of identification number 2, multiple IDs are assigned to ID = C and recorded in the node as 2 ′. To do. When two or more IDs are assigned, “′” is sequentially increased to distinguish them.

かかる構成により、ID割り当て処理部210の内部において、観測値移動可能性判定部210Bが、1単位の観測間隔において人の移動可能性に基づいて、観測エラーによる観測値の消失の状態と、誤検出による誤観測値の状態を特定しつつ、移動可能な観測値間の対応関係を判定し、観測値の消失に関しても、仮想観測値生成手段210Cが観測値の移動履歴に基づいて予想される移動先位置に仮想的に観測値生成することにより、人認識カメラ202における観測エラーに対応可能な人位置トラッキング装置90Aを実現できる。   With this configuration, within the ID assignment processing unit 210, the observation value movement possibility determination unit 210B is configured to detect an error in the observation value due to an observation error and an error based on the person's movement possibility in one unit of observation interval. While identifying the state of the erroneous observation value by detection, the correspondence between the movable observation values is determined, and the virtual observation value generation unit 210C is also predicted based on the observation value movement history regarding the disappearance of the observation values. By virtually generating an observation value at the movement destination position, it is possible to realize a human position tracking device 90A that can cope with an observation error in the human recognition camera 202.

なお、第2実施形態においては、人位置の推定位置をディスプレイなどの人位置表示部208に表示するとしている。しかしながら、人位置の推定の利用形態は、人の位置を要求する他の装置のへの入力とすることも、もちろん可能であり、本発明の範囲を限定するものではない。   In the second embodiment, the estimated position of the person position is displayed on the person position display unit 208 such as a display. However, it is of course possible to use the human position estimation utilization form as an input to another apparatus that requests the human position, and does not limit the scope of the present invention.

第1実施形態及び第2実施形態において、第1観測手段101は、移動体(例えば、人)の識別情報を含みかつ移動体が有する無線タグ301〜303から発信される電波を受信して移動体の識別情報と位置情報を観測値として出力する無線タグ観測部201で構成しているが、これに限るものではなく、移動体に超音波を発信して反射した超音波を受信して移動体の識別情報と位置情報を観測値として出力する超音波センサで構成することもできる。   In the first embodiment and the second embodiment, the first observation unit 101 receives radio waves transmitted from the wireless tags 301 to 303 including the identification information of the moving body (for example, a person) and held by the moving body. The wireless tag observation unit 201 outputs body identification information and position information as observation values. However, the present invention is not limited to this. The ultrasonic wave is transmitted to the moving body, and the reflected ultrasonic wave is received and moved. It can also be constituted by an ultrasonic sensor that outputs body identification information and position information as observation values.

第1実施形態及び第2実施形態において、第2観測手段102は、画像を撮像して移動体(例えば、人)の位置情報を観測値として出力するカメラ202で構成しているが、これに限るものではなく、移動体にミリ波を発信して反射したミリ波を受信して移動体の位置情報を観測値として出力するミリ波送受信器、又は、観測空間の床面に複数配置して移動体の位置情報を観測値として出力する圧力センサで構成することもできる。   In the first embodiment and the second embodiment, the second observation unit 102 is configured by a camera 202 that captures an image and outputs position information of a moving body (for example, a person) as an observation value. Not limited, Millimeter wave transmitter / receiver that transmits millimeter wave to mobile body and receives reflected millimeter wave and outputs the position information of mobile body as observation value, or multiple on the floor of observation space It can also be configured by a pressure sensor that outputs position information of the moving object as an observation value.

なお、上記様々な実施形態又は変型例のうちの任意の実施形態又は変型例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。   In addition, it can be made to show the effect which each has by combining arbitrary embodiment or modification of the said various embodiment or modifications suitably.

本発明に係る移動体位置推定装置、移動体位置推定方法、及び、移動体位置推定プログラムは、観測対象の人の行動を記録・監視するシステム又は、作業者の移動履歴を分析し作業手順の効率性を評価するシステム、物流現場における荷物の位置をトレースするシステムなどに応用が可能である。   A mobile object position estimation device, a mobile object position estimation method, and a mobile object position estimation program according to the present invention are a system for recording and monitoring the behavior of a person to be observed or an analysis of a worker's movement history and The system can be applied to a system for evaluating efficiency and a system for tracing the position of a package at a distribution site.

89 人
90,90A 人位置トラッキング装置
91 観測空間
91f 床面
101 第1観測手段
102 第2観測手段
103 識別情報割り当て手段
104 位置推定手段
201 無線タグ観測部
202 人認識カメラ
203 観測値取得部
204 観測値バッファ
205 ID割り当て処理部
206 人位置推定部
207 人位置推定部記録部
208 人位置表示部
210 ID割り当て処理部
210A ID割り当て制御部
210B 観測値移動可能性判定部
210C 仮想観測値生成部
300 部屋
301 無線タグ
302 無線タグ
303 無線タグ
401 観測値バッファに記録される観測値の例
402 観測値バッファに記録された観測値にID割り当て処理が行われた例
601 人位置表示部の人の移動軌跡の表示例
602 人位置表示部の人の移動軌跡の表示例
603 人位置表示部の人の移動軌跡の表示例
604 人位置表示部に表示される人の頭頂方向からの被写映像
605 人位置表示部に表示される人の頭頂方向からの被写映像
606 人位置表示部に表示される人の頭頂方向からの被写映像
901 人認識カメラ観測値の例
902 人認識カメラ観測値の例
903 人認識カメラ観測値の例
904 人認識カメラ観測値の例
905 人認識カメラ観測値の例
906 人認識カメラ観測値の例
1701 従来技術での課題を説明するための対象物の移動経路の例
1701A 従来技術での課題を説明するための対象物が接近する領域
1702,1703 移動経路
2301 各観測値が観測時間間隔Δtの間に、人(移動体)が移動可能な範囲の境界
2401 観測値の移動可能性の判定結果
2402 仮想観測値に対する移動可能性の判定結果
89 people 90, 90A human position tracking device 91 observation space 91f floor 101 first observation means 102 second observation means 103 identification information assignment means 104 position estimation means 201 wireless tag observation part 202 human recognition camera 203 observation value acquisition part 204 observation Value buffer 205 ID allocation processing unit 206 Human position estimation unit 207 Human position estimation unit Recording unit 208 Human position display unit 210 ID allocation processing unit 210A ID allocation control unit 210B Observation value mobility determination unit 210C Virtual observation value generation unit 300 Room 301 Wireless Tag 302 Wireless Tag 303 Wireless Tag 401 Example of Observation Value Recorded in Observation Value Buffer 402 Example of ID Assignment Process Performed on Observation Value Recorded in Observation Value Buffer 601 Human Trajectory of Person Position Display Unit Display example 602 Display of the movement locus of the person in the person position display section Example 603 Display example of movement trajectory of person on person position display section 604 Image captured from person's head direction displayed on person position display section 605 Image captured from person's head direction displayed on person position display section 606 Image of the person from the top of the head displayed on the human position display unit 901 Example of human recognition camera observation value 902 Example of human recognition camera observation value 903 Example of human recognition camera observation value 904 Example of human recognition camera observation value 905 Example of human recognition camera observation value 906 Example of human recognition camera observation value 1701 Example of movement path of an object for explaining a problem in the prior art 1701A An object for explaining a problem in the prior art approaches Regions 1702 and 1703 Movement path 2301 Boundary 2401 of the range in which a person (moving body) can move during each observation time interval Δt. Observation result determination result 2402 Virtual observation value The determination result of the movement possibilities against

Claims (12)

観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定装置であって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に出力する第1の観測手段と、
前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で出力する第2の観測手段と、
前記第1の観測手段と前記第2の観測手段のそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる識別情報割り当て手段と、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を推定する位置推定手段を、
有する移動体位置推定装置。
Observation of a plurality of moving objects existing in the observation space, and input the observation value including the identification information of the moving object and the position information of the moving object obtained sequentially for each moving object, the plurality of movements to be observed A body position estimation device for estimating body identification information and position information,
First observation means for outputting identification information and position information of the mobile body as observation values at predetermined time intervals;
Second observation means for outputting position information of the moving body as an observation value at a time interval different from the interval of the first observation means;
Position information of the observed value of the first observing means and the observation of the second observing means in an observation section of the time interval of each of the first observing means and the second observing means. The total of the relative distance of the position information of the value and the total amount of movement of the observation value of the second observation unit in the observation section are minimized with respect to the observation value of the second observation unit. Identification information assignment means for assigning identification information obtained from the first observation means;
Position estimation means for estimating the position of the moving object based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means The
A moving body position estimation apparatus having the same.
前記第1観測手段は、前記移動体の識別情報を含みかつ前記移動体が有する無線タグから発信される電波を受信して前記移動体の識別情報と位置情報を観測値として出力する無線タグ観測部、又は、前記移動体に超音波を発信して反射した超音波を受信して前記移動体の識別情報と位置情報を観測値として出力する超音波センサであり、
前記第2観測手段は、画像を撮像して前記移動体の位置情報を観測値として出力するカメラ、又は、前記移動体にミリ波を発信して反射したミリ波を受信して前記移動体の位置情報を観測値として出力するミリ波送受信器、又は、前記観測空間の床面に複数配置して前記移動体の位置情報を観測値として出力する圧力センサである、請求項1に記載の移動体位置推定装置。
The first observation means receives the radio wave that includes the identification information of the mobile body and is transmitted from the radio tag of the mobile body, and outputs the identification information and position information of the mobile body as observation values Or an ultrasonic sensor that receives ultrasonic waves reflected by transmitting ultrasonic waves to the moving body and outputs identification information and position information of the moving body as observation values,
The second observing means captures an image and outputs position information of the moving body as an observation value, or receives a millimeter wave transmitted from the moving body and reflected from the moving body, 2. The movement according to claim 1, wherein the movement is a millimeter wave transmitter / receiver that outputs position information as an observation value, or a pressure sensor that is arranged on a floor surface of the observation space and outputs position information of the moving body as an observation value. Body position estimation device.
前記識別情報割り当て手段において、前記観測間隔の時間内に前記移動体が移動可能な移動可能範囲外にある前記第2観測手段の観測値を削除して、前記観測間隔の時間内に前記移動体が移動可能な移動可能範囲内にある前記第2観測手段の観測値を基に、識別情報割り当て処理を行うときに対する前回の前記第2観測手段の観測値の位置から移動不可能な、前記識別情報割り当てを行うときの観測値を特定し、又は、前記識別情報割り当てを行うときの前記第2観測手段の観測値の位置へ移動可能なものが1つもない、前記識別情報割り当てを行うときに対する前回の観測値を特定し、特定された前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる、請求項1又は2に記載の移動体位置推定装置。   In the identification information allocating means, the observation value of the second observing means outside the movable range in which the moving body can move within the time of the observation interval is deleted, and the moving body within the time of the observation interval. Based on the observed value of the second observing means within the movable range, the identification that is not movable from the position of the previous observed value of the second observing means when performing the identification information assignment process Specifying an observation value when performing information allocation, or when there is no one that can be moved to the position of the observation value of the second observation means when performing identification information allocation, when performing identification information allocation The mobile position estimation according to claim 1 or 2, wherein a previous observation value is specified, and identification information obtained from the first observation means is assigned to the specified observation value of the second observation means. apparatus. 前記識別情報割り当て手段は、前記識別情報割り当てを行うときの前記第2観測手段の観測値の位置へ移動可能なものが1つもないと特定された、前記識別情報割り当てを行うときに対する前回の観測値に対して、前記当該観測値の移動履歴に基づいて、前記識別情報割り当てを行うときの移動先位置を予測し、前記予測位置に仮想的な観測値を生成する仮想観測値生成部を備える、請求項3に記載の移動体位置推定装置。   The identification information allocating means is a previous observation when the identification information allocation is performed, which is specified that there is no object that can be moved to the position of the observation value of the second observation means when the identification information allocation is performed. A virtual observation value generation unit that predicts a movement destination position when assigning the identification information to the value based on the movement history of the observation value and generates a virtual observation value at the prediction position; The moving body position estimation apparatus according to claim 3. 前記識別情報割り当て手段において、前記観測対象の前記移動体の前記移動可能範囲を、当該移動体の移動能力の計測結果に基づく最大の移動速度と、前記観測間隔の積を半径とする円の範囲と設定する請求項3又は4に記載の移動体位置推定装置。   In the identification information allocating means, the movable range of the mobile object to be observed is a circle range having a radius that is a product of the maximum moving speed based on the measurement result of the moving ability of the mobile object and the observation interval. The mobile body position estimation apparatus according to claim 3 or 4, which is set as follows. 前記識別情報割り当て手段において、前記観測対象の前記移動体の前記移動可能範囲を、前記第2の観測手段の観測値の移動履歴の、前記識別情報割り当てを行うときに対する前回の観測値の位置と、前記識別情報割り当てを行うときに対する前々回の観測値の位置から算出される移動速度と移動方向とが維持されると仮定して得られる移動先位置を中心とした所定の半径を持つ円と定める、請求項3又は4に記載の移動体位置推定装置。   In the identification information allocating means, the movable range of the observation target moving body is defined as the position of the previous observed value with respect to the time when the identification information is allocated in the movement history of the observed value of the second observing means. And a circle having a predetermined radius centered on the movement destination position obtained on the assumption that the movement speed and movement direction calculated from the position of the observation value two times before the time when the identification information is assigned are maintained. The moving body position estimation apparatus according to claim 3 or 4. 観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定方法であって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に第1の観測手段により出力し、
前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で第2の観測手段により出力し、
前記第1の観測手段と前記第2の観測手段のそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を識別情報割り当て手段により割り当て、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を位置推定手段により推定する、
移動体位置推定方法。
Observation of a plurality of moving objects existing in the observation space, and input the observation value including the identification information of the moving object and the position information of the moving object obtained sequentially for each moving object, the plurality of movements to be observed A body position estimation method for estimating body identification information and position information,
The identification information and position information of the mobile object are output as observation values by the first observation means at predetermined time intervals,
The position information of the moving body is output as an observation value by the second observation unit at a time interval different from the interval of the first observation unit,
Position information of the observed value of the first observing means and the observation of the second observing means in an observation section of the time interval of each of the first observing means and the second observing means. The total of the relative distance of the position information of the value and the total amount of movement of the observation value of the second observation unit in the observation section are minimized with respect to the observation value of the second observation unit. The identification information obtained from the first observation means is assigned by the identification information assignment means,
Based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means, the position of the moving body is estimated by the position estimation means To
Mobile object position estimation method.
前記移動体の識別情報と位置情報を含みかつ前記第1の観測手段から出力された第1の観測値と、前記移動体の位置情報を含みかつ前記第2の観測手段から出力された第2の観測値とが同時に得られた第1の時刻から、次に、前記第1の観測値と前記第2の観測値が同時に得られた第2の時刻の間に得られた第2の観測値に対して、
前記第1の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求め、
前記第1の時刻における組み合わせに基づいて、前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当て、
さらに、前記第2の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求め、
前記第2の時刻における組み合わせにおいて前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当て、
前記識別情報割り当て手段において、前記第1の時刻における前記第2の観測値への識別情報の割り当て状態を開始ノードとし、また、前記第2の時刻における前記第2の観測値への識別情報の割り当て状態を目標ノードとし、前記第1の時刻と前記第2の時刻の間の前記第2の観測値への識別情報の割り当ての組み合わせを、前記開始ノードと前記目標ノードの間に位置するノードとすることにより得られる探索グラフにおいて、前記ノード間の遷移コストを前記第2の観測値の移動量の合計と置くことで、前記探索グラフの前記開始ノードから前記目標ノードに至る最小コスト経路を求めることにより、前記第1の時刻から前記第2の時刻までの前記第2の観測値に前記第1の観測値の識別情報を前記識別情報割り当て手段で割り当てる、
請求項7に記載の移動体位置推定方法。
A first observation value including identification information and position information of the moving object and output from the first observation means; and a second observation value including position information of the moving object and output from the second observation means. From the first time when the first observation value was obtained at the same time, the second observation obtained between the second time when the first observation value and the second observation value were obtained simultaneously. For value
At the first time, the identification information assigning means obtains a combination having the shortest distance between the position of the first observation value and the position of the second observation value,
Based on the combination at the first time, the identification information of the first observation value is allocated by the identification information allocation means as the identification information of the second observation value,
Further, at the second time, the identification information assigning means obtains a combination having the shortest total distance between the position of the first observation value and the position of the second observation value,
In the combination at the second time, the identification information of the first observation value is assigned by the identification information assigning means as the identification information of the second observation value,
In the identification information allocating means, the allocation state of the identification information to the second observation value at the first time is a start node, and the identification information to the second observation value at the second time is A node that is located between the start node and the target node, with a combination of identification information assigned to the second observation value between the first time and the second time, with the assignment state as the target node In the search graph obtained by setting the transition cost between the nodes as the total movement amount of the second observation value, the minimum cost path from the start node to the target node of the search graph is determined. By obtaining, the identification information allocating means assigns the identification information of the first observation value to the second observation value from the first time to the second time.
The moving body position estimation method according to claim 7.
前記探索グラフ上の探索処理において、前記識別情報割り当て手段により、ある観測時刻における識別情報の割り当て状態に相当するノードから、次の観測時刻への割り当て状態の仮説に相当するノードを生成する場合に、前記観測対象の前記移動体の移動可能範囲を考慮し、前記観測間隔の時間内に移動可能な前記第2観測手段の観測値の対応関係を判定し、探索処理を行うときに対する前回の前記第2観測手段の観測値の位置から移動不可能な、前記探索処理を行うときの観測値を特定することで、前記探索処理を行うときに対する前回の観測値の位置から移動不可能な観測値を含んだ割り当ての仮説ノードを生成しない、請求項8に記載の移動体位置推定方法。   In the search process on the search graph, when the identification information assigning unit generates a node corresponding to a hypothesis of an assignment state at the next observation time from a node corresponding to the assignment state of the identification information at a certain observation time. , Taking into account the movable range of the mobile object to be observed, determining the correspondence of the observation values of the second observation means movable within the time of the observation interval, An observation value that is not movable from the position of the observation value of the second observation means and that is not movable from the position of the previous observation value when performing the search process by specifying the observation value when the search process is performed The mobile object position estimation method according to claim 8, wherein an assignment hypothesis node including a node is not generated. 前記探索グラフ上の探索処理において、前記識別情報割り当て手段により、ある観測時刻における識別情報の割り当て状態に相当するノードから、次の観測時刻への割り当て状態の仮説に相当するノードを生成する場合に、前記観測対象の前記移動体の移動可能範囲を考慮し、探索処理を行うときの観測値の位置へ移動可能なものが1つもないと特定された、前記探索処理を行うときに対する前回の観測値に対して、前記当該観測値の移動履歴に基づいて前記探索処理を行うときの移動先位置を予測し、前記予測位置に仮想的な観測値を生成し、前記仮想的な観測値に前記当該の観測値が移動したとする仮説ノードを生成する、請求項8又は9に記載の移動体位置推定方法。   In the search process on the search graph, when the identification information assigning unit generates a node corresponding to a hypothesis of an assignment state at the next observation time from a node corresponding to the assignment state of the identification information at a certain observation time. In consideration of the movable range of the mobile object to be observed, the previous observation for the time when the search process was performed, when it was specified that there was no object that could be moved to the position of the observation value when the search process was performed Predicting a destination position when performing the search processing based on a movement history of the observed value, generating a virtual observed value at the predicted position, and adding the virtual observed value to the virtual observed value. The moving body position estimation method according to claim 8 or 9, wherein a hypothesis node that the observed value has moved is generated. 観測空間に存在する複数の移動体を観測して、移動体毎に逐次得られる前記移動体の識別情報及び前記移動体の位置情報を含む観測値を入力として、観測対象である前記複数の移動体の識別情報、及び、位置情報を推定する移動体位置推定プログラムであって、
前記移動体の識別情報と位置情報を観測値として所定時間間隔毎に出力する第1の観測手段と、前記移動体の位置情報を観測値として、前記第1の観測手段の間隔とは異なる時間間隔で出力する第2の観測手段とのそれぞれの前記時間間隔のうちのある観測区間における、前記第1の観測手段の前記観測値の位置情報と前記第2の観測手段の前記観測値の位置情報の相対距離の合計、及び、前記第2の観測手段の観測値の当該観測区間における移動量の合計が最小になるように、前記第2の観測手段の観測値に対して前記第1の観測手段から得られた識別情報を割り当てる識別情報割り当て手段と、
前記第1の観測手段の観測値、及び、前記識別情報割り当て手段によって割り当てられた前記識別情報を含む前記第2の観測手段の観測値に基づいて、前記移動体の位置を推定する位置推定手段と
の機能をコンピュータに実現させるための移動体位置推定プログラム。
Observation of a plurality of moving objects existing in the observation space, and input the observation value including the identification information of the moving object and the position information of the moving object obtained sequentially for each moving object, the plurality of movements to be observed A body position estimation program for estimating body identification information and position information,
First observation means for outputting the identification information and position information of the mobile object as observation values at predetermined time intervals, and a time different from the interval of the first observation means using the position information of the mobile object as observation values Position information of the observed value of the first observing means and position of the observed value of the second observing means in a certain observation section of each time interval with the second observing means outputting at intervals The first relative to the observation value of the second observation means is such that the total of the relative distance of information and the total amount of movement of the observation value of the second observation means in the observation section are minimized. Identification information assigning means for assigning identification information obtained from the observation means;
Position estimation means for estimating the position of the moving object based on the observation value of the first observation means and the observation value of the second observation means including the identification information assigned by the identification information assignment means A moving body position estimation program for causing a computer to realize the function.
前記移動体の識別情報と位置情報を含みかつ前記第1の観測手段から出力された第1の観測値と、前記移動体の位置情報を含みかつ前記第2の観測手段から出力された第2の観測値とが同時に得られた第1の時刻から、次に、前記第1の観測値と前記第2の観測値とが同時に得られた第2の時刻の間に得られた第2の観測値に対して、
前記第1の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求める機能と、
前記第1の時刻における組み合わせに基づいて、前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当てる機能と、
さらに、前記第2の時刻において、前記第1の観測値の位置と、前記第2の観測値の位置の距離の合計が最も短い組み合わせを前記識別情報割り当て手段で求める機能と、
前記第2の時刻における組み合わせにおいて前記第1の観測値の識別情報を前記第2の観測値の識別情報として前記識別情報割り当て手段で割り当てる機能と、
前記第1の時刻における前記第2の観測値への識別情報の割り当て状態を開始ノードとし、また、前記第2の時刻における前記第2の観測値への識別情報の割り当て状態を目標ノードとし、前記第1の時刻と前記第2の時刻の間の前記第2の観測値への識別情報の割り当ての組み合わせを、前記開始ノードと前記目標ノードの間に位置するノードとすることにより得られる探索グラフにおいて、前記ノード間の遷移コストを前記第2の観測値の移動量の合計と置くことで、前記探索グラフの前記開始ノードから前記目標ノードに至る最小コスト経路を求めることにより、前記第1の時刻から前記第2の時刻までの前記第2の観測値に前記第1の観測値の識別情報を前記識別情報割り当て手段で割り当てる機能と、
をコンピュータに実現させるための、請求項11に記載の移動体位置推定プログラム。
A first observation value including identification information and position information of the moving object and output from the first observation means; and a second observation value including position information of the moving object and output from the second observation means. From the first time when the first observation value was obtained at the same time, and then the second time obtained during the second time when the first observation value and the second observation value were obtained simultaneously. For observations,
A function for obtaining a combination of the shortest distance between the position of the first observation value and the position of the second observation value by the identification information assigning means at the first time;
A function of assigning identification information of the first observation value as identification information of the second observation value by the identification information assigning means based on the combination at the first time;
A function for obtaining a combination of the shortest distance between the position of the first observation value and the position of the second observation value by the identification information assigning unit at the second time;
A function of assigning the identification information of the first observation value by the identification information assigning means as the identification information of the second observation value in the combination at the second time;
The assignment state of identification information to the second observation value at the first time is a start node, and the assignment state of identification information to the second observation value at the second time is a target node, Search obtained by setting a combination of assignment of identification information to the second observation value between the first time and the second time as a node located between the start node and the target node In the graph, by setting the transition cost between the nodes as the total amount of movement of the second observation value, the minimum cost path from the start node to the target node of the search graph is obtained, thereby obtaining the first cost. A function of assigning identification information of the first observation value to the second observation value from the time of the second time to the second time by the identification information assigning means;
The moving body position estimation program according to claim 11, for causing a computer to realize the above.
JP2011214552A 2011-09-29 2011-09-29 Mobile object position estimation device, mobile object position estimation method, and mobile object position estimation program Active JP5906379B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011214552A JP5906379B2 (en) 2011-09-29 2011-09-29 Mobile object position estimation device, mobile object position estimation method, and mobile object position estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011214552A JP5906379B2 (en) 2011-09-29 2011-09-29 Mobile object position estimation device, mobile object position estimation method, and mobile object position estimation program

Publications (2)

Publication Number Publication Date
JP2013072858A true JP2013072858A (en) 2013-04-22
JP5906379B2 JP5906379B2 (en) 2016-04-20

Family

ID=48477451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011214552A Active JP5906379B2 (en) 2011-09-29 2011-09-29 Mobile object position estimation device, mobile object position estimation method, and mobile object position estimation program

Country Status (1)

Country Link
JP (1) JP5906379B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098144A1 (en) * 2013-12-26 2015-07-02 富士ゼロックス株式会社 Information processing device, information processing program, recording medium, and information processing method
RU2642507C1 (en) * 2016-10-31 2018-01-25 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный агротехнологический университет имени П.А. Костычева" (ФГБОУ ВО РГАТУ) Method of non-satellite navigation
WO2019049624A1 (en) * 2017-09-05 2019-03-14 日本電気株式会社 Spatial recognition device, spatial recognition method, and program
JP2019522187A (en) * 2016-06-02 2019-08-08 ノキア テクノロジーズ オーユー Apparatus and related methods
WO2022239644A1 (en) * 2021-05-12 2022-11-17 株式会社デンソー Tracking device
JP7408861B1 (en) 2023-02-27 2024-01-05 三菱電機インフォメーションシステムズ株式会社 Owner identification device, owner identification method, and owner identification program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04259082A (en) * 1991-02-13 1992-09-14 Nippon Telegr & Teleph Corp <Ntt> Motion series extraction processing method for object
JP2005031955A (en) * 2003-07-11 2005-02-03 Kddi Corp Mobile body tracking system
JP2008008684A (en) * 2006-06-27 2008-01-17 Ezis Solutions:Kk Position specifying apparatus
WO2009113265A1 (en) * 2008-03-11 2009-09-17 パナソニック株式会社 Tag sensor system and sensor device, and object position estimating device and object position estimating method
JP2010020771A (en) * 2008-07-10 2010-01-28 Palo Alto Research Center Inc Method and system for identifying target value path
WO2010095437A1 (en) * 2009-02-19 2010-08-26 パナソニック株式会社 System for estimating object position, device for estimating object position, method for estimating object position, and program for estimating object position
WO2011021588A1 (en) * 2009-08-20 2011-02-24 日本電気株式会社 Mobile body trajectory identification system
WO2011084130A1 (en) * 2009-12-16 2011-07-14 Thomson Licensing Human interaction trajectory-based system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04259082A (en) * 1991-02-13 1992-09-14 Nippon Telegr & Teleph Corp <Ntt> Motion series extraction processing method for object
JP2005031955A (en) * 2003-07-11 2005-02-03 Kddi Corp Mobile body tracking system
JP2008008684A (en) * 2006-06-27 2008-01-17 Ezis Solutions:Kk Position specifying apparatus
WO2009113265A1 (en) * 2008-03-11 2009-09-17 パナソニック株式会社 Tag sensor system and sensor device, and object position estimating device and object position estimating method
JP2010020771A (en) * 2008-07-10 2010-01-28 Palo Alto Research Center Inc Method and system for identifying target value path
WO2010095437A1 (en) * 2009-02-19 2010-08-26 パナソニック株式会社 System for estimating object position, device for estimating object position, method for estimating object position, and program for estimating object position
WO2011021588A1 (en) * 2009-08-20 2011-02-24 日本電気株式会社 Mobile body trajectory identification system
WO2011084130A1 (en) * 2009-12-16 2011-07-14 Thomson Licensing Human interaction trajectory-based system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6011068292; 谷川 徹 Toru TANIGAWA,山上 勝義 Katsuyoshi YANAGANI: '"カメラと無線タグのセンサ情報統合による移動体トラッキング技術の開発 Development of the Target Trac' 日本ロボット学会学術講演会予稿集(CD-ROM) Vol.28, 20100922, p.3H2-1, 社団法人日本ロボット学会 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015098144A1 (en) * 2013-12-26 2015-07-02 富士ゼロックス株式会社 Information processing device, information processing program, recording medium, and information processing method
JP2015125575A (en) * 2013-12-26 2015-07-06 富士ゼロックス株式会社 Information processing apparatus and information processing program
US9947105B2 (en) 2013-12-26 2018-04-17 Fuji Xerox Co., Ltd. Information processing apparatus, recording medium, and information processing method
JP2019522187A (en) * 2016-06-02 2019-08-08 ノキア テクノロジーズ オーユー Apparatus and related methods
RU2642507C1 (en) * 2016-10-31 2018-01-25 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный агротехнологический университет имени П.А. Костычева" (ФГБОУ ВО РГАТУ) Method of non-satellite navigation
WO2019049624A1 (en) * 2017-09-05 2019-03-14 日本電気株式会社 Spatial recognition device, spatial recognition method, and program
JP2019045382A (en) * 2017-09-05 2019-03-22 日本電気株式会社 Space recognition device, space recognition method, and program
US20210063574A1 (en) * 2017-09-05 2021-03-04 Nec Corporation Spatial recognition device, spatial recognition method, and program
US11579296B2 (en) 2017-09-05 2023-02-14 Nec Corporation Spatial recognition device, spatial recognition method, and program
WO2022239644A1 (en) * 2021-05-12 2022-11-17 株式会社デンソー Tracking device
JP7408861B1 (en) 2023-02-27 2024-01-05 三菱電機インフォメーションシステムズ株式会社 Owner identification device, owner identification method, and owner identification program

Also Published As

Publication number Publication date
JP5906379B2 (en) 2016-04-20

Similar Documents

Publication Publication Date Title
JP5906379B2 (en) Mobile object position estimation device, mobile object position estimation method, and mobile object position estimation program
CN105283775B (en) Mobile robot and sound source position deduction system
JP5617100B2 (en) Sensor integration system and sensor integration method
Mirowski et al. Probabilistic radio-frequency fingerprinting and localization on the run
CN104715249B (en) Object tracking methods and device
KR101077967B1 (en) Apparatus and method for surveillance and tracking
CN109407697A (en) A kind of unmanned plane pursuit movement goal systems and method based on binocular distance measurement
WO2013128852A1 (en) Movement line information generation system, movement line information generation method and movement line information generation program
CN104424648B (en) Method for tracing object and equipment
JP5807635B2 (en) Flow line detection system, flow line detection method, and flow line detection program
JPWO2010095437A1 (en) Object position estimation system, object position estimation apparatus, object position estimation method, and object position estimation program
JP2013109325A (en) Map creation method using group of intelligent robots and device for the same
Papaioannou et al. Tracking people in highly dynamic industrial environments
RU2696603C1 (en) Method, apparatus and system for determining an internal location
Raza et al. Comparing and evaluating indoor positioning techniques
JP2019095418A (en) Radio-location method for locating target device contained within region of space
Liu et al. Multiview and multimodal pervasive indoor localization
JP2017040530A (en) Moving body measurement system
JP6349272B2 (en) Moving object tracking device
Quezada-Gaibor et al. Data cleansing for indoor positioning Wi-Fi fingerprinting datasets
KR20150031530A (en) Method and apparatus for video surveillance by using surveillance apparatus of unmanned aerial vehicle
Hernandez et al. Hierarchical Approach to Enhancing Topology-based WiFi Indoor Localization in Large Environments.
KR101379211B1 (en) Apparatus and method for detecting position of moving unit
López et al. Hybrid laser and vision based object search and localization
Grzechca et al. Indoor location and idetification of objects with video survillance system and WiFi module

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140717

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R151 Written notification of patent or utility model registration

Ref document number: 5906379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151