JP2013196029A - Device, method, and program for interpolating traffic line of moving object - Google Patents
Device, method, and program for interpolating traffic line of moving object Download PDFInfo
- Publication number
- JP2013196029A JP2013196029A JP2012059178A JP2012059178A JP2013196029A JP 2013196029 A JP2013196029 A JP 2013196029A JP 2012059178 A JP2012059178 A JP 2012059178A JP 2012059178 A JP2012059178 A JP 2012059178A JP 2013196029 A JP2013196029 A JP 2013196029A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- moving
- image
- flow line
- line data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000011156 evaluation Methods 0.000 claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 description 24
- 238000013500 data storage Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
開示の技術は移動物体の動線補間装置、方法、及びプログラムに関する。 The disclosed technology relates to an apparatus, a method, and a program for moving line interpolation of a moving object.
人物等の移動物体の動きを撮像して動きの軌跡（以下、動線）を取得する際に、動きを追うべき移動物体が、ある位置で遮蔽物等によって隠れることにより撮影画像から一旦消えた後に、別の位置から現れることがある。 When capturing the movement of a moving object such as a person and acquiring a movement trajectory (hereinafter referred to as a flow line), the moving object that should follow the movement disappeared from the captured image by being hidden by a shield at a certain position. Later, it may appear from another location.
移動物体を追尾する方法としては、その移動物体の存在確率（隠れる直前の移動物体の移動方向・速度から、或る時刻において或る場所に移動物体が存在している確率）を求め、存在確率が高い位置に移動物体と画像上で類似する移動物体を追尾する方法がある。 As a method of tracking a moving object, the existence probability of the moving object (probability that a moving object exists at a certain place at a certain time from the moving direction and speed of the moving object immediately before hiding) is obtained, and the existence probability There is a method of tracking a moving object that is similar to the moving object on the image at a high position.
しかしながら、この方法は、移動物体の画像の特徴が変化する場合には適用できない。例えば、シャツと、そのシャツとは異なる色の上着を着た人物の追尾をしている場合、その人物がカメラに向かって正面を向いて移動してきた後、遮蔽物等によって隠れ、その場所で方向転換をして再度現れた際に、カメラに対して背を向けていることがある。このような場合、遮蔽物によって隠れる前の画像の特徴量と、遮蔽物により一旦隠れて再度現れた場合の画像の特徴量とが異なるので追尾が出来なくなる、という問題があった。 However, this method cannot be applied when the feature of the image of the moving object changes. For example, if you are tracking a shirt and a person wearing a jacket of a different color from that shirt, after the person has moved to the front facing the camera, it is hidden by a shield, etc. When you turn around and reappear, you may turn your back against the camera. In such a case, there is a problem that tracking cannot be performed because the feature amount of the image before being hidden by the shielding object is different from the feature amount of the image once appearing again after being hidden by the shielding object.
これは、遮蔽物に隠れる前の画像の特徴量は、正面から見たシャツの色と上着の色とによって特徴量が定まるのに対し、遮蔽物に一旦隠れて再度現れた場合の画像の特徴量は、背中から見た上着の色の特徴量のみとなるためである。 This is because the feature amount of the image before it is hidden by the shield is determined by the shirt color and the color of the jacket as seen from the front, whereas the feature amount of the image once hidden behind the shield appears again. This is because the feature amount is only the feature amount of the color of the jacket viewed from the back.
また、オフィスや工場等において、業務改善を目的として、定量的な分析として人物等の移動物体の動線を映像から抽出し、場所ごとの通過人数や通過経路などを分析する場合がある。 Also, in offices and factories, for the purpose of business improvement, there are cases where the flow lines of moving objects such as people are extracted from video as a quantitative analysis, and the number of people passing by each place, passage route, etc. are analyzed.
図１０に示すように、複数の移動物体Ｘ、Ｙの領域を抽出して追尾した場合に、移動物体Ｘ、Ｙ同士が交差した場合、移動物体Ｘの動線Ｘ１は途切れないが、一時的に移動物体Ｙが隠れてしまうため、移動物体Ｙの動線Ｙ１がその区間だけ途切れてしまう。移動物体が柱や棚等による遮蔽物によって一旦隠れた場合も同様である。この場合、移動物体が隠れた後の動線が、隠れる前の移動物体とは別の移動物体のものとして抽出されてしまう、という問題があった。 As shown in FIG. 10, when moving objects X and Y intersect when moving regions X and Y are extracted and tracked, the flow line X1 of the moving object X is not interrupted, but temporarily. Since the moving object Y is hidden, the flow line Y1 of the moving object Y is interrupted only in that section. The same applies when the moving object is once hidden by a shield such as a pillar or a shelf. In this case, there is a problem that the flow line after the moving object is hidden is extracted as a moving object different from the moving object before the moving object is hidden.
この問題を解決するために、複数台のカメラの映像を利用する方法があるが、多数の人が行き交う業務改善の現場で上記のような問題が発生しないようにするためには大量のカメラが必要となってしまう。 To solve this problem, there is a method of using images from multiple cameras, but in order to prevent the above problems from occurring at the work improvement site where many people come and go, a large number of cameras are used. It becomes necessary.
また、一つのカメラ映像を利用した場合に、上記のような問題を解決する方法として、移動物体の存在確率及び画像の類似性を用いて動線を取得する方法がある。 As a method for solving the above-described problem when one camera image is used, there is a method of acquiring a flow line using the existence probability of moving objects and the similarity of images.
しかしながら、図１１に示すように、正面と背面等の向きによって人物Ｚの服装の見かけ上の色の傾向が大きく変化する場合、画像の特徴量としての色ヒストグラムが大きく変化してしまう。このため、人物が隠れる区間で人物の向きが変わると、近くに存在する別の人物を追跡してしまう場合がある、という問題があった。 However, as shown in FIG. 11, when the apparent color tendency of the clothes of the person Z greatly changes depending on the orientation of the front and the back, the color histogram as the image feature amount changes greatly. For this reason, there is a problem that if the orientation of the person changes in a section where the person is hidden, another person who exists nearby may be tracked.
開示の技術は、移動物体の動線が途切れた区間において移動物体の移動方向が変化した場合でも、精度良く動線を補間することができる移動物体の動線補間装置、方法、及びプログラムを得ることが目的である。 The disclosed technique obtains a moving object flow line interpolation apparatus, method, and program capable of accurately interpolating a moving line even when the moving direction of the moving object changes in a section where the moving line of the moving object is interrupted Is the purpose.
開示の技術は、移動物体抽出部は、動画像を構成する複数のフレーム画像から移動物体を各々抽出する。動線データ生成部は、前記移動物体抽出部により抽出された前記移動物体の動線を表す動線データを生成する。出現頻度算出部は、記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出する。重み算出部は、終端が画像内で途切れている終端途切れ動線の終端の位置及び終端途切れ動線に対応した第１の移動物体の移動方向と、始端が画像内で途切れている複数の始端途切れ動線の複数の始端の位置と、に基づいて、複数の第２の移動物体の重みを算出する。画像類似度算出部は、前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する。評価値算出部は、第２の移動物体が始端の位置に出現する出現頻度、第２の移動物体の重み、及び第１の移動物体の画像と第２の移動物体の画像との画像類似度をパラメータとして含む評価関数により、複数の第２の移動物体の評価値を各々算出する。評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程、出現頻度が及ぼす影響が大きくなり、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程、画像類似度が及ぼす影響が大きくなるように設定された評価関数である。動線補間部は、前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する。 In the disclosed technology, the moving object extraction unit extracts moving objects from a plurality of frame images constituting a moving image. The flow line data generation unit generates flow line data representing a flow line of the moving object extracted by the moving object extraction unit. The appearance frequency calculation unit calculates the appearance frequency of the moving object in a plurality of regions obtained by dividing the frame image based on the past flow line data stored in the storage unit. The weight calculation unit includes a position of the end of the discontinuous flow line whose end is discontinuous in the image, a moving direction of the first moving object corresponding to the end discontinuous flow line, and a plurality of start ends whose start ends are discontinuous in the image. The weights of the plurality of second moving objects are calculated based on the positions of the plurality of starting ends of the broken flow lines. The image similarity calculation unit calculates the image similarity between the image of the first moving object at the end of the end-discontinuous flow line and each of the images of the plurality of second moving objects at the plurality of start ends. calculate. The evaluation value calculation unit includes an appearance frequency at which the second moving object appears at the start position, a weight of the second moving object, and an image similarity between the image of the first moving object and the image of the second moving object. Each of the evaluation values of the plurality of second moving objects is calculated by using an evaluation function including a parameter. The evaluation function is more affected by the appearance frequency as the change in the moving direction of the second moving object with respect to the first moving object is larger, and the change in the moving direction of the second moving object with respect to the first moving object is greater. The evaluation function is set so that the smaller the value is, the greater the influence of the image similarity is. The flow line interpolating unit, from the end of the terminal break flow line, the start end of the start end cut flow line corresponding to the second moving object having the maximum evaluation value among the plurality of second moving objects. Interpolate the flow line in the discontinuous area.
開示の技術は、移動物体の動線が途切れた区間において移動物体の移動方向が変化した場合でも、精度良く動線を補間することができる、という効果を有する。 The disclosed technology has an effect that the flow line can be accurately interpolated even when the moving direction of the moving object changes in a section where the flow line of the moving object is interrupted.
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。 Hereinafter, an example of an embodiment of the disclosed technology will be described in detail with reference to the drawings.
図１には、本実施形態に係る移動物体の動線補間装置１０が示されている。動線補間装置１０は、動画像データ記憶部１２、移動物体抽出部１４、動線データ生成部１６、動線データ記憶部１８、出現頻度算出部２０、出現頻度記憶部２２、重み算出部２４、画像類似度算出部２６、評価値算出部２８、及び動線補間部３０を備えている。 FIG. 1 shows a moving line interpolation device 10 for a moving object according to the present embodiment. The flow line interpolation device 10 includes a moving image data storage unit 12, a moving object extraction unit 14, a flow line data generation unit 16, a flow line data storage unit 18, an appearance frequency calculation unit 20, an appearance frequency storage unit 22, and a weight calculation unit 24. , An image similarity calculation unit 26, an evaluation value calculation unit 28, and a flow line interpolation unit 30.
動画像データ記憶部１２は、デジタルカメラ、ビデオカメラ、及びカメラ機能付きの携帯電話等、動画像の撮影機能を備えた撮影装置により撮影された動画像の動画像データを記憶する。 The moving image data storage unit 12 stores moving image data of moving images taken by a photographing apparatus having a moving image photographing function, such as a digital camera, a video camera, and a mobile phone with a camera function.
移動物体抽出部１４は、動画像データ記憶部１２に記憶された動画像データを読み込み、読み込んだ動画像データを構成する複数のフレーム画像データから移動物体を抽出する。抽出した移動物体には、固有のＩＤを付与する。なお、本実施形態では、移動物体が人間である場合について説明するが、これに限らず、人間以外の動物や自動車等の移動する物体等でもよい。 The moving object extraction unit 14 reads moving image data stored in the moving image data storage unit 12 and extracts moving objects from a plurality of frame image data constituting the read moving image data. A unique ID is assigned to the extracted moving object. In the present embodiment, the case where the moving object is a human is described. However, the present invention is not limited to this, and a moving object such as an animal other than a human or a car may be used.
動線データ生成部１６は、移動物体抽出部１４により抽出された移動物体の動線を表す動線データを生成する。ここで、動線データとは、移動物体のＩＤ、移動物体の画像上の位置（座標）、時刻等を含むデータである。生成した動線データは、動線データ記憶部１８に記憶する。 The flow line data generation unit 16 generates flow line data representing the flow line of the moving object extracted by the moving object extraction unit 14. Here, the flow line data is data including the ID of the moving object, the position (coordinates) of the moving object on the image, the time, and the like. The generated flow line data is stored in the flow line data storage unit 18.
動線データ記憶部１８は、過去に抽出した移動物体の動線を表す動線データを記憶する。ここで、撮影領域に遮蔽領域が存在する場合には、画像端部から出現した移動物体が遮蔽領域で隠れ、遮蔽領域から再び出現して画像端部から消えていくことがある。この場合、移動物体が画像端部から出現して遮蔽領域で隠れる前の動線は、終端が画像内で途切れた終端途切れ動線となり、移動物体が遮蔽領域から再び出現してから画像端部から消えていく動線は、始端が画像内で途切れている始端途切れ動線となる。 The flow line data storage unit 18 stores flow line data representing a flow line of a moving object extracted in the past. Here, when there is a shielding area in the photographing area, a moving object that appears from the edge of the image may be hidden by the shielding area, appear again from the shielding area, and disappear from the edge of the image. In this case, the flow line before the moving object appears from the edge of the image and is hidden by the shielding area becomes a terminal interruption flow line where the end is interrupted in the image, and after the moving object appears again from the shielding area, The flow line that disappears from the start line is a flow line that starts and ends in the image.
出現頻度算出部２０は、動線データ記憶部１８に記憶された過去の動線データに基づいて、フレーム画像を分割した複数の領域における移動物体の出現頻度を各々算出する。すなわち、フレーム画像を複数の領域に分割した場合に、各領域について移動物体が出現した回数をカウントし、各領域の出現回数を各領域の出現回数の合計値で各々除算することにより、各領域の出現頻度を算出する。 The appearance frequency calculation unit 20 calculates the appearance frequencies of moving objects in a plurality of regions obtained by dividing the frame image, based on past flow line data stored in the flow line data storage unit 18. That is, when the frame image is divided into a plurality of regions, the number of times that a moving object has appeared for each region is counted, and the number of appearances of each region is divided by the total value of the number of appearances of each region. The appearance frequency of is calculated.
また、出現頻度算出部２０は、算出した各領域における出現頻度に基づいて、各領域の移動物体の出現確率を算出する。この出現確率は、時刻ｔ０に或る領域に存在した移動物体が、次の時刻ｔ１に或る領域に存在する事後確率Ｐ（ｔ１｜ｔ０）である。これを各領域について算出する。 Further, the appearance frequency calculation unit 20 calculates the appearance probability of the moving object in each region based on the calculated appearance frequency in each region. This appearance probability is a posterior probability P (t1 | t0) that a moving object that exists in a certain area at time t0 exists in a certain area at the next time t1. This is calculated for each region.
出現頻度記憶部２２は、出現頻度算出部２０が算出した各領域の出現頻度及び出現確率を記憶する。 The appearance frequency storage unit 22 stores the appearance frequency and the appearance probability of each region calculated by the appearance frequency calculation unit 20.
重み算出部２４は、終端途切れ動線の終端の位置及び終端途切れ動線に対応した第１の移動物体の移動方向と、複数の始端途切れ動線の複数の始端の位置と、に基づいて、複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出する。この第２の移動物体の重みは、第１の移動物体の移動方向に対して第２の移動物体の移動方向の変化が小さいほど大きくなり、第１の移動物体の移動方向に対して第２の移動物体の移動方向の変化が大きいほど小さくなる。 The weight calculation unit 24 is based on the position of the end of the end-disconnected flow line and the moving direction of the first moving object corresponding to the end-disconnected flow line, and the positions of the plurality of start ends of the plurality of start-end interrupted flow lines. Weights of a plurality of second moving objects corresponding to each of the plurality of start-end broken flow lines are calculated. The weight of the second moving object becomes larger as the change in the moving direction of the second moving object is smaller than the moving direction of the first moving object, and the second weight is increased with respect to the moving direction of the first moving object. The smaller the change in the moving direction of the moving object, the smaller the moving object.
画像類似度算出部２６は、終端途切れ動線の終端における第１の移動物体の画像と、複数の始端における複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する。本実施形態では、画像類似度算出部２６は、第１の移動物体の画像と、複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する第２の移動物体の重みを各々乗算する。 The image similarity calculation unit 26 calculates the image similarity between the first moving object image at the end of the end-discontinuous flow line and each of the plurality of second moving object images at the plurality of starting ends. In the present embodiment, the image similarity calculation unit 26 corresponds to each of the image similarities between the first moving object image and the plurality of second moving object images. Multiply each weight by.
評価値算出部２８は、第２の移動物体が始端の位置に出現する出現確率、第２の移動物体の重み、第１の移動物体の画像と第２の移動物体の画像との画像類似度をパラメータとして含む評価関数により、複数の第２の移動物体の評価値を各々算出する。この評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程、出現確率の影響が大きくなり、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程、画像類似度の影響が大きくなるように設定された関数である。 The evaluation value calculation unit 28 includes the appearance probability that the second moving object appears at the start position, the weight of the second moving object, and the image similarity between the image of the first moving object and the image of the second moving object. Each of the evaluation values of the plurality of second moving objects is calculated by using an evaluation function including a parameter. In this evaluation function, the greater the change in the moving direction of the second moving object with respect to the first moving object, the greater the influence of the appearance probability, and the more the change in the moving direction of the second moving object with respect to the first moving object is. The smaller the function is, the larger the influence of the image similarity is.
動線補間部３０は、終端途切れ動線の終端から、複数の第２の移動物体のうち評価値が最大となる第２の移動物体に対応した始端途切れ動線の始端までの途切れ領域の動線を補間する。 The flow line interpolation unit 30 moves the discontinuous region from the end of the end discontinuous flow line to the start end of the start discontinuous flow line corresponding to the second moving object having the maximum evaluation value among the plurality of second moving objects. Interpolate lines.
移動物体の動線補間装置１０は、例えば図２に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ７４、及び不揮発性の記憶部７６を備え、これらはバス７８を介して互いに接続されている。 The moving object flow line interpolation apparatus 10 can be realized by, for example, a computer 70 shown in FIG. The computer 70 includes a CPU 72, a memory 74, and a nonvolatile storage unit 76, which are connected to each other via a bus 78.
また、記憶部７６はフラッシュメモリやＨＤＤ(Hard Disk Drive)等によって実現できる。記録媒体としての記憶部７６には、コンピュータ７０を動線補間装置１０として機能させるための動線補間プログラム８０が記憶されている。 The storage unit 76 can be realized by a flash memory, an HDD (Hard Disk Drive), or the like. The storage unit 76 serving as a recording medium stores a flow line interpolation program 80 for causing the computer 70 to function as the flow line interpolation apparatus 10.
ＣＰＵ７２は、動線補間プログラム８０を記憶部７６から読み出してメモリ７４に展開し、動線補間プログラム８０が有するプロセスを順次実行する。 The CPU 72 reads the flow line interpolation program 80 from the storage unit 76 and expands it in the memory 74, and sequentially executes the processes of the flow line interpolation program 80.
動線補間プログラム８０は、移動物体抽出プロセス８２、動線データ生成プロセス８４、出現頻度算出プロセス８６、重み算出プロセス８８、画像類似度算出プロセス９０、評価値算出プロセス９２、及び動線補間プロセス９４を有する。 The flow line interpolation program 80 includes a moving object extraction process 82, a flow line data generation process 84, an appearance frequency calculation process 86, a weight calculation process 88, an image similarity calculation process 90, an evaluation value calculation process 92, and a flow line interpolation process 94. Have
ＣＰＵ７２は、移動物体抽出プロセス８２を実行することで、図１に示す移動物体抽出部１４として動作する。また、ＣＰＵ７２は、動線データ生成プロセス８４を実行することで、図１に示す動線データ生成部１６として動作する。また、ＣＰＵ７２は、出現頻度算出プロセス８６を実行することで、図１に示す出現頻度算出部２０として動作する。また、ＣＰＵ７２は、重み算出プロセス８８を実行することで、図１に示す重み算出部２４として動作する。またＣＰＵ７２は、画像類似度算出プロセス９０を実行することで、図１に示す画像類似度算出部２６として動作する。また、ＣＰＵ７２は、動線補間プロセス９４を実行することで、図１に示す動線補間部３０として動作する。また、ＣＰＵ７２は、評価値算出プロセス９２を実行することで、図１に示す評価値算出部２８として動作する。 The CPU 72 operates as the moving object extraction unit 14 illustrated in FIG. 1 by executing the moving object extraction process 82. Further, the CPU 72 operates as the flow line data generation unit 16 illustrated in FIG. 1 by executing the flow line data generation process 84. Further, the CPU 72 operates as the appearance frequency calculation unit 20 illustrated in FIG. 1 by executing the appearance frequency calculation process 86. Further, the CPU 72 operates as the weight calculation unit 24 illustrated in FIG. 1 by executing the weight calculation process 88. The CPU 72 operates as the image similarity calculation unit 26 illustrated in FIG. 1 by executing the image similarity calculation process 90. The CPU 72 operates as the flow line interpolation unit 30 shown in FIG. 1 by executing the flow line interpolation process 94. Further, the CPU 72 operates as the evaluation value calculation unit 28 illustrated in FIG. 1 by executing the evaluation value calculation process 92.
これにより、動線補間プログラム８０を実行したコンピュータ７０が、動線補間装置１０として機能することになる。なお、動線補間プログラム８０は開示の技術における動線補間プログラムの一例である。 As a result, the computer 70 that has executed the flow line interpolation program 80 functions as the flow line interpolation apparatus 10. The flow line interpolation program 80 is an example of a flow line interpolation program in the disclosed technique.
なお、動線補間装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。 The flow line interpolation device 10 can be realized by, for example, a semiconductor integrated circuit, more specifically, an ASIC (Application Specific Integrated Circuit) or the like.
次に本実施形態の作用について説明する。図３には、動線補間装置１０において実行される動線補間処理のフローチャートを示した。 Next, the operation of this embodiment will be described. FIG. 3 shows a flowchart of the flow line interpolation process executed in the flow line interpolation apparatus 10.
図３に示すように、ステップ１００では、移動物体抽出部１４が、動画像データ記憶部１２に記憶された動画像データを取得し、取得した動画像データに基づいて、移動物体を抽出する。移動物体の抽出方法としては、例えば背景差分法などの公知の方法を用いる。例えば、動画像を構成する複数のフレーム画像データの各画素値の中央値を算出し、この中央値を各画素値とする背景画像データを生成する。そして、生成した背景画像データと各フレーム画像データとの差分領域を移動物体領域として抽出する。なお、本実施形態では、移動物体として人間を抽出するので、移動物体領域の大きさや縦横比、色情報等に基づいて、移動物体領域のうち人物領域のみを抽出する。 As shown in FIG. 3, in step 100, the moving object extraction unit 14 acquires moving image data stored in the moving image data storage unit 12, and extracts a moving object based on the acquired moving image data. As a moving object extraction method, for example, a known method such as a background subtraction method is used. For example, a median value of each pixel value of a plurality of frame image data constituting the moving image is calculated, and background image data having the median value as each pixel value is generated. Then, a difference area between the generated background image data and each frame image data is extracted as a moving object area. In this embodiment, since a person is extracted as a moving object, only a person area is extracted from the moving object area based on the size, aspect ratio, color information, and the like of the moving object area.
ステップ１０２では、動線データ生成部１６が、移動物体抽出部１４により抽出された移動物体の動線を表す動線データを生成する。具体的には、例えば非特許文献１等に記載されたパーティクルフィルタなどの公知の方法を用いて動線データを生成する。例えば、移動物体抽出部１４により抽出された移動物体の色情報や移動速度、移動方向などの情報を用いて、各フレーム画像間で同一移動物体の対応付けを行って移動物体に固有のＩＤを付与する。そして、移動物体のＩＤと、各フレーム画像における移動物体の位置（座標）と、各フレーム画像における移動物体のサイズと、各フレーム画像の撮影時刻と、を含むデータを動線データとして動線データ記憶部１８へ記憶する。ここで、フレーム画像における移動物体のサイズとは、例えばフレーム画像における移動物体の領域の縦横の画素数等を言い、移動物体の領域とは、移動物体そのものの形状を表す領域の他、移動物体の形状に外接又は内接する矩形、円等の領域を言う。従って、移動物体のサイズとは、例えば移動物体の領域が四角形である場合には、その縦横の画素数であり、移動物体の領域が楕円である場合には、その長辺及び短辺の画素数であり、移動物体の領域が正円である場合には、その半径又は直径の画素数である。 In step 102, the flow line data generation unit 16 generates flow line data representing the flow line of the moving object extracted by the moving object extraction unit 14. Specifically, the flow line data is generated using a known method such as a particle filter described in Non-Patent Document 1 or the like. For example, by using information such as color information, moving speed, and moving direction of the moving object extracted by the moving object extracting unit 14, the same moving object is associated between the frame images, and an ID unique to the moving object is set. Give. Then, the flow line data is data including the moving object ID, the position (coordinates) of the moving object in each frame image, the size of the moving object in each frame image, and the shooting time of each frame image as flow line data. Store in the storage unit 18. Here, the size of the moving object in the frame image refers to, for example, the number of vertical and horizontal pixels of the moving object area in the frame image, and the moving object area refers to the moving object in addition to the area representing the shape of the moving object itself. A region such as a rectangle or a circle circumscribing or inscribed in the shape of Therefore, the size of the moving object is, for example, the number of pixels in the vertical and horizontal directions when the area of the moving object is a square, and the long side and the short side pixels when the area of the moving object is an ellipse. If the area of the moving object is a perfect circle, it is the number of pixels of the radius or diameter.
ステップ１０４では、出現頻度算出部２０が、動線データ記憶部１８に記憶された過去の動線データに基づいて、フレーム画像を分割した複数の領域における移動物体の出現頻度を各々算出する。なお、出現頻度の算出に用いる動線データは、動線データ記憶部１８に記憶された過去の動線データのうち、途切れていない動線データ、すなわち、動線の始端及び終端が何れも画像の端部となっている動線の動線データを用いる。具体的には、まずフレーム画像を複数の領域に分割し、各領域について移動物体が出現した回数をカウントし、各領域の出現回数を各領域の出現回数の合計値で各々除算することにより、各領域の出現頻度を算出する。そして、算出した各領域における出現頻度に基づいて、各領域の移動物体の出現確率を算出する。この出現確率は、時刻ｔ０に或る領域に存在した移動物体が、次の時刻ｔ１に或る領域に存在する事後確率Ｐ（ｔ１｜ｔ０）である。例えばＮ個の領域にそれぞれ１〜ｎの領域Ｎｏを付与した場合、時刻ｔ０において領域１〜ｎに存在した移動物体が時刻ｔ１に領域１〜ｎに存在する事後確率は、それぞれＰ１１（ｔ１｜ｔ０）〜Ｐｎｎ（ｔ１｜ｔ０）で表される。 In step 104, the appearance frequency calculation unit 20 calculates the appearance frequency of the moving object in each of the plurality of regions obtained by dividing the frame image based on the past flow line data stored in the flow line data storage unit 18. Note that the flow line data used for calculating the appearance frequency is unbroken flow line data among the past flow line data stored in the flow line data storage unit 18, that is, the start and end of the flow line are both images. The flow line data of the flow line at the end of the line is used. Specifically, by first dividing the frame image into a plurality of areas, counting the number of times a moving object has appeared for each area, and dividing the number of appearances of each area by the total number of times of appearance of each area, The appearance frequency of each area is calculated. Then, the appearance probability of the moving object in each region is calculated based on the calculated appearance frequency in each region. This appearance probability is a posterior probability P (t1 | t0) that a moving object that exists in a certain area at time t0 exists in a certain area at the next time t1. For example, when region numbers 1 to n are assigned to N regions, respectively, the posterior probabilities that the moving objects existing in the regions 1 to n at the time t0 exist in the regions 1 to n at the time t1 are P 11 (t1 | represented by t0) | t0) ~P nn ( t1.
ステップ１０６では、重み算出部２４が、終端途切れ動線の終端の位置及び終端途切れ動線に対応した第１の移動物体の移動方向と、始端途切れ動線の始端の位置と、に基づいて、始端途切れ動線に対応した第２の移動物体の重みを算出する。なお、終端途切れ動線とは、画像の端部が始端で、終端が画像内部で途切れている動線である。また、始端途切れ動線とは、画像内部に始端があり、画像の端部が終端となっている動線である。 In step 106, the weight calculation unit 24, based on the end position of the terminal break flow line, the moving direction of the first moving object corresponding to the end break flow line, and the start position of the start end flow line, The weight of the second moving object corresponding to the start-end broken flow line is calculated. Note that the end-discontinuous flow line is a flow line where the end of the image is the start and the end is interrupted inside the image. The start-end broken flow line is a flow line having a start end inside the image and an end portion of the image being the end.
例えば図４に示すように、時刻ｔ０において、終端途切れ動線ＬＯの終端であるＯ点で第１の移動物体が遮蔽領域Ｓによって遮蔽された場合、このＯ点における第１の移動物体の移動方向を求める。第１の移動物体の移動方向（移動ベクトル）は、時刻ｔ０−Δｔにおける第１の移動物体の位置と時刻ｔ０における第１の移動物体の位置（Ｏ点）とから求めることができる。また、第１の移動物体の移動速度は、時刻ｔ０−Δｔにおける第１の移動物体の位置から時刻ｔ０における第１の移動物体の位置（Ｏ点）までの距離をΔｔで除算することにより求めることができる。 For example, as shown in FIG. 4, when the first moving object is shielded by the shielding region S at the point O that is the end of the end-of-term discontinuity flow line LO at time t0, the movement of the first moving object at the point O is performed. Find the direction. The moving direction (movement vector) of the first moving object can be obtained from the position of the first moving object at time t0-Δt and the position (point O) of the first moving object at time t0. Further, the moving speed of the first moving object is obtained by dividing the distance from the position of the first moving object at time t0-Δt to the position (point O) of the first moving object at time t0 by Δt. be able to.
そして、Ｏ点における第１の移動物体の移動方向及び移動速度に基づいて、図５に示すように、Ｏ点を起点とした極座標（ｒ、θ）に応じた重みを定義する。まず、Ｏ点における第１の移動物体の移動速度に基づいて、Ｏ点からの距離ｒに応じた重みＷ（ｒ）を設定する。重みＷ（ｒ）は、Ｏ点における第１の移動物体の移動速度から時刻ｔ０から時刻ｔ１までの移動距離を求め、当該移動距離の重みＷ（ｒ）が最も高く設定され、当該移動距離からの変化が大きくなるに従って重みＷ（ｒ）が小さくなるように設定されている。図５の例では、Ｏ点に近い側から重みＷ（ｒ）が０．１、０．５、０．８、０．５と設定されている。 Then, based on the moving direction and moving speed of the first moving object at the point O, as shown in FIG. 5, weights corresponding to polar coordinates (r, θ) starting from the point O are defined. First, the weight W (r) corresponding to the distance r from the O point is set based on the moving speed of the first moving object at the O point. The weight W (r) is obtained from the moving speed of the first moving object at the point O by calculating the moving distance from the time t0 to the time t1, and the weight W (r) of the moving distance is set to be the highest. The weight W (r) is set so as to decrease as the change in. In the example of FIG. 5, the weight W (r) is set to 0.1, 0.5, 0.8, and 0.5 from the side close to the point O.
次に、Ｏ点における第１の移動物体の移動方向に基づいて、Ｏ点における第１の移動物体の移動方向と、第２の移動物体の位置とＯ点とを結ぶ線と、が成す角度θに応じた重みＷ（θ）を設定する。重みＷ（θ）は、Ｏ点における第１の移動物体の移動方向の重みＷ（θ）が最も高く設定され、第１の移動物体の移動方向に対する第２の移動物体の移動方向の変化が大きくなるに従って重みＷ（θ）が小さくなるように設定されている。図５の例では、第１の移動物体の移動方向の重みＷ（θ）が０．８と最も高く設定され、第１の移動物体の移動方向からの変化が大きくなるに従って重みＷ（θ）が小さくなるように、０．５、０．１と設定されている。なお、重みＷ（ｒ）、Ｗ（θ）の具体的な値は、例えば時刻ｔ０−Δｔにおける第１の移動物体の移動ベクトルを基準としたガウス分布を求め、これに基づいて設定することができる。 Next, based on the moving direction of the first moving object at point O, the angle formed by the moving direction of the first moving object at point O and the line connecting the position of the second moving object and point O A weight W (θ) corresponding to θ is set. As the weight W (θ), the weight W (θ) of the moving direction of the first moving object at the point O is set to be the highest, and the change in the moving direction of the second moving object with respect to the moving direction of the first moving object is changed. The weight W (θ) is set so as to decrease as the value increases. In the example of FIG. 5, the weight W (θ) in the moving direction of the first moving object is set to the highest value of 0.8, and the weight W (θ) is increased as the change from the moving direction of the first moving object increases. Is set to 0.5 and 0.1 so as to be small. Note that specific values of the weights W (r) and W (θ) can be set based on, for example, a Gaussian distribution based on the movement vector of the first moving object at time t0−Δt. it can.
そして、第２の移動物体の重みＷ（ｒ、θ）を算出する。なお、Ｗ（ｒ、θ）はＷ（ｒ）＋Ｗ（θ）で求める。 Then, the weight W (r, θ) of the second moving object is calculated. Note that W (r, θ) is obtained by W (r) + W (θ).
例えば図４に示すように、時刻ｔ１において複数の第２の移動物体が遮蔽領域Ｓから現れ、始端がＡ点である始端途切れ動線ＬＡ、始端がＢ点である始端途切れ動線ＬＢがあったとする。この場合、始端途切れ動線ＬＡ、ＬＢに対応した第２の移動物体の重みＷＡ（ｒ、θ）、ＷＢ（ｒ、θ）を算出する（図５参照）。 For example, as shown in FIG. 4, at time t1, a plurality of second moving objects appear from the shielding area S, and there are a start-end broken flow line LA whose start end is a point A and a start-end break flow line LB whose start end is a point B. Suppose. In this case, the weights W A (r, θ) and W B (r, θ) of the second moving object corresponding to the start-end broken flow lines LA, LB are calculated (see FIG. 5).
ステップ１０８では、画像類似度算出部２６が、終端途切れ動線の終端における第１の移動物体の画像と、複数の始端における複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する。具体的には、例えば図６に示すように、終端途切れ動線の終端であるＯ点における第１の移動物体の画像ＩＯ、始端途切れ動線の始端であるＡ点、Ｂ点における第２の移動物体の画像ＩＡ、ＩＢの色ヒストグラムをそれぞれ求める。そして、画像ＩＯと画像ＩＡとの色ヒストグラムの類似度ＳＩＭＡ（ＩＡ、ＩＯ）、画像ＩＯと画像ＩＡとの色ヒストグラムの類似度ＳＩＭＢ（ＩＢ、ＩＯ）をそれぞれ求める。次に、次の（１）、（２）式により画像ＩＡと画像ＩＯの画像類似度ｄＡ、画像ＩＢと画像ＩＯの画像類似度ｄＢをそれぞれ求める。 In step 108, the image similarity calculation unit 26 calculates the image similarity between the image of the first moving object at the end of the end discontinuous flow line and each of the images of the plurality of second moving objects at the start ends. Calculate each. Specifically, for example, as shown in FIG. 6, the image I O of the first moving object at the point O that is the end of the end-discontinuous flow line, the second point at the point A and the point B that is the start end of the start-end discontinuous flow line. The color histograms of the moving object images I A and I B are obtained. The image I O and the image I color histogram similarity with A SIM A (I A, I O), color histogram similarity between the image I O and the image I A SIM B (I B, I O) of Ask for each. Next, the following (1), (2) obtaining an image I A and the image I O image similarity d A of the image I B and the image I O of the image similarity d B respectively by equations.
ｄＡ＝ＳＩＭＡ（ＩＡ、ＩＯ）×ＷＡ（ｒ、θ） ・・・（１）
ｄＢ＝ＳＩＭＢ（ＩＢ、ＩＯ）×ＷＢ（ｒ、θ） ・・・（２）
d A = SIM A (I A , I O ) × W A (r, θ) (1)
d B = SIM B (I B , I O ) × W B (r, θ) (2)
色ヒストグラムの類似度の算出は、例えば非特許文献２に記載された方法を用いることができる。この方法では、２個の比較対象の画像１、２の色ヒストグラムを正規化した色ヒストグラムＨ１、Ｈ２を算出する。次に、色ヒストグラムＨ１、Ｈ２の各ビン（区間）で頻度を比較し、最小値を選択する。そして、選択した最小値を全区間について足し合わる。最後に、色ヒストグラムＨ１又はＨ２の頻度合計値で除算して正規化する。この値が画像１、２の類似度となり、０〜１の範囲の値で表される。なお、１が最も類似度が高く、０が最も類似度が低いことを表す。すなわち、類似度ＳＩＭ（Ｈ１、Ｈ２）は次の（３）式で表される。 For example, the method described in Non-Patent Document 2 can be used to calculate the similarity of color histograms. In this method, color histograms H1 and H2 obtained by normalizing the color histograms of the two images 1 and 2 to be compared are calculated. Next, the frequency is compared in each bin (section) of the color histograms H1 and H2, and the minimum value is selected. Then, the selected minimum value is added for all the sections. Finally, it is normalized by dividing by the frequency total value of the color histogram H1 or H2. This value is the similarity between the images 1 and 2 and is represented by a value in the range of 0 to 1. Note that 1 represents the highest similarity and 0 represents the lowest similarity. That is, the similarity SIM (H1, H2) is expressed by the following equation (3).
ＳＩＭ（Ｈ１、Ｈ２）＝Σｍｉｎ（Ｈ１、Ｈ２）／ΣＨ１ ・・・（３） SIM (H1, H2) = Σmin (H1, H2) / ΣH1 (3)
ステップ１１０では、評価値算出部２８が、第２の移動物体が始端の位置に出現する出現確率、第２の移動物体の重み、第２の移動物体の画像類似度をパラメータとして含む評価関数により、複数の第２の移動物体の第１の移動物体に対する評価値を各々算出する。 In step 110, the evaluation value calculation unit 28 uses an evaluation function including, as parameters, the appearance probability that the second moving object appears at the start position, the weight of the second moving object, and the image similarity of the second moving object. The evaluation values of the plurality of second moving objects with respect to the first moving object are calculated.
例えば図７に示すように、Ａ点に出現する出現確率、すなわち、時刻ｔ０の時点においてＯ点に存在した移動物体が時刻ｔ１の時点でＡ点に存在する存在確率をＰＡ（ｔ１｜ｔ０）とする。また、Ａ点に出現した移動物体の重みをＷＡ（θ）、Ｏ点における移動物体の画像ＩＯとＡ点における移動物体の画像ＩＡとの画像類似度をｄＡとすると、Ａ点における移動物体の評価値ｅＡは次の（４）式で表される評価値関数により求められる。 For example, as shown in FIG. 7, the probability of appearing at point A, that is, the existence probability that a moving object present at point O at time t0 is present at point A at time t1 is represented by P A (t1 | t0 ). Moreover, the weight of the moving object that appeared point A W A (theta), when the image similarity between the image I A of the moving object in the image I O and the point A of the moving object at the point O and d A, point A The evaluation value e A of the moving object at is obtained by an evaluation value function expressed by the following equation (4).
ｅＡ＝ａ／ｗＡ（θ）×ＰＡ（ｔ１｜ｔ０）＋ｂ（１−ａ／ｗＡ（θ））×ｄＡ ・・・（４） e A = a / w A (θ) × P A (t1 | t0) + b (1−a / w A (θ)) × d A (4)
同様に、時刻ｔ０の時点においてＯ点に存在した移動物体が時刻ｔ１の時点でＢ点に存在する存在確率をＰＢ（ｔ１｜ｔ０）とする。また、Ｂ点に出現した移動物体の重みをＷＢ（θ）、Ｏ点における移動物体の画像ＩＯとＢ点における移動物体の画像ＩＢとの画像類似度をｄＢとすると、Ｂ点における移動物体の評価値ｅＢは次の（５）式で表される評価関数により求められる。 Similarly, let P B (t1 | t0) be the existence probability that a moving object existing at point O at time t0 is present at point B at time t1. Moreover, the weight of the moving object that appeared point B W B (theta), when the image similarity between the image I B of the moving object in the image I O and point B of the moving object at the point O and d B, point B The evaluation value e B of the moving object at is obtained by an evaluation function expressed by the following equation (5).
ｅＢ＝ａ／ｗＢ（θ）×ＰＢ（ｔ１｜ｔ０）＋ｂ（１−ａ／ｗＢ（θ））×ｄＢ ・・・（５） e B = a / w B (θ) × P B (t1 | t0) + b (1−a / w B (θ)) × d B (5)
なお、ａ、ｂは予め定めた定数であり、評価値の精度が高くなるような値に設定される。 In addition, a and b are predetermined constants, and are set to values that increase the accuracy of the evaluation value.
この評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程（重みが小さい程）、出現確率が及ぼす影響が大きくなるように設定された関数である。また、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程（重みが大きい程）、画像類似度が及ぼす影響が大きくなるように設定された関数である。 This evaluation function is a function set so that the influence of the appearance probability increases as the change in the moving direction of the second moving object with respect to the first moving object increases (the weight decreases). Further, the function is set so that the influence of the image similarity increases as the change in the moving direction of the second moving object with respect to the first moving object decreases (the weight increases).
ステップ１１２では、動線補間部３０が、終端途切れ動線の終端から、複数の第２の移動物体のうち評価値が最大となる第２の移動物体に対応した始端途切れ動線の始端までの途切れ領域の動線を補間する。例えば図８に示すように、Ａ点における移動物体の候補１の画像類似度ｄＡが０．７、出現確率ＰＡが０．３、出現確率に対する重み係数ａ／ｗＢ（θ）が０．２、画像類似度に対する重み係数（１−ａ／ｗＢ（θ））が０．８の場合、評価値ｅＡは０．６２となる。また、Ｂ点における移動物体の候補２の画像類似度ｄＢが０．５、出現確率ＰＢが０．７、出現確率に対する重み係数ａ／ｗＡ（θ）が０．８、画像類似度に対する重み係数（１−ａ／ｗＢ（θ））が０．２の場合、評価値ｅＢは０．６６となる。従って、候補１の評価値ｅＡよりも候補２の評価値ｅＢの方が大きいため、候補２が選択される。 In step 112, the flow line interpolating unit 30 extends from the end of the end cut flow line to the start end of the start cut flow line corresponding to the second moving object having the maximum evaluation value among the plurality of second moving objects. Interpolate the flow lines in the discontinuous area. For example, as shown in FIG. 8, the image similarity d A of the moving object candidate 1 at point A is 0.7, the appearance probability P A is 0.3, and the weight coefficient a / w B (θ) for the appearance probability is 0. .2, when the weight coefficient (1-a / w B (θ)) for the image similarity is 0.8, the evaluation value e A is 0.62. Further, the image similarity d B of the moving object candidate 2 at point B is 0.5, the appearance probability P B is 0.7, the weight coefficient a / w A (θ) for the appearance probability is 0.8, and the image similarity When the weighting factor (1-a / w B (θ)) for is 0.2, the evaluation value e B is 0.66. Therefore, since the larger evaluation value e B of the candidate 2 than the evaluation value e A candidate 1, candidate 2 is selected.
一方、従来では、図９に示すように、画像類似度と、Ｏ点における移動物体の移動方向等から求めた存在確率とによって遮蔽領域Ｓ内の動線を補間するため、画像類似度及び存在確率ともに高い値である候補１の移動物体を選択してしまう。 On the other hand, conventionally, as shown in FIG. 9, since the flow line in the shielding area S is interpolated based on the image similarity and the existence probability obtained from the moving direction of the moving object at the point O, the image similarity and presence The candidate 1 moving object having a high probability is selected.
これに対し、本実施形態に係る評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程（重みが小さい程）、出現確率が及ぼす影響が大きくなるように設定された関数である。また、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程（重みが大きい程）、画像類似度が及ぼす影響が大きくなるように設定された関数である。このため、移動物体が遮蔽領域Ｓで方向変換したような場合でも、候補２の移動物体が選択され、精度良く動線を補間することができる。 On the other hand, the evaluation function according to the present embodiment is set such that the greater the change in the movement direction of the second moving object with respect to the first moving object (the smaller the weight), the greater the influence of the appearance probability. Function. Further, the function is set so that the influence of the image similarity increases as the change in the moving direction of the second moving object with respect to the first moving object decreases (the weight increases). For this reason, even when the moving object changes its direction in the shielding region S, the candidate 2 moving object is selected and the flow line can be interpolated with high accuracy.
遮蔽領域Ｓの動線を補間する場合、線形補間でもよいが、例えば遮蔽領域Ｓの出現確率に基づいてスプライン曲線を求め、このスプライン曲線によりＯ点からＢ点までの動線を補間するようにしてもよい。 When interpolating the flow line of the shielding area S, linear interpolation may be used. For example, a spline curve is obtained based on the appearance probability of the shielding area S, and the flow line from point O to point B is interpolated by this spline curve. May be.
なお、本実施形態では、評価関数のパラメータとして出現確率を用いた場合について説明したが、これに限らず、出現確率に代えて出現頻度をパラメータとしてもよい。 In this embodiment, the case where the appearance probability is used as the parameter of the evaluation function has been described. However, the present invention is not limited to this, and the appearance frequency may be used as a parameter instead of the appearance probability.
また、本実施形態では、画像類似度の算出において、色ヒストグラムの類似度ＳＩＭに重みＷ（ｒ、θ）を乗算しているが、重みＷ（ｒ、θ）を乗算せずに、色ヒストグラムの類似度ＳＩＭのみを画像類似度としてもよい。また、画像類似度の算出において、色ヒストグラムの類似度ＳＩＭに重みＷ（θ）のみを乗算するようにしてもよい。 In the present embodiment, in calculating the image similarity, the color histogram similarity SIM is multiplied by the weight W (r, θ), but the color histogram is not multiplied by the weight W (r, θ). Only the similarity SIM may be used as the image similarity. In calculating the image similarity, the color histogram similarity SIM may be multiplied by only the weight W (θ).
また、上記で開示の技術は、例えばオフィスや工場等において業務改善を目的とする定量的な分析として、場所ごとの通過人数や通過経路などを分析する分析装置に適用することができるが、これに限られるものではない。例えば、監視カメラや、被写体を追尾する機能を備えたデジタルカメラ等に適用することができる。 In addition, the technology disclosed above can be applied to an analysis device that analyzes the number of people passing by each place, the passage route, etc. as a quantitative analysis for the purpose of business improvement in an office or factory, for example. It is not limited to. For example, the present invention can be applied to a monitoring camera, a digital camera provided with a function for tracking a subject, and the like.
また、上記では開示の技術に係る動線補間プログラムが記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。 In the above description, the flow line interpolation program according to the disclosed technique is stored (installed) in the storage unit 76 in advance. However, the present invention is not limited to this. The image processing program according to the disclosed technology can be provided in a form recorded on a recording medium such as a CD-ROM or a DVD-ROM.
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。 All documents, patent applications and technical standards mentioned in this specification are to the same extent as if each individual document, patent application and technical standard were specifically and individually stated to be incorporated by reference. Incorporated by reference in the book.
以上の実施形態に関し、更に以下の付記を開示する。 Regarding the above embodiment, the following additional notes are disclosed.
（付記１）
前記終端から前記始端までの途切れ領域における前記移動物体の出現頻度に基づいて、補間する前記動線の補間曲線を算出する
請求項５記載の移動物体の動線補間方法。
(Appendix 1)
6. The moving object interpolation method according to claim 5, wherein an interpolation curve of the moving line to be interpolated is calculated based on an appearance frequency of the moving object in a discontinuous region from the end to the start.
（付記２）
算出した前記複数の領域における出現頻度に基づいて、対象領域以外の領域に存在した前記移動物体が対象領域に出現する出現確率を前記複数の領域毎に算出し、
前記移動物体が前記始端の位置に出現する出現確率、前記第２の移動物体の重み、前記第２の移動物体の画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現確率の影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度の影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する
請求項５又は付記１記載の移動物体の動線補間方法。
(Appendix 2)
Based on the calculated appearance frequency in the plurality of regions, the appearance probability that the moving object that existed in the region other than the target region appears in the target region is calculated for each of the plurality of regions,
It includes the appearance probability that the moving object appears at the position of the start edge, the weight of the second moving object, the image similarity of the second moving object as parameters, and the second moving object with respect to the first moving object. The greater the change in the moving direction of the moving object, the greater the effect of the appearance probability, and the smaller the change in the moving direction of the second moving object with respect to the first moving object, the greater the effect of the image similarity. The moving object flow line interpolation method according to claim 5, wherein an evaluation value for each of the plurality of second moving objects with respect to the first moving object is calculated using an evaluation function set to be.
（付記３）
前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する前記第２の移動物体の重みを乗算する
請求項５、付記１、及び付記２の何れかに記載の移動物体の動線補間方法。
(Appendix 3)
The second corresponding to each of the image similarities between the image of the first moving object at the end of the end-discontinuous flow line and each of the images of the plurality of second moving objects at the plurality of start ends. The moving line interpolation method for a moving object according to claim 5, wherein the weight of the moving object is multiplied.
（付記４）
前記動線補間ステップは、前記終端から前記始端までの途切れ領域における前記移動物体の出現頻度に基づいて、補間する前記動線の補間曲線を算出する
請求項６記載の移動物体の動線補間プログラム。
(Appendix 4)
The moving line interpolation program for a moving object according to claim 6, wherein the flow line interpolation step calculates an interpolation curve of the moving line to be interpolated based on an appearance frequency of the moving object in a discontinuous region from the end to the start. .
（付記５）
前記出現頻度算出ステップは、算出した前記複数の領域における出現頻度に基づいて、対象領域以外の領域に存在した前記移動物体が対象領域に出現する出現確率を前記複数の領域毎に算出し、
前記評価値算出ステップは、前記移動物体が前記始端の位置に出現する出現確率、前記第２の移動物体の重み、前記第２の移動物体の画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現確率の影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度の影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する
請求項６又は付記４記載の移動物体の動線補間プログラム。
(Appendix 5)
The appearance frequency calculating step calculates, for each of the plurality of regions, an appearance probability that the moving object that has existed in a region other than the target region appears in the target region based on the calculated appearance frequency in the plurality of regions.
The evaluation value calculating step includes, as parameters, an appearance probability that the moving object appears at the start position, a weight of the second moving object, and an image similarity of the second moving object. The greater the change in the moving direction of the second moving object with respect to the moving object, the greater the influence of the appearance probability, and the smaller the change in the moving direction of the second moving object with respect to the first moving object, The evaluation value of each of the plurality of second moving objects with respect to the first moving object is calculated by an evaluation function set so as to increase the influence of the image similarity. Flow line interpolation program.
（付記６）
前記画像類似度算出ステップは、前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する前記第２の移動物体の重みを乗算する
請求項６、付記４、及び付記５の何れかに記載の移動物体の動線補間プログラム。
(Appendix 6)
In the image similarity calculation step, an image similarity between an image of the first moving object at the end of the end-discontinuous flow line and each of the images of the plurality of second moving objects at the plurality of start ends is calculated. The moving object flow line interpolation program according to claim 6, wherein each is multiplied by a weight of the corresponding second moving object.
１０ 動線補間装置
１２ 動画像データ記憶部
１４ 移動物体抽出部
１６ 動線データ生成部
１８ 動線データ記憶部
２０ 出現頻度算出部
２２ 出現頻度記憶部
２４ 重み算出部
２６ 画像類似度算出部
２８ 評価値算出部
３０ 動線補間部
７０ コンピュータ
７４ メモリ
７６ 記憶部
７８ バス
８０ 動線補間プログラム
DESCRIPTION OF SYMBOLS 10 Flow line interpolation apparatus 12 Moving image data storage part 14 Moving object extraction part 16 Flow line data generation part 18 Flow line data storage part 20 Appearance frequency calculation part 22 Appearance frequency storage part 24 Weight calculation part 26 Image similarity calculation part 28 Evaluation Value calculation unit 30 Flow line interpolation unit 70 Computer 74 Memory 76 Storage unit 78 Bus 80 Flow line interpolation program
Claims (6)
前記移動物体抽出部により抽出された前記移動物体の動線を表す動線データを生成する動線データ生成部と、
記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出する出現頻度算出部と、
前記動線データ生成部により生成された前記動線データで表される前記移動物体の動線のうち終端が画像内で途切れている終端途切れ動線の前記終端の位置及び前記終端途切れ動線に対応した第１の移動物体の移動方向と、前記動線データ生成部により生成された前記動線データで表される前記移動物体の動線のうち始端が画像内で途切れている複数の始端途切れ動線の前記複数の始端の位置と、に基づいて、前記複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出する重み算出部と、
前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する画像類似度算出部と、
前記第２の移動物体が前記始端の位置に出現する出現頻度、前記第２の移動物体の重み、及び前記第１の移動物体の画像と前記第２の移動物体の画像との画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現頻度が及ぼす影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度が及ぼす影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する評価値算出部と、
前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する動線補間部と、
を含む移動物体の動線補間装置。 A moving object extraction unit for extracting each moving object from a plurality of frame images constituting the moving image;
A flow line data generation unit that generates flow line data representing a flow line of the moving object extracted by the moving object extraction unit;
An appearance frequency calculating unit that calculates the appearance frequency of each of the moving objects in a plurality of regions obtained by dividing the frame image based on the past flow line data stored in the storage unit;
Among the flow lines of the moving object represented by the flow line data generated by the flow line data generation unit, the terminal position of the terminal broken flow line and the terminal broken flow line are terminated in the image. The moving direction of the corresponding first moving object and a plurality of starting edge breaks where the starting edge is broken in the image among the movement lines of the moving object represented by the movement line data generated by the movement line data generating unit. A weight calculating unit for calculating a weight of a plurality of second moving objects corresponding to each of the plurality of start-end broken flow lines based on the positions of the plurality of start-ends of the flow line;
An image similarity calculation unit that calculates an image similarity between each of the first moving object image at the end of the end-discontinuous flow line and each of the plurality of second moving object images at the plurality of start ends. When,
The appearance frequency at which the second moving object appears at the position of the starting edge, the weight of the second moving object, and the image similarity between the image of the first moving object and the image of the second moving object. The second moving object with respect to the first moving object increases as the change in the moving direction of the second moving object with respect to the first moving object increases. An evaluation value for each of the plurality of second moving objects is calculated for each of the plurality of second moving objects by an evaluation function set so that the influence of the image similarity is greater as the change in the moving direction of the image is smaller. An evaluation value calculation unit;
Movement of a discontinuous region from the end of the end discontinuous flow line to the start end of the start discontinuous flow line corresponding to the second moving object having the maximum evaluation value among the plurality of second moving objects. A flow line interpolation unit for interpolating lines;
Moving line interpolation device for moving objects including
請求項１記載の移動物体の動線補間装置。 The moving line interpolation device for a moving object according to claim 1, wherein the flow line interpolation unit calculates an interpolation curve of the moving line to be interpolated based on the appearance frequency of the moving object in a discontinuous region from the end to the start. .
前記評価値算出部は、前記移動物体が前記始端の位置に出現する出現確率、前記第２の移動物体の重み、前記第２の移動物体の画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現確率の影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度の影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する
請求項１又は請求項２記載の移動物体の動線補間装置。 The appearance frequency calculation unit calculates, for each of the plurality of regions, an appearance probability that the moving object that has existed in a region other than the target region appears in the target region based on the calculated appearance frequencies in the plurality of regions.
The evaluation value calculation unit includes, as parameters, an appearance probability that the moving object appears at the start position, a weight of the second moving object, and an image similarity of the second moving object. The greater the change in the moving direction of the second moving object with respect to the moving object, the greater the influence of the appearance probability, and the smaller the change in the moving direction of the second moving object with respect to the first moving object, The moving object according to claim 1 or 2, wherein evaluation values for the first moving object of the plurality of second moving objects are respectively calculated by an evaluation function set so that the influence of the image similarity is increased. Flow line interpolation device.
請求項１〜請求項３の何れか１項に記載の移動物体の動線補間装置。 The image similarity calculation unit calculates an image similarity between the image of the first moving object at the end of the end-discontinuous flow line and each of the images of the plurality of second moving objects at the plurality of start ends. The moving object interpolation apparatus according to any one of claims 1 to 3, wherein each is multiplied by a weight of the corresponding second moving object.
動画像を構成する複数のフレーム画像から移動物体を各々抽出し、
抽出された前記移動物体の動線を表す動線データを生成し、
記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出し、
生成された前記動線データで表される前記移動物体の動線のうち終端が画像内で途切れている終端途切れ動線の前記終端の位置及び前記終端途切れ動線に対応した第１の移動物体の移動方向と、生成された前記動線データで表される前記移動物体の動線のうち始端が画像内で途切れている複数の始端途切れ動線の前記複数の始端の位置と、に基づいて、前記複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出し、
前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出し、
前記第２の移動物体が前記始端の位置に出現する出現頻度、前記第２の移動物体の重み、及び前記第１の移動物体の画像と前記第２の移動物体の画像との画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現頻度が及ぼす影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度が及ぼす影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出し、
前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する
移動物体の動線補間方法。 Computer
Each moving object is extracted from a plurality of frame images constituting a moving image,
Generating flow line data representing a flow line of the extracted moving object;
Based on the past flow line data stored in the storage unit, each of the appearance frequency of the moving object in a plurality of regions obtained by dividing the frame image, respectively,
Of the moving line of the moving object represented by the generated flow line data, the position of the terminal broken line where the terminal is broken in the image and the first moving object corresponding to the terminal broken line Based on the movement direction of the moving object and the positions of the plurality of start ends of the plurality of start end discontinuous flow lines of which the start ends are interrupted in the image among the flow lines of the moving object represented by the generated flow line data. , Calculating a weight of a plurality of second moving objects corresponding to each of the plurality of start-off flow lines,
Calculating the image similarity between the first moving object image at the end of the end-discontinuous flow line and each of the plurality of second moving object images at the plurality of starting ends,
The appearance frequency at which the second moving object appears at the position of the starting edge, the weight of the second moving object, and the image similarity between the image of the first moving object and the image of the second moving object. The second moving object with respect to the first moving object increases as the change in the moving direction of the second moving object with respect to the first moving object increases. The evaluation values of the plurality of second moving objects with respect to the first moving object are respectively calculated by the evaluation function set so that the influence of the image similarity is increased as the change in the moving direction of ,
Movement of a discontinuous region from the end of the end discontinuous flow line to the start end of the start discontinuous flow line corresponding to the second moving object having the maximum evaluation value among the plurality of second moving objects. Interpolate lines A method for interpolating moving objects.
動画像を構成する複数のフレーム画像から移動物体を各々抽出する移動物体抽出ステップと、
前記移動物体抽出ステップにより抽出された前記移動物体の動線を表す動線データを生成する動線データ生成ステップと、
記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出する出現頻度算出ステップと、
前記動線データ生成ステップにより生成された前記動線データで表される前記移動物体の動線のうち終端が画像内で途切れている終端途切れ動線の前記終端の位置及び前記終端途切れ動線に対応した第１の移動物体の移動方向と、前記動線データ生成ステップにより生成された前記動線データで表される前記移動物体の動線のうち始端が画像内で途切れている複数の始端途切れ動線の前記複数の始端の位置と、に基づいて、前記複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出する重み算出ステップと、
前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する画像類似度算出ステップと、
前記第２の移動物体が前記始端の位置に出現する出現頻度、前記第２の移動物体の重み、及び前記第１の移動物体の画像と前記第２の移動物体の画像との画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現頻度が及ぼす影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度が及ぼす影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する評価値算出ステップと、
前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する動線補間ステップと、
を含む処理を実行させるための移動物体の動線補間プログラム。 On the computer,
A moving object extraction step for extracting each moving object from a plurality of frame images constituting the moving image;
A flow line data generation step for generating flow line data representing a flow line of the moving object extracted by the moving object extraction step;
An appearance frequency calculating step for calculating the appearance frequency of the moving object in each of a plurality of regions obtained by dividing the frame image, based on the past flow line data stored in the storage unit;
Among the movement lines of the moving object represented by the movement line data generated by the movement line data generation step, the end position of the movement line is terminated in the image and the position of the termination line The moving direction of the corresponding first moving object and a plurality of starting edge breaks where the starting edge is broken in the image among the movement lines of the moving object represented by the movement line data generated by the movement line data generating step. A weight calculating step for calculating a weight of a plurality of second moving objects corresponding to each of the plurality of start-end broken flow lines based on the positions of the plurality of start-ends of the flow line;
An image similarity calculation step for calculating an image similarity between each of the first moving object image at the end of the end-discontinuous flow line and each of the plurality of second moving objects at the plurality of start ends. When,
The appearance frequency at which the second moving object appears at the position of the starting edge, the weight of the second moving object, and the image similarity between the image of the first moving object and the image of the second moving object. The second moving object with respect to the first moving object increases as the change in the moving direction of the second moving object with respect to the first moving object increases. An evaluation value for each of the plurality of second moving objects is calculated for each of the plurality of second moving objects by an evaluation function set so that the influence of the image similarity is greater as the change in the moving direction of the image is smaller. An evaluation value calculating step;
Movement of a discontinuous region from the end of the end discontinuous flow line to the start end of the start discontinuous flow line corresponding to the second moving object having the maximum evaluation value among the plurality of second moving objects. A flow line interpolation step for interpolating lines;
A moving line interpolation program for a moving object for executing processing including:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012059178A JP5803763B2 (en) | 2012-03-15 | 2012-03-15 | Moving line interpolation apparatus, method, and program for moving object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012059178A JP5803763B2 (en) | 2012-03-15 | 2012-03-15 | Moving line interpolation apparatus, method, and program for moving object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013196029A true JP2013196029A (en) | 2013-09-30 |
| JP5803763B2 JP5803763B2 (en) | 2015-11-04 |
Family
ID=49394971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012059178A Expired - Fee Related JP5803763B2 (en) | 2012-03-15 | 2012-03-15 | Moving line interpolation apparatus, method, and program for moving object |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5803763B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018128138A1 (en) * | 2017-01-05 | 2018-07-12 | 日本電気株式会社 | Image processing device, video monitoring system, image processing method, and recording medium storing program |
| JP2019194857A (en) * | 2018-05-04 | 2019-11-07 | キヤノン株式会社 | Object tracking method and device |
| WO2022259690A1 (en) * | 2021-06-11 | 2022-12-15 | パナソニックＩｐマネジメント株式会社 | Task analysis device and method |
-
2012
- 2012-03-15 JP JP2012059178A patent/JP5803763B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018128138A1 (en) * | 2017-01-05 | 2018-07-12 | 日本電気株式会社 | Image processing device, video monitoring system, image processing method, and recording medium storing program |
| US11074695B2 (en) | 2017-01-05 | 2021-07-27 | Nec Corporation | Image processing device, image processing method, and recording medium storing program |
| US11074696B2 (en) | 2017-01-05 | 2021-07-27 | Nec Corporation | Image processing device, image processing method, and recording medium storing program |
| JP2019194857A (en) * | 2018-05-04 | 2019-11-07 | キヤノン株式会社 | Object tracking method and device |
| US11270108B2 (en) | 2018-05-04 | 2022-03-08 | Canon Kabushiki Kaisha | Object tracking method and apparatus |
| WO2022259690A1 (en) * | 2021-06-11 | 2022-12-15 | パナソニックＩｐマネジメント株式会社 | Task analysis device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5803763B2 (en) | 2015-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI676963B (en) | Target acquisition method and device | |
| JP4855556B1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
| JP6525545B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM | |
| JP5381569B2 (en) | Gesture recognition device, gesture recognition method, and gesture recognition program | |
| CN108140291A (en) | Mist detecting device, method and image processing equipment | |
| JP2017191608A (en) | Object recognition method, object recognition device, and classifier training method | |
| JP2018503200A (en) | Method and system for processing a series of images to identify, track and / or target objects in a water body | |
| JP6850751B2 (en) | Object tracking device, object tracking method, and computer program | |
| US20150104067A1 (en) | Method and apparatus for tracking object, and method for selecting tracking feature | |
| KR101681104B1 (en) | A multiple object tracking method with partial occlusion handling using salient feature points | |
| EP3772037A1 (en) | Image processing apparatus, method of tracking a target object, and program | |
| US11410459B2 (en) | Face detection and recognition method using light field camera system | |
| JP5803763B2 (en) | Moving line interpolation apparatus, method, and program for moving object | |
| de Carvalho et al. | Anomaly detection with a moving camera using multiscale video analysis | |
| JP2017076181A (en) | Tracking device | |
| CN109087347B (en) | Image processing method and device | |
| JP6221283B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| Patro | Design and implementation of novel image segmentation and BLOB detection algorithm for real-time video surveillance using DaVinci processor | |
| JP2013069045A (en) | Image recognition device, image recognition method, and image recognition program | |
| JP2019096062A (en) | Object tracking device, object tracking method, and object tracking program | |
| KR20160108979A (en) | Method and apparatus of tracking targets | |
| JPWO2015198592A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP4918615B2 (en) | Object number detection device and object number detection method | |
| JP5217917B2 (en) | Object detection and tracking device, object detection and tracking method, and object detection and tracking program | |
| CN111753775A (en) | Fish growth assessment method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150723 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150817 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5803763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |