JP2000322556A - Method and device for time sequentially predicting image and storage medium storing time sequential image prediction program - Google Patents
Method and device for time sequentially predicting image and storage medium storing time sequential image prediction programInfo
- Publication number
- JP2000322556A JP2000322556A JP11130004A JP13000499A JP2000322556A JP 2000322556 A JP2000322556 A JP 2000322556A JP 11130004 A JP11130004 A JP 11130004A JP 13000499 A JP13000499 A JP 13000499A JP 2000322556 A JP2000322556 A JP 2000322556A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- series
- feature amount
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、時系列画像予測方
法及び装置及び時系列画像予測プログラムを格納した記
憶媒体に係り、特に、ビデオカメラや気象レーダ装置、
リモートセンシング等により得られる時系列画像を入力
とし、入力された時系列画像の未来の画像を予測する技
術において、気象レーダ装置などから得られる時系列の
気象画像を入力とし、観測時点から未来の画像を得るこ
とで、局所短時間の降水量の空間分布の予報などへの応
用が可能な時系列画像予測方法及び装置及び時系列画像
予測プログラムを格納した記憶媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a time-series image prediction method and apparatus, and a storage medium storing a time-series image prediction program.
In the technology of inputting a time-series image obtained by remote sensing or the like and predicting a future image of the input time-series image, a time-series weather image obtained from a weather radar device or the like is input and a future The present invention relates to a time-series image prediction method and apparatus that can be applied to, for example, forecasting the spatial distribution of local short-term precipitation by obtaining images, and a storage medium that stores a time-series image prediction program.
【０００２】[0002]
【従来の技術】従来の時系列画像の予測技術としては、
まず、直前に、数フレームから画像中の運動物体が存在
する領域を抽出し、その動き情報（速度ベクトル）を推
定し、この動き情報を用いて抽出した運動物体の領域を
画像上で移動させることにより行う方法がある。2. Description of the Related Art Conventional time-series image prediction techniques include:
First, immediately before, an area where a moving object is present in an image is extracted from several frames, its motion information (velocity vector) is estimated, and the area of the moving object extracted using this motion information is moved on the image. There are ways to do this.
【０００３】ここでは、時系列画像の予測技術の典型的
な応用である短時間の降水量分布の予測の例をとって考
えると、文献[1] 遊馬芳雄、菊地勝弘、今久：“簡易気
象レーダーによるエコーの移動速度について”，北海道
大学地球物理学研究報告，Vol,44, October, 1984, PP.
23-34 や、文献[2] 遊馬芳雄、菊地勝弘、今久：“簡易
気象レーダーによる降雪の短時間予測実験（その
１）”、北海道大学地球物理学研究報告，Vol.44, Octo
ber,1984, pp.35-51にある相互相関法が広く知られてい
る。Here, considering an example of prediction of a short-time precipitation distribution, which is a typical application of the time-series image prediction technology, literature [1] Yoshio Yuma, Katsuhiro Kikuchi, Imahisa: "Simple On the Moving Speed of Echo by Weather Radar ", Hokkaido University Geophysical Research Report, Vol. 44, October, 1984, PP.
23-34 and Ref. [2] Yoshima Yuma, Katsuhiro Kikuchi, Imahisa: "Short-term prediction experiment of snowfall by simple weather radar (Part 1)", Hokkaido University Geophysical Research Report, Vol.44, Octo
The cross-correlation method in ber, 1984, pp. 35-51 is widely known.
【０００４】上記文献[1] 、[2] の手法では、一定時間
毎に観測された時系列をなす気象画像から、その真近に
観測された２つの時刻の気象画像を用い、一方をずらし
て、画像間の相互相関値を計算し、それが最大となるず
れ幅から、画像中のパターンの移動速度を推定してい
る。さらに、推定された移動速度を用いてパターンを外
挿させることにより未来の画像中のパターンの分布の予
測を提供している。気象レーダ装置のレーダエコー反射
強度の空間分布を気象画像として用いる場合、画像中の
パターンはエコーパターンと呼ばれ、その画像中での分
布は降水強度の空間的な分布に対応し、また、画像中の
各点の濃淡値は降水強度に対応している。[0004] In the methods of the above-mentioned documents [1] and [2], a weather image of a time series observed at regular time intervals is used, and a weather image of two time points immediately observed is used, and one is shifted. Then, the cross-correlation value between the images is calculated, and the moving speed of the pattern in the image is estimated from the shift width at which it is maximum. Further, extrapolation of the pattern using the estimated moving speed provides prediction of the distribution of the pattern in the future image. When using the spatial distribution of the radar echo reflection intensity of a weather radar device as a weather image, the pattern in the image is called an echo pattern, and the distribution in the image corresponds to the spatial distribution of precipitation intensity. The gray value of each point in the middle corresponds to the precipitation intensity.
【０００５】具体的には、図９に示すように、時間間隔
Δｔをおいて計測された２枚の気象レーダ画像Ｒ1 ，Ｒ
2 から、次式により相互相関値を求める。但し、レーダ
画像上の格子点（ｉ，ｊ）における画像の濃度値を各
々、Ｒ1 （ｉ，ｊ），Ｒ2 （ｉ，ｊ）とし、相関をとる
領域を（Ａ，Ｂ）、相関値を計算する際の２枚のレーダ
画像のズレを（ｋ，ｈ）とする（図９において斜線は相
関値をとる領域を示し、中央の太線の矢印はエコーパタ
ーンの移動方向を表す）。More specifically, as shown in FIG. 9, two weather radar images R 1 and R 1 measured at a time interval Δt.
From 2 , the cross-correlation value is obtained by the following equation. However, the density values of the image at the grid points (i, j) on the radar image are R 1 (i, j) and R 2 (i, j), respectively, and the areas to be correlated are (A, B), Let the deviation between the two radar images when calculating the values be (k, h) (in FIG. 9, the oblique lines indicate the areas where the correlation values are obtained, and the thick arrows in the center indicate the moving direction of the echo pattern).
【０００６】[0006]
【数１】 (Equation 1)
【０００７】上述の計算によって求められた相互相関値
は、例えば、図１０に示すようになる。そこで、格子点
上にある相互相関値の最大値をとる点（Ｋ，Ｈ）での相
互相関値σK,H 、及び、その近傍の四点の相互相関値σ
-x，σ+x，σ-y，σ+yに対して二次関数による補間を行
い、補間の結果相互相関値が最大となる点（格子点とは
限らない）とのずれ（ｋ’，ｈ’）を次式により求める
（図１１、但し、Ｘ成分のみを示す）。The cross-correlation value obtained by the above calculation is, for example, as shown in FIG. Therefore, the cross-correlation value σ K, H at the point (K, H) at which the maximum value of the cross-correlation value is located on the grid point, and the cross-correlation value σ of the four points in the vicinity thereof
-x , σ + x , σ -y , and σ + y are interpolated by a quadratic function, and the deviation (k ′) from a point (not necessarily a grid point) at which the cross-correlation value becomes maximum as a result of the interpolation is obtained. , H ′) is obtained by the following equation (FIG. 11, but only the X component is shown).
【０００８】[0008]
【数２】 (Equation 2)
【０００９】以上より、２枚の画像は（Ｋ＋ｋ’，Ｈ＋
ｈ’）だけずらした場合に相互相関値が最大となる。こ
のことから、エコーパターンの移動ベクトルは次の式
（６）、式（７）より求めることができる。この移動ベ
クトルは、降水域の移動方向及び速度を表している。但
し、ＶX ，Ｖy は、それぞれ移動量のｘ成分、ｙ成分を
示す。From the above, two images are (K + k ', H +
h ′), the cross-correlation value becomes maximum. From this, the movement vector of the echo pattern can be obtained from the following equations (6) and (7). This movement vector indicates the moving direction and speed of the precipitation area. Here, V X and V y indicate the x and y components of the movement amount, respectively.
【００１０】[0010]
【数３】 (Equation 3)
【００１１】次に、ある時刻に計測された気象レーダ画
像中のエコーパターンを、式（６）、式（７）により求
められる移動ベクトルを用いて外挿することで、計測時
刻以後のレーダ画像を予測する。気象レーダ画像Ｉ
（ｉ，ｊ）を入力画像とし、第１の手段を用いて算出し
た移動ベクトルから入力画像Ｉ（ｉ，ｊ）が計測された
時刻からΔＴ時間後の予測画像Ｊ（ｉ，ｊ）を求める。
予測画像Ｊ（ｉ，ｊ）は、水平方向の移動量Ｓx ，垂直
方向の移動量Ｓy Ｓx ＝ ΔＴ・ＶX （８） Ｓy ＝ ΔＴ・Ｖy （９） に基づき、入力画像Ｉ（ｉ，ｊ）を平行移動したものと
定義する。しかし、この移動量は整数値とは限らず、移
動した画像の格子点からのずれをNext, the echo pattern in the weather radar image measured at a certain time is extrapolated using the movement vector obtained by the equations (6) and (7), thereby obtaining the radar image after the measurement time. Predict. Weather radar image I
Using (i, j) as an input image, a predicted image J (i, j) after ΔT time from the time when the input image I (i, j) is measured is obtained from the movement vector calculated using the first means. .
The predicted image J (i, j) is based on the input image based on the horizontal movement amount S x and the vertical movement amount S y S x = ΔT · V X (8) S y = ΔT · V y (9) It is defined that I (i, j) is translated. However, this movement amount is not always an integer value, and the displacement of the moved image from the lattice point is
【００１２】[0012]
【数４】 (Equation 4)
【００１３】と定義する。但し、入力画像からの対応が
ない予測画像Ｊの格子点、つまり、平行移動の結果とし
て予測画像に空いた隙間については０の値をとるものと
する。なお、Ｖx ＞０かつＶy ＞０以外の場合について
も同様にして予測画像を求めることができる。[0013] However, a value of 0 is assumed for a lattice point of the predicted image J that has no correspondence from the input image, that is, a gap that is vacated in the predicted image as a result of the parallel movement. It should be noted that a predicted image can be obtained in a similar manner even when V x > 0 and V y > 0.
【００１４】[0014]
【発明が解決しようとする課題】しかしながら、従来の
時系列画像予測方法では、直前、数フレーム内のパター
ンの動き及び変化の傾向が、この先も継続するという仮
定に基づいているため、この仮定が成り立つ短い時間内
でのみ妥当な予測画像ができ、また、観測していた画像
系列内に存在しない物体の出現予測など、時間的に急激
に画像パターンが変化する場合には予測ができないとい
う問題がある。However, in the conventional time-series image prediction method, since the movement and change tendency of the pattern in several frames immediately before are based on the assumption that the pattern will continue in the future, this assumption is made. The problem is that a valid predicted image can be generated only within a short period of time that can be satisfied, and it is not possible to predict when the image pattern changes rapidly over time, such as the appearance prediction of an object that does not exist in the observed image sequence. is there.
【００１５】本発明は、上記の点に鑑みなされたもの
で、過去に測定された時系列画像をデータベースに蓄積
し、予測対象の時系列画像と類似する過去の画像系列
を、画像特徴量についての類似尺度に基づき検索し、検
索された過去の画像系列の画像特徴量の時間変化に基づ
き、予測対象の時刻の画像特徴量を予測し、その画像特
徴量から画像を再構成することで、時間的に急激に画像
パターンが変化するような時系列画像に対しても高精度
の予測画像を提供することが可能な時系列画像予測方法
及び装置及び時系列画像予測プログラムを格納した記憶
媒体を提供することを目的とする。The present invention has been made in view of the above points, and stores time-series images measured in the past in a database, and stores a past image series similar to the time-series image to be predicted with respect to an image feature amount. By retrieving based on the similarity measure of, based on the temporal change of the retrieved image feature amount of the past image sequence, predicting the image feature amount at the time of the prediction target, and reconstructing the image from the image feature amount, A time-series image prediction method and apparatus capable of providing a highly-accurate predicted image even for a time-series image in which an image pattern changes rapidly with time, and a storage medium storing a time-series image prediction program. The purpose is to provide.
【００１６】[0016]
【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。本発明（請求項１）は、時系
列画像を入力し、該時系列画像の未来の画像を予測する
時系列画像予測方法において、時系列画像を入力し（ス
テップ１）、時系列画像の画像特徴量を抽出し、記憶手
段に蓄積し（ステップ２）、予測対象である予測対象時
系列画像を入力し、予測対象時系列画像の予測対象画像
特徴量を計算し（ステップ３）、記憶手段に格納されて
いる時系列画像と、計算された予測対象画像特徴量が類
似する時系列画像を検索し、検索された記憶手段中の時
系列画像の画像特徴量に基づいて、予測対象として入力
された予測対象時系列画像の未来の画像特徴量を予測し
（ステップ４）、予測された未来の画像特徴量から、未
来の画像を再構成し、予測画像として出力する（ステッ
プ５）。FIG. 1 is a diagram for explaining the principle of the present invention. According to the present invention (claim 1), in a time-series image prediction method for inputting a time-series image and predicting a future image of the time-series image, a time-series image is input (step 1), and an image of the time-series image is input. A feature amount is extracted and stored in a storage unit (step 2), a prediction target time-series image to be predicted is input, and a prediction target image feature amount of the prediction target time-series image is calculated (step 3). A time-series image whose time-series image and the calculated prediction target image feature amount are similar to each other is searched for, and based on the searched time-series image feature amount in the storage unit, input as a prediction target. A future image feature of the predicted time series image to be predicted is predicted (step 4), and a future image is reconstructed from the predicted future image feature and output as a predicted image (step 5).
【００１７】本発明（請求項２）は、画像特徴量、及び
予測対象画像特徴量を求める際に、単位時間毎に、画像
中の画素の濃淡値、または、それを空間的に平均した平
均輝度値、または、画像平面をメッシュ状に区切り、各
メッシュに含まれる画像の濃淡値の平均値を要素とする
ベクトルとして画像特徴量を計算する。本発明（請求項
３）は、予測対象時系列画像に類似する記憶手段中の時
系列画像を検索する際に、予測対象時系列画像に対応す
る各画像特徴量の系列と、記憶手段中の各時刻の時系列
画像に対応する各画像特徴量の系列について、２つの系
列化の特徴量ベクトルの間の距離の和、または、平均的
な距離を、該予測対象時系列画像と該記憶手段中の時系
列画像との非類似度として、時間的な順序関係を保持し
て計算し、非類似度が小さい時系列画像を記憶手段より
選択する。According to the present invention (claim 2), when calculating the image feature amount and the prediction target image feature amount, the gray scale value of the pixel in the image or the average obtained by spatially averaging the gray scale value for each unit time The image feature amount is calculated as a vector in which the luminance value or the image plane is divided into meshes and the average value of the grayscale values of the images included in each mesh is used as an element. According to the present invention (claim 3), when searching for a time-series image in the storage unit similar to the prediction target time-series image, the sequence of each image feature amount corresponding to the prediction target time-series image is stored in the storage unit. For a series of image feature amounts corresponding to the time-series images at each time, the sum or the average distance between the two feature amount vectors of the series is represented by the prediction target time-series image and the storage unit. As the degree of dissimilarity with the middle time-series image, the temporal order relation is maintained and calculated, and a time-series image with a small degree of dissimilarity is selected from the storage unit.
【００１８】本発明（請求項４）は、未来の画像特徴量
を予測する際に、検索された記憶手段中の複数の時系列
画像の対象予測時間分先の時刻の画像特徴量を、検索さ
れた時系列画像と予測対象画像との非類似度に逆比例し
て重み付けして、足し合わせたものを、予測対象時刻の
画像特徴量として計算する。本発明（請求項５）は、未
来の画像特徴量を予測する際に、検索された記憶手段中
の時系列画像の画像特徴量ベクトルの集合中の２つの画
像特徴量ベクトルの差分と、対象とする予測時間先にお
ける該２つの画像特徴量ベクトルとの間の差分の間の写
像関係を表現する行列を計算し、予測対象として入力さ
れた予測対象時系列画像の画像特徴量ベクトルと、該予
測対象時系列画像の画像特徴量ベクトルに最も類似する
検索された画像の画像特徴量のベクトルとの間の差分を
計算し、得られた差分ベクトルを行列を用いて、写像
し、予測対象時刻での差分ベクトルを計算し、差分ベク
トルと最も類似する検索された画像の予測対象時刻先に
おける画像特徴量のベクトルとの和を計算し、画像特徴
量の予測値を計算する。According to the present invention (claim 4), when predicting a future image feature amount, the image feature amount of the plurality of time-series images retrieved at a time ahead of the target prediction time in the retrieved storage means is retrieved. A weight is added in inverse proportion to the degree of dissimilarity between the obtained time-series image and the prediction target image, and the sum is calculated as an image feature amount at the prediction target time. According to the present invention (claim 5), when predicting a future image feature amount, a difference between two image feature amount vectors in a set of image feature amount vectors of a searched time-series image in a storage unit is determined. A matrix expressing a mapping relationship between a difference between the two image feature vectors at a prediction time point to be calculated is calculated, and an image feature vector of a prediction target time-series image input as a prediction target, Calculate the difference between the image feature amount vector of the searched image most similar to the image feature amount vector of the prediction target time-series image, map the obtained difference vector using a matrix, and calculate the prediction target time. Is calculated, and the sum of the difference vector and the vector of the image feature amount at the prediction target time point ahead of the searched image most similar to each other is calculated to calculate the predicted value of the image feature amount.
【００１９】本発明（請求項６）は、未来の画像を再構
成する際に、未来の画像特徴量ベクトルとの距離が小さ
い、記憶手段に存在する画像の画像特徴量を検索し、該
距離の逆数に比例した重み付けで、検索された画像の濃
淡値を画素毎に足し合わせる。図２は、本発明の原理構
成図である。According to the present invention (claim 6), when a future image is reconstructed, an image feature amount of an image existing in the storage means having a small distance from a future image feature amount vector is searched, and the distance is determined. The grayscale value of the searched image is added for each pixel with weighting proportional to the reciprocal of. FIG. 2 is a diagram illustrating the principle of the present invention.
【００２０】本発明（請求項７）は、時系列画像を入力
し、該時系列画像の未来の画像を予測する時系列画像予
測装置であって、時系列画像を入力する時系列画像入力
手段１０１と、時系列画像入力手段１０１により入力さ
れた時系列画像の画像特徴量を抽出する画像特徴量抽出
手段２０２と、画像特徴量抽出手段２０２により抽出さ
れた画像特徴量を蓄積する画像特徴量記憶手段２０３
と、予測対象である予測対象時系列画像を入力する予測
対象時系列画像入力手段１０２と、予測対象時系列画像
入力手段１０２により入力された予測対象時系列画像の
予測対象画像特徴量を計算する画像特徴量計算手段２０
７と、画像特徴量記憶手段２０３に格納されている時系
列画像と、画像特徴量計算手段２０７で計算された予測
対象画像特徴量が類似する時系列画像を検索する検索手
段２０４と、検索手段２０４で検索された画像特徴量記
憶手段２０３中の時系列画像の画像特徴量に基づいて、
予測対象として入力された予測対象時系列画像の未来の
画像特徴量を予測する予測手段２０５と、予測手段２０
５で予測された未来の画像特徴量から、未来の画像を再
構成し、予測画像として出力する画像再構成手段２０６
とを有する。The present invention (claim 7) is a time-series image prediction device for inputting a time-series image and predicting a future image of the time-series image. 101, an image feature amount extraction unit 202 that extracts the image feature amount of the time-series image input by the time-series image input unit 101, and an image feature amount that stores the image feature amount extracted by the image feature amount extraction unit 202 Storage means 203
A prediction target time-series image input unit 102 for inputting a prediction target time-series image to be predicted, and a prediction target image feature amount of the prediction target time-series image input by the prediction target time-series image input unit 102 Image feature amount calculation means 20
7, a search unit 204 for searching for a time-series image stored in the image feature storage unit 203, and a time-series image similar to the prediction target image feature calculated by the image feature calculation unit 207; Based on the image feature amount of the time-series image in the image feature amount storage unit 203 searched in 204,
A prediction unit 205 for predicting a future image feature amount of a prediction target time-series image input as a prediction target;
Image reconstructing means 206 for reconstructing a future image from the future image feature amount predicted in step 5 and outputting it as a predicted image
And
【００２１】本発明（請求項８）は、画像特徴量抽出手
段２０２、及び画像特徴量計算手段２０７において、単
位時間毎に、画像中の画素の濃淡値、または、それを空
間的に平均した平均輝度値、または、画像平面をメッシ
ュ状に区切り、各メッシュに含まれる画像の濃淡値の平
均値を要素とするベクトルとして画像特徴量を計算する
手段を含む。According to the present invention (claim 8), in the image characteristic amount extracting means 202 and the image characteristic amount calculating means 207, the gray scale value of the pixel in the image or the spatial average of the gray level value is obtained for each unit time. Means for dividing an image plane into an average brightness value or an image plane and calculating an image feature amount as a vector having an element of an average value of gray levels of images included in each mesh as an element.
【００２２】本発明（請求項９）は、検索手段２０４に
おいて、予測対象時系列画像に対応する各画像特徴量の
系列と、画像特徴量記憶手段２０３中の各時刻の時系列
画像に対応する各画像特徴量の系列について、２つの系
列化の特徴量ベクトルの間の距離の和、または、平均的
な距離を、該予測対象時系列画像と該画像特徴量記憶手
段２０３中の時系列画像との非類似度として、時間的な
順序関係を保持して計算する手段と、非類似度が小さい
時系列画像を画像特徴量記憶手段２０３より選択する手
段とを有する。According to the present invention (claim 9), in the search means 204, a sequence of each image feature corresponding to the time series image to be predicted and a time series image at each time in the image feature storage 203 are provided. For each image feature amount series, the sum of the distances between the two series of feature amount vectors or the average distance is calculated by using the time series image stored in the image feature amount storage unit 203 and the prediction target time series image. And a means for selecting a time-series image with a small degree of dissimilarity from the image feature quantity storage means 203 as a degree of dissimilarity with the image data.
【００２３】本発明（請求項１０）は、予測手段２０５
において、検索された画像特徴量記憶手段２０３中の複
数の時系列画像の対象予測時間分先の時刻の画像特徴量
を、検索された時系列画像と予測対象画像との非類似度
に逆比例して重み付けして、足し合わせたものを、予測
対象時刻の画像特徴量として計算する手段を有する。According to the present invention (claim 10), the prediction means 205
The image feature amount of the plurality of time-series images in the searched image feature amount storage unit 203 at a time ahead of the target prediction time by the target time is inversely proportional to the dissimilarity between the searched time-series image and the prediction target image. And a means for calculating the sum of the weighted values and the sum as the image feature amount at the prediction target time.
【００２４】本発明（請求項１１）は、予測手段２０５
において、検索された画像特徴量記憶手段２０３中の時
系列画像の画像特徴量ベクトルの集合中の２つの画像特
徴量ベクトルの差分と、対象とする予測時間先における
該２つの画像特徴量ベクトルとの間の差分の間の写像関
係を表現する行列を計算する手段と、予測対象として入
力された予測対象時系列画像の画像特徴量ベクトルと、
該予測対象時系列画像の画像特徴量ベクトルに最も類似
する検索された画像の画像特徴量のベクトルとの間の差
分を計算する手段と、得られた差分ベクトルを行列を用
いて、写像し、予測対象時刻での差分ベクトルを計算す
る手段と、差分ベクトルと最も類似する検索された画像
の予測対象時刻先における画像特徴量のベクトルとの和
を計算し、画像特徴量の予測値を計算する手段とを有す
る。According to the present invention (claim 11), the prediction means 205
, The difference between the two image feature vectors in the set of image feature vectors of the retrieved time-series images in the image feature storage unit 203, and the two image feature vectors at the target prediction time. Means for calculating a matrix representing the mapping relationship between the differences between, the image feature amount vector of the prediction target time-series image input as the prediction target,
Means for calculating a difference between the image feature amount vector of the searched image most similar to the image feature amount vector of the prediction target time-series image, and mapping the obtained difference vector using a matrix, Means for calculating the difference vector at the prediction target time, and calculating the sum of the difference vector and the vector of the image feature amount at the prediction target time point ahead of the searched image most similar to calculate the predicted value of the image feature amount Means.
【００２５】本発明（請求項１２）は、画像再構成手段
２０６において、未来の画像特徴量ベクトルとの距離が
小さい、画像特徴量記憶手段に存在する画像の画像特徴
量を検索し、該距離の逆数に比例した重み付けで、検索
された画像の濃淡値を画素毎に足し合わせる手段を有す
る。本発明（請求項１３）は、時系列画像を入力し、該
時系列画像の未来の画像を予測する時系列画像予測プロ
グラムを格納した記憶媒体であって、時系列画像を入力
させる時系列画像入力プロセスと、時系列画像入力プロ
セスにより入力された時系列画像の画像特徴量を抽出し
て、画像特徴量記憶手段に蓄積する画像特徴量抽出プロ
セスと、予測対象である予測対象時系列画像を入力させ
る予測対象時系列画像入力プロセスと、予測対象時系列
画像入力プロセスにより入力された予測対象時系列画像
の予測対象画像特徴量を計算する画像特徴量計算プロセ
スと、画像特徴量記憶手段に格納されている時系列画像
と、画像特徴量計算プロセスで計算された予測対象画像
特徴量が類似する時系列画像を検索する検索プロセス
と、検索プロセスで検索された画像特徴量記憶手段中の
時系列画像の画像特徴量に基づいて、予測対象として入
力された予測対象時系列画像の未来の画像特徴量を予測
する予測プロセスと、予測プロセスで予測された未来の
画像特徴量から、未来の画像を再構成し、予測画像とし
て出力させる画像再構成プロセスとを有する。According to a twelfth aspect of the present invention, the image reconstructing means 206 searches for an image feature amount of an image existing in the image feature amount storage means having a small distance from a future image feature amount vector. Means for adding the grayscale value of the searched image for each pixel with a weight proportional to the reciprocal of. The present invention (claim 13) is a storage medium storing a time-series image prediction program for inputting a time-series image and predicting a future image of the time-series image, wherein the time-series image is inputted. An input process, an image feature amount extraction process of extracting the image feature amount of the time-series image input by the time-series image input process, and accumulating the image feature amount in the image feature amount storage unit. A prediction target time-series image input process to be input, an image characteristic amount calculation process of calculating a prediction target image characteristic amount of the prediction target time-series image input by the prediction target time-series image input process, and storage in the image characteristic amount storage unit. A search process for searching for a time-series image in which the predicted time-series image and the prediction target image feature amount calculated in the image feature amount calculation process are similar, and a search process for the search process A prediction process of predicting a future image feature of a prediction target time-series image input as a prediction target, based on an image feature of the time-series image in the stored image feature storage. An image reconstruction process of reconstructing a future image from future image feature amounts and outputting the image as a predicted image.
【００２６】本発明（請求項１４）は、画像特徴量抽出
プロセス、及び画像特徴量計算プロセスにおいて、単位
時間毎に、画像中の画素の濃淡値、または、それを空間
的に平均した平均輝度値、または、画像平面をメッシュ
状に区切り、各メッシュに含まれる画像の濃淡値の平均
値を要素とするベクトルとして画像特徴量を計算するプ
ロセスを含む。According to the present invention (claim 14), in the image characteristic amount extraction process and the image characteristic amount calculation process, the gray scale value of the pixel in the image or the average luminance obtained by spatially averaging the gray scale value for each unit time. The method includes a process of dividing a value or an image plane into meshes, and calculating an image feature amount as a vector having as an element an average value of the gray values of the images included in each mesh.
【００２７】本発明（請求項１５）は、検索プロセスに
おいて、予測対象時系列画像に対応する各画像特徴量の
系列と、画像特徴量記憶手段中の各時刻の時系列画像に
対応する各画像特徴量の系列について、２つの系列化の
特徴量ベクトルの間の距離の和、または、平均的な距離
を、該予測対象時系列画像と該画像特徴量記憶手段中の
時系列画像との非類似度として、時間的な順序関係を保
持して計算するプロセスと、非類似度が小さい時系列画
像を画像特徴量記憶手段より選択するプロセスとを有す
る。According to the present invention (claim 15), in the search process, a sequence of each image feature corresponding to the time series image to be predicted and each image corresponding to the time series image at each time in the image feature storage means. For the series of feature amounts, the sum of the distances between the two feature amount vectors, or the average distance, is calculated as the non-match between the time series image to be predicted and the time series image in the image feature amount storage unit. As the similarity, there is a process of calculating while maintaining a temporal order relationship, and a process of selecting a time-series image having a small degree of dissimilarity from the image feature amount storage unit.
【００２８】本発明（請求項１６）は、予測プロセスに
おいて、検索された画像特徴量記憶手段中の複数の時系
列画像の対象予測時間分先の時刻の画像特徴量を、検索
された時系列画像と予測対象画像との非類似度に逆比例
して重み付けして、足し合わせたものを、予測対象時刻
の画像特徴量として計算するプロセスを有する。According to the present invention (claim 16), in the prediction process, the image feature amount of the plurality of time-series images in the searched image feature amount storage means at a time ahead of the target prediction time by the searched time-series image is stored. There is a process of weighting the dissimilarity between the image and the image to be predicted in inverse proportion, and calculating the sum as the image feature amount at the time of the prediction target.
【００２９】本発明（請求項１７）は、予測プロセスに
おいて、検索された画像特徴量記憶手段中の時系列画像
の画像特徴量ベクトルの集合中の２つの画像特徴量ベク
トルの差分と、対象とする予測時間先における該２つの
画像特徴量ベクトルとの間の差分の間の写像関係を表現
する行列を計算するプロセスと、予測対象として入力さ
れた予測対象時系列画像の画像特徴量ベクトルと、該予
測対象時系列画像の画像特徴量ベクトルに最も類似する
検索された画像の画像特徴量のベクトルとの間の差分を
計算するプロセスと、得られた差分ベクトルを行列を用
いて、写像し、予測対象時刻での差分ベクトルを計算す
るプロセスと、差分ベクトルと最も類似する検索された
画像の予測対象時刻先における画像特徴量のベクトルと
の和を計算し、画像特徴量の予測値を計算するプロセス
とを有する。According to the present invention (claim 17), in the prediction process, a difference between two image feature vectors in a set of image feature vectors of a time-series image in the searched image feature storage means, A process of calculating a matrix representing a mapping relationship between the difference between the two image feature vectors at the prediction time ahead, and an image feature vector of a prediction target time-series image input as a prediction target; A process of calculating a difference between the image feature amount vector of the searched image most similar to the image feature amount vector of the prediction target time-series image, and mapping the obtained difference vector using a matrix, The sum of the process of calculating the difference vector at the prediction target time and the vector of the image feature amount at the prediction target time point ahead of the searched image most similar to the difference vector is calculated. And a process of calculating a predicted value of the feature.
【００３０】本発明（請求項１８）は、画像再構成プロ
セスにおいて、未来の画像特徴量ベクトルとの距離が小
さい、画像特徴量記憶手段に存在する画像の画像特徴量
を検索し、該距離の逆数に比例した重み付けで、検索さ
れた画像の濃淡値を画素毎に足し合わせるプロセスを有
する。従来は、気象などの自然現象を観測した時系列画
像は、複雑にパターンが変化し、パターンの背後にある
現象のモデルや原理が不明確であり、時系列画像のみか
らは正確にモデルのパラメータの推定が困難である。こ
のような対象に対しては、直前の時系列画像の情報から
予測を行う手法では十分で対応できないが、本発明によ
れば、過去の時系列画像をデータベースに大量に蓄積
し、その各時刻の画像を複数の画像特徴量ベクトルに変
換し、その特徴量ベクトルの相違により、データベース
中の画像との間の類似度を判定して、類似時系列画像を
検索し、検索された過去の時系列画像の画像特徴量の変
化に基づいて未来の画像特徴量を予測している。そのた
め、従来、モデル化が困難であった複雑な画像パターン
に対しても精度よく未来の画像を予測することが可能と
なる。According to the present invention (claim 18), in the image reconstructing process, the image feature amount of the image existing in the image feature amount storage means having a small distance from the future image feature amount vector is searched, and There is a process of adding the gray value of the searched image for each pixel with weighting proportional to the reciprocal. Conventionally, time-series images that observe natural phenomena such as weather change patterns in a complicated manner, and the models and principles of the phenomena behind the patterns are unclear. Is difficult to estimate. For such an object, a method of performing prediction from the information of the immediately preceding time-series image is not sufficient, but according to the present invention, a large amount of past time-series images are accumulated in a database, Is converted into a plurality of image feature vectors, and the difference between the feature vectors is used to determine the degree of similarity between the images in the database and to search for similar time-series images. A future image feature amount is predicted based on a change in the image feature amount of the series image. For this reason, it is possible to accurately predict a future image even for a complicated image pattern that has conventionally been difficult to model.
【００３１】また、本発明は、膨大なデータ量をもつ時
系列画像から、画像中のパターンの特性を表現する望ま
しい画像特徴量を予め選択し、その画像特徴量の類似性
に基づいて検索を行っている。そのため、時系列画像の
元のデータの次元と比較して、大幅に少ない次元数の画
像特徴量のベクトルを用いて処理が行われるため、検索
に要する計算コストが削減することが可能となる。ま
た、冗長性の大きい元データ同士の類似度を直接計算す
る場合と比較して、より、利用用途に叶った的確な検索
が可能となり、検索時に各特徴についての類似度の度合
いを利用者に提示することにより、検索されたデータの
各特性を利用者が把握することが可能となる。Further, according to the present invention, a desired image feature representing a characteristic of a pattern in an image is previously selected from a time-series image having an enormous data amount, and a search is performed based on the similarity of the image feature. Is going. Therefore, the processing is performed using the vector of the image feature amount having a significantly smaller number of dimensions as compared with the dimension of the original data of the time-series image, so that the calculation cost required for the search can be reduced. In addition, compared to the case of directly calculating the similarity between highly redundant original data, it is possible to perform a more accurate search suitable for the intended use, and to provide the user with the degree of similarity for each feature at the time of search. By presenting, the user can grasp each characteristic of the retrieved data.
【００３２】また、本発明は、予測された画像特徴量に
類似する画像特徴量をもつ画像をデータベース中から選
択し、その画像の特徴量と、予測された画像特徴量との
距離の逆数により重み付けを行って、選択された過去の
画像の各画素の濃淡値を足し合わせることで予測画像を
再構成している。そのため、データベース中の単一の画
像を予測画像として選択し、出力する場合と比べて、統
計的に高い予測精度の予測画像を生成することが可能と
なる。Further, according to the present invention, an image having an image feature amount similar to the predicted image feature amount is selected from a database, and the image feature amount and the predicted image feature amount are calculated by the reciprocal of the distance between the image feature amount and the predicted image feature amount. The prediction image is reconstructed by weighting and adding the gray values of each pixel of the selected past image. Therefore, it is possible to generate a predicted image having a statistically high prediction accuracy as compared with a case where a single image in the database is selected and output as a predicted image.
【００３３】[0033]
【発明の実施の形態】図３は、本発明の時系列画像予測
装置の構成を示す。同図に示す時系列画像予測装置は、
入力部１００と処理部２００と出力部３００から構成さ
れる。入力部１００は、データベースに蓄積するための
時系列画像を入力する時系列画像入力部１０１、予測対
象となる時系列画像を入力する予測対象時系列画像入力
部１０２からなる。これら入力の例としては、ビデオカ
メラや、衛星、レーダなどの撮影装置から得られる画像
や、または、物理量の空間分布を画像化したもの（例え
ば、気圧分布など）が考えられる。FIG. 3 shows the configuration of a time-series image prediction apparatus according to the present invention. The time-series image prediction device shown in FIG.
It comprises an input unit 100, a processing unit 200, and an output unit 300. The input unit 100 includes a time-series image input unit 101 for inputting a time-series image to be stored in a database, and a prediction target time-series image input unit 102 for inputting a time-series image to be predicted. Examples of these inputs include an image obtained from an imaging device such as a video camera, a satellite, and a radar, or an image obtained by imaging a spatial distribution of physical quantities (for example, a pressure distribution).
【００３４】処理部２００は、時系列画像入力部１０１
により入力される時系列画像を記憶するデータベースで
ある時系列画像記憶部２０１、時系列画像記憶部２０１
に蓄積されている時系列画像から一定時間間隔に、画像
特徴を計算する画像特徴抽出部２０２と、画像特徴抽出
部２０２で計算される画像特徴のベクトルの時系列を蓄
積するデータベースである画像特徴記憶部２０３と、予
測対象時系列画像入力部１０２を通して入力され、画像
特徴抽出部２０２により計算される時系列画像の特徴量
を入力とし、これと画像特徴記憶部２０３に記憶されて
いる過去の時系列画像の特徴量のそれぞれと比較し、こ
れと画像特徴記憶部２０３に記憶されている過去の時系
列画像の特徴量のそれぞれと比較し、類似する時系列画
像を検索する検索部２０４と、検索部２０４で得られ
た、過去の時系列画像の特徴量から、予測対象の時刻に
おける入力された画像の特徴量の予測を行う特徴量予測
部２０５と、特徴量予測部２０５で予測された画像特徴
量に対応する画像を再構成することで予測画像を生成す
る予測画像生成部２０６から構成される。The processing unit 200 includes a time-series image input unit 101
Time-series image storage unit 201, which is a database for storing time-series images input by
Image feature extraction unit 202 that calculates image features at regular time intervals from the time-series images stored in the image feature database, and an image feature database that stores a time series of image feature vectors calculated by the image feature extraction unit 202 The feature amount of the time-series image input through the storage unit 203 and the prediction target time-series image input unit 102 and calculated by the image feature extraction unit 202 is input, and the past amount stored in the image feature storage unit 203 is stored. A search unit 204 that compares each of the feature amounts of the time-series images, compares this with each of the feature amounts of the past time-series images stored in the image feature storage unit 203, and searches for similar time-series images. A feature amount prediction unit 205 for predicting a feature amount of an input image at a prediction target time from a feature amount of a past time-series image obtained by the search unit 204; Composed of the prediction image generation unit 206 that generates a predicted image by reconstructing the image corresponding to the image feature amount predicted by the measuring unit 205.
【００３５】出力部３００は、処理部２００から出力さ
れる検索結果の画像系列をディスプレイ装置やファイル
装置等に出力する。図４は、本発明の時系列予測装置に
動作を示すフローチャートである。 ステップ１０１） 時系列画像入力部１０１からデータ
ベース構築用の時系列画像が入力されると、入力された
時系列画像を時系列画像記憶部２０１に記憶する。The output unit 300 outputs an image sequence of the search result output from the processing unit 200 to a display device, a file device, or the like. FIG. 4 is a flowchart showing the operation of the time-series prediction device of the present invention. Step 101) When a time-series image for database construction is input from the time-series image input unit 101, the input time-series image is stored in the time-series image storage unit 201.
【００３６】ステップ１０２） 画像特徴抽出部２０２
において、時系列画像記憶部２０１中の時系列画像から
一定時間毎に画像特徴量を計算し、画像特徴量記憶部２
０３に記憶する。 ステップ１０３） 予測対象時系列画像入力部１０２か
ら予測対象時系列画像が入力されると、画像特徴抽出部
２０２において、当該予測対象時系列画像の特徴量を抽
出する。Step 102) Image feature extraction unit 202
, An image feature amount is calculated at regular time intervals from the time-series image in the time-series image storage unit 201, and the image feature amount storage unit 2
03 is stored. Step 103) When a prediction target time-series image is input from the prediction target time-series image input unit 102, the image feature extraction unit 202 extracts a feature amount of the prediction target time-series image.
【００３７】ステップ１０４） 検索部２０４は、予測
対象時系列画像の特徴量に基づいて像特徴量記憶部２０
３から類似時系列画像を検索する。 ステップ１０５） 特徴量予測部２０５は、検索部２０
４において検索された時系列画像の特徴量に基づいて、
予測対象時刻の画像の特徴量を予測する。 ステップ１０６） 予測画像生成部２０６は、特徴量予
測部２０５で予測された画像の特徴量より、予測画像を
再構成し、出力部３００に出力する。Step 104) The search unit 204 stores the image feature amount storage unit 20 based on the feature amount of the time series image to be predicted.
3 to retrieve a similar time-series image. Step 105) The feature amount prediction unit 205 determines whether the search unit 20
4, based on the feature amount of the time-series image retrieved
The feature amount of the image at the prediction target time is predicted. Step 106) The predicted image generation unit 206 reconstructs a predicted image from the feature amount of the image predicted by the feature amount prediction unit 205, and outputs the reconstructed image to the output unit 300.
【００３８】[0038]
【実施例】以下、図面と共に本発明の実施例を説明す
る。本実施例では、図３の処理部２００を中心に具体的
に説明する。時系列画像記憶部２０１は、時系列画像入
力部１０１を通して入力される時系列の画像系列を蓄積
するデータベースである。画像系列は時間的に切れ目な
く継続しているもの、及び任意の区間連続している画像
系列の集合を入力、蓄積することができ、画像フレーム
の時刻またはフレーム番号を指定することで、対応する
画像が取り出せるものとする。Embodiments of the present invention will be described below with reference to the drawings. In this embodiment, a specific description will be given focusing on the processing unit 200 in FIG. The time-series image storage unit 201 is a database that stores a time-series image sequence input through the time-series image input unit 101. The image sequence can be input and stored as a set of image sequences that are continuous without interruption in time and an image sequence that is continuous in any section. By specifying the time or frame number of the image frame, the corresponding Images can be taken out.
【００３９】画像特徴抽出部２０２では、時系列画像記
憶部２０１に記憶されている画像系列、及び予測対象時
系列画像入力部１０２を通じて入力される画像系列か
ら、一定の時間間隔でデータの性質を表現する一つまた
は、複数の特徴量ベクトルを計算する。ここでは、例と
して画像中のパターンの濃淡値の空間分布を表すメッシ
ュ特徴と、パターンの動き分布を表す速度ベクトル場
と、パターン表面の細かい動きやテクスチャーを表現す
るテンポラルテクスチャ特徴の３つの特徴ベクトルを計
算する例を示す。なお、以下で説明する以外の画面特徴
量も使用可能である。The image feature extraction unit 202 determines the properties of data at regular time intervals from the image sequence stored in the time-series image storage unit 201 and the image sequence input through the prediction target time-series image input unit 102. One or a plurality of feature amount vectors to be represented are calculated. Here, as an example, there are three feature vectors: a mesh feature representing a spatial distribution of gray values of a pattern in an image, a velocity vector field representing a motion distribution of the pattern, and a temporal texture feature representing fine movement and texture of the pattern surface. Here is an example of calculating. Note that screen feature amounts other than those described below can also be used.
【００４０】図５は、本発明の一実施例の時系列画像を
対象データとする場合の特徴量ベクトルの例を説明する
ための図である。メッシュ特徴は、ある時刻ｔにおい
て、図５（ａ）の例のように得られた画像を、図５
（ｂ）のようにメッシュに区切り、各メッシュ内の画像
の濃淡値の平均値を要素とする１次元の特徴量ベクトル
ｘ1 （ｔ）である。また、図５（ｂ）のような各メッシ
ュ中に含まれるパターンの平均的な速度ベクトルを図５
（ｃ）のような速度ベクトル場を計算し、その各成分を
要素とする１次元ベクトルを速度ベクトル場の特徴量ベ
クトルｘ2 （ｔ）とする。FIG. 5 is a diagram for explaining an example of a feature vector when a time-series image is used as target data according to an embodiment of the present invention. The mesh feature is obtained by converting an image obtained at a certain time t as shown in the example of FIG.
It is a one-dimensional feature vector x 1 (t) that is divided into meshes as shown in (b) and has an average value of the gray values of the images in each mesh as an element. The average velocity vector of the pattern included in each mesh as shown in FIG.
A velocity vector field as shown in (c) is calculated, and a one-dimensional vector having each component as an element is set as a feature vector x 2 (t) of the velocity vector field.
【００４１】さらに、テンポラルテクスチャ特徴は、パ
ターン画面の細かい動きやテクスチャを表現する画像特
徴であり、パターンの生成・消滅を伴う非剛体の動きパ
ターンについて、その性質を定量化することができる。
それは、複数の画像フレームに含まれるパターンの動き
成分の確率密度分布を計算し、その分布から時系列画像
の局所的な時空間領域中に含まれる動きの多様性や、画
像要素の配置の規則性などの画像特徴を計算している。
ここでは、優勢な速度の大きさ、動きの一様性、隠蔽
率、輪郭配置の方向性、輪郭配置の粗さ、輪郭のコント
ラストなどの量を要素とするベクトルを一定時間毎に計
算し、特徴量ベクトルｘ3 （ｔ）とする。Further, the temporal texture feature is an image feature that expresses the fine movement and texture of the pattern screen, and the properties of a non-rigid motion pattern accompanied by generation and disappearance of a pattern can be quantified.
It calculates the probability density distribution of the motion components of the patterns contained in multiple image frames, and from that distribution, the variety of motions contained in the local spatio-temporal region of the time-series image and the rules for the arrangement of image elements Image features such as gender are calculated.
Here, a vector having the elements such as the magnitude of the predominant speed, the uniformity of the movement, the concealment ratio, the direction of the contour arrangement, the roughness of the contour arrangement, the contrast of the contour, etc. is calculated at regular time intervals, Let it be a feature vector x 3 (t).
【００４２】時系列画像記憶部２０１に含まれるデータ
について得られた特徴量ベクトルは、画像特徴量記憶部
２０３に記憶される。なお、その際、各特徴量ベクトル
毎に、その分散、平均についての正規化を行い、また、
検索問い合わせ用の予測対象時系列画像入力部１０２か
ら入力された問い合わせデータ系列から得られた特徴量
ベクトルについても、同じパラメータで正規化を行う。The feature vector obtained for the data contained in the time-series image storage unit 201 is stored in the image feature storage unit 203. At this time, for each feature amount vector, normalization of the variance and average is performed.
The feature amount vector obtained from the query data sequence input from the prediction target time-series image input unit 102 for search query is also normalized with the same parameters.
【００４３】画像特徴量記憶部２０３では、画像特徴抽
出部２０２により計算された特徴量ベクトルを記憶し、
検索部２０５、及び予測画像生成部２０６からの要求に
応じて、要求された時刻に対応する特徴量ベクトルを出
力する。検索部２０４では、予測対象時系列画像入力部
１０２を通して入力され、画像特徴量抽出部２０２によ
り計算される時系列画像の特徴量を入力とし、これと画
像特徴量記憶部２０３に記憶されている過去の時系列画
像の特徴量のそれぞれと比較し、類似する時系列画像の
検索を行い、特徴量予測部２０５へ出力を行う。The image feature amount storage unit 203 stores the feature amount vector calculated by the image feature extraction unit 202,
In response to a request from the search unit 205 and the predicted image generation unit 206, a feature vector corresponding to the requested time is output. In the search unit 204, the feature amount of the time-series image input through the prediction target time-series image input unit 102 and calculated by the image feature amount extraction unit 202 is input and stored in the image feature amount storage unit 203. It compares with each of the feature amounts of the past time-series images, searches for similar time-series images, and outputs the same to the feature amount prediction unit 205.
【００４４】ここでは、その一例として以下の方法を示
す。いま、予測対象時系列画像として、予測対象時系列
画像入力部１０２から時刻Ｔに観測された画像を含むＬ
時間ステップの画像系列｛Ｔ−Ｈ＋１，…，Ｔ−１，
Ｔ｝を入力すると考える。ここでこの画像系列としてＴ
を表記する。そこで、時刻Ｔの画像系列と時系列画像記
憶部２０１に記憶されている過去の時刻ｔの部分データ
系列｛ｔ−Ｌ＋１，…，ｔ−１，ｔ｝との間について、
各特徴量ベクトルｋに関する類似度 Ｄ（Ｔ，ｔ）＝｛Ｄk （Ｔ，ｔ）｜ｋ＝１，２，３｝ を計算する方法を示す。本実施例では、２つの部分系列
の間の時間伸縮を補正するためにＤＰマッチングを用い
た方法を用い、次のように計算する。Here, the following method is shown as an example. Now, L including the image observed at time T from the prediction target time-series image input unit 102 as the prediction target time-series image
A time-step image sequence {T-H + 1, ..., T-1,
Consider entering T｝. Here, as this image sequence, T
Notation. Therefore, between the image sequence at time T and the partial data sequence {t−L + 1,..., T−1, t} at the past time t stored in the time-series image storage unit 201,
A method of calculating the similarity D (T, t) = {D k (T, t) | k = 1, 2, 3} for each feature amount vector k will be described. In the present embodiment, a method using DP matching is used to correct the time expansion and contraction between two partial sequences, and the calculation is performed as follows.
【００４５】[0045]
【数５】 (Equation 5)
【００４６】ただし、ηは定数とし、｜・｜はユークリ
ッドノルムである。また、Ｖk （Ｔ）は、問い合わせデ
ータ系列のパターン変化の速さであり、 Ｖk （Ｔ）＝｜ｘk （Ｔ）−ｘk （Ｔ−１）｜． （１４） のように計算できる。このＶk （Ｔ）を用いて、２つの
時刻間のパターン変化の速さに依らない正規化された非
類似度ｄk （ｍ，ｎ）を計算し、それを問い合わせデー
タの時間ステップ幅Ｌについて、和が最小となるような
非類似度Ｄk （Ｔ，ｔ）を計算する。Where η is a constant and | · | is the Euclidean norm. Further, V k (T) is the speed of pattern change of the inquiry data sequence, and V k (T) = | x k (T) −x k (T−1) |. It can be calculated as (14). Using this V k (T), a normalized dissimilarity d k (m, n) that does not depend on the speed of pattern change between two times is calculated, and is calculated as the time step width L of the inquiry data. , The dissimilarity D k (T, t) that minimizes the sum is calculated.
【００４７】次に、以上で定義した方法を用いて、問い
合わせデータＴと、元データ系列記憶部２０１中の各時
刻のデータとの間の非類似度を、それぞれの特徴量ベク
トルｋについて計算する。そして、検索されるデータ系
列の候補として、各特徴量ベクトルの非類似度につい
て、利用者が与える閾値ξ＝｛ξ1 ，ξ2 ，ξ3 ｝を満
たすデータ系列の集合ＳT を求める。Next, using the method defined above, the degree of dissimilarity between the inquiry data T and the data at each time in the original data sequence storage unit 201 is calculated for each feature amount vector k. . Then, as the candidate data sequences to be searched, the non-similarity of each feature vector, the threshold xi] = user gives {ξ 1, ξ 2, ξ 3} finding a set S T of the data sequence satisfying.
【００４８】[0048]
【数６】 (Equation 6)
【００４９】ここで、ＳT の各要素を検索候補と呼ぶ。
次に、検索候補集合ＳT 中の各要素について、各特徴量
ベクトルの非類似度を統合して、総合的な非類似度を求
める。ここではその一例として、非類似度Ｄk（Ｔ，
ｔ）についての多項式の関数ｆとして、総合的な非類似
度ＹT （ｔ）を求める。[0049] In this case, referred to as the search suggestions each element of S T.
Then, for each element in the search candidate set S T, by integrating the non-similarity of each feature vector to determine the overall dissimilarities. Here, as an example, the dissimilarity D k (T,
The overall dissimilarity Y T (t) is obtained as a function f of the polynomial for t).
【００５０】 ＹT （ｔ）＝ｆ（Ｄ（Ｔ，ｔ）） （１６） 関数ｆとしては、各非類似度Ｄk （Ｔ，ｔ）の重み付き
和等が使用できる。次に、検索結果の画像系列の最大数
Ｋと、検索結果の画像系列が満たしているべき総合的な
非類似度の閾値ｅTHを与えて、以下のように画像系列を
選択する。 Ｃp ＝｛ｑ1 ，ｑ2 ，…，ｑp ｝ （１７） 但し、 ＹT （ｑi ）≦ＹT （ｑi+1 ） ｐ＝max ｛ｉ｜ｉ≦Ｋ，Ｙ’（ｑi ）≦ｅTH ｝， 特徴量予測部２０５では、検索部２０４で検索された過
去の時系列画像の特徴量から、予測対象の時刻における
入力された画像の特徴量の予測を行う。Y T (t) = f (D (T, t)) (16) As the function f, a weighted sum of the dissimilarities D k (T, t) can be used. Next, the maximum number K of image sequences of the search result and the threshold e TH of the overall dissimilarity to be satisfied by the image sequence of the search result are given, and an image sequence is selected as follows. C p = {q 1 , q 2 ,..., Q p } (17) where Y T (q i ) ≦ Y T (q i + 1 ) p = max ｛i | i ≦ K, Y ′ (q i ) ≦ e TH }, and the feature amount prediction unit 205 predicts the feature amount of the input image at the prediction target time from the feature amount of the past time-series image searched by the search unit 204.
【００５１】ここでは、その例として、次の２つの方法
を説明する。なお、以下の方法以外の方法も使用可能で
ある。一つ目の方法は、検索されたデータベース中の時
系列画像の予測時間分先の時刻Ｔ＋ηの画像特徴量を、
検索された画像系列と予測対象の画像系列との類似度に
比例して重み付けをして足し合わせたものを予測対象時
刻の画像特徴量として計算する方法である。具体的に
は、前述の検索部２０４の説明において、検索された過
去の時系列画像の集合Ｃp の時刻に対応する画像特徴量
｛ｘk （ｑ1 ），ｘk （ｑ2 ），…，ｘk （ｑp ）｝の
予測対象時系列画像の時刻Ｔから予測時間ステップ先Ｔ
＋ηの時刻における特徴量値 ｛ｘk （ｑ1 ＋η），ｘk （ｑ2 ＋η），…，ｘk （ｑ
p ＋η）｝ を、重みを付けて平均するという方法により、時刻Ｔ＋
ηにおける画像特徴量の予測値Here, the following two methods will be described as examples. In addition, methods other than the following methods can be used. The first method is to calculate the image feature amount at time T + η ahead of the predicted time series of the time-series image in the searched database by:
This is a method of calculating, as an image feature amount at the time of the prediction target, a value obtained by adding weights in proportion to the similarity between the searched image sequence and the image sequence to be predicted. Specifically, in the description of the search unit 204 described above, the image feature amounts ｛x k (q 1 ), x k (q 2 ),... Corresponding to the times of the set C p of the searched past time-series images. , X k (q p )} from the time T of the time series image to be predicted
Characteristic amount value at the time of + η {x k (q 1 + η), x k (q 2 + η), ..., x k (q
p + η)｝ is weighted and averaged to obtain a time T +
Predicted value of image features at η
【００５２】[0052]
【数７】 (Equation 7)
【００５３】を次のように計算する。Is calculated as follows.
【００５４】[0054]
【数８】 (Equation 8)
【００５５】ここで、ｗ（ｑi ）は、検索された各画像
の重みであり、検索時における予測対象時系列画像と検
索候補の時系列画像との間の非類似度の逆数に比例して
いる。また、もう一つの方法としては、検索されたデー
タベース中の時系列画像の画像特徴量のベクトルの集合
中の、任意の２つの画像特徴量の間のベクトルの差分
が、予測時間先においてはどのように変化するかという
写像関係を取得し、予測対象として入力された時系列画
像の画像特徴量ベクトルｘk （Ｔ）と最も類似する検索
された画像の画像特徴量のベクトルｘk （ｑ1 ）との間
の差分から、予測対象時刻先における差分ベクトルを計
算し、対応する時刻での画像特徴量のベクトルｘk （ｑ
1 ＋Ｔ）との和から、画像特徴量の予測値を計算する方
法が利用できる。Here, w (q i ) is the weight of each searched image and is proportional to the reciprocal of the degree of dissimilarity between the time series image to be predicted and the time series image of the search candidate at the time of search. ing. Further, as another method, a vector difference between any two image feature amounts in a set of image feature amount vectors of the time-series images in the searched database is Is obtained, and a vector x k (q 1 of the image feature of the searched image most similar to the image feature vector x k (T) of the time-series image input as the prediction target is obtained. ), A difference vector at the time of the prediction target time is calculated, and a vector x k (q
A method of calculating a predicted value of an image feature amount from the sum of ( 1 + T) can be used.
【００５６】具体的には、検索結果の画像系列に対応す
る特徴量ベクトルの集合 Ｘ＝｛ｘk （ｑ1 ），ｘk （ｑ2 ），…，ｘ
k （ｑp ）｝ 中の２つのベクトルの組み合わせ（ｘk （ｑi ），ｘk
（ｑj ））、（但し、｜ｑi −ｑj ｜＞△、△は定数）
について、２つの特徴量ベクトル間の変位ベクトル ｚ（ｑi ，ｑj ）＝ｘk （ｑi ）−ｘk （ｑj ） （２０） と、２つの特徴ベクトルの予測対象時間先における変位
ベクトル ｚ’（ｑi ，ｑj ）＝ｘk （ｑi ＋η）−ｘk （ｑj ＋η） （２１） との間の関係が、 ｚ’（ｑi ，ｑj ）＝Ｇz （ｑi ，ｑj ） （２２） のように局所線形変換Ｇにより表されると仮定とし、検
索結果の集合Ｃp 中の２つのベクトル間の組み合わせに
ついて、Specifically, a set of feature quantity vectors X = ｛x k (q 1 ), x k (q 2 ),.
k (q p )}, the combination of two vectors (x k (q i ), x k
(Q j )), where | q i −q j |> △ and △ are constants
, The displacement vector z (q i , q j ) = x k (q i ) −x k (q j ) (20) between the two feature vectors and the displacement vector of the two feature vectors at the prediction target time destination The relationship between z ′ (q i , q j ) = x k (q i + η) −x k (q j + η) (21) is expressed as z ′ (q i , q j ) = G z (q i , Q j ) (22), and for a combination between two vectors in the set of search results C p ,
【００５７】[0057]
【数９】 (Equation 9)
【００５８】が最小となるような行列Ｇを最小２乗法に
より計算する。そして、得られた行列Ｇを用いて、特徴
量の予測値The matrix G that minimizes is calculated by the least square method. Then, using the obtained matrix G, the predicted value of the feature amount
【００５９】[0059]
【数１０】 (Equation 10)
【００６０】と計算できる。このようにして各種の画像
特徴量ｋ毎に対象となる予測時間Ｔ＋ηにおける画像特
徴量の予測値Can be calculated as follows. Thus, the predicted value of the image feature amount at the target prediction time T + η for each of the various image feature amounts k
【００６１】[0061]
【数１１】 [Equation 11]
【００６２】が得られ、これは、予測画像生成部２０６
へと出力される。予測画像生成部２０６では、特徴量予
測部２０５で予測された画像特徴量に対応する画像を再
構成することで予測画像を生成し、出力部３００へ出力
を行う。その具体的な方法の一例と以下の方法を示す。
但し、以下の方法以外の方法も利用可能である。The prediction image generation unit 206
Is output to. The predicted image generation unit 206 generates a predicted image by reconstructing an image corresponding to the image feature amount predicted by the feature amount prediction unit 205, and outputs the predicted image to the output unit 300. An example of the specific method and the following method will be described.
However, a method other than the following method can be used.
【００６３】まず、画像特徴量の予測値First, the predicted value of the image feature amount
【００６４】[0064]
【数１２】 (Equation 12)
【００６５】に類似する画像特徴量記憶部２０５に含ま
れる特徴量を選択する。その一つの方法として、前述の
検索部２０４で検索され、特徴量予測部２０５におい
て、画像特徴量の予測を求める際に用いた画像系列の集
合を用いる方法がある。これは、画像特徴量の予測値A feature amount included in the image feature amount storage unit 205 similar to the above is selected. As one of the methods, there is a method of using a set of image sequences that are searched by the above-described search unit 204 and used by the feature amount prediction unit 205 to obtain prediction of an image feature amount. This is the predicted value of the image feature
【００６６】[0066]
【数１３】 (Equation 13)
【００６７】と、データベース中の画像系列の集合 Ｘ＝｛ｘk （ｑ1 ＋η），ｘk （ｑ2 ＋η），…，ｘk
（ｑp ＋η）｝ のそれぞれとの間の距離を計算し、その逆数として各画
像特徴量に対応する時系列画像記憶部２０１に記憶され
ている画像の重みＷk （ｑi ＋η）を計算する。And a set of image sequences in the database X = ｛x k (q 1 + η), x k (q 2 + η) ,.
(Q p + η)｝ is calculated, and the weight W k (q i + η) of the image stored in the time-series image storage unit 201 corresponding to each image feature amount is calculated as the reciprocal thereof. I do.
【００６８】[0068]
【数１４】 [Equation 14]
【００６９】次に、得られた重みＷk （ｑi ＋η）を用
いて、各画像特徴量ｘk （ｑi ＋η）に対応する時系列
画像記憶されている画像Ｉ（ｑi ＋η）の各画素の濃淡
値を加重平均し、予測画像Next, using the obtained weights W k (q i + η) , the image characteristic amount x k (q i + η) on the image I as time-series images stored corresponding of (q i + η) A weighted average of the gray values of each pixel
【００７０】[0070]
【数１５】 (Equation 15)
【００７１】を再構成する。Is reconstructed.
【００７２】[0072]
【数１６】 (Equation 16)
【００７３】得られた予測画像Obtained predicted image
【００７４】[0074]
【数１７】 [Equation 17]
【００７５】は、出力部３００へ出力される。以下で、
気象レーダ画像を対象とした具体的な例を説明する。図
６は、本発明の一実施例の予測対象の時系列画像の例を
説明するための図であり、予測対象として入力した時系
列画像の始めと最後のフレームを示す。但し、単位時間
ステップは１時間であり、問い合わせデータ系列（予測
対象として入力した時系列画像）は３時間分のデータを
含み、３６フレームで構成される。Is output to the output unit 300. Below,
A specific example for a weather radar image will be described. FIG. 6 is a diagram for explaining an example of a time-series image to be predicted according to one embodiment of the present invention, and shows the beginning and end frames of the time-series image input as a prediction target. However, the unit time step is one hour, and the inquiry data sequence (the time-series image input as a prediction target) includes data for three hours and is composed of 36 frames.
【００７６】画像特徴抽出部２０２の説明で述べた通
り、特徴量ベクトルとして、メッシュ特徴、速度ベクト
ル場、テンポラルテクスチャ特徴の３種を用いた。ま
た、時系列画像記憶部２０１には、およそ９０００時間
分（１２万フレーム）の時系列画像を記憶した。図７
は、本発明の一実施例の図６の予測対象の時系列画像に
対して得られた検索結果の画像系列の様子を説明するた
めの図であり、図６について得られた類似画像系列を上
位５位まで示す。予測対象である時系列画像には、線状
のパターンが、その形状を若干崩しながら、陸地へ接近
する様子が示されているが、検索された時系列画像に
も、同じような傾向を持ったパターンが得られたことが
確認できる。As described in the description of the image feature extraction unit 202, three types of feature amount vectors, ie, a mesh feature, a speed vector field, and a temporal texture feature, were used. The time-series image storage unit 201 stores time-series images of about 9000 hours (120,000 frames). FIG.
FIG. 6 is a diagram for explaining a state of an image sequence of a search result obtained with respect to the time-series image to be predicted in FIG. 6 according to one embodiment of the present invention. The top five are shown. The time-series image to be predicted shows a linear pattern approaching the land while slightly distorting its shape, but the searched time-series image has a similar tendency. It can be confirmed that the obtained pattern was obtained.
【００７７】図８は、本発明の一実施例の図６の予測対
象の時系列画像に対して得られた２時間後から３時間後
の累積雨量分布の予測と実際とを説明するための図であ
る。同図（ａ）には、図６の最終フレームの時刻から、
２時間先から３時間先の累積雨量分布の予測を示す。な
お、ここでは、レーダ画像中の濃淡値と雨量値とは単調
増加の関係にあるものとして変換を行った。または、同
図（ｂ）には、後から観測された実際の雨量分布を示
す。この例のパターンでは、始め線状で海上に存在した
パターンが、南下しつつ形状を崩し、３時間後には広く
陸地に広がり、また、海上には筋状のパターンが出現し
ているが、予測においても、同様のパターンが現れ、本
発明による予測の有効性が分かる。FIG. 8 is a diagram for explaining the prediction of the accumulated rainfall distribution two to three hours after and obtained for the time-series image to be predicted in FIG. FIG. In FIG. 6A, from the time of the last frame in FIG.
The prediction of the accumulated rainfall distribution from two hours ahead to three hours ahead is shown. Here, the conversion is performed assuming that the gray level value and the rainfall value in the radar image have a monotonically increasing relationship. Alternatively, FIG. 2B shows an actual rainfall distribution observed later. In the pattern in this example, the pattern that initially existed on the sea in a linear shape collapsed while moving southward, and after 3 hours spread widely on land, and a streak-like pattern appeared on the sea. , A similar pattern appears, indicating the effectiveness of the prediction according to the present invention.
【００７８】なお、本発明は、データを保存し、それら
を自由に読み出し可能なハードディスクやそれに準ずる
装置と、データを処理する際に必要なバックアップやそ
れに準ずる装置と、所望の情報を表示、出力するディス
プレイヤファイル装置などの装置を備え、それらを予め
定められた手順に基づいて制御する中央演算装置などを
備えたコンピュータやそれに準じる装置を元に、上述し
た実施例での各部の処理の一部もしくは全部、ないし
は、図４のフローチャートに示した手順、もしくは、ア
ルゴリズムを記述した処理プログラムやそれに準じる物
を、当該コンピュータに対して与え、制御、実行させる
ことで実現することが可能である。ここで、当該処理プ
ログラムやそれに準じるものを、コンピュータをが実行
する際に読み出し実行できるＣＤ−ＲＯＭ、フロッピー
ディスク（ＦＤ）、光磁気ディスク（ＭＯ）あるいは、
それらに準じる記憶媒体に記録して、配布することが可
能である。It should be noted that the present invention provides a hard disk capable of storing data and freely reading them out and a device equivalent thereto, a backup necessary for processing data and a device equivalent thereto, and displays and outputs desired information. A computer including a central processing unit or the like, which includes a device such as a display file device, and a device that controls the device based on a predetermined procedure, or a device similar thereto, is one example of the processing of each unit in the above-described embodiment. The processing can be realized by providing a part or all, or a procedure shown in the flowchart of FIG. 4 or a processing program describing an algorithm or an equivalent to the computer, and controlling and executing the processing program. Here, a CD-ROM, a floppy disk (FD), a magneto-optical disk (MO), or a CD-ROM that can read and execute the processing program and the equivalents when the computer executes the processing program.
They can be recorded on a storage medium according to them and distributed.
【００７９】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内で種々変更・応用が可能
である。The present invention is not limited to the above embodiment, but can be variously modified and applied within the scope of the claims.
【００８０】[0080]
【発明の効果】上述のように、本発明では、予測対象の
時系列画像を入力し、予めデータベースに蓄積されてい
る過去の時系列画像の集合の中から予測対象の時系列画
像に類似する画像を画像特徴量の類似性から検索し、さ
らに、検索された過去の時系列画像の画像特徴量の変化
に基づいて、予測対象の時系列画像の未来の画像特徴量
の予測を行い、最後に、予測された画像特徴量に類似す
るデータベース中の過去の画像を用いて、画像を再構成
することで予測画像を生成している。As described above, in the present invention, a time-series image to be predicted is input, and a time-series image similar to the time-series image to be predicted is selected from a set of past time-series images previously stored in a database. The image is searched for from the similarity of the image feature amount, and further, based on the change in the image feature amount of the searched past time-series image, the future image feature amount of the prediction target time-series image is predicted. In addition, a predicted image is generated by reconstructing an image using a past image in a database similar to the predicted image feature amount.
【００８１】そのため、従来は、画像中のパターンの挙
動のモデル化が困難である自然現象を観測したような複
雑で、急激に画像パターンが変化するような時系列画像
に対しても精度の高い予測画像を提供することができ
る。For this reason, conventionally, it is difficult to model the behavior of a pattern in an image, and it is complicated to observe a natural phenomenon, and it is highly accurate even for a time-series image in which an image pattern changes rapidly. A prediction image can be provided.
【図１】本発明の原理を説明するための図である。FIG. 1 is a diagram for explaining the principle of the present invention.
【図２】本発明の原理構成図である。FIG. 2 is a principle configuration diagram of the present invention.
【図３】本発明の時系列画像即装置の構成図である。FIG. 3 is a configuration diagram of a time-series image instant apparatus according to the present invention.
【図４】本発明の時系列画像予測装置の処理部の動作を
示すフローチャートである。FIG. 4 is a flowchart illustrating an operation of a processing unit of the time-series image prediction device of the present invention.
【図５】本発明の一実施例の時系列画像を対象データと
する場合の特徴量ベクトルの例を説明するための図であ
る。FIG. 5 is a diagram for describing an example of a feature amount vector when a time-series image is set as target data according to an embodiment of the present invention.
【図６】本発明の一実施例の予測対象の時系列画像の例
を説明するための図である。FIG. 6 is a diagram illustrating an example of a time-series image to be predicted according to an embodiment of the present invention.
【図７】本発明の一実施例の図６の予測対象の時系列画
像に対して得られた検索結果の画像系列の様子を説明す
るための図である。FIG. 7 is a diagram for explaining a state of an image sequence of a search result obtained for the time-series image to be predicted in FIG. 6 according to one embodiment of the present invention;
【図８】本発明の一実施例の図６の予測対象の時系列画
像に対して得られた２時間後から３時間後の累積雨量分
布の予測と実際とを説明するための図である。FIG. 8 is a diagram for explaining prediction and actual of the accumulated rainfall distribution from 2 hours to 3 hours obtained from the time-series image to be predicted in FIG. 6 according to one embodiment of the present invention; .
【図９】従来の相互の相関手法の処理を示す図である。FIG. 9 is a diagram showing processing of a conventional mutual correlation technique.
【図１０】従来の相互相関手法により求められた相関値
分布の一例を示す図である。FIG. 10 is a diagram illustrating an example of a correlation value distribution obtained by a conventional cross-correlation technique.
【図１１】従来の相関分布から二次補間により最大値を
とる点ｋ’を算出する方法を示す図である。FIG. 11 is a diagram showing a conventional method of calculating a point k ′ at which a maximum value is obtained by quadratic interpolation from a correlation distribution.
１００ 入力部 １０１ 時系列画像入力手段、時系列画像入力部 １０２ 予測対象時系列画像入力手段、予測対象時系列
画像入力部 ２００ 処理部 ２０１ 時系列画像記憶部 ２０２ 画像特徴量抽出手段、画像特徴抽出部 ２０３ 画像特徴量記憶手段、画像特徴量記憶部 ２０４ 検索手段、検索部 ２０５ 予測手段、特徴量予測部 ２０６ 画像再構成手段、予測画像生成部 ３００ 出力部REFERENCE SIGNS LIST 100 input unit 101 time-series image input unit, time-series image input unit 102 prediction target time-series image input unit, prediction target time-series image input unit 200 processing unit 201 time-series image storage unit 202 image feature amount extraction unit, image feature extraction Unit 203 image feature storage unit, image feature storage unit 204 search unit, search unit 205 prediction unit, feature prediction unit 206 image reconstruction unit, predicted image generation unit 300 output unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B057 AA14 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CE05 CE11 DA08 DB02 DB09 DC05 DC22 DC36 5L096 BA08 BA18 DA01 EA35 FA14 FA32 HA04 HA08 JA03 JA18 KA09 ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Haruhiko Kojima 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo F-term within Nippon Telegraph and Telephone Corporation 5B057 AA14 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CE05 CE11 DA08 DB02 DB09 DC05 DC22 DC36 5L096 BA08 BA18 DA01 EA35 FA14 FA32 HA04 HA08 JA03 JA18 KA09
Claims (18)
来の画像を予測する時系列画像予測方法において、 時系列画像を入力し、 前記時系列画像の画像特徴量を抽出し、記憶手段に蓄積
し、 予測対象である予測対象時系列画像を入力し、 前記予測対象時系列画像の予測対象画像特徴量を計算
し、 前記記憶手段に格納されている時系列画像と、計算され
た前記予測対象画像特徴量が類似する時系列画像を検索
し、 検索された前記記憶手段中の時系列画像の画像特徴量に
基づいて、予測対象として入力された予測対象時系列画
像の未来の画像特徴量を予測し、 予測された前記未来の画像特徴量から、未来の画像を再
構成し、予測画像として出力することを特徴とする時系
列画像予測方法。1. A time-series image prediction method for inputting a time-series image and predicting a future image of the time-series image, wherein the time-series image is input, and an image feature amount of the time-series image is extracted and stored. Means for inputting a prediction target time-series image as a prediction target, calculating a prediction target image feature amount of the prediction target time-series image, and calculating the time-series image stored in the storage means. A time-series image having a similar feature amount of the prediction target image is searched, and a future image of the prediction target time-series image input as a prediction target is determined based on the searched image feature amount of the time-series image in the storage unit. A time-series image prediction method, comprising predicting a feature amount, reconstructing a future image from the predicted future image feature amount, and outputting the reconstructed image as a predicted image.
特徴量を求める際に、 単位時間毎に、画像中の画素の濃淡値、または、それを
空間的に平均した平均輝度値、または、画像平面をメッ
シュ状に区切り、各メッシュに含まれる画像の濃淡値の
平均値を要素とするベクトルとして画像特徴量を計算す
る請求項１記載の時系列画像予測方法。2. When obtaining the image feature amount and the prediction target image feature amount, a density value of a pixel in an image, or an average brightness value obtained by spatially averaging the density value, or 2. The time-series image prediction method according to claim 1, wherein the image plane is divided into meshes, and the image feature amount is calculated as a vector having an average value of the grayscale values of the images included in each mesh as an element.
記憶手段中の時系列画像を検索する際に、 前記予測対象時系列画像に対応する各画像特徴量の系列
と、前記記憶手段中の各時刻の時系列画像に対応する各
画像特徴量の系列について、２つの系列化の特徴量ベク
トルの間の距離の和、または、平均的な距離を、該予測
対象時系列画像と該記憶手段中の時系列画像との非類似
度として、時間的な順序関係を保持して計算し、 非類似度が小さい時系列画像を前記記憶手段より選択す
る請求項１記載の時系列画像予測方法。3. When retrieving a time-series image in the storage unit that is similar to the prediction target time-series image, a sequence of each image feature amount corresponding to the prediction target time-series image and For a series of image feature amounts corresponding to the time-series images at each time, the sum or the average distance between the two feature amount vectors of the series is represented by the prediction target time-series image and the storage unit. 2. The time-series image prediction method according to claim 1, wherein the time-series image is calculated while retaining a temporal order relation as the degree of dissimilarity with the middle time-series image, and a time-series image having a small degree of dissimilarity is selected from the storage unit.
測時間分先の時刻の画像特徴量を、検索された該時系列
画像と前記予測対象画像との非類似度に逆比例して重み
付けして、足し合わせたものを、予測対象時刻の画像特
徴量として計算する請求項１記載の時系列画像予測方
法。4. When predicting the future image feature amount, the image feature amount of the retrieved plurality of time-series images in the storage unit at a time ahead of the target predicted time by the target time-series image is retrieved. 2. The time-series image prediction method according to claim 1, wherein weights are added in inverse proportion to the degree of dissimilarity between the image and the prediction target image, and the sum is calculated as an image feature amount at the prediction target time.
量ベクトルの集合中の２つの画像特徴量ベクトルの差分
と、対象とする予測時間先における該２つの画像特徴量
ベクトルとの間の差分の間の写像関係を表現する行列を
計算し、 予測対象として入力された前記予測対象時系列画像の画
像特徴量ベクトルと、該予測対象時系列画像の画像特徴
量ベクトルに最も類似する検索された画像の画像特徴量
のベクトルとの間の差分を計算し、 計算された差分ベクトルを前記行列を用いて、写像し、
予測対象時刻での差分ベクトルを計算し、 前記差分ベクトルと最も類似する検索された画像の予測
対象時刻先における画像特徴量のベクトルとの和を計算
し、画像特徴量の予測値を計算する請求項１記載の時系
列画像予測方法。5. When predicting the future image feature amount, a difference between two image feature amount vectors in a set of image feature amount vectors of the searched time-series images in the storage unit is determined. A matrix representing a mapping relationship between a difference between the two image feature vectors at a prediction time destination to be calculated, and an image feature vector of the prediction target time-series image input as a prediction target; Calculating a difference between the image feature amount vector of the searched image that is most similar to the image feature amount vector of the prediction target time-series image, mapping the calculated difference vector using the matrix,
Calculating a difference vector at a prediction target time, calculating a sum of the difference vector and a vector of an image feature amount of the searched image most similar to the search target time destination, and calculating a prediction value of the image feature amount. Item 2. The time-series image prediction method according to Item 1.
記憶手段に存在する画像の画像特徴量を検索し、該距離
の逆数に比例した重み付けで、検索された画像の濃淡値
を画素毎に足し合わせる請求項１記載の時系列画像予測
方法。6. When reconstructing the future image, an image feature amount of an image existing in the storage means, which has a small distance from the future image feature amount vector, is searched for and is proportional to the reciprocal of the distance. 2. The time-series image prediction method according to claim 1, wherein the grayscale value of the searched image is added for each pixel by the weighting.
来の画像を予測する時系列画像予測装置であって、 時系列画像を入力する時系列画像入力手段と、 前記時系列画像入力手段により入力された前記時系列画
像の画像特徴量を抽出する画像特徴量抽出手段と、 前記画像特徴量抽出手段により抽出された前記画像特徴
量を蓄積する画像特徴量記憶手段と、 予測対象である予測対象時系列画像を入力する予測対象
時系列画像入力手段と、 前記予測対象時系列画像入力手段により入力された前記
予測対象時系列画像の予測対象画像特徴量を計算する画
像特徴量計算手段と、 前記画像特徴量記憶手段に格納されている時系列画像
と、前記画像特徴量計算手段で計算された前記予測対象
画像特徴量が類似する時系列画像を検索する検索手段
と、 前記検索手段で検索された前記画像特徴量記憶手段中の
時系列画像の画像特徴量に基づいて、予測対象として入
力された予測対象時系列画像の未来の画像特徴量を予測
する予測手段と、 前記予測手段で予測された前記未来の画像特徴量から、
未来の画像を再構成し、予測画像として出力する画像再
構成手段とを有することを特徴とする時系列画像予測装
置。7. A time-series image predicting device for inputting a time-series image and predicting a future image of the time-series image, comprising: a time-series image input unit for inputting a time-series image; Means for extracting an image feature amount of the time-series image input by the means; an image feature amount storage means for storing the image feature amount extracted by the image feature amount extraction means; Prediction target time-series image input means for inputting a certain prediction target time-series image, and image characteristic amount calculation means for calculating a prediction target image characteristic amount of the prediction target time-series image input by the prediction target time-series image input means A search unit that searches for a time-series image in which the time-series image stored in the image-feature-value storage unit and the prediction-target image feature value calculated by the image-feature-value calculation unit are similar; A prediction unit that predicts a future image feature amount of a prediction target time-series image input as a prediction target, based on an image characteristic amount of the time-series image in the image characteristic amount storage unit searched by the search unit; From the future image feature amount predicted by the prediction means,
A time-series image prediction device, comprising: image reconstruction means for reconstructing a future image and outputting it as a predicted image.
特徴量計算手段において、 単位時間毎に、画像中の画素の濃淡値、または、それを
空間的に平均した平均輝度値、または、画像平面をメッ
シュ状に区切り、各メッシュに含まれる画像の濃淡値の
平均値を要素とするベクトルとして画像特徴量を計算す
る手段を含む請求項７記載の時系列画像予測装置。8. The image feature amount extraction means and the image feature amount calculation means, wherein, for each unit time, a gray scale value of a pixel in an image or an average brightness value obtained by spatially averaging the gray scale value or an image. 8. The time-series image prediction device according to claim 7, further comprising means for dividing the plane into meshes, and calculating an image feature amount as a vector having an average value of grayscale values of images included in each mesh as an element.
と、前記画像特徴量記憶手段中の各時刻の時系列画像に
対応する各画像特徴量の系列について、２つの系列化の
特徴量ベクトルの間の距離の和、または、平均的な距離
を、該予測対象時系列画像と該画像特徴量記憶手段中の
時系列画像との非類似度として、時間的な順序関係を保
持して計算する手段と、 非類似度が小さい時系列画像を前記画像特徴量記憶手段
より選択する手段とを有する請求項７記載の時系列画像
予測装置。9. The image processing apparatus according to claim 1, wherein the search unit includes a series of image feature amounts corresponding to the time series image to be predicted, and a series of image feature amounts corresponding to the time series image at each time in the image feature amount storage unit. The sum of the distances between the two feature amount vectors of the series, or the average distance, as the dissimilarity between the time series image to be predicted and the time series image in the image feature amount storage unit, 8. The time-series image prediction device according to claim 7, further comprising: means for calculating while maintaining a temporal order relationship; and means for selecting a time-series image having a small degree of dissimilarity from the image feature amount storage means.
像の対象予測時間分先の時刻の画像特徴量を、検索され
た該時系列画像と前記予測対象画像との非類似度に逆比
例して重み付けして、足し合わせたものを、予測対象時
刻の画像特徴量として計算する手段を有する請求項７記
載の時系列画像予測装置。10. The image processing apparatus according to claim 1, wherein the predicting unit calculates the image feature amount of the plurality of time series images in the searched image feature amount storage unit at a time ahead of the target prediction time by the searched time series image and the prediction. 8. The time-series image prediction device according to claim 7, further comprising means for weighting in inverse proportion to the degree of dissimilarity with the target image and calculating the sum as an image feature amount at the prediction target time.
の画像特徴量ベクトルの集合中の２つの画像特徴量ベク
トルの差分と、対象とする予測時間先における該２つの
画像特徴量ベクトルとの間の差分の間の写像関係を表現
する行列を計算する手段と、 予測対象として入力された前記予測対象時系列画像の画
像特徴量ベクトルと、該予測対象時系列画像の画像特徴
量ベクトルに最も類似する検索された画像の画像特徴量
のベクトルとの間の差分を計算する手段と、 計算された差分ベクトルを前記行列を用いて、写像し、
予測対象時刻での差分ベクトルを計算する手段と、 前記差分ベクトルと最も類似する検索された画像の予測
対象時刻先における画像特徴量のベクトルとの和を計算
し、画像特徴量の予測値を計算する手段とを有する請求
項７記載の時系列画像予測装置。11. The prediction means includes: a difference between two image feature vectors in a set of image feature vectors of the time-series images in the searched image feature storage; Means for calculating a matrix expressing a mapping relationship between a difference between the two image feature vectors in the image feature vector, an image feature vector of the prediction target time-series image input as a prediction target, and the prediction target Means for calculating a difference between the image feature amount vector of the searched image most similar to the image feature amount vector of the time-series image, and mapping the calculated difference vector using the matrix,
Means for calculating a difference vector at the prediction target time; calculating the sum of the difference vector and the vector of the image feature amount at the prediction target time point ahead of the searched image most similar to calculate the predicted value of the image feature amount 8. The time-series image prediction device according to claim 7, further comprising:
画像特徴量記憶手段に存在する画像の画像特徴量を検索
し、該距離の逆数に比例した重み付けで、検索された画
像の濃淡値を画素毎に足し合わせる手段を有する請求項
７記載の時系列画像予測装置。12. The image reconstructing means retrieves an image feature amount of an image existing in the image feature amount storage means having a small distance from the future image feature amount vector, and searches for the image feature amount in proportion to the reciprocal of the distance. 8. The time-series image prediction device according to claim 7, further comprising means for adding a gray level value of the searched image for each pixel by weighting.
未来の画像を予測する時系列画像予測プログラムを格納
した記憶媒体であって、 時系列画像を入力させる時系列画像入力プロセスと、 前記時系列画像入力プロセスにより入力された前記時系
列画像の画像特徴量を抽出して、画像特徴量記憶手段に
蓄積する画像特徴量抽出プロセスと、 予測対象である予測対象時系列画像を入力させる予測対
象時系列画像入力プロセスと、 前記予測対象時系列画像入力プロセスにより入力された
前記予測対象時系列画像の予測対象画像特徴量を計算す
る画像特徴量計算プロセスと、 前記画像特徴量記憶手段に格納されている時系列画像
と、前記画像特徴量計算プロセスで計算された前記予測
対象画像特徴量が類似する時系列画像を検索する検索プ
ロセスと、 前記検索プロセスで検索された前記画像特徴量記憶手段
中の時系列画像の画像特徴量に基づいて、予測対象とし
て入力された予測対象時系列画像の未来の画像特徴量を
予測する予測プロセスと、 前記予測プロセスで予測された前記未来の画像特徴量か
ら、未来の画像を再構成し、予測画像として出力させる
画像再構成プロセスとを有することを特徴とする時系列
画像予測プログラムを格納した記憶媒体。13. A storage medium storing a time-series image prediction program for inputting a time-series image and predicting a future image of the time-series image, wherein a time-series image input process for inputting the time-series image is provided. Extracting an image feature amount of the time-series image input by the time-series image input process, storing the image feature amount in an image feature amount storage unit, and inputting a prediction target time-series image to be predicted A prediction target time-series image input process; an image characteristic amount calculation process of calculating a prediction target image characteristic amount of the prediction target time-series image input by the prediction target time-series image input process; A retrieval process for retrieving a time-series image in which the stored time-series image and the prediction target image feature calculated in the image feature calculation process are similar. A prediction process of predicting a future image feature amount of a prediction target time-series image input as a prediction target, based on an image feature amount of a time-series image in the image feature amount storage unit searched in the search process; An image reconstruction process for reconstructing a future image from the future image feature amount predicted in the prediction process and outputting the predicted image as a predicted image. Medium.
記画像特徴量計算プロセスにおいて、 単位時間毎に、画像中の画素の濃淡値、または、それを
空間的に平均した平均輝度値、または、画像平面をメッ
シュ状に区切り、各メッシュに含まれる画像の濃淡値の
平均値を要素とするベクトルとして画像特徴量を計算す
るプロセスを含む請求項１３記載の時系列画像予測プロ
グラムを格納した記憶媒体。14. The image feature value extraction process and the image feature value calculation process, wherein, for each unit time, a gray level value of a pixel in an image or an average luminance value obtained by spatially averaging the gray level value or an image. 14. The storage medium storing the time-series image prediction program according to claim 13, including a process of dividing a plane into meshes, and calculating an image feature amount as a vector having an average value of gray values of images included in each mesh as an element.
と、前記画像特徴量記憶手段中の各時刻の時系列画像に
対応する各画像特徴量の系列について、２つの系列化の
特徴量ベクトルの間の距離の和、または、平均的な距離
を、該予測対象時系列画像と該画像特徴量記憶手段中の
時系列画像との非類似度として、時間的な順序関係を保
持して計算するプロセスと、 非類似度が小さい時系列画像を前記画像特徴量記憶手段
より選択するプロセスとを有する請求項１３記載の時系
列画像予測プログラムを格納した記憶媒体。15. The search process includes: a sequence of each image feature corresponding to the time series image to be predicted; and a sequence of each image feature corresponding to a time series image at each time in the image feature storage unit. The sum of the distances between the two feature amount vectors of the series, or the average distance, as the dissimilarity between the time series image to be predicted and the time series image in the image feature amount storage unit, The storage storing the time-series image prediction program according to claim 13, comprising: a process of calculating while maintaining a temporal order relationship; and a process of selecting a time-series image having a small degree of dissimilarity from the image feature amount storage unit. Medium.
像の対象予測時間分先の時刻の画像特徴量を、検索され
た該時系列画像と前記予測対象画像との非類似度に逆比
例して重み付けして、足し合わせたものを、予測対象時
刻の画像特徴量として計算するプロセスを有する請求項
１３記載の時系列画像予測プログラムを格納した記憶媒
体。16. The prediction process according to claim 1, further comprising the step of: determining an image feature amount of a plurality of time-series images in the searched image feature amount storage unit that is ahead of a target prediction time by the searched time-series image and the prediction value. 14. The storage medium storing the time-series image prediction program according to claim 13, further comprising a process of weighting in inverse proportion to the degree of dissimilarity with the target image and calculating the sum as an image feature amount at the prediction target time. .
の画像特徴量ベクトルの集合中の２つの画像特徴量ベク
トルの差分と、対象とする予測時間先における該２つの
画像特徴量ベクトルとの間の差分の間の写像関係を表現
する行列を計算するプロセスと、 予測対象として入力された前記予測対象時系列画像の画
像特徴量ベクトルと、該予測対象時系列画像の画像特徴
量ベクトルに最も類似する検索された画像の画像特徴量
のベクトルとの間の差分を計算するプロセスと、 前記行列を用いて、写像し、予測対象時刻での差分ベク
トルを計算するプロセスと、 前記差分ベクトルと最も類似する検索された画像の予測
対象時刻先における画像特徴量のベクトルとの和を計算
し、画像特徴量の予測値を計算するプロセスとを有する
請求項１３記載の時系列画像予測プログラムを格納した
記憶媒体。17. The prediction process according to claim 1, wherein the difference between the two image feature vectors in the set of image feature vectors of the time-series images in the searched image feature storage unit is set to a target prediction time Calculating a matrix representing a mapping relationship between a difference between the two image feature vectors in the image processing unit, an image feature vector of the prediction target time-series image input as a prediction target, and a prediction target A process of calculating the difference between the image feature amount vector of the searched image most similar to the image feature amount vector of the time-series image, and mapping using the matrix, and calculating the difference vector at the prediction target time. Calculating the sum of the difference vector and the vector of the image feature amount at the prediction target time point ahead of the searched image most similar to the predicted value of the image feature amount Storage medium storing the image sequence prediction program according to claim 13 and a process that.
画像特徴量記憶手段に存在する画像の画像特徴量を検索
し、該距離の逆数に比例した重み付けで、検索された画
像の濃淡値を画素毎に足し合わせるプロセスを有する請
求項１３記載の時系列画像予測プログラムを格納した記
憶媒体。18. The image reconstructing process searches for an image feature amount of an image having a small distance from the future image feature amount vector and existing in the image feature amount storage means, and searches for the image feature amount in proportion to the reciprocal of the distance. 14. The storage medium storing the time-series image prediction program according to claim 13, further comprising a process of adding the grayscale values of the searched image for each pixel by weighting.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13000499A JP3565087B2 (en) | 1999-05-11 | 1999-05-11 | Time series image prediction method and apparatus, and storage medium storing time series image prediction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13000499A JP3565087B2 (en) | 1999-05-11 | 1999-05-11 | Time series image prediction method and apparatus, and storage medium storing time series image prediction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000322556A true JP2000322556A (en) | 2000-11-24 |
| JP3565087B2 JP3565087B2 (en) | 2004-09-15 |
Family
ID=15023781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13000499A Expired - Fee Related JP3565087B2 (en) | 1999-05-11 | 1999-05-11 | Time series image prediction method and apparatus, and storage medium storing time series image prediction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3565087B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004341979A (en) * | 2003-05-19 | 2004-12-02 | Nissan Motor Co Ltd | Obstacle detection device and obstacle detecting method |
| JP2011239843A (en) * | 2010-05-14 | 2011-12-01 | Olympus Corp | Image processor, image processing method, and image processing program |
| JP2019530926A (en) * | 2016-09-15 | 2019-10-24 | グーグル エルエルシー | Image depth prediction neural network |
| CN111860949A (en) * | 2020-06-12 | 2020-10-30 | 深圳市新产业眼科新技术有限公司 | Prediction method and device based on time sequence image |
| WO2020235401A1 (en) | 2019-05-21 | 2020-11-26 | ソニー株式会社 | Image processing device, image processing method, and program |
| JP2021135650A (en) * | 2020-02-26 | 2021-09-13 | 株式会社日立製作所 | Image prediction system |
| CN113484247A (en) * | 2021-07-07 | 2021-10-08 | 南京大学 | Shale oil-gas combustion extraction method based on multi-source time series remote sensing image |
-
1999
- 1999-05-11 JP JP13000499A patent/JP3565087B2/en not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004341979A (en) * | 2003-05-19 | 2004-12-02 | Nissan Motor Co Ltd | Obstacle detection device and obstacle detecting method |
| JP2011239843A (en) * | 2010-05-14 | 2011-12-01 | Olympus Corp | Image processor, image processing method, and image processing program |
| JP2019530926A (en) * | 2016-09-15 | 2019-10-24 | グーグル エルエルシー | Image depth prediction neural network |
| CN111915663A (en) * | 2016-09-15 | 2020-11-10 | 谷歌有限责任公司 | Image depth prediction neural network |
| US10929996B2 (en) | 2016-09-15 | 2021-02-23 | Google Llc | Image depth prediction neural networks |
| CN111915663B (en) * | 2016-09-15 | 2024-04-30 | 谷歌有限责任公司 | Image depth prediction neural network |
| US11734847B2 (en) | 2016-09-15 | 2023-08-22 | Google Llc | Image depth prediction neural networks |
| WO2020235401A1 (en) | 2019-05-21 | 2020-11-26 | ソニー株式会社 | Image processing device, image processing method, and program |
| JP7239511B2 (en) | 2020-02-26 | 2023-03-14 | 株式会社日立製作所 | Image prediction system |
| JP2021135650A (en) * | 2020-02-26 | 2021-09-13 | 株式会社日立製作所 | Image prediction system |
| CN111860949A (en) * | 2020-06-12 | 2020-10-30 | 深圳市新产业眼科新技术有限公司 | Prediction method and device based on time sequence image |
| CN111860949B (en) * | 2020-06-12 | 2022-06-03 | 深圳市新产业眼科新技术有限公司 | Prediction method and device based on time sequence image |
| CN113484247B (en) * | 2021-07-07 | 2022-03-25 | 南京大学 | Shale oil-gas combustion extraction method based on multi-source time series remote sensing image |
| CN113484247A (en) * | 2021-07-07 | 2021-10-08 | 南京大学 | Shale oil-gas combustion extraction method based on multi-source time series remote sensing image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3565087B2 (en) | 2004-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5974360A (en) | Method and equipment for weather image prediction | |
| Huang et al. | A long-term tropical mesoscale convective systems dataset based on a novel objective automatic tracking algorithm | |
| JP2006260527A (en) | Image matching method and image interpolation method using same | |
| Jing et al. | AENN: A generative adversarial neural network for weather radar echo extrapolation | |
| Ehsani et al. | NowCasting-Nets: Representation learning to mitigate latency gap of satellite precipitation products using convolutional and recurrent neural networks | |
| CN109146912A (en) | A kind of visual target tracking method based on Objective analysis | |
| Xiong et al. | Contextual Sa-attention convolutional LSTM for precipitation nowcasting: A spatiotemporal sequence forecasting view | |
| Ritvanen et al. | Advection-free convolutional neural network for convective rainfall nowcasting | |
| JP3565087B2 (en) | Time series image prediction method and apparatus, and storage medium storing time series image prediction program | |
| Apke et al. | Comparison of optical flow derivation techniques for retrieving tropospheric winds from satellite image sequences | |
| JPH1114760A (en) | Meteorological image prediction method and device, and recording medium with recorded meteorological image prediction program | |
| Saha et al. | Downscaling extreme rainfall using physical-statistical generative adversarial learning | |
| Wang et al. | An approach for radar quantitative precipitation estimation based on spatiotemporal network | |
| JPH11258359A (en) | Weather prediction support method, device, and storage medium recording program thereof | |
| WO2014171544A1 (en) | Time series estimate derivation device, derivation method and derivation program. | |
| JPH11328407A (en) | Method for predicting time-sequential image and device therefor and recording medium for recording time-sequential image prediction program | |
| JP2023086449A (en) | Information processing device, information processing method, and computer program | |
| JP2000305940A (en) | Method and device for retrieving time series data and storage medium storing time series data retrieval program | |
| Scharenbroich et al. | A Bayesian framework for storm tracking using a hidden-state representation | |
| Tan et al. | Deep learning model based on multi-scale feature fusion for precipitation nowcasting | |
| Raoult et al. | Fast retrieval of weather analogues in a multi-petabytes archive using wavelet-based fingerprints | |
| Sakaino et al. | Integrated physics-based nowcasting model for precipitation radar image sequence | |
| JP3483113B2 (en) | Time series image search method and apparatus, and recording medium recording time series image search program | |
| JP2000339329A (en) | Method and device for monitoring and alarming image and storage medium with image monitoring and alarm program stored therein | |
| JP2001201576A (en) | Searching method and device for meteorological image and recording medium with this method recorded therein |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040518 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090618 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100618 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |