JP2000099706A - Image sequence matching device, its method and storage medium recording the method - Google Patents
Image sequence matching device, its method and storage medium recording the methodInfo
- Publication number
- JP2000099706A JP2000099706A JP10271185A JP27118598A JP2000099706A JP 2000099706 A JP2000099706 A JP 2000099706A JP 10271185 A JP10271185 A JP 10271185A JP 27118598 A JP27118598 A JP 27118598A JP 2000099706 A JP2000099706 A JP 2000099706A
- Authority
- JP
- Japan
- Prior art keywords
- image sequence
- correlation
- image
- frequency space
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、各種画像シーケン
ス、例えば医用画像とビデオ映像等のシーケンスの相関
を求めるものであって、臓器の変化の予測、映像素材の
選別等に利用できる画像シーケンスマッチング技術に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for determining the correlation between various image sequences, for example, a sequence of a medical image and a sequence of a video image. It is about technology.
【０００２】[0002]
【従来の技術】この種の技術として従来は、主として画
像フレーム間のマッチングや検索技術とその高速化が検
討されていた（例えば、特開平６−２３１２５４号、特
開平９−４４５１９号）。しかし、いずれもが画像フレ
ーム間のマッチングの高速化に関する技術であり、時系
列としての画像シーケンスの間の相関を効率的に算出す
る方法は提案されていなかった。2. Description of the Related Art Hitherto, as this kind of technique, matching and search techniques between image frames and speeding up thereof have been studied (for example, JP-A-6-231254 and JP-A-9-44519). However, any of them is a technique relating to speeding up matching between image frames, and a method of efficiently calculating a correlation between image sequences as a time series has not been proposed.
【０００３】[0003]
【発明が解決しようとする課題】そこで、画像シーケン
スの特徴量から単純に画像シーケンス間の相関を求める
と、以下のようになる。Therefore, when the correlation between image sequences is simply obtained from the feature amount of the image sequence, the following is obtained.
【０００４】画像シーケンス１はｍフレームを有し、画
像シーケンス２はｎフレームを有し、ｍ＞ｎとする。画
像シーケンス１の画像の時間軸における特徴量をｇ
（ｔ）、画像シーケンス２の画像の時間軸における特徴
量をｈ（ｔ）とすると、画像シーケンス２と画像シーケ
ンス１の相間ｒ（ｔ）は、 ｒ（ｔ）＝ｇ＊ｈ＝∫1 nｇ（ｔ′−ｔ）ｈ（ｔ′）ｄｔ′ …（１） のようになる。式（１）を画像シーケンス１のｍフレー
ムの画像に対して計算すると、画像シーケンス２と画像
シーケンス１の相関が求まる。Image sequence 1 has m frames, image sequence 2 has n frames, and m> n. The feature amount on the time axis of the image of the image sequence 1 is g
(T), assuming that the feature amount of the image of the image sequence 2 on the time axis is h (t), the phase r (t) between the image sequence 2 and the image sequence 1 is r (t) = g * h = ∫ 1 n g (t′−t) h (t ′) dt ′ (1) When the equation (1) is calculated for the m-frame image of the image sequence 1, the correlation between the image sequence 2 and the image sequence 1 is obtained.
【０００５】上記におけるｍフレームの画像シーケンス
とｎフレームの画像シーケンスの相関を求める計算量を
考える。式（１）の計算量はΟ（ｎ）であるので、式
（１）をｍ回計算する必要があるため、総計算量はΟ
（ｍｎ）となる。該計算量はｍとｎの乗数になるため、
画像シーケンスが長い場合、すなわちｍとｎが大きい場
合は計算量が莫大になるという問題がある。[0005] Consider a calculation amount for calculating the correlation between the image sequence of m frames and the image sequence of n frames. Since the calculation amount of Expression (1) is Ο (n), it is necessary to calculate Expression (1) m times, so that the total calculation amount is Ο
(Mn). Since the calculation amount is a multiplier of m and n,
When the image sequence is long, that is, when m and n are large, there is a problem that the amount of calculation becomes enormous.
【０００６】そこで本発明は、長い画像シーケンスの相
関計算量を大幅に減らすことを図る画像シーケンスマッ
チング方法および装置を提供することを課題とする。SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide an image sequence matching method and apparatus for greatly reducing the amount of correlation calculation for a long image sequence.
【０００７】[0007]
【課題を解決するための手段】本発明は、以下に列記す
る発明により上記の課題を解決する。The present invention solves the above-mentioned problems by the inventions listed below.
【０００８】その一手段は、複数の画像シーケンスを入
力して、該画像シーケンス間の相関を出力する画像シー
ケンスマッチング方法であって、各画像シーケンスに対
して、それを構成する画像の特徴量を計算して、各画像
シーケンスの時空間特徴量を作成し、該各画像シーケン
スの時空間特徴量を周波数空間へ変換して周波数空間特
徴量を作成し、該複数の画像シーケンスのうちの任意の
２つの画像シーケンスの周波数空間特徴量の間の相関を
計算して、周波数空間相関量を作成し、該周波数空間相
関量を時空間へ変換して時空間相関量を作成し、該時空
間相関量によって時空間領域での該２つの画像シーケン
ス間のマッチングを行うことを特徴とする画像シーケン
スマッチング方法である。One of the methods is an image sequence matching method for inputting a plurality of image sequences and outputting a correlation between the image sequences. For each image sequence, a feature amount of an image constituting the image sequence is determined. Calculating, creating a spatio-temporal feature amount of each image sequence, converting the spatio-temporal feature amount of each image sequence to a frequency space to create a frequency space feature amount, and selecting an arbitrary one of the plurality of image sequences. Calculating a correlation between the frequency space features of the two image sequences to create a frequency space correlation, converting the frequency space correlation to space time to create a space time correlation, An image sequence matching method characterized by performing matching between the two image sequences in a spatiotemporal domain according to an amount.
【０００９】あるいは、少なくとも１つの画像シーケン
スに対する周波数空間特徴量を予め蓄積しておき、画像
シーケンスを入力して、該入力画像シーケンスと該蓄積
済みの画像シーケンスとの相関を出力する画像シーケン
スマッチング方法であって、該入力画像シーケンスに対
して、それを構成する画像の特徴量を計算して、該入力
画像シーケンスの時空間特徴量を作成し、該入力画像シ
ーケンスの時空間特徴量を周波数空間へ変換して周波数
空間特徴量を作成し、該入力画像シーケンスの周波数空
間特徴量と該蓄積済みの周波数空間特徴量との周波数空
間相関量を作成し、該周波数空間相関量を時空間へ変換
して時空間相関量を作成し、該時空間相関量によって時
空間領域での画像シーケンス間のマッチングを行う こ
とを特徴とする画像シーケンスマッチング方法である。Alternatively, an image sequence matching method for preliminarily accumulating frequency space feature values for at least one image sequence, inputting an image sequence, and outputting a correlation between the input image sequence and the stored image sequence. Calculating, for the input image sequence, a feature amount of an image constituting the input image sequence, creating a spatiotemporal feature amount of the input image sequence, and converting the spatiotemporal feature amount of the input image sequence into a frequency space To create a frequency space feature, create a frequency space correlation between the frequency space feature of the input image sequence and the stored frequency space feature, and convert the frequency space correlation to space-time. A spatio-temporal correlation amount, and performing matching between image sequences in a spatio-temporal domain based on the spatio-temporal correlation amount This is a sequence matching method.
【００１０】あるいは、複数の画像シーケンスを入力す
る手段と、該複数の各入力画像シーケンスに対して、そ
れを構成する画像の特徴量を計算して、該各入力画像シ
ーケンスの時空間特徴量を生成する手段と、時空間特徴
量を周波数空間特徴量へ、周波数空間相関量を時空間相
関量へと双方向変換を行う変換手段と、該変換手段で変
換させた該複数の画像シーケンスのうち任意の２つの画
像シーケンスの周波数空間特徴量の相関を計算して周波
数空間相関量を作成し、該周波数空間相関量を該変換手
段で時空間相関量に変換させて出力する手段とを、具備
することを特徴とする画像シーケンスマッチング装置で
ある。Alternatively, means for inputting a plurality of image sequences, and for each of the plurality of input image sequences, a feature amount of an image constituting the plurality of input image sequences is calculated, and a spatiotemporal feature amount of each of the input image sequences is calculated. Means for generating, a space-time feature amount to a frequency space feature amount, a conversion unit for performing a bidirectional conversion of a frequency space correlation amount to a space-time correlation amount, and a plurality of image sequences converted by the conversion unit. Means for calculating a correlation between the frequency space feature amounts of any two image sequences to create a frequency space correlation amount, converting the frequency space correlation amount into a spatiotemporal correlation amount by the conversion unit, and outputting the converted space space correlation amount. An image sequence matching apparatus characterized in that:
【００１１】あるいは、少なくとも１つの画像シーケン
スに対する周波数空間特徴量を予め蓄積しておく手段
と、画像シーケンスを入力する手段と、該入力画像シー
ケンスに対して、それを構成する画像の特徴量を計算し
て、該入力画像シーケンスの時空間特徴量を生成する手
段と、時空間特徴量を周波数空間特徴量へ、周波数空間
相関量を時空間相関量へと双方向変換を行う変換手段
と、該変換手段で変換させた該画像シーケンスの周波数
空間特徴量と該蓄積済みの画像シーケンスの周波数空間
特徴量の相関を計算して周波数空間相関量を作成し、該
周波数空間相関量を該変換手段で時空間相関量に変換さ
せて出力する手段とを、具備することを特徴とする画像
シーケンスマッチング装置である。Alternatively, means for preliminarily storing frequency space feature values for at least one image sequence, means for inputting an image sequence, and calculating feature values of images constituting the input image sequence A means for generating a spatio-temporal feature of the input image sequence; a converting means for performing bidirectional conversion of the spatio-temporal feature to a frequency-space feature, and a frequency-space correlation to a spatio-temporal correlation; A frequency space feature amount of the image sequence converted by the conversion unit and a correlation between the frequency space feature amount of the stored image sequence are calculated to create a frequency space correlation amount, and the frequency space correlation amount is converted by the conversion unit. Means for converting into a spatio-temporal correlation amount and outputting the same.
【００１２】さらには、上記の画像シーケンスマッチン
グ方法における処理の段階をコンピュータに実行させる
ためのプログラムを、該コンピュータが読み取り可能な
記憶媒体に記録したことを特徴とする画像シーケンスマ
ッチング方法を記録した記憶媒体である。Further, a program for causing a computer to execute the processing steps in the above-described image sequence matching method is recorded on a storage medium readable by the computer, and the image sequence matching method is recorded. Medium.
【００１３】本発明では、２つの画像シーケンス１（ｍ
フレーム）、画像シーケンス２（ｎフレーム）の各構成
画像の特徴から時空間特徴量ｇ（ｔ）とｈ（ｔ）を求
め、例えば、この時空間特徴量ｇ（ｔ）とｈ（ｔ）に対
してフーリエ変換を行い、Ｇ（ω）とＨ（ω）なる周波
数空間特徴量に変換する。よく知られたフーリエ変換の
性質により、この２つの画像シーケンスの周波数空間で
の相関Ｒ（ω）は、 Ｒ（ω）＝Ｆ｛ｇ＊ｈ｝＝Ｇ（ω）Ｈ（ω） …（２） となる。したがって、式（２）を計算し、次にフーリエ
逆変換 ｒ（ｔ）＝Ｆ-1（Ｒ） …（３） を計算することにより、時空間での相関ｒ（ｔ）が求ま
る。ただし、Ｆ，Ｆ-1はフーリエ変換、フーリエ逆変換
を表す。In the present invention, two image sequences 1 (m
Frame) and spatio-temporal features g (t) and h (t) are obtained from the features of each constituent image of the image sequence 2 (n frame). For example, the spatio-temporal features g (t) and h (t) Fourier transform is performed for the frequency space feature amounts of G (ω) and H (ω). Due to the well-known nature of the Fourier transform, the correlation R (ω) in the frequency space of the two image sequences is: R (ω) = F {g * h} = G (ω) H (ω) (2) ). Therefore, by calculating the equation (2) and then calculating the inverse Fourier transform r (t) = F -1 (R) (3), the correlation r (t) in the spatiotemporal space is obtained. Here, F and F -1 represent Fourier transform and Fourier inverse transform.
【００１４】この場合、フーリエ変換、フーリエ逆変換
を計算する計算量はΟ（ｍｌｏｇｍ）である。式（２）
の計算量はΟ（ｍ）である。よって、総計算量はΟ（ｍ
ｌｏｇｍ）である。ｍ，ｎが大きい場合は、ｍｌｏｇｍ
≪ｍｎとなり、式（１）で相関を求める場合よりも大幅
に計算量を減らすことができる。In this case, the amount of calculation for calculating the Fourier transform and the inverse Fourier transform is Ο (mlogm). Equation (2)
Is Ο (m). Therefore, the total amount of calculation is Ο (m
logm). If m and n are large, mlogm
≪mn, and the calculation amount can be significantly reduced as compared with the case where the correlation is obtained by the equation (1).
【００１５】なお、上記フーリエ変換、フーリエ逆変換
の計算量については、ＦＦＴに関する文献「Ｄａｎａ
Ｈ．Ｂａｌｌａｒｄ，Ｃｈｒｉｓｔｏｐｈｅｒ Ｍ．Ｂ
ｒｏｗｎ著、福村他訳、“コンピュータビジョン”、ｐ
ｐ．６１２−６１３（日本コンピュータ協会、昭和６２
年５月２５日初版発行）」がある。The amount of calculation of the Fourier transform and the inverse Fourier transform is described in the document “Dana” regarding FFT.
H. Ballard, Christopher M. B
author, Fukumura et al., "Computer Vision", p.
p. 612-613 (Japan Computer Association, Showa 62)
May 25, 2005).
【００１６】[0016]
【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１７】図１は、本発明の第１の実施形態例を示す
おけるシステム構成図である。図中、１１は画像シーケ
ンス入力部、１２は画像特徴計算部、１３は特徴量変換
部（ＦＦＴ）、１４は周波数空間マッチング部である。FIG. 1 is a system configuration diagram showing a first embodiment of the present invention. In the figure, 11 is an image sequence input unit, 12 is an image feature calculation unit, 13 is a feature amount conversion unit (FFT), and 14 is a frequency space matching unit.
【００１８】図２、図３は、上記構成による動作ととも
に、本発明の画像シーケンスマッチング方法の第１の実
施形態例を示す処理フロー図であって、図２は全体の処
理の流れを示し、図３は図２中の画像シーケンスの周波
数空間特徴を作成する処理の流れを示している。FIG. 2 and FIG. 3 are processing flow charts showing an operation of the above-described configuration and an image sequence matching method according to a first embodiment of the present invention. FIG. 2 shows the flow of the entire processing. FIG. 3 shows a flow of processing for creating a frequency space feature of the image sequence in FIG.
【００１９】本実施形態例では図１、図２に示すよう
に、まず、画像シーケンス入力部１１により複数の画像
シーケンス（１，２，…，Ｌ）を入力する。次に、図３
に示すように、画像特徴計算部１２により各画像シーケ
ンスの各画像の特徴量を算出して時空間特徴量ｈ
i（ｔ）、（ｉ＝１，２，…，Ｌ、以下、同じ）を作成
し、Ｆパラメータ（フーリエ変換実行パラメータ）とと
もに特徴量変換部１３に送る。次に、特徴量変換部（Ｆ
ＦＴ）１３では、Ｆパラメータを受けて時空間特徴量ｈ
i（ｔ）をフーリエ変換して周波数空間特徴量Ｈi（ω）
を作成し、周波数空間マッチング部１４に出力する。In this embodiment, as shown in FIGS. 1 and 2, first, a plurality of image sequences (1, 2,..., L) are input by the image sequence input unit 11. Next, FIG.
As shown in (1), the image feature calculation unit 12 calculates the feature amount of each image of each image sequence and calculates the spatiotemporal feature amount h.
i (t), (i = 1, 2,..., L, the same applies hereinafter) are created and sent to the feature amount conversion unit 13 together with F parameters (Fourier transform execution parameters). Next, the feature amount conversion unit (F
FT) 13 receives the F parameter and receives the spatiotemporal feature quantity h
Fourier transform of i (t) to perform frequency space feature H i (ω)
Is generated and output to the frequency space matching unit 14.
【００２０】次に、周波数空間マッチング部１４によ
り、任意の２つの画像シーケンス（ｉ，ｊ＝１，２，
…，Ｌ、ｉ≠ｊ）間の周波数空間における相関Ｒ
ij（ω）を計算し、これをＦ-1パラメータ（フーリエ逆
変換実行パラメータ）とともに特徴量変換部１３へ送
る。特徴量変換部１３では、Ｆ-1パラメータを受けて周
波数空間相関量Ｒij（ω）をフーリエ逆変換して時空間
相関量ｒij（ｔ）を作成する。Next, an arbitrary two image sequences (i, j = 1, 2, 2,
, L, i ≠ j) the correlation R in the frequency space
ij (ω) is calculated and sent to the feature amount conversion unit 13 together with the F −1 parameter (the Fourier inverse transformation execution parameter). The feature amount conversion unit 13 receives the F -1 parameter and performs an inverse Fourier transform on the frequency space correlation amount R ij (ω) to create a space-time correlation amount r ij (t).
【００２１】以上を式で表すと、２つの画像シーケンス
の時空間特徴量ｈi（ｔ）とｈj（ｔ）に対してフーリエ
変換を行い、Ｈi（ω）とＨj（ω）なる周波数空間特徴
量に変換する。次に、よく知られたフーリエ変換の性質
により、周波数空間特徴量Ｈi（ω）とＨj（ω）から画
像シーケンスｉと画像シーケンスｊの相関量Ｒij（ω）
を求めると、 Ｒij（ω）＝Ｆ｛ｈi＊ｈj｝＝Ｈi（ω）Ｈj（ω） …（４） となる。したがって、式（４）を計算し、次にフーリエ
逆変換 ｒij（ｔ）＝Ｆ-1（Ｒij） …（５） を計算することにより時空間での相関ｒij（ｔ）が求ま
る。ただし、Ｆ，Ｆ-1はフーリエ変換、フーリエ逆変換
を表す。When the above is expressed by an equation, a Fourier transform is performed on the spatiotemporal features h i (t) and h j (t) of the two image sequences to obtain H i (ω) and H j (ω). Convert to frequency space feature. Next, the correlation amount R ij (ω) between the image sequence i and the image sequence j is calculated from the frequency space feature amounts H i (ω) and H j (ω) according to the well-known Fourier transform property.
Is obtained , R ij (ω) = F {h i * h j } = H i (ω) H j (ω) (4) Therefore, by calculating the equation (4), and then calculating the inverse Fourier transform r ij (t) = F −1 (R ij ) (5), the correlation r ij (t) in the spatiotemporal space is obtained. Here, F and F -1 represent Fourier transform and Fourier inverse transform.
【００２２】図４は、本発明の第２の実施形態例を示す
システム構成図である。図中、２１は画像シーケンス入
力部、２２は画像特徴計算部、２３は特徴量変換部（Ｆ
ＦＴ）、２４は周波数空間マッチング部、２５は参照画
像特徴スペクトル記憶部である。FIG. 4 is a system configuration diagram showing a second embodiment of the present invention. In the figure, 21 is an image sequence input unit, 22 is an image feature calculation unit, 23 is a feature amount conversion unit (F
FT) and 24 are frequency space matching units, and 25 is a reference image feature spectrum storage unit.
【００２３】図５は、上記構成による動作とともに、本
発明の画像シーケンスマッチング方法の第２の実施形態
例を示す処理フロー図である。なお、図３の処理フロー
図は、図５中の周波数空間特徴量の作成処理をも示して
いる。FIG. 5 is a processing flow chart showing the operation of the above-described configuration and the second embodiment of the image sequence matching method of the present invention. Note that the processing flow diagram of FIG. 3 also shows the process of creating the frequency space feature amount in FIG.
【００２４】本実施形態例では、まず、画像シーケンス
入力部２１において、ｎ枚画像のある画像列（画像シー
ケンス）が入力される。次に、画像特徴計算部２２にお
いて、画像列のｎ枚の画像について、画素値特徴ベクト
ルｇ（ｋ，ｔ）、ｋ＝１，２，…，ｎが計算され、Ｆパ
ラメータとともに特徴量変換部２３に送られる。画像特
徴としては、例えば画像値のヒストグラムなどを用い
る。次に、特徴量変換部２３において、時空間画像特徴
ｇ（ｋ，ｔ）にｔに関してＦＦＴ（Ｆａｓｔ Ｆｏｕｒ
ｉｅｒ Ｔｒａｎｓｆｏｒｍ）を施し、各々周波数空間
におけるスライスＧ（ｋ，ω）に変換し、周波数空間マ
ッチング部２４に送る。次に、周波数空間マッチング部
２４において、参照画像特徴スペクトル記憶部２５に記
憶されている参照画像の特徴スペクトルＨi（ｋ，
ω）、ｉ＝１，２，…，Ｌとの相関を式（２），（３）
により、各ｋに対して計算し、周波数空間特徴量Ｒ
i（ω）を作成して、Ｆ-1パラメータとともに特徴量変
換部２３に送る。特徴量変換部２３では、Ｆ-1パラメー
タを受けて周波数空間特徴量Ｒi（ω）をフーリエ逆変
換して時空間特徴量ｒi（ｔ）を作成し出力する。In this embodiment, first, an image sequence (image sequence) having n images is input to the image sequence input unit 21. Next, in the image feature calculation unit 22, pixel value feature vectors g (k, t), k = 1, 2,..., N are calculated for n images in the image sequence. 23. As the image feature, for example, a histogram of image values is used. Next, in the feature amount conversion unit 23, the spatiotemporal image feature g (k, t) is subjected to FFT (Fast Four) with respect to t.
ier Transform), and converts the slices into slices G (k, ω) in the frequency space, and sends the slices to the frequency space matching unit 24. Next, in the frequency space matching unit 24, the characteristic spectrum H i (k, k) of the reference image stored in the reference image characteristic spectrum storage unit 25 is used.
ω) and i = 1, 2,..., L
Is calculated for each k, and the frequency space feature amount R
i (ω) is created and sent to the feature quantity conversion unit 23 together with the F -1 parameter. The feature amount conversion unit 23 receives the F -1 parameter and performs Fourier inverse transform on the frequency space feature amount R i (ω) to generate and output a spatiotemporal feature amount r i (t).
【００２５】なお、図１、図４で示した構成部の一部も
しくは全部の機能を、コンピュータを用いて実現できる
こと、あるいは、図２、図３、図５で示した処理の段階
をコンピュータで実行できることは言うまでもなく、コ
ンピュータでその構成部の機能を実現するためのプログ
ラム、あるいは、コンピュータでその処理の段階を実行
させるためのプログラムを、そのコンピュータが読み取
り可能な記憶媒体、例えば、ＦＤ（フロッピーディス
ク）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、
リムーバブルディスクなどに記録して提供し、配布する
ことが可能である。It should be noted that some or all of the functions of the components shown in FIGS. 1 and 4 can be realized by using a computer, or the processing steps shown in FIGS. 2, 3 and 5 can be performed by a computer. Needless to say, a program for realizing the functions of the components of the computer or a program for causing the computer to execute the stages of the processing can be stored in a storage medium readable by the computer, for example, FD (floppy Disc), MO, ROM, memory card, CD, DVD,
It can be recorded on a removable disk or the like, provided, and distributed.
【００２６】[0026]
【発明の効果】以上説明したように、本発明は、画像の
特徴量を計算し、画像シーケンスを時空間画像特徴量に
変換して、時空間画像特徴量を一旦フーリエ変換等で周
波数空間特徴量を作成してから２つの画像シーケンスの
周波数空間相関量を計算し、これをフーリエ逆変換等に
より時空間相関量に戻すことで２つの画像シーケンスの
相関を計算するようにしたので、その相関の計算量がΟ
（ｍｌｏｇｍ）になり、長さそれぞれｍとｎの２つの画
像シーケンスを、直接時空間画像特徴量を用いて相関を
計算する場合の計算量Ο（ｍｎ）と比べて、画像シーケ
ンスが非常に長い場合には、計算量を大幅に減少させる
ことができる。As described above, according to the present invention, the feature amount of an image is calculated, an image sequence is converted into a spatio-temporal image feature amount, and the spatio-temporal image feature amount is temporarily subjected to a Fourier transform or the like. After the amount is created, the frequency-spatial correlation amount of the two image sequences is calculated, and this is returned to the spatio-temporal correlation amount by the inverse Fourier transform or the like, so that the correlation of the two image sequences is calculated.計算
(Mlogm), and the image sequence is very long compared to the calculation amount Ο (mn) of directly calculating the correlation using the spatiotemporal image feature amount for the two image sequences of length m and n. In such a case, the amount of calculation can be significantly reduced.
【図１】本発明の第１の実施形態例を示すシステム構成
図である。FIG. 1 is a system configuration diagram showing a first embodiment of the present invention.
【図２】本発明の方法の第１の実施形態例を示す、複数
の画像シーケンスの入力に対して相関を算出する処理フ
ロー図である。FIG. 2 is a processing flowchart for calculating a correlation with respect to an input of a plurality of image sequences, showing a first embodiment of the method of the present invention.
【図３】本発明の方法の実施形態例における時空間特徴
量から周波数特徴量を作成する処理フロー図である。FIG. 3 is a processing flow diagram for generating a frequency feature amount from a spatiotemporal feature amount in an exemplary embodiment of the method of the present invention.
【図４】本発明の第２の実施形態例を示すシステム構成
図である。FIG. 4 is a system configuration diagram showing a second embodiment of the present invention.
【図５】本発明の方法の第２の実施形態例を示す、予め
周波数空間特徴量を蓄積した画像シーケンスに対して、
入力画像シーケンスとの相関を算出する処理フロー図で
ある。FIG. 5 shows a second embodiment of the method of the present invention, for an image sequence in which frequency space features have been stored in advance.
It is a processing flow figure which calculates the correlation with an input image sequence.
１１…画像シーケンス入力部 １２…画像特徴計算部 １３…特徴量変換部 １４…周波数空間マッチング部 ２１…画像シーケンス入力部 ２２…画像特徴計算部 ２３…特徴量変換部 ２４…周波数空間マッチング部 ２５…参照画像特徴スペクトル記憶部 DESCRIPTION OF SYMBOLS 11 ... Image sequence input part 12 ... Image feature calculation part 13 ... Feature amount conversion part 14 ... Frequency space matching part 21 ... Image sequence input part 22 ... Image feature calculation part 23 ... Feature amount conversion part 24 ... Frequency space matching part 25 ... Reference image feature spectrum storage
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川野 繁一 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 (72)発明者 渡部 保日兒 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 (72)発明者 曽根原 登 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Shigenichi Kawano 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo Nippon Telegraph and Telephone Corporation (72) Inventor Hosashi Watanabe 3-chome Nishishinjuku, Shinjuku-ku, Tokyo 19-2 Nippon Telegraph and Telephone Corporation (72) Inventor Noboru Sonehara 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo Nippon Telegraph and Telephone Corporation
Claims (5)
像シーケンス間の相関を出力する画像シーケンスマッチ
ング方法であって、 各画像シーケンスに対して、それを構成する画像の特徴
量を計算して、各画像シーケンスの時空間特徴量を作成
し、 該各画像シーケンスの時空間特徴量を周波数空間へ変換
して周波数空間特徴量を作成し、 該複数の画像シーケンスのうちの任意の２つの画像シー
ケンスの周波数空間特徴量の間の相関を計算して、周波
数空間相関量を作成し、 該周波数空間相関量を時空間へ変換して時空間相関量を
作成し、 該時空間相関量によって時空間領域での該２つの画像シ
ーケンス間のマッチングを行うことを特徴とする画像シ
ーケンスマッチング方法。An image sequence matching method for inputting a plurality of image sequences and outputting a correlation between the image sequences, wherein for each image sequence, a feature amount of an image constituting the image sequence is calculated. Creating a spatio-temporal feature of each image sequence, converting the spatio-temporal feature of each image sequence into a frequency space to create a frequency space feature, and selecting any two images of the plurality of image sequences. The correlation between the frequency space features of the sequence is calculated to create the frequency space correlation, the frequency space correlation is converted to space-time to create the space-time correlation, and the space-time correlation is calculated by the space-time correlation. An image sequence matching method comprising performing matching between the two image sequences in a spatial domain.
る周波数空間特徴量を予め蓄積しておき、画像シーケン
スを入力して、該入力画像シーケンスと該蓄積済みの画
像シーケンスとの相関を出力する画像シーケンスマッチ
ング方法であって、 該入力画像シーケンスに対して、それを構成する画像の
特徴量を計算して、該入力画像シーケンスの時空間特徴
量を作成し、 該入力画像シーケンスの時空間特徴量を周波数空間へ変
換して周波数空間特徴量を作成し、 該入力画像シーケンスの周波数空間特徴量と該蓄積済み
の周波数空間特徴量との周波数空間相関量を作成し、 該周波数空間相関量を時空間へ変換して時空間相関量を
作成し、 該時空間相関量によって時空間領域での画像シーケンス
間のマッチングを行うことを特徴とする画像シーケンス
マッチング方法。2. An image sequence matching method in which a frequency space feature amount for at least one image sequence is stored in advance, an image sequence is input, and a correlation between the input image sequence and the stored image sequence is output. For the input image sequence, a feature amount of an image constituting the input image sequence is calculated, a spatio-temporal feature amount of the input image sequence is created, and a spatio-temporal feature amount of the input image sequence is To create a frequency space feature, generate a frequency space correlation between the frequency space feature of the input image sequence and the stored frequency space feature, and convert the frequency space correlation to space-time. A spatio-temporal correlation amount, and performing matching between image sequences in a spatio-temporal domain based on the spatio-temporal correlation amount. Scan matching method.
と、 該複数の各入力画像シーケンスに対して、それを構成す
る画像の特徴量を計算して、該各入力画像シーケンスの
時空間特徴量を生成する手段と、 時空間特徴量を周波数空間特徴量へ、周波数空間相関量
を時空間相関量へと双方向変換を行う変換手段と、 該変換手段で変換させた該複数の画像シーケンスのうち
任意の２つの画像シーケンスの周波数空間特徴量の相関
を計算して周波数空間相関量を作成し、該周波数空間相
関量を該変換手段で時空間相関量に変換させて出力する
手段とを、 具備することを特徴とする画像シーケンスマッチング装
置。3. A means for inputting a plurality of image sequences, and for each of the plurality of input image sequences, a feature amount of an image constituting the plurality of image sequences is calculated, and a spatiotemporal feature amount of each of the input image sequences is calculated. Means for generating, a conversion means for performing bidirectional conversion of a spatio-temporal feature to a frequency-spatial feature, and a bi-directional conversion of a frequency-spatial correlation to a spatio-temporal correlation, among the image sequences converted by the conversion means Means for calculating the correlation between the frequency space feature amounts of any two image sequences to create a frequency space correlation amount, converting the frequency space correlation amount into a spatiotemporal correlation amount by the conversion means, and outputting the converted space space amount. An image sequence matching apparatus, comprising:
る周波数空間特徴量を予め蓄積しておく手段と、 画像シーケンスを入力する手段と、 該入力画像シーケンスに対して、それを構成する画像の
特徴量を計算して、該入力画像シーケンスの時空間特徴
量を生成する手段と、 時空間特徴量を周波数空間特徴量へ、周波数空間相関量
を時空間相関量へと双方向変換を行う変換手段と、 該変換手段で変換させた該画像シーケンスの周波数空間
特徴量と該蓄積済みの画像シーケンスの周波数空間特徴
量の相関を計算して周波数空間相関量を作成し、該周波
数空間相関量を該変換手段で時空間相関量に変換させて
出力する手段とを、 具備することを特徴とする画像シーケンスマッチング装
置。4. A means for preliminarily storing frequency space feature values for at least one image sequence; a means for inputting an image sequence; and calculating feature values of images constituting the input image sequence. Means for generating a spatio-temporal feature amount of the input image sequence; converting means for performing bidirectional conversion of the spatio-temporal feature amount to a frequency-space feature amount; A frequency space feature amount of the image sequence converted by the conversion unit and a correlation between the frequency space feature amount of the stored image sequence are calculated to create a frequency space correlation amount, and the frequency space correlation amount is converted by the conversion unit. Means for converting into a spatio-temporal correlation amount and outputting the same.
マッチング方法における処理の段階をコンピュータに実
行させるためのプログラムを、該コンピュータが読み取
り可能な記憶媒体に記録したことを特徴とする画像シー
ケンスマッチング方法を記録した記憶媒体。5. An image sequence matching method according to claim 1, wherein a program for causing a computer to execute the processing steps in the image sequence matching method according to claim 1 or 2 is recorded on a computer-readable storage medium. Storage medium on which is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10271185A JP2000099706A (en) | 1998-09-25 | 1998-09-25 | Image sequence matching device, its method and storage medium recording the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10271185A JP2000099706A (en) | 1998-09-25 | 1998-09-25 | Image sequence matching device, its method and storage medium recording the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000099706A true JP2000099706A (en) | 2000-04-07 |
Family
ID=17496543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10271185A Pending JP2000099706A (en) | 1998-09-25 | 1998-09-25 | Image sequence matching device, its method and storage medium recording the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000099706A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013136395A1 (en) * | 2012-03-12 | 2013-09-19 | 日本電気株式会社 | Sensor device, sensing method, and recording medium storing program |
| KR101842043B1 (en) | 2011-07-22 | 2018-03-26 | 삼성전자주식회사 | Apparatus and Method for analyzing ultrasound images |
-
1998
- 1998-09-25 JP JP10271185A patent/JP2000099706A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101842043B1 (en) | 2011-07-22 | 2018-03-26 | 삼성전자주식회사 | Apparatus and Method for analyzing ultrasound images |
| WO2013136395A1 (en) * | 2012-03-12 | 2013-09-19 | 日本電気株式会社 | Sensor device, sensing method, and recording medium storing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6493023B1 (en) | Method and apparatus for evaluating the visual quality of processed digital video sequences | |
| JP2011180798A (en) | Image processing apparatus, image processing method, and program | |
| JP2011237998A (en) | Image processing device, and image processing method and program | |
| Mittal et al. | Bit-depth expansion using minimum risk based classification | |
| JP2011004345A (en) | Spatial downsampling processor, spatial upsampling processor, encoding apparatus, decoding apparatus, and program | |
| KR101795952B1 (en) | Method and device for generating depth image of 2d image | |
| KR102278756B1 (en) | Device and Method for Up-scaling Stereo Images Considering Consistency | |
| US20150213581A1 (en) | Method and apparatus for image quality enhancement using phase modulation of high frequency elements | |
| JP6202725B2 (en) | Image difference amount calculation device, image encoding device, and program | |
| JP2000099706A (en) | Image sequence matching device, its method and storage medium recording the method | |
| JPWO2006117919A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP2012059138A (en) | Image super-resolution processing device and program therefor | |
| Komatsu et al. | 3-d mean-separation-type short-time dft with its application to moving-image denoising | |
| JP2015138553A (en) | Image smoothing method and image smoothing device | |
| JP2001145107A (en) | Signal processor using dct and image-compressing device | |
| US7697753B2 (en) | Device for creating image feature from image having any shape | |
| US20060245667A1 (en) | 1-D image restoration using a sliding window method | |
| JP5140637B2 (en) | Spatiotemporal downsampling processing device, spatiotemporal upsampling processing device, encoding device, decoding device, and program | |
| JP5878785B2 (en) | Gradation reduction apparatus and program | |
| JP2011043901A (en) | Image processor, image processing method, image processing program, and electronic equipment | |
| CN112581362A (en) | Image processing method and device for adjusting image details | |
| JP2000312294A (en) | Image processor | |
| JP6055268B2 (en) | Color conversion device, color restoration device, and program thereof | |
| JP3775180B2 (en) | Image processing method and apparatus | |
| US20230377311A1 (en) | Image processing apparatus and method, and storage medium |