JP5564643B2 - Information processing method and information processing apparatus - Google Patents
Information processing method and information processing apparatus Download PDFInfo
- Publication number
- JP5564643B2 JP5564643B2 JP2009140998A JP2009140998A JP5564643B2 JP 5564643 B2 JP5564643 B2 JP 5564643B2 JP 2009140998 A JP2009140998 A JP 2009140998A JP 2009140998 A JP2009140998 A JP 2009140998A JP 5564643 B2 JP5564643 B2 JP 5564643B2
- Authority
- JP
- Japan
- Prior art keywords
- energy
- order
- information processing
- image
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/426—Graphical representations
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理方法および情報処理装置に関する。 The present invention relates to an information processing method and an information processing apparatus for processing higher-order energy that can be expressed by a polynomial of a fourth or higher order in which each variable is binary.
領域分割やステレオ,画像復元などの画像分野の問題をマルコフ確率場(Markov Random Field: MRF)などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法としては、グラフカット(例えば、非特許文献1参照)や信念伝播法(例えば、非特許文献2参照)、ツリー重み再配分メッセージ伝達法(例えば、非特許文献3参照)などが提案されている。これらの手法では、エネルギーを比較的効率良く最小化することができるが、使用できるエネルギーの形は限られている。 As a method for efficiently solving problems in the image field such as region segmentation, stereo, and image restoration as a maximum posterior probability estimation problem of a stochastic model such as Markov Random Field (MRF), and as an energy minimization problem Graph cuts (for example, see Non-Patent Document 1), belief propagation methods (for example, see Non-Patent Document 2), tree weight reallocation message transmission methods (for example, see Non-Patent Document 3), and the like have been proposed. Although these approaches can minimize energy relatively efficiently, the form of energy that can be used is limited.
エネルギーが最高k個の点に依存する関数の和により表わせるとき、MRFの用語では(k−1)階のエネルギーと呼ぶが、上述した手法によって最小化可能なエネルギーの回数は最大でも2階に限られ、また実際にはほとんど1階のものしか使われていない。例えば、画像処理の分野では、各画素のみに依存する項と隣接する2つの画素のみに依存する項との和により表わされた1階のエネルギーが殆どである。近年、画像処理では自然画像の特徴をより高い精度で捉えるために高次の統計の重要性が指摘されており、高階のエネルギーを効率的に最小化する手法の構築が望まれる。 When energy can be expressed by the sum of functions depending on up to k points, it is called (k-1) -order energy in MRF terminology, but the number of energies that can be minimized by the above-described method is at most 2nd-order. In fact, only the first floor is used. For example, in the field of image processing, most energy on the first floor is represented by the sum of a term that depends only on each pixel and a term that depends only on two adjacent pixels. In recent years, in image processing, the importance of higher-order statistics has been pointed out in order to capture the characteristics of natural images with higher accuracy, and it is desired to construct a method for efficiently minimizing higher-order energy.
本発明の情報処理方法および情報処理装置は、各変数が2値の4次以上の多項式により表わされる高階エネルギーからなるデータを少ない計算コストで最小化することを主目的とする。 An information processing method and an information processing apparatus according to the present invention are mainly intended to minimize data composed of higher-order energy represented by a polynomial having a binary fourth or higher order with each variable at a low calculation cost.
本発明の情報処理方法および情報処理装置は、上述の主目的を達成するために以下の手段を採った。 The information processing method and information processing apparatus of the present invention employ the following means in order to achieve the main object described above.
本発明の情報処理方法は、
各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理方法であって、
前記高階エネルギーのデータ表現を記憶手段に格納し、
前記高階エネルギーに対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を演算手段により変更することにより前記高階エネルギーを同値な1階のエネルギーに変換し、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより
前記高階エネルギーが最小となる前記各変数を設定する
ことを特徴とする。
The information processing method of the present invention includes:
An information processing method for processing higher-order energy in which each variable can be expressed by a binary fourth-order or higher-order polynomial,
Storing a data representation of the higher order energy in a storage means;
By changing the stored data representation by a calculation means so as to correspond to the addition of binary external variables of a number corresponding to the order using a symmetric formula for the higher order energy , the higher order energy is changed to the same first order energy. Converted into energy
Each variable that minimizes the higher-order energy is set by applying a predetermined energy minimizing method to the converted first-order energy.
この本発明の情報処理方法では、各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを対称式を用いて次数に応じた数の2値の外部変数を付加することにより同値な1階のエネルギーに変換し、変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより高階エネルギーが最小となる各変数を設定する。これにより、少ない計算コストで高階エネルギーを最小化することができる。ここで、「同値」とは、変換後の1階のエネルギーを最小化する変数の設定が変換前の高階のエネルギーをも最小化することを意味する。また、「次数に応じた数の2値の外部変数」は、具体的には、各項について、次数をdとすると(d−1)/2を超えない最大の整数である。さらに、「所定のエネルギー最小化法」としては、グラフカット法,信念伝播法,ツリー重み再配分メッセージ伝達法などが含まれる。 In this information processing method of the present invention, by adding a higher-order energy that can be expressed by a polynomial having a fourth or higher order of each variable to a binary, a binary external variable of a number corresponding to the order is added using a symmetric expression. Each variable that minimizes the higher-order energy is set by converting the energy to the equivalent first-order energy and applying a predetermined energy minimization method to the converted first-order energy. As a result, higher-order energy can be minimized with less calculation cost. Here, “equivalent” means that the setting of a variable that minimizes the energy of the first floor after conversion also minimizes the energy of the higher floor before conversion. The “binary external variable of the number corresponding to the order” is specifically the maximum integer that does not exceed (d−1) / 2 when the order is d for each term. Further, the “predetermined energy minimization method” includes a graph cut method, a belief propagation method, a tree weight redistribution message transmission method, and the like.
こうした本発明の情報処理方法において、次数をdとし係数をaとし前記変数をx1,…,xdとし値0か値1のいずれかをとる前記外部変数をwとし1次の基本対称式をS1とし2次の基本対称式をS2とすると、前記高階エネルギーの多項式の各項毎に、係数aが正の項に対しては該項の次数dが偶数のときには式(1)を用いて前記1階エネルギーの多項式に変換し、該項の次数dが奇数のときには式(2)を用いて前記1階エネルギーの多項式に変換するものとすることもできる。これは、任意の2次の対称式を1次および2次の基本対称式によって表わすことができることに基づく。 In such an information processing method according to the present invention, the primary variable is a primary basic symmetric expression where the order is d, the coefficient is a, the variable is x 1 ,..., X d, and the external variable taking either 0 or 1 is w. Is S 1 and the second-order basic symmetry expression is S 2. For each term of the higher-order energy polynomial, when the coefficient d is an even number for a term with a positive coefficient a, the expression (1) To the first-order energy polynomial, and when the order d of the term is an odd number, it can be converted to the first-order energy polynomial using equation (2). This is based on the fact that any second-order symmetric expression can be expressed by the first-order and second-order basic symmetric expressions.
この態様の本発明の情報処理方法において、前記高階エネルギー多項式の各項毎に係数aが負の項に対しては式(3)を用いて前記1階エネルギーの多項式に変換するものとすることもできる。 In the information processing method of the present invention of this aspect, a term having a negative coefficient a for each term of the higher-order energy polynomial is converted to the first-order energy polynomial using Equation (3). You can also.
また、画像データを処理する本発明の情報処理方法において、前記画像データを構成する各画素のうち所定の条件に合致する画素に第1の値のラベルを割り当てると共に該所定の条件に合致しない画素に第2の値のラベルを割り当てる2値のラベルを前記変数として前記各画素だけに依存する1次の項と4点以上の画素の組に依存する4次以上の項とを含む多項式の高階エネルギーを設定し、該設定した高階エネルギーが最小となるよう前記変数を設定することにより前記2値のラベルを割り当てるものとすることもできる。こうすれば、所定の条件を用いた画像データの処理をより少ない計算コストで行なうことができる。ここで、「所定の条件」には、画像の領域を分割するための条件や画像に含まれるノイズを除去するための条件などが含まれる。 In the information processing method of the present invention for processing image data, a pixel having a first value is assigned to a pixel that satisfies a predetermined condition among the pixels constituting the image data, and a pixel that does not satisfy the predetermined condition A higher-order polynomial including a first-order term that depends only on each pixel and a fourth-order or more term that depends on a set of four or more pixels, with a binary label that assigns a second-value label to the variable The binary label may be assigned by setting energy and setting the variable so that the set higher-order energy is minimized. In this way, it is possible to perform image data processing using a predetermined condition with less calculation cost. Here, the “predetermined condition” includes a condition for dividing a region of the image, a condition for removing noise included in the image, and the like.
画像データを処理する態様の本発明の情報処理方法において、前記所定の条件に合致する確率が高いほどエネルギーが小さくなるよう各項の係数を定めることにより前記多項式の高階エネルギーを設定するものとすることもできる。この態様の本発明の情報処理方法において、前記所定の条件に合致する確率をPとしたときにエネルギーが−logPとなるよう前記各項の係数を定めるものとすることもできる。こうすれば、所定の条件により適合する高階のエネルギーを設定することができる。 In the information processing method of the present invention that processes image data, the higher-order energy of the polynomial is set by determining the coefficient of each term so that the energy decreases as the probability of meeting the predetermined condition increases. You can also. In this aspect of the information processing method of the present invention, the coefficient of each term may be determined so that the energy is −logP, where P is the probability of meeting the predetermined condition. By doing so, it is possible to set higher-order energy that conforms to predetermined conditions.
また、画像データを処理する態様の本発明の情報処理方法において、現在の画像に対して変化を与えた提案画像を生成し前記現在の画像の画素を該生成した提案画像の対応する画素に置き換えるときには前記第1の値のラベルを割り当てると共に前記現在の画像の画素を前記生成した提案画像の対応する画素に置き換えないときには前記第2のラベルを割り当てることにより新たな画像を生成する処理を繰り返すことにより画像を復元するものとすることもできる。この態様の本発明の情報処理方法において、前記提案画像は、再急降下法を用いて生成するものとすることもできるし、前記現在の画像に対して所定のぼかしフィルタを適用することにより生成するものとすることもできる。 Further, in the information processing method of the present invention that processes image data, a proposed image that changes the current image is generated, and pixels of the current image are replaced with corresponding pixels of the generated proposed image. Sometimes assigning the label of the first value and repeating the process of generating a new image by assigning the second label when not replacing the pixel of the current image with the corresponding pixel of the generated proposed image It is also possible to restore the image. In the information processing method according to the aspect of the present invention, the proposed image may be generated by using a re-steep descent method or by applying a predetermined blur filter to the current image. It can also be.
本発明の情報処理装置は、
各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理装置であって、
前記高階エネルギーのデータ表現を格納する記憶手段と、
前記高階エネルギーに対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を変更する演算手段と、
前記高階エネルギーを該データ表現の変更により同値な1階のエネルギーに変換するエネルギー変換手段と、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより前記高階エネルギーが最小となる前記各変数を設定するエネルギー最小化手段と、
を備えることを要旨とする。
The information processing apparatus of the present invention
An information processing apparatus for processing higher-order energy, each variable being represented by a binary fourth or higher order polynomial,
Storage means for storing a data representation of the higher order energy;
A calculating means for changing the data representation that is the stored so as to correspond to the addition of external variable binary number corresponding to the order by using a symmetric polynomial in the higher-order energy,
Energy conversion means for converting the higher-order energy into equivalent first- order energy by changing the data representation ;
Energy minimizing means for setting each variable that minimizes the higher order energy by applying a predetermined energy minimizing method to the converted first floor energy;
It is a summary to provide.
この本発明の情報処理装置では、各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを対称式を用いて次数に応じた数の2値の外部変数を付加することにより同値な1階のエネルギーに変換し、変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより高階エネルギーが最小となる各変数を設定する。これにより、少ない計算コストで高階エネルギーを最小化することができる。 In the information processing apparatus according to the present invention, by adding a higher-order energy that can be expressed by a polynomial having a binary fourth or higher order to each variable, a binary external variable having a number corresponding to the order is added using a symmetric expression. Each variable that minimizes the higher-order energy is set by converting the energy to the equivalent first-order energy and applying a predetermined energy minimization method to the converted first-order energy. As a result, higher-order energy can be minimized with less calculation cost.
次に、本発明の実施の形態を実施例を用いて説明する。 Next, embodiments of the present invention will be described using examples.
図1は、本発明の一実施例としての情報処理装置の構成の概略を示す構成図である。実施例の情報処理装置は、CPUやROM,RAM,入出力処理回路,ハードディスク,キーボード40,マウス50などを備える汎用のコンピュータ20であり、デジタルカメラやCT(Computed Tomography),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography)などの撮像装置や画像データを記憶する記憶装置に入力処理回路を介して接続されると共にディスプレイ30やプリンタなどの出力機器に出力処理回路を介して接続されている。実施例では、コンピュータ20は、画像処理用プログラムがインストールされており、これにより画像処理装置として機能する。
FIG. 1 is a configuration diagram showing an outline of the configuration of an information processing apparatus as an embodiment of the present invention. The information processing apparatus according to the embodiment is a general-
CTやMRI,PETなどから得られるデータは3次元の格子点に数値(データ値)を与えるものである。データ値は例えばCTなら空間内の各格子点がどれだけX線を吸収するかを表わす。2次元の断面画像なら各点の値に応じて色を変えれば全体を見ることができるが、3次元のデータは一望するのは困難である。したがって、例えば、CT画像のうち骨だけを見たいなら骨の部分だけを残し他の部分は透明にして3次元グラフィックス表示することになる。このためには、元画像を骨の部分とそれ以外の部分とに分割する必要がある(画像分割問題)。これは、値0が骨の部分で値1がそれ以外を表わすというように各格子点に値0か値1かのいずれかのラベルを与えるラベル割付問題として考えることができる。この場合、ある閾値を定めてデータ値が閾値よりも大きい点は値0を割り当て閾値以下の点は値1を割り当てものとすると、ノイズなどにより表面形状が荒いものとなる。このため、一般には隣接する格子点間ではあまり激しく値0と値1とが入れ替わらないように、即ち境界がなめらかになるような傾向をもたせる。このための手法の一つがエネルギー最小化による方法である。以下、実施例では、人のCT画像に対して骨に該当する画素に値0のラベルを割り当てそれ以外の部分の画素に値1のラベルを割り当てることにより領域を分割する画像分割問題をエネルギー最小化法により解く場合を例として説明する。
Data obtained from CT, MRI, PET, etc. give numerical values (data values) to three-dimensional lattice points. For example, in the case of CT, the data value represents how much each grid point in the space absorbs X-rays. In the case of a two-dimensional cross-sectional image, the entire image can be seen by changing the color according to the value of each point, but it is difficult to get a panoramic view of the three-dimensional data. Therefore, for example, if it is desired to see only the bone in the CT image, only the bone portion is left and the other portions are made transparent and displayed in three-dimensional graphics. For this purpose, it is necessary to divide the original image into a bone portion and other portions (image division problem). This can be considered as a label allocation problem in which a value of 0 or 1 is given to each grid point such that value 0 represents the bone portion and
コンピュータ20は、その機能ブロックとしては、画像データの領域分割をエネルギー最小化法を用いて処理するための多項式(高階エネルギー)を設定する高階エネルギー設定部22と、設定した高階エネルギーを2値の外部変数を付加して1階のエネルギーに変換するためのエネルギー変換部24と、変換後の1階のエネルギーが最小となるよう各画素毎に値0か値1のラベルを割り当てて画像の領域分割を行なうエネルギー最小化部26とを備え、これらは、CPUやROM,RAM,ハードディスクなどのハードウェアと画像処理用プログラムとが一体となって機能する。
The
高階エネルギー設定部22は、各画素に対して割り当てる値0か値1のラベルを2値変数として上述した領域分割問題を解くための高次の多項式を設定する処理部であり、実施例では、画像データの各画素1点だけに基づいてエネルギーを設定する1次の項と、隣接する画素2点のパターン(図2(a)参照)に基づいてエネルギーを設定する2次の項と、隣接する2×2の画素4点のパターン(図2(b)参照)に基づいてエネルギーを設定する4次の項との和により設定するものとした。
The higher-order
エネルギー変換部24は、2値変数からなる3次以上(2階以上)のエネルギー多項式を2次(1階)のエネルギーに変換する処理部として構成されており、この変換は多項式の各項について基本対称式を用いて次数をdとしたときに(d−1)/2を超えない最大の整数に相当する数の2値の外部変数を付加することにより行なう。
The
ここで、2値変数をx,y,zとする次数が3の項を2次の多項式に変換する場合、引用文献1によると、次式(4)に基づいて係数aが負のときには両辺に係数aを乗じた次式(5)により、係数aが正のときにはx,y,zをそれぞれ1−x,1−y,1−zに置き換えて計算した次式(6)により「max」を「min」に代えることができる。ここで、式(4)〜(6)中の「w」はB={0,1}の値しかとらない即ち値0か値1しかとらない外部変数である。この式(5)および式(6)は、最小化問題に3次の項axyzが現われた場合、左辺を右辺に代えても最小値とこれをとるための変数x,y,zは変わらないことを意味する。即ち、変換後の関数で最小値を与える変数x,y,zは元の関数でも最小値を与える。しかし、式(7)に示すように、2値変数をx,y,z,tとする4次の項を考えると、上記の手法では、係数aが正で且つ偶数次の項についてはx,y,z,tをそれぞれ1−x,1−y,1−z,1−tに置き換えても「max」を「min」に変えることができないため、使用することはできない。また、5以上の奇数次を考えても、展開後の式には4次などの偶数次の項が現われるから、同様に使用することはできない。
引用文献1:D.Freedman and P.Drineas."Energy minimization via graph cuts: Settling what is possible." Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR2005)2:939-946.
Here, when a term of degree 3 having binary variables x, y, z is converted to a quadratic polynomial, according to the cited
Citation 1: D. Freedman and P. Drineas. “Energy minimization via graph cuts: Settling what is possible.” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2005) 2: 939-946.
これに対して、実施例では、係数aが正のときには、(d−1)/2を超えない最大の整数に相当する数の2値の外部変数を付加することにより、式(8)に示す1次の基本対称式S1と2次の基本対称式S2とを用いて次数dが偶数の場合には次式(9)を、次数dが奇数の場合には次式(10)を変換式として定めている。例えば、2値変数をx,y,z,tとする次数が4の項については、1つの2値の外部変数wを加えて次式(11)により変換することができ、2値変数をx,y,z,t,uとする次数が5の項については、2つの2値の外部変数v,wを加えて次式(12)により変換することができる。これらの式は、任意の2次の対称式を1次と2次の基本対称式によって表わすことができることを利用したものである。これにより、係数aが正であっても、任意階のエネルギー多項式を1階のエネルギー多項式に変換することができる。なお、係数aが負のときには、前述した式(4)や式(7)を一般化した次式(13)を変換式として定めるものとした。 In contrast, in the embodiment, when the coefficient a is positive, the number of binary external variables corresponding to the largest integer not exceeding (d-1) / 2 is added to the equation (8). The following equation (9) is converted when the order d is an even number and the following equation (10) is converted when the order d is an odd number using the first-order basic symmetry equation S1 and the second-order basic symmetry equation S2 It is determined as a formula. For example, a term having a degree of 4 where x, y, z, and t are binary variables can be converted by the following equation (11) by adding one binary external variable w. A term of order 5, which is x, y, z, t, u, can be converted by the following equation (12) by adding two binary external variables v, w. These equations make use of the fact that an arbitrary second-order symmetric expression can be expressed by a first-order and a second-order basic symmetric expression. Thereby, even if the coefficient a is positive, the energy polynomial of an arbitrary floor can be converted into the energy polynomial of the first floor. When the coefficient a is negative, the following equation (13) obtained by generalizing the above equations (4) and (7) is defined as the conversion equation.
エネルギー最小化部26は、値0か値1の2値変数をもつ2次の多項式として表わされる1階のエネルギーが最小となる変数を見つける処理部として構成されており、処理アルゴリズムとしては、例えば、グラフカット法や信念伝播法,ツリー重み再配分メッセージ伝達法などを用いることができる。
The
次に、こうして構成された実施例の情報処理装置の動作、特に、高階エネルギー設定部22の動作とエネルギー変換部24の動作について説明する。まず、高階エネルギー設定部22の動作について説明する。図3は、コンピュータ20により実行される高階エネルギー設定処理の一例を示すフローチャートである。
Next, the operation of the information processing apparatus according to the embodiment configured as described above, particularly, the operation of the higher-order
高階エネルギー設定処理では、まず、画像データの各画素の1点のみに依存する項を次式(14)により設定する(ステップS100)。ここで、式(14)中の「Xu」は画素uに対して割り当てるラベルとしての2値変数であり、「a1」,「a2」は実数係数である。実数係数a1は、Xu=0即ち画素uが骨であるとしたときのエネルギー値E0(D)であり、画素uのデータ値Dが骨である可能性を示す確率をP0(D)としたときにa1即ちE0(D)が−logP0(D)となるよう設定し、同様に、実数係数a2は、画素uのデータ値Dが骨でない可能性を示す確率をP1(D)としたときにa2即ちE1(D)が−logP1(D)となるよう設定する。即ち、画素uが骨である可能性が高いほどXu=0としたときのエネルギーが小さくなるよう、また画素uが骨でない可能性が高いほどXu=1としたときのエネルギーが小さくなるよう実数係数a1,a2を設定するのである。勿論、画素uが骨である可能性が高ければXu=0としたときのエネルギーが小さくなり、画素uが骨でない可能性が高ければXu=1としたときのエネルギーが小さくなればよいから、上述した手法に限定されるものではなく、例えば、データ値D(あるいは確率P)とエネルギーEとの関係を予め求めてマップとしてROMに記憶しておき、データ値Dが与えられたときにマップから対応するエネルギーEを導出し、導出したエネルギーEに基づいて設定するものとしてもよい。データ値DとエネルギーEとの関係の一例を図4に示す。 In the higher-order energy setting process, first, a term that depends on only one point of each pixel of the image data is set by the following equation (14) (step S100). Here, “X u ” in Expression (14) is a binary variable as a label to be assigned to the pixel u, and “a 1 ” and “a 2 ” are real coefficients. The real coefficient a 1 is X u = 0, that is, the energy value E 0 (D) when the pixel u is a bone, and the probability indicating the possibility that the data value D of the pixel u is a bone is P 0 ( D) is set so that a 1, that is, E 0 (D) is −logP 0 (D). Similarly, the real coefficient a 2 is a probability that the data value D of the pixel u may not be a bone. the P 1 a 2 i.e. E 1 when the (D) (D) is set -log P 1 (D) and so as. That is, the higher the possibility that the pixel u is a bone, the smaller the energy when X u = 0, and the lower the possibility that the pixel u is not a bone, the smaller the energy when X u = 1. The real number coefficients a 1 and a 2 are set as follows. Of course, if the possibility that the pixel u is a bone is high, the energy when X u = 0 is small, and if the possibility that the pixel u is not a bone is high, the energy when X u = 1 is small. Therefore, the method is not limited to the above-described method. For example, when the relationship between the data value D (or probability P) and the energy E is obtained in advance and stored as a map in the ROM, the data value D is given. The corresponding energy E may be derived from the map and set based on the derived energy E. An example of the relationship between the data value D and the energy E is shown in FIG.
続いて、画像データの上下あるいは左右に隣接する2画素に依存する項を次式(15)により設定する(ステップS110)。ここで、式(15)中の「Xu」,「Xv」は隣接する画素u,vに対してそれぞれ割り当てるラベルとしての2値変数であり、「b1〜b4」は、実数係数である。実数係数b1は、Xu=1,Xv=1即ち画素u,vが共に骨でないとしたときのエネルギー値E11(Du,Dv)であり、画素u,vのデータ値Du,Dvが画素u,vが共に骨でない可能性を示す確率をP11(Du,Dv)としたときにb1即ちE11(Du,Dv)が−logP11(Du,Dv)となるよう設定するものとした。実数係数b2は、Xu=0,Xv=1即ち画素uが骨であり画素vが骨でないとしたときのエネルギー値E01(Du,Dv)であり、画素u,vのデータ値Du,Dvが画素uが骨であり画素vが骨でない可能性を示す確率をP01(Du,Dv)としたときにb2即ちE01(Du,Dv)が−logP01(Du,Dv)となるよう設定するものとした。実数係数b3は、Xu=1,Xv=0即ち画素uが骨でなく画素vが骨であるとしたときのエネルギー値E10(Du,Dv)であり、画素u,vのデータ値Du,Dvが画素uが骨でなく画素vが骨である可能性を示す確率をP10(Du,Dv)としたときにb3即ちE10(Du,Dv)が−logP10(Du,Dv)となるよう設定するものとした。実数係数b4は、Xu=0,Xv=0即ち画素u,vが共に骨であるとしたときのエネルギー値E00(Du,Dv)であり、画素u,vのデータ値Du,Dvが共に骨である可能性を示す確率をP00(Du,Dv)としたときにb4即ちE00(Du,Dv)が−logP00(Du,Dv)となるよう設定するものとした。なお、この場合も、例えば、データ値Du,Dv(あるいは確率)とエネルギーEとの関係を予め求めてマップとしてROMに記憶しておき、データ値Du,Dvが与えられたときにマップから対応するエネルギーEを導出し、導出したエネルギーEに基づいて設定するものとしてもよい。 Subsequently, a term depending on two pixels adjacent to the upper and lower sides or the left and right sides of the image data is set by the following equation (15) (step S110). Here, “X u ” and “X v ” in Equation (15) are binary variables as labels assigned to the adjacent pixels u and v, respectively, and “b 1 to b 4 ” are real coefficients. It is. The real number coefficient b 1 is an energy value E 11 (D u , D v ) when X u = 1, X v = 1, that is, the pixels u and v are not bones, and the data value D of the pixels u and v. When P 11 (D u , D v ) is the probability that u and D v are not bones, the pixel u and v are both b 1, that is, E 11 (D u , D v ) is −logP 11 (D u , D v ). The real number coefficient b 2 is an energy value E 01 (D u , D v ) when X u = 0, X v = 1, that is, the pixel u is a bone and the pixel v is not a bone. When the data values D u and D v are P 01 (D u , D v ), the probability that the pixel u is a bone and the pixel v is not a bone is b 2, that is, E 01 (D u , D v ). Is set to be −logP 01 (D u , D v ). The real coefficient b 3 is an energy value E 10 (D u , D v ) when X u = 1, X v = 0, ie, the pixel u is not a bone and the pixel v is a bone, and the pixels u, v B 3, that is, E 10 (D u , D v ), where P 10 (D u , D v ) is a probability that the data value D u , D v of the pixel v is a bone and the pixel v is a bone. v ) is set to be -logP 10 (D u , D v ). The real coefficient b 4 is an energy value E 00 (D u , D v ) when X u = 0, X v = 0, that is, the pixels u and v are both bones, and the data value of the pixels u and v When P 00 (D u , D v ) is a probability indicating that both D u and D v are bones, b 4, that is, E 00 (D u , D v ) is −logP 00 (D u , D v ) was set to be Also in this case, for example, when the relationship between the data values D u and D v (or probability) and the energy E is obtained in advance and stored in the ROM as a map, the data values D u and D v are given. The corresponding energy E may be derived from the map and set based on the derived energy E.
そして、画像データの上下左右に隣接する画素4点に依存する項を次式(16)により設定する(ステップS120)。ここで、式(16)中の「Xu」,「Xv」,「Xs」,「Xt」は隣接する画素u,v,s,tに対してそれぞれ割り当てる2値変数であり、「c1〜c16」は、実数係数である。上述したステップS110と同様に、実数係数c1〜c16は、Xu,Xv,Xs,Xtに値0か値1を与えたパターン毎に決定される各画素が骨であるかないかという組み合わせに対応するエネルギーであり、画素u,v,s,tの各データ値Du,Dv,Ds,Dtがその組み合わせである可能性を示す確率が高いほどエネルギーが小さくなるよう定められる。
Then, a term depending on four points adjacent to the upper, lower, left, and right sides of the image data is set by the following equation (16) (step S120). Here, “X u ”, “X v ”, “X s ”, and “X t ” in Equation (16) are binary variables assigned to the adjacent pixels u, v, s, and t, respectively. “C 1 to c 16 ” are real coefficients. As in the above-described step S110, the real coefficients c 1 to c 16 are determined by whether each pixel determined for each pattern in which X u , X v , X s , and X t are given
こうして各項を設定すると、各項の和をとると共にこれらを展開することにより4次の多項式を設定して(ステップS130)。本ルーチンを終了する。これにより、3階のエネルギーが設定される。実施例では、このエネルギーを最小化する各画素に対応した2値変数を見つけることにより画像データのうち骨の部分とそれ以外の部分とに分割する。 When each term is set in this way, a fourth-order polynomial is set by taking the sum of the terms and expanding them (step S130). This routine ends. Thereby, the energy of the 3rd floor is set. In the embodiment, by finding a binary variable corresponding to each pixel that minimizes this energy, the image data is divided into a bone portion and other portions.
次に、エネルギー変換処理について説明する。図5は、エネルギー変換処理の一例を示すフローチャートである。このエネルギー変換処理では、まず、3次以上の変換対象の項を設定し(ステップS200)、設定した変換対象の項の係数aは正か否か(ステップS210)、次数dは奇数か否か(ステップS220)、をそれぞれ判定する。変換対象の項の係数aが正でない即ち負のときには前述した式(13)を用いて2次の多項式すなわち1階のエネルギーに変換し(ステップS230)、変換対象の項の係数aが正であり且つ次数dが偶数のときには前述した式(9)を用いて1階のエネルギーに変換し(ステップS240)、変換対象の項の係数aが正であり且つ次数dが奇数のときには前述した式(10)を用いて1階のエネルギーに変換し(ステップS250)。そして、次数dが3以上の未変換の項があるときにはステップS200に戻って新たに変換対象の項に設定してステップS210〜250の処理を繰り返し、次数dが3以上の未変換の項がなくなったときにこれで本処理を終了する。 Next, the energy conversion process will be described. FIG. 5 is a flowchart illustrating an example of the energy conversion process. In this energy conversion process, first, a third or higher order conversion target term is set (step S200), whether the coefficient a of the set conversion target term is positive (step S210), and whether the order d is an odd number. (Step S220) is determined. When the coefficient a of the conversion target term is not positive, that is, negative, it is converted into a second-order polynomial, that is, first-order energy using the above-described equation (13) (step S230). When the order d is an even number, it is converted to the first-order energy using the above-described formula (9) (step S240). When the coefficient a of the conversion target term is positive and the order d is an odd number, the above-described formula (10) is used to convert the energy to the first floor (step S250). When there is an unconverted term having an order d of 3 or more, the process returns to step S200 to newly set a term to be converted, and the processing of steps S210 to 250 is repeated, and an unconverted term having an order d of 3 or more is found. This is the end of the process when there is no more.
こうして1階のエネルギー多項式に変換すると、既存のグラフカット法などのアルゴリズムを用いて各画素に対応した2値変数を設定し、変数Xuが値0すなわち骨である画素uに対して色を付すと共に変数Xuが値1すなわち骨でない画素uに対しては透明処理を施してディスプレイ30に表示出力することにより、入力した画像のうち骨の部分だけを表示する。なお、グラフカット法などの適用によっても変数がわからないエラーが生じる可能性もあるが、予め定めた割り当てを行なったり、エラーが生じた変数だけで再びエネルギーを生成してエネルギー最小化アルゴリズムを適用したりすることにより対応することができる。
When converted to the first-order energy polynomial in this way, a binary variable corresponding to each pixel is set using an algorithm such as an existing graph cut method, and the variable X u has a value 0, that is, a color is set for the pixel u which is a bone. At the same time, the variable X u has a value of 1, that is, a non-bone pixel u is subjected to a transparent process and displayed on the
以上説明した実施例の情報処理装置によれば、画像データの各画素に2値のラベルを割り当てることにより領域分割する場合、ラベルに対応する2値変数を用いて4次以上の多項式である高階エネルギーを設定し、次数dが3以上の項毎に(d−1)/2を超えない最大の整数の数だけ2値の外部変数を付加することにより1次および2次の基本対称式を用いて高階エネルギーを次数が2以下の1階のエネルギーに変換するから、1階のエネルギーの最小化が可能なグラフカット法などのエネルギー最小化アルゴリズムを適用することにより、少ない計算コストで適切に画像データの領域分割を行なうことができる。 According to the information processing apparatus of the embodiment described above, when a region is divided by assigning a binary label to each pixel of image data, a higher-order polynomial that is a fourth or higher order polynomial using a binary variable corresponding to the label. By setting the energy and adding binary external variables by the maximum integer number that does not exceed (d-1) / 2 for each term in which the order d is 3 or more, the primary and secondary symmetric equations are obtained. Since higher-order energy is converted into first-order energy with an order of 2 or less, energy minimization algorithms such as a graph cut method that can minimize the first-order energy can be applied appropriately with less computational cost. Image data can be divided into regions.
実施例の情報処理装置では、隣接する画素4点に依存する4次(3階)のエネルギー多項式を設定するものとしたが、周辺の画素5点以上に依存する5次(4階)以上のエネルギー、例えば、3次元空間内に配置された画素(ボクセル)について立体格子状に隣接する画素8点に依存する8次(7階)のエネルギーを設定するものとしてもよい。 In the information processing apparatus of the embodiment, a fourth-order (third floor) energy polynomial that depends on four adjacent pixels is set. However, a fifth-order (fourth floor) or more that depends on five or more neighboring pixels. It is also possible to set energy, for example, eighth-order (seventh floor) energy that depends on eight adjacent pixels in a three-dimensional grid for pixels (voxels) arranged in a three-dimensional space.
実施例の情報処理装置では、画像データの領域を分割する画像分割問題に本発明を適用して説明したが、これに限定されるものではなく、例えば、画像復元やステレオ,動画像解析などに本発明を適用することができるし、画像分野以外のデータ処理に適用することもできる。ここで、画像復元に本発明を適用する場合、例えば、現在の画像から若干の変化を与えた提案画像を生成し、現在の画像と生成した提案画像とを融合して新たな画像を生成する処理を繰り返し行なう融合移動アルゴリズムを用いることができる。ここで、「融合」とは、現在の画像における画素のデータ値と提案画像における対応する画素のデータ値とのうちエネルギーが小さくなる方のデータ値を新たな画像の対応する画素に設定することにより新たな画像を生成するものである。したがって、現在の画像のデータ値を維持するときにその画素に値0を割り当て提案画像のデータ値に置き換えるときに値1を割り当てるラベル割付問題として考えることができるから、エネルギー最小化法を用いて解くことができる。ここで、エネルギー(多項式)の実数係数としては、画像データを構成する画素の組のうちノイズが含まれる可能性が低いパターンほどエネルギーが小さくなるように設定することができる。また、提案画像としては、現在の画像を平滑化フィルタ(Gaussian kernel)を用いてぼかしたものを設定したり、エネルギーを各変数で偏微分して変数の数と同じ次元の勾配ベクトルを生成すると共に生成したベクトルの方向に現在の画像のデータ値から値をずらす再急降下法を用いて生成したりすることができる。勿論、これらの手法に限られず、例えば乱数画像を設定するなど如何なる手法も採用し得る。
In the information processing apparatus according to the embodiment, the present invention is applied to the image division problem that divides an area of image data. However, the present invention is not limited to this, and for example, for image restoration, stereo, video analysis, The present invention can be applied, and can also be applied to data processing other than the image field. Here, when the present invention is applied to image restoration, for example, a proposed image with a slight change is generated from the current image, and the current image and the generated proposed image are merged to generate a new image. A fusion move algorithm that repeats the process can be used. Here, “fusion” is to set the data value of the smaller energy of the data value of the pixel in the current image and the data value of the corresponding pixel in the proposed image to the corresponding pixel of the new image. By this, a new image is generated. Therefore, the energy minimization method can be used because it can be considered as a label allocation problem in which the value 0 is assigned to the pixel when maintaining the data value of the current image and the
以上、本発明の実施の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。 The embodiments of the present invention have been described using the embodiments. However, the present invention is not limited to these embodiments, and can be implemented in various forms without departing from the gist of the present invention. Of course you get.
本発明は、情報処理装置や画像処理装置の製造産業などに利用可能である。 The present invention can be used in the manufacturing industry of information processing apparatuses and image processing apparatuses.
20 コンピュータ、22 高階エネルギー設定部、24 エネルギー変換部、26 エネルギー最小化部、30 ディスプレイ、40 キーボード、50 マウス。 20 computers, 22 higher energy setting units, 24 energy conversion units, 26 energy minimizing units, 30 displays, 40 keyboards, 50 mice.
Claims (11)
前記高階エネルギーのデータ表現を記憶手段に格納し、
前記高階エネルギーに対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を演算手段により変更することにより前記高階エネルギーを同値な1階のエネルギーに変換し、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより前記高階エネルギーが最小となる前記各変数を設定する
ことを特徴とする情報処理方法。 An information processing method for processing higher-order energy in which each variable can be expressed by a binary fourth-order or higher-order polynomial,
Storing a data representation of the higher order energy in a storage means;
By changing the stored data representation by a calculation means so as to correspond to the addition of binary external variables of a number corresponding to the order using a symmetric formula for the higher order energy , the higher order energy is changed to the same first order energy. Converted into energy
An information processing method comprising: setting each variable that minimizes the higher-order energy by applying a predetermined energy minimizing method to the converted first-floor energy.
次数をdとし係数をaとし前記変数をx1,…,xdとし値0か値1のいずれかをとる前記外部変数をwとし1次の基本対称式をS1とし2次の基本対称式をS2とすると、前記高階エネルギーの多項式の各項毎に、係数aが正の項に対しては該項の次数dが偶数のときには式(1)を用いて前記1階エネルギーの多項式に変換し、該項の次数dが奇数のときには式(2)を用いて前記1階エネルギーの多項式に変換する
ことを特徴とする情報処理方法。
The degree is d, the coefficient is a, the variable is x 1 ,..., X d , the external variable taking either 0 or 1 is w, the primary basic symmetry formula is S 1, and the secondary basic symmetry is Assuming that the equation is S 2 , for each term of the higher-order energy polynomial, when the coefficient d is an even number for a term with a positive coefficient a, the first-order energy polynomial is expressed by using equation (1). And when the order d of the term is an odd number, the information is converted into the first-order energy polynomial using equation (2).
前記高階エネルギー多項式の各項毎に係数aが負の項に対しては式(3)を用いて前記1階エネルギーの多項式に変換する
ことを特徴とする情報処理方法。
An information processing method, wherein a term having a negative coefficient a for each term of the higher-order energy polynomial is converted into the first-order energy polynomial using Equation (3).
前記画像データを構成する各画素のうち所定の条件に合致する画素に第1の値のラベルを割り当てると共に該所定の条件に合致しない画素に第2の値のラベルを割り当てる2値のラベルを前記変数として前記各画素だけに依存する1次の項と4点以上の画素の組に依存する4次以上の項とを含む多項式の高階エネルギーを設定し、該設定した高階エネルギーが最小となるよう前記変数を設定することにより前記2値のラベルを割り当てる
ことを特徴とする情報処理方法。 The information processing method according to any one of claims 1 to 4, wherein the image data is processed.
A binary label that assigns a label of a first value to a pixel that matches a predetermined condition among pixels constituting the image data and assigns a label of a second value to a pixel that does not meet the predetermined condition A higher order energy of a polynomial including a first order term that depends only on each pixel and a fourth order or more term that depends on a set of four or more pixels is set as a variable so that the set higher order energy is minimized. An information processing method, wherein the binary label is assigned by setting the variable.
現在の画像に対して変化を与えた提案画像を生成し前記現在の画像の画素を該生成した提案画像の対応する画素に置き換えるときには前記第1の値のラベルを割り当てると共に前記現在の画像の画素を前記生成した提案画像の対応する画素に置き換えないときには前記第2のラベルを割り当てることにより新たな画像を生成する処理を繰り返すことにより画像を復元する
ことを特徴とする情報処理方法。 An information processing method according to any one of claims 5 to 7,
When generating a proposed image with a change to the current image and replacing the pixel of the current image with the corresponding pixel of the generated proposed image, a label of the first value is assigned and the pixel of the current image An information processing method characterized by reconstructing an image by repeating a process of generating a new image by assigning the second label when not replacing a corresponding pixel of the generated proposed image.
前記高階エネルギーのデータ表現を格納する記憶手段と、
前記高階エネルギーに対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を変更する演算手段と、
前記高階エネルギーを該データ表現の変更により同値な1階のエネルギーに変換するエネルギー変換手段と、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより前記高階エネルギーが最小となる前記各変数を設定するエネルギー最小化手段と、
を備える情報処理装置。 An information processing apparatus for processing higher-order energy, each variable being represented by a binary fourth or higher order polynomial,
Storage means for storing a data representation of the higher order energy;
A calculating means for changing the data representation that is the stored so as to correspond to the addition of external variable binary number corresponding to the order by using a symmetric polynomial in the higher-order energy,
Energy conversion means for converting the higher-order energy into equivalent first- order energy by changing the data representation ;
Energy minimizing means for setting each variable that minimizes the higher order energy by applying a predetermined energy minimizing method to the converted first floor energy;
An information processing apparatus comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009140998A JP5564643B2 (en) | 2009-06-12 | 2009-06-12 | Information processing method and information processing apparatus |
PCT/JP2010/059273 WO2010143561A1 (en) | 2009-06-12 | 2010-06-01 | Information processing method and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009140998A JP5564643B2 (en) | 2009-06-12 | 2009-06-12 | Information processing method and information processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010287091A JP2010287091A (en) | 2010-12-24 |
JP5564643B2 true JP5564643B2 (en) | 2014-07-30 |
Family
ID=43308816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009140998A Expired - Fee Related JP5564643B2 (en) | 2009-06-12 | 2009-06-12 | Information processing method and information processing apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5564643B2 (en) |
WO (1) | WO2010143561A1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5660078B2 (en) * | 2012-05-31 | 2015-01-28 | カシオ計算機株式会社 | Multi-class classifier, method and program |
JP5894514B2 (en) | 2012-09-28 | 2016-03-30 | 富士フイルム株式会社 | Image processing apparatus, image processing program, and operation method of image processing apparatus |
JP5897445B2 (en) | 2012-09-28 | 2016-03-30 | 富士フイルム株式会社 | Classification device, classification program, and operation method of classification device |
JP5946153B2 (en) | 2014-03-12 | 2016-07-05 | 富士フイルム株式会社 | Image processing apparatus, operating method thereof, and program |
JPWO2015190593A1 (en) * | 2014-06-12 | 2017-04-20 | 学校法人早稲田大学 | Information processing method, information processing apparatus and program thereof |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0620497B1 (en) * | 2005-11-15 | 2018-09-25 | Yissum Research Development Company Of The Hebrew Univ Of Jerusalem | method for creating a video synopsis, and system for transforming a source sequence of video frames from a first dynamic scene into a synopsis sequence of at least two video frames illustrating a second dynamic scene. |
-
2009
- 2009-06-12 JP JP2009140998A patent/JP5564643B2/en not_active Expired - Fee Related
-
2010
- 2010-06-01 WO PCT/JP2010/059273 patent/WO2010143561A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2010143561A1 (en) | 2010-12-16 |
JP2010287091A (en) | 2010-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9652830B2 (en) | Method and apparatus for performing hierarchical super-resolution of an input image | |
JP5275489B2 (en) | Image processing apparatus and method | |
US8472709B2 (en) | Apparatus and method for reducing artifacts in images | |
US8131069B2 (en) | System and method for optimizing single and dynamic markov random fields with primal dual strategies | |
JP5564643B2 (en) | Information processing method and information processing apparatus | |
Kohli et al. | Energy minimization for linear envelope MRFs | |
WO2019114023A1 (en) | Fourier-graph-transform-based point cloud intraframe coding method and apparatus | |
EP3692508B1 (en) | Method and device for up-sampling a point cloud | |
WO2015190593A1 (en) | Information processing method, information processing device, and program therefor | |
JP5716170B2 (en) | Information processing method and information processing apparatus | |
EP3304488B1 (en) | An image processing apparatus and method | |
Geetha et al. | An improved method for segmentation of point cloud using minimum spanning tree | |
JP2008084076A (en) | Image processor, method, and program | |
JP5879291B2 (en) | Image processing apparatus, image processing program, and method of operating image processing apparatus | |
US10460491B2 (en) | Method for real-time deformable fusion of a source multi-dimensional image and a target multi-dimensional image of an object | |
CN108347549B (en) | Method for improving video jitter based on time consistency of video frames | |
CN106897975B (en) | Image denoising method for hypercube particle calculation | |
JP5897445B2 (en) | Classification device, classification program, and operation method of classification device | |
KR101289003B1 (en) | Method and Device for Stereo Matching of Images | |
Hochbaum | An efficient and effective tool for image segmentation, total variations and regularization | |
JP2016214833A (en) | Method for registering deformable image to fixed image | |
JP2008225778A (en) | Image processor | |
Flesia et al. | Accuracy of MAP segmentation with hidden Potts and Markov mesh prior models via Path Constrained Viterbi Training, Iterated Conditional Modes and Graph Cut based algorithms | |
Käck | Robust stereo correspondence using graph cuts | |
KR100581895B1 (en) | Apparatus for representing three-dimensional object motion with semiregular meshes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5564643 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |