JP5564643B2 - Information processing method and information processing apparatus - Google Patents

Information processing method and information processing apparatus Download PDF

Info

Publication number
JP5564643B2
JP5564643B2 JP2009140998A JP2009140998A JP5564643B2 JP 5564643 B2 JP5564643 B2 JP 5564643B2 JP 2009140998 A JP2009140998 A JP 2009140998A JP 2009140998 A JP2009140998 A JP 2009140998A JP 5564643 B2 JP5564643 B2 JP 5564643B2
Authority
JP
Japan
Prior art keywords
energy
order
information processing
image
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009140998A
Other languages
Japanese (ja)
Other versions
JP2010287091A (en
Inventor
博 石川
Original Assignee
博 石川
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 博 石川 filed Critical 博 石川
Priority to JP2009140998A priority Critical patent/JP5564643B2/en
Priority to PCT/JP2010/059273 priority patent/WO2010143561A1/en
Publication of JP2010287091A publication Critical patent/JP2010287091A/en
Application granted granted Critical
Publication of JP5564643B2 publication Critical patent/JP5564643B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理方法および情報処理装置に関する。   The present invention relates to an information processing method and an information processing apparatus for processing higher-order energy that can be expressed by a polynomial of a fourth or higher order in which each variable is binary.

領域分割やステレオ,画像復元などの画像分野の問題をマルコフ確率場(Markov Random Field: MRF)などの確率モデルの最大事後確率推定問題として定式化してエネルギー最小化問題として効率的に解く方法としては、グラフカット(例えば、非特許文献1参照)や信念伝播法(例えば、非特許文献2参照)、ツリー重み再配分メッセージ伝達法(例えば、非特許文献3参照)などが提案されている。これらの手法では、エネルギーを比較的効率良く最小化することができるが、使用できるエネルギーの形は限られている。   As a method for efficiently solving problems in the image field such as region segmentation, stereo, and image restoration as a maximum posterior probability estimation problem of a stochastic model such as Markov Random Field (MRF), and as an energy minimization problem Graph cuts (for example, see Non-Patent Document 1), belief propagation methods (for example, see Non-Patent Document 2), tree weight reallocation message transmission methods (for example, see Non-Patent Document 3), and the like have been proposed. Although these approaches can minimize energy relatively efficiently, the form of energy that can be used is limited.

Y.Boykov,O. Veksler,R. Zabih."Fast Apporoximate Energy Minimization via Graph Cuts." IEEE Transactions on Pattern Analysis and Machine Intelligence 23:1222-1239:2001.Y. Boykov, O. Veksler, R. Zabih. "Fast Apporoximate Energy Minimization via Graph Cuts." IEEE Transactions on Pattern Analysis and Machine Intelligence 23: 1222-1239: 2001. P.Felzenszwalb and D.Huttenlocher."Efficient Belief Propagation for Early Vision." International Journal of Computer Vision 70:41-54,2006.P. Felzenszwalb and D. Huttenlocher. "Efficient Belief Propagation for Early Vision." International Journal of Computer Vision 70: 41-54,2006. V.Kolmogorov. "Convergent Tree-Reweighted Mesage Passing for Energy Minimization." IEEE Transactions on Pattern Analysis and Machine Intelligence 28(10):1568-1583,2006.V. Kolmogorov. "Convergent Tree-Reweighted Mesage Passing for Energy Minimization." IEEE Transactions on Pattern Analysis and Machine Intelligence 28 (10): 1568-1583,2006.

エネルギーが最高k個の点に依存する関数の和により表わせるとき、MRFの用語では(k−1)階のエネルギーと呼ぶが、上述した手法によって最小化可能なエネルギーの回数は最大でも2階に限られ、また実際にはほとんど1階のものしか使われていない。例えば、画像処理の分野では、各画素のみに依存する項と隣接する2つの画素のみに依存する項との和により表わされた1階のエネルギーが殆どである。近年、画像処理では自然画像の特徴をより高い精度で捉えるために高次の統計の重要性が指摘されており、高階のエネルギーを効率的に最小化する手法の構築が望まれる。   When energy can be expressed by the sum of functions depending on up to k points, it is called (k-1) -order energy in MRF terminology, but the number of energies that can be minimized by the above-described method is at most 2nd-order. In fact, only the first floor is used. For example, in the field of image processing, most energy on the first floor is represented by the sum of a term that depends only on each pixel and a term that depends only on two adjacent pixels. In recent years, in image processing, the importance of higher-order statistics has been pointed out in order to capture the characteristics of natural images with higher accuracy, and it is desired to construct a method for efficiently minimizing higher-order energy.

本発明の情報処理方法および情報処理装置は、各変数が2値の4次以上の多項式により表わされる高階エネルギーからなるデータを少ない計算コストで最小化することを主目的とする。   An information processing method and an information processing apparatus according to the present invention are mainly intended to minimize data composed of higher-order energy represented by a polynomial having a binary fourth or higher order with each variable at a low calculation cost.

本発明の情報処理方法および情報処理装置は、上述の主目的を達成するために以下の手段を採った。   The information processing method and information processing apparatus of the present invention employ the following means in order to achieve the main object described above.

本発明の情報処理方法は、
各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理方法であって、
前記高階エネルギーのデータ表現を記憶手段に格納し、
前記高階エネルギー対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を演算手段により変更することにより前記高階エネルギーを同値な1階のエネルギーに変換し、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより
前記高階エネルギーが最小となる前記各変数を設定する
ことを特徴とする。
The information processing method of the present invention includes:
An information processing method for processing higher-order energy in which each variable can be expressed by a binary fourth-order or higher-order polynomial,
Storing a data representation of the higher order energy in a storage means;
By changing the stored data representation by a calculation means so as to correspond to the addition of binary external variables of a number corresponding to the order using a symmetric formula for the higher order energy , the higher order energy is changed to the same first order energy. Converted into energy
Each variable that minimizes the higher-order energy is set by applying a predetermined energy minimizing method to the converted first-order energy.

この本発明の情報処理方法では、各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを対称式を用いて次数に応じた数の2値の外部変数を付加することにより同値な1階のエネルギーに変換し、変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより高階エネルギーが最小となる各変数を設定する。これにより、少ない計算コストで高階エネルギーを最小化することができる。ここで、「同値」とは、変換後の1階のエネルギーを最小化する変数の設定が変換前の高階のエネルギーをも最小化することを意味する。また、「次数に応じた数の2値の外部変数」は、具体的には、各項について、次数をdとすると(d−1)/2を超えない最大の整数である。さらに、「所定のエネルギー最小化法」としては、グラフカット法,信念伝播法,ツリー重み再配分メッセージ伝達法などが含まれる。   In this information processing method of the present invention, by adding a higher-order energy that can be expressed by a polynomial having a fourth or higher order of each variable to a binary, a binary external variable of a number corresponding to the order is added using a symmetric expression. Each variable that minimizes the higher-order energy is set by converting the energy to the equivalent first-order energy and applying a predetermined energy minimization method to the converted first-order energy. As a result, higher-order energy can be minimized with less calculation cost. Here, “equivalent” means that the setting of a variable that minimizes the energy of the first floor after conversion also minimizes the energy of the higher floor before conversion. The “binary external variable of the number corresponding to the order” is specifically the maximum integer that does not exceed (d−1) / 2 when the order is d for each term. Further, the “predetermined energy minimization method” includes a graph cut method, a belief propagation method, a tree weight redistribution message transmission method, and the like.

こうした本発明の情報処理方法において、次数をdとし係数をaとし前記変数をx1,…,xdとし値0か値1のいずれかをとる前記外部変数をwとし1次の基本対称式をS1とし2次の基本対称式をS2とすると、前記高階エネルギーの多項式の各項毎に、係数aが正の項に対しては該項の次数dが偶数のときには式(1)を用いて前記1階エネルギーの多項式に変換し、該項の次数dが奇数のときには式(2)を用いて前記1階エネルギーの多項式に変換するものとすることもできる。これは、任意の2次の対称式を1次および2次の基本対称式によって表わすことができることに基づく。 In such an information processing method according to the present invention, the primary variable is a primary basic symmetric expression where the order is d, the coefficient is a, the variable is x 1 ,..., X d, and the external variable taking either 0 or 1 is w. Is S 1 and the second-order basic symmetry expression is S 2. For each term of the higher-order energy polynomial, when the coefficient d is an even number for a term with a positive coefficient a, the expression (1) To the first-order energy polynomial, and when the order d of the term is an odd number, it can be converted to the first-order energy polynomial using equation (2). This is based on the fact that any second-order symmetric expression can be expressed by the first-order and second-order basic symmetric expressions.

Figure 0005564643
Figure 0005564643

この態様の本発明の情報処理方法において、前記高階エネルギー多項式の各項毎に係数aが負の項に対しては式(3)を用いて前記1階エネルギーの多項式に変換するものとすることもできる。   In the information processing method of the present invention of this aspect, a term having a negative coefficient a for each term of the higher-order energy polynomial is converted to the first-order energy polynomial using Equation (3). You can also.

Figure 0005564643
Figure 0005564643

また、画像データを処理する本発明の情報処理方法において、前記画像データを構成する各画素のうち所定の条件に合致する画素に第1の値のラベルを割り当てると共に該所定の条件に合致しない画素に第2の値のラベルを割り当てる2値のラベルを前記変数として前記各画素だけに依存する1次の項と4点以上の画素の組に依存する4次以上の項とを含む多項式の高階エネルギーを設定し、該設定した高階エネルギーが最小となるよう前記変数を設定することにより前記2値のラベルを割り当てるものとすることもできる。こうすれば、所定の条件を用いた画像データの処理をより少ない計算コストで行なうことができる。ここで、「所定の条件」には、画像の領域を分割するための条件や画像に含まれるノイズを除去するための条件などが含まれる。   In the information processing method of the present invention for processing image data, a pixel having a first value is assigned to a pixel that satisfies a predetermined condition among the pixels constituting the image data, and a pixel that does not satisfy the predetermined condition A higher-order polynomial including a first-order term that depends only on each pixel and a fourth-order or more term that depends on a set of four or more pixels, with a binary label that assigns a second-value label to the variable The binary label may be assigned by setting energy and setting the variable so that the set higher-order energy is minimized. In this way, it is possible to perform image data processing using a predetermined condition with less calculation cost. Here, the “predetermined condition” includes a condition for dividing a region of the image, a condition for removing noise included in the image, and the like.

画像データを処理する態様の本発明の情報処理方法において、前記所定の条件に合致する確率が高いほどエネルギーが小さくなるよう各項の係数を定めることにより前記多項式の高階エネルギーを設定するものとすることもできる。この態様の本発明の情報処理方法において、前記所定の条件に合致する確率をPとしたときにエネルギーが−logPとなるよう前記各項の係数を定めるものとすることもできる。こうすれば、所定の条件により適合する高階のエネルギーを設定することができる。   In the information processing method of the present invention that processes image data, the higher-order energy of the polynomial is set by determining the coefficient of each term so that the energy decreases as the probability of meeting the predetermined condition increases. You can also. In this aspect of the information processing method of the present invention, the coefficient of each term may be determined so that the energy is −logP, where P is the probability of meeting the predetermined condition. By doing so, it is possible to set higher-order energy that conforms to predetermined conditions.

また、画像データを処理する態様の本発明の情報処理方法において、現在の画像に対して変化を与えた提案画像を生成し前記現在の画像の画素を該生成した提案画像の対応する画素に置き換えるときには前記第1の値のラベルを割り当てると共に前記現在の画像の画素を前記生成した提案画像の対応する画素に置き換えないときには前記第2のラベルを割り当てることにより新たな画像を生成する処理を繰り返すことにより画像を復元するものとすることもできる。この態様の本発明の情報処理方法において、前記提案画像は、再急降下法を用いて生成するものとすることもできるし、前記現在の画像に対して所定のぼかしフィルタを適用することにより生成するものとすることもできる。   Further, in the information processing method of the present invention that processes image data, a proposed image that changes the current image is generated, and pixels of the current image are replaced with corresponding pixels of the generated proposed image. Sometimes assigning the label of the first value and repeating the process of generating a new image by assigning the second label when not replacing the pixel of the current image with the corresponding pixel of the generated proposed image It is also possible to restore the image. In the information processing method according to the aspect of the present invention, the proposed image may be generated by using a re-steep descent method or by applying a predetermined blur filter to the current image. It can also be.

本発明の情報処理装置は、
各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理装置であって、
前記高階エネルギーのデータ表現を格納する記憶手段と、
前記高階エネルギー対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を変更する演算手段と、
前記高階エネルギーを該データ表現の変更により同値な1階のエネルギーに変換するエネルギー変換手段と、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより前記高階エネルギーが最小となる前記各変数を設定するエネルギー最小化手段と、
を備えることを要旨とする。
The information processing apparatus of the present invention
An information processing apparatus for processing higher-order energy, each variable being represented by a binary fourth or higher order polynomial,
Storage means for storing a data representation of the higher order energy;
A calculating means for changing the data representation that is the stored so as to correspond to the addition of external variable binary number corresponding to the order by using a symmetric polynomial in the higher-order energy,
Energy conversion means for converting the higher-order energy into equivalent first- order energy by changing the data representation ;
Energy minimizing means for setting each variable that minimizes the higher order energy by applying a predetermined energy minimizing method to the converted first floor energy;
It is a summary to provide.

この本発明の情報処理装置では、各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを対称式を用いて次数に応じた数の2値の外部変数を付加することにより同値な1階のエネルギーに変換し、変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより高階エネルギーが最小となる各変数を設定する。これにより、少ない計算コストで高階エネルギーを最小化することができる。   In the information processing apparatus according to the present invention, by adding a higher-order energy that can be expressed by a polynomial having a binary fourth or higher order to each variable, a binary external variable having a number corresponding to the order is added using a symmetric expression. Each variable that minimizes the higher-order energy is set by converting the energy to the equivalent first-order energy and applying a predetermined energy minimization method to the converted first-order energy. As a result, higher-order energy can be minimized with less calculation cost.

本発明の一実施例としての情報処理装置の構成の概略を示す構成図である。It is a block diagram which shows the outline of a structure of the information processing apparatus as one Example of this invention. 画素に割り当てるラベルのパターンの一例を示す説明図である。It is explanatory drawing which shows an example of the pattern of the label allocated to a pixel. コンピュータ20により実行される高階エネルギー設定処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of higher-order energy setting processing executed by a computer 20. 画素のデータ値DとエネルギーE(D)との関係を示す説明図である。It is explanatory drawing which shows the relationship between the pixel data value D and energy E (D). コンピュータ20により実行されるエネルギー変換処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of energy conversion processing executed by a computer 20.

次に、本発明の実施の形態を実施例を用いて説明する。   Next, embodiments of the present invention will be described using examples.

図1は、本発明の一実施例としての情報処理装置の構成の概略を示す構成図である。実施例の情報処理装置は、CPUやROM,RAM,入出力処理回路,ハードディスク,キーボード40,マウス50などを備える汎用のコンピュータ20であり、デジタルカメラやCT(Computed Tomography),MRI(Magnetic Resonance Imaging),PET(Positron Emission Tomography)などの撮像装置や画像データを記憶する記憶装置に入力処理回路を介して接続されると共にディスプレイ30やプリンタなどの出力機器に出力処理回路を介して接続されている。実施例では、コンピュータ20は、画像処理用プログラムがインストールされており、これにより画像処理装置として機能する。   FIG. 1 is a configuration diagram showing an outline of the configuration of an information processing apparatus as an embodiment of the present invention. The information processing apparatus according to the embodiment is a general-purpose computer 20 including a CPU, a ROM, a RAM, an input / output processing circuit, a hard disk, a keyboard 40, a mouse 50, and the like, and includes a digital camera, CT (Computed Tomography), and MRI (Magnetic Resonance Imaging). ), PET (Positron Emission Tomography) and other imaging devices and storage devices for storing image data are connected via an input processing circuit and are connected to output devices such as a display 30 and a printer via an output processing circuit. . In the embodiment, the computer 20 is installed with an image processing program, and functions as an image processing apparatus.

CTやMRI,PETなどから得られるデータは3次元の格子点に数値(データ値)を与えるものである。データ値は例えばCTなら空間内の各格子点がどれだけX線を吸収するかを表わす。2次元の断面画像なら各点の値に応じて色を変えれば全体を見ることができるが、3次元のデータは一望するのは困難である。したがって、例えば、CT画像のうち骨だけを見たいなら骨の部分だけを残し他の部分は透明にして3次元グラフィックス表示することになる。このためには、元画像を骨の部分とそれ以外の部分とに分割する必要がある(画像分割問題)。これは、値0が骨の部分で値1がそれ以外を表わすというように各格子点に値0か値1かのいずれかのラベルを与えるラベル割付問題として考えることができる。この場合、ある閾値を定めてデータ値が閾値よりも大きい点は値0を割り当て閾値以下の点は値1を割り当てものとすると、ノイズなどにより表面形状が荒いものとなる。このため、一般には隣接する格子点間ではあまり激しく値0と値1とが入れ替わらないように、即ち境界がなめらかになるような傾向をもたせる。このための手法の一つがエネルギー最小化による方法である。以下、実施例では、人のCT画像に対して骨に該当する画素に値0のラベルを割り当てそれ以外の部分の画素に値1のラベルを割り当てることにより領域を分割する画像分割問題をエネルギー最小化法により解く場合を例として説明する。   Data obtained from CT, MRI, PET, etc. give numerical values (data values) to three-dimensional lattice points. For example, in the case of CT, the data value represents how much each grid point in the space absorbs X-rays. In the case of a two-dimensional cross-sectional image, the entire image can be seen by changing the color according to the value of each point, but it is difficult to get a panoramic view of the three-dimensional data. Therefore, for example, if it is desired to see only the bone in the CT image, only the bone portion is left and the other portions are made transparent and displayed in three-dimensional graphics. For this purpose, it is necessary to divide the original image into a bone portion and other portions (image division problem). This can be considered as a label allocation problem in which a value of 0 or 1 is given to each grid point such that value 0 represents the bone portion and value 1 represents the rest. In this case, if a threshold value is determined and a value greater than the threshold value is assigned a value of 0 and a value less than or equal to the threshold value is assigned a value of 1, the surface shape becomes rough due to noise or the like. For this reason, generally, there is a tendency that the value 0 and the value 1 are not switched very vigorously between adjacent grid points, that is, the boundary becomes smooth. One of the methods for this is a method based on energy minimization. Hereinafter, in the embodiment, an image division problem in which a region is divided by assigning a label with a value of 0 to pixels corresponding to bones and assigning a label with a value of 1 to other pixels of a human CT image is minimized. An example of solving by the conversion method will be described.

コンピュータ20は、その機能ブロックとしては、画像データの領域分割をエネルギー最小化法を用いて処理するための多項式(高階エネルギー)を設定する高階エネルギー設定部22と、設定した高階エネルギーを2値の外部変数を付加して1階のエネルギーに変換するためのエネルギー変換部24と、変換後の1階のエネルギーが最小となるよう各画素毎に値0か値1のラベルを割り当てて画像の領域分割を行なうエネルギー最小化部26とを備え、これらは、CPUやROM,RAM,ハードディスクなどのハードウェアと画像処理用プログラムとが一体となって機能する。   The computer 20 includes, as its functional blocks, a higher-order energy setting unit 22 that sets a polynomial (higher-order energy) for processing region division of image data using an energy minimization method, and sets the higher-order energy to a binary value. An image conversion area 24 for adding external variables to convert the energy to the first floor and assigning a label of value 0 or value 1 to each pixel so that the energy of the first floor after conversion is minimized. An energy minimizing unit 26 that performs division is provided, and these functions such as hardware such as a CPU, a ROM, a RAM, and a hard disk and an image processing program function together.

高階エネルギー設定部22は、各画素に対して割り当てる値0か値1のラベルを2値変数として上述した領域分割問題を解くための高次の多項式を設定する処理部であり、実施例では、画像データの各画素1点だけに基づいてエネルギーを設定する1次の項と、隣接する画素2点のパターン(図2(a)参照)に基づいてエネルギーを設定する2次の項と、隣接する2×2の画素4点のパターン(図2(b)参照)に基づいてエネルギーを設定する4次の項との和により設定するものとした。   The higher-order energy setting unit 22 is a processing unit that sets a higher-order polynomial for solving the above-described region division problem using a value 0 or value 1 label assigned to each pixel as a binary variable. In the embodiment, A primary term that sets energy based on only one point of each pixel of image data, a secondary term that sets energy based on a pattern of two adjacent pixels (see FIG. 2A), and adjacent Based on the pattern of 4 points of 2 × 2 pixels to be set (see FIG. 2B), it is set by the sum with the fourth-order term that sets energy.

エネルギー変換部24は、2値変数からなる3次以上(2階以上)のエネルギー多項式を2次(1階)のエネルギーに変換する処理部として構成されており、この変換は多項式の各項について基本対称式を用いて次数をdとしたときに(d−1)/2を超えない最大の整数に相当する数の2値の外部変数を付加することにより行なう。   The energy conversion unit 24 is configured as a processing unit that converts a third-order or higher-order (second-order or higher) energy polynomial composed of binary variables into second-order (first-order) energy, and this conversion is performed for each term of the polynomial. This is performed by adding binary external variables of a number corresponding to the maximum integer not exceeding (d-1) / 2 when the order is d using the basic symmetry formula.

ここで、2値変数をx,y,zとする次数が3の項を2次の多項式に変換する場合、引用文献1によると、次式(4)に基づいて係数aが負のときには両辺に係数aを乗じた次式(5)により、係数aが正のときにはx,y,zをそれぞれ1−x,1−y,1−zに置き換えて計算した次式(6)により「max」を「min」に代えることができる。ここで、式(4)〜(6)中の「w」はB={0,1}の値しかとらない即ち値0か値1しかとらない外部変数である。この式(5)および式(6)は、最小化問題に3次の項axyzが現われた場合、左辺を右辺に代えても最小値とこれをとるための変数x,y,zは変わらないことを意味する。即ち、変換後の関数で最小値を与える変数x,y,zは元の関数でも最小値を与える。しかし、式(7)に示すように、2値変数をx,y,z,tとする4次の項を考えると、上記の手法では、係数aが正で且つ偶数次の項についてはx,y,z,tをそれぞれ1−x,1−y,1−z,1−tに置き換えても「max」を「min」に変えることができないため、使用することはできない。また、5以上の奇数次を考えても、展開後の式には4次などの偶数次の項が現われるから、同様に使用することはできない。
引用文献1:D.Freedman and P.Drineas."Energy minimization via graph cuts: Settling what is possible." Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR2005)2:939-946.
Here, when a term of degree 3 having binary variables x, y, z is converted to a quadratic polynomial, according to the cited reference 1, both sides when the coefficient a is negative based on the following equation (4) “Max” is calculated by the following equation (6) calculated by replacing x, y, and z with 1-x, 1-y, and 1-z, respectively, when the coefficient a is positive. "Can be replaced with" min ". Here, “w” in the equations (4) to (6) is an external variable that takes only the value B = {0, 1}, that is, takes only the value 0 or the value 1. In the equations (5) and (6), when the cubic term axyz appears in the minimization problem, the minimum value and the variables x, y, and z for taking the same do not change even if the left side is replaced with the right side. Means that. That is, the variables x, y, and z that give the minimum value in the converted function also give the minimum value in the original function. However, considering a fourth-order term with binary variables x, y, z, and t as shown in Equation (7), in the above method, the coefficient a is positive and the even-order term is x , Y, z, and t can be replaced with 1-x, 1-y, 1-z, and 1-t, respectively, so that “max” cannot be changed to “min” and cannot be used. Even if an odd order of 5 or more is considered, an even-order term such as the fourth order appears in the expression after expansion, and thus cannot be used in the same manner.
Citation 1: D. Freedman and P. Drineas. “Energy minimization via graph cuts: Settling what is possible.” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2005) 2: 939-946.

Figure 0005564643
Figure 0005564643

これに対して、実施例では、係数aが正のときには、(d−1)/2を超えない最大の整数に相当する数の2値の外部変数を付加することにより、式(8)に示す1次の基本対称式S1と2次の基本対称式S2とを用いて次数dが偶数の場合には次式(9)を、次数dが奇数の場合には次式(10)を変換式として定めている。例えば、2値変数をx,y,z,tとする次数が4の項については、1つの2値の外部変数wを加えて次式(11)により変換することができ、2値変数をx,y,z,t,uとする次数が5の項については、2つの2値の外部変数v,wを加えて次式(12)により変換することができる。これらの式は、任意の2次の対称式を1次と2次の基本対称式によって表わすことができることを利用したものである。これにより、係数aが正であっても、任意階のエネルギー多項式を1階のエネルギー多項式に変換することができる。なお、係数aが負のときには、前述した式(4)や式(7)を一般化した次式(13)を変換式として定めるものとした。   In contrast, in the embodiment, when the coefficient a is positive, the number of binary external variables corresponding to the largest integer not exceeding (d-1) / 2 is added to the equation (8). The following equation (9) is converted when the order d is an even number and the following equation (10) is converted when the order d is an odd number using the first-order basic symmetry equation S1 and the second-order basic symmetry equation S2 It is determined as a formula. For example, a term having a degree of 4 where x, y, z, and t are binary variables can be converted by the following equation (11) by adding one binary external variable w. A term of order 5, which is x, y, z, t, u, can be converted by the following equation (12) by adding two binary external variables v, w. These equations make use of the fact that an arbitrary second-order symmetric expression can be expressed by a first-order and a second-order basic symmetric expression. Thereby, even if the coefficient a is positive, the energy polynomial of an arbitrary floor can be converted into the energy polynomial of the first floor. When the coefficient a is negative, the following equation (13) obtained by generalizing the above equations (4) and (7) is defined as the conversion equation.

Figure 0005564643
Figure 0005564643

エネルギー最小化部26は、値0か値1の2値変数をもつ2次の多項式として表わされる1階のエネルギーが最小となる変数を見つける処理部として構成されており、処理アルゴリズムとしては、例えば、グラフカット法や信念伝播法,ツリー重み再配分メッセージ伝達法などを用いることができる。   The energy minimizing unit 26 is configured as a processing unit that finds a variable that minimizes the first-order energy expressed as a quadratic polynomial having a binary variable having a value 0 or a value 1. As a processing algorithm, for example, Graph cut method, belief propagation method, tree weight redistribution message transmission method, etc. can be used.

次に、こうして構成された実施例の情報処理装置の動作、特に、高階エネルギー設定部22の動作とエネルギー変換部24の動作について説明する。まず、高階エネルギー設定部22の動作について説明する。図3は、コンピュータ20により実行される高階エネルギー設定処理の一例を示すフローチャートである。   Next, the operation of the information processing apparatus according to the embodiment configured as described above, particularly, the operation of the higher-order energy setting unit 22 and the operation of the energy conversion unit 24 will be described. First, the operation of the higher-order energy setting unit 22 will be described. FIG. 3 is a flowchart showing an example of higher-order energy setting processing executed by the computer 20.

高階エネルギー設定処理では、まず、画像データの各画素の1点のみに依存する項を次式(14)により設定する(ステップS100)。ここで、式(14)中の「Xu」は画素uに対して割り当てるラベルとしての2値変数であり、「a1」,「a2」は実数係数である。実数係数a1は、Xu=0即ち画素uが骨であるとしたときのエネルギー値E0(D)であり、画素uのデータ値Dが骨である可能性を示す確率をP0(D)としたときにa1即ちE0(D)が−logP0(D)となるよう設定し、同様に、実数係数a2は、画素uのデータ値Dが骨でない可能性を示す確率をP1(D)としたときにa2即ちE1(D)が−logP1(D)となるよう設定する。即ち、画素uが骨である可能性が高いほどXu=0としたときのエネルギーが小さくなるよう、また画素uが骨でない可能性が高いほどXu=1としたときのエネルギーが小さくなるよう実数係数a1,a2を設定するのである。勿論、画素uが骨である可能性が高ければXu=0としたときのエネルギーが小さくなり、画素uが骨でない可能性が高ければXu=1としたときのエネルギーが小さくなればよいから、上述した手法に限定されるものではなく、例えば、データ値D(あるいは確率P)とエネルギーEとの関係を予め求めてマップとしてROMに記憶しておき、データ値Dが与えられたときにマップから対応するエネルギーEを導出し、導出したエネルギーEに基づいて設定するものとしてもよい。データ値DとエネルギーEとの関係の一例を図4に示す。 In the higher-order energy setting process, first, a term that depends on only one point of each pixel of the image data is set by the following equation (14) (step S100). Here, “X u ” in Expression (14) is a binary variable as a label to be assigned to the pixel u, and “a 1 ” and “a 2 ” are real coefficients. The real coefficient a 1 is X u = 0, that is, the energy value E 0 (D) when the pixel u is a bone, and the probability indicating the possibility that the data value D of the pixel u is a bone is P 0 ( D) is set so that a 1, that is, E 0 (D) is −logP 0 (D). Similarly, the real coefficient a 2 is a probability that the data value D of the pixel u may not be a bone. the P 1 a 2 i.e. E 1 when the (D) (D) is set -log P 1 (D) and so as. That is, the higher the possibility that the pixel u is a bone, the smaller the energy when X u = 0, and the lower the possibility that the pixel u is not a bone, the smaller the energy when X u = 1. The real number coefficients a 1 and a 2 are set as follows. Of course, if the possibility that the pixel u is a bone is high, the energy when X u = 0 is small, and if the possibility that the pixel u is not a bone is high, the energy when X u = 1 is small. Therefore, the method is not limited to the above-described method. For example, when the relationship between the data value D (or probability P) and the energy E is obtained in advance and stored as a map in the ROM, the data value D is given. The corresponding energy E may be derived from the map and set based on the derived energy E. An example of the relationship between the data value D and the energy E is shown in FIG.

Figure 0005564643
Figure 0005564643

続いて、画像データの上下あるいは左右に隣接する2画素に依存する項を次式(15)により設定する(ステップS110)。ここで、式(15)中の「Xu」,「Xv」は隣接する画素u,vに対してそれぞれ割り当てるラベルとしての2値変数であり、「b1〜b4」は、実数係数である。実数係数b1は、Xu=1,Xv=1即ち画素u,vが共に骨でないとしたときのエネルギー値E11(Du,Dv)であり、画素u,vのデータ値Du,Dvが画素u,vが共に骨でない可能性を示す確率をP11(Du,Dv)としたときにb1即ちE11(Du,Dv)が−logP11(Du,Dv)となるよう設定するものとした。実数係数b2は、Xu=0,Xv=1即ち画素uが骨であり画素vが骨でないとしたときのエネルギー値E01(Du,Dv)であり、画素u,vのデータ値Du,Dvが画素uが骨であり画素vが骨でない可能性を示す確率をP01(Du,Dv)としたときにb2即ちE01(Du,Dv)が−logP01(Du,Dv)となるよう設定するものとした。実数係数b3は、Xu=1,Xv=0即ち画素uが骨でなく画素vが骨であるとしたときのエネルギー値E10(Du,Dv)であり、画素u,vのデータ値Du,Dvが画素uが骨でなく画素vが骨である可能性を示す確率をP10(Du,Dv)としたときにb3即ちE10(Du,Dv)が−logP10(Du,Dv)となるよう設定するものとした。実数係数b4は、Xu=0,Xv=0即ち画素u,vが共に骨であるとしたときのエネルギー値E00(Du,Dv)であり、画素u,vのデータ値Du,Dvが共に骨である可能性を示す確率をP00(Du,Dv)としたときにb4即ちE00(Du,Dv)が−logP00(Du,Dv)となるよう設定するものとした。なお、この場合も、例えば、データ値Du,Dv(あるいは確率)とエネルギーEとの関係を予め求めてマップとしてROMに記憶しておき、データ値Du,Dvが与えられたときにマップから対応するエネルギーEを導出し、導出したエネルギーEに基づいて設定するものとしてもよい。 Subsequently, a term depending on two pixels adjacent to the upper and lower sides or the left and right sides of the image data is set by the following equation (15) (step S110). Here, “X u ” and “X v ” in Equation (15) are binary variables as labels assigned to the adjacent pixels u and v, respectively, and “b 1 to b 4 ” are real coefficients. It is. The real number coefficient b 1 is an energy value E 11 (D u , D v ) when X u = 1, X v = 1, that is, the pixels u and v are not bones, and the data value D of the pixels u and v. When P 11 (D u , D v ) is the probability that u and D v are not bones, the pixel u and v are both b 1, that is, E 11 (D u , D v ) is −logP 11 (D u , D v ). The real number coefficient b 2 is an energy value E 01 (D u , D v ) when X u = 0, X v = 1, that is, the pixel u is a bone and the pixel v is not a bone. When the data values D u and D v are P 01 (D u , D v ), the probability that the pixel u is a bone and the pixel v is not a bone is b 2, that is, E 01 (D u , D v ). Is set to be −logP 01 (D u , D v ). The real coefficient b 3 is an energy value E 10 (D u , D v ) when X u = 1, X v = 0, ie, the pixel u is not a bone and the pixel v is a bone, and the pixels u, v B 3, that is, E 10 (D u , D v ), where P 10 (D u , D v ) is a probability that the data value D u , D v of the pixel v is a bone and the pixel v is a bone. v ) is set to be -logP 10 (D u , D v ). The real coefficient b 4 is an energy value E 00 (D u , D v ) when X u = 0, X v = 0, that is, the pixels u and v are both bones, and the data value of the pixels u and v When P 00 (D u , D v ) is a probability indicating that both D u and D v are bones, b 4, that is, E 00 (D u , D v ) is −logP 00 (D u , D v ) was set to be Also in this case, for example, when the relationship between the data values D u and D v (or probability) and the energy E is obtained in advance and stored in the ROM as a map, the data values D u and D v are given. The corresponding energy E may be derived from the map and set based on the derived energy E.

Figure 0005564643
Figure 0005564643

そして、画像データの上下左右に隣接する画素4点に依存する項を次式(16)により設定する(ステップS120)。ここで、式(16)中の「Xu」,「Xv」,「Xs」,「Xt」は隣接する画素u,v,s,tに対してそれぞれ割り当てる2値変数であり、「c1〜c16」は、実数係数である。上述したステップS110と同様に、実数係数c1〜c16は、Xu,Xv,Xs,Xtに値0か値1を与えたパターン毎に決定される各画素が骨であるかないかという組み合わせに対応するエネルギーであり、画素u,v,s,tの各データ値Du,Dv,Ds,Dtがその組み合わせである可能性を示す確率が高いほどエネルギーが小さくなるよう定められる。 Then, a term depending on four points adjacent to the upper, lower, left, and right sides of the image data is set by the following equation (16) (step S120). Here, “X u ”, “X v ”, “X s ”, and “X t ” in Equation (16) are binary variables assigned to the adjacent pixels u, v, s, and t, respectively. “C 1 to c 16 ” are real coefficients. As in the above-described step S110, the real coefficients c 1 to c 16 are determined by whether each pixel determined for each pattern in which X u , X v , X s , and X t are given values 0 or 1 is a bone. The energy becomes smaller as the probability that the data values D u , D v , D s , and D t of the pixels u, v, s, and t indicate the possibility of the combination is higher. It is determined as follows.

Figure 0005564643
Figure 0005564643

こうして各項を設定すると、各項の和をとると共にこれらを展開することにより4次の多項式を設定して(ステップS130)。本ルーチンを終了する。これにより、3階のエネルギーが設定される。実施例では、このエネルギーを最小化する各画素に対応した2値変数を見つけることにより画像データのうち骨の部分とそれ以外の部分とに分割する。   When each term is set in this way, a fourth-order polynomial is set by taking the sum of the terms and expanding them (step S130). This routine ends. Thereby, the energy of the 3rd floor is set. In the embodiment, by finding a binary variable corresponding to each pixel that minimizes this energy, the image data is divided into a bone portion and other portions.

次に、エネルギー変換処理について説明する。図5は、エネルギー変換処理の一例を示すフローチャートである。このエネルギー変換処理では、まず、3次以上の変換対象の項を設定し(ステップS200)、設定した変換対象の項の係数aは正か否か(ステップS210)、次数dは奇数か否か(ステップS220)、をそれぞれ判定する。変換対象の項の係数aが正でない即ち負のときには前述した式(13)を用いて2次の多項式すなわち1階のエネルギーに変換し(ステップS230)、変換対象の項の係数aが正であり且つ次数dが偶数のときには前述した式(9)を用いて1階のエネルギーに変換し(ステップS240)、変換対象の項の係数aが正であり且つ次数dが奇数のときには前述した式(10)を用いて1階のエネルギーに変換し(ステップS250)。そして、次数dが3以上の未変換の項があるときにはステップS200に戻って新たに変換対象の項に設定してステップS210〜250の処理を繰り返し、次数dが3以上の未変換の項がなくなったときにこれで本処理を終了する。   Next, the energy conversion process will be described. FIG. 5 is a flowchart illustrating an example of the energy conversion process. In this energy conversion process, first, a third or higher order conversion target term is set (step S200), whether the coefficient a of the set conversion target term is positive (step S210), and whether the order d is an odd number. (Step S220) is determined. When the coefficient a of the conversion target term is not positive, that is, negative, it is converted into a second-order polynomial, that is, first-order energy using the above-described equation (13) (step S230). When the order d is an even number, it is converted to the first-order energy using the above-described formula (9) (step S240). When the coefficient a of the conversion target term is positive and the order d is an odd number, the above-described formula (10) is used to convert the energy to the first floor (step S250). When there is an unconverted term having an order d of 3 or more, the process returns to step S200 to newly set a term to be converted, and the processing of steps S210 to 250 is repeated, and an unconverted term having an order d of 3 or more is found. This is the end of the process when there is no more.

こうして1階のエネルギー多項式に変換すると、既存のグラフカット法などのアルゴリズムを用いて各画素に対応した2値変数を設定し、変数Xuが値0すなわち骨である画素uに対して色を付すと共に変数Xuが値1すなわち骨でない画素uに対しては透明処理を施してディスプレイ30に表示出力することにより、入力した画像のうち骨の部分だけを表示する。なお、グラフカット法などの適用によっても変数がわからないエラーが生じる可能性もあるが、予め定めた割り当てを行なったり、エラーが生じた変数だけで再びエネルギーを生成してエネルギー最小化アルゴリズムを適用したりすることにより対応することができる。 When converted to the first-order energy polynomial in this way, a binary variable corresponding to each pixel is set using an algorithm such as an existing graph cut method, and the variable X u has a value 0, that is, a color is set for the pixel u which is a bone. At the same time, the variable X u has a value of 1, that is, a non-bone pixel u is subjected to a transparent process and displayed on the display 30 to display only the bone portion of the input image. Although there is a possibility that an error in which the variable is unknown may occur even by applying the graph cut method, etc., the energy minimization algorithm is applied by making a predetermined allocation or generating energy again only with the variable in which the error has occurred. It can respond by doing.

以上説明した実施例の情報処理装置によれば、画像データの各画素に2値のラベルを割り当てることにより領域分割する場合、ラベルに対応する2値変数を用いて4次以上の多項式である高階エネルギーを設定し、次数dが3以上の項毎に(d−1)/2を超えない最大の整数の数だけ2値の外部変数を付加することにより1次および2次の基本対称式を用いて高階エネルギーを次数が2以下の1階のエネルギーに変換するから、1階のエネルギーの最小化が可能なグラフカット法などのエネルギー最小化アルゴリズムを適用することにより、少ない計算コストで適切に画像データの領域分割を行なうことができる。   According to the information processing apparatus of the embodiment described above, when a region is divided by assigning a binary label to each pixel of image data, a higher-order polynomial that is a fourth or higher order polynomial using a binary variable corresponding to the label. By setting the energy and adding binary external variables by the maximum integer number that does not exceed (d-1) / 2 for each term in which the order d is 3 or more, the primary and secondary symmetric equations are obtained. Since higher-order energy is converted into first-order energy with an order of 2 or less, energy minimization algorithms such as a graph cut method that can minimize the first-order energy can be applied appropriately with less computational cost. Image data can be divided into regions.

実施例の情報処理装置では、隣接する画素4点に依存する4次(3階)のエネルギー多項式を設定するものとしたが、周辺の画素5点以上に依存する5次(4階)以上のエネルギー、例えば、3次元空間内に配置された画素(ボクセル)について立体格子状に隣接する画素8点に依存する8次(7階)のエネルギーを設定するものとしてもよい。   In the information processing apparatus of the embodiment, a fourth-order (third floor) energy polynomial that depends on four adjacent pixels is set. However, a fifth-order (fourth floor) or more that depends on five or more neighboring pixels. It is also possible to set energy, for example, eighth-order (seventh floor) energy that depends on eight adjacent pixels in a three-dimensional grid for pixels (voxels) arranged in a three-dimensional space.

実施例の情報処理装置では、画像データの領域を分割する画像分割問題に本発明を適用して説明したが、これに限定されるものではなく、例えば、画像復元やステレオ,動画像解析などに本発明を適用することができるし、画像分野以外のデータ処理に適用することもできる。ここで、画像復元に本発明を適用する場合、例えば、現在の画像から若干の変化を与えた提案画像を生成し、現在の画像と生成した提案画像とを融合して新たな画像を生成する処理を繰り返し行なう融合移動アルゴリズムを用いることができる。ここで、「融合」とは、現在の画像における画素のデータ値と提案画像における対応する画素のデータ値とのうちエネルギーが小さくなる方のデータ値を新たな画像の対応する画素に設定することにより新たな画像を生成するものである。したがって、現在の画像のデータ値を維持するときにその画素に値0を割り当て提案画像のデータ値に置き換えるときに値1を割り当てるラベル割付問題として考えることができるから、エネルギー最小化法を用いて解くことができる。ここで、エネルギー(多項式)の実数係数としては、画像データを構成する画素の組のうちノイズが含まれる可能性が低いパターンほどエネルギーが小さくなるように設定することができる。また、提案画像としては、現在の画像を平滑化フィルタ(Gaussian kernel)を用いてぼかしたものを設定したり、エネルギーを各変数で偏微分して変数の数と同じ次元の勾配ベクトルを生成すると共に生成したベクトルの方向に現在の画像のデータ値から値をずらす再急降下法を用いて生成したりすることができる。勿論、これらの手法に限られず、例えば乱数画像を設定するなど如何なる手法も採用し得る。   In the information processing apparatus according to the embodiment, the present invention is applied to the image division problem that divides an area of image data. However, the present invention is not limited to this, and for example, for image restoration, stereo, video analysis, The present invention can be applied, and can also be applied to data processing other than the image field. Here, when the present invention is applied to image restoration, for example, a proposed image with a slight change is generated from the current image, and the current image and the generated proposed image are merged to generate a new image. A fusion move algorithm that repeats the process can be used. Here, “fusion” is to set the data value of the smaller energy of the data value of the pixel in the current image and the data value of the corresponding pixel in the proposed image to the corresponding pixel of the new image. By this, a new image is generated. Therefore, the energy minimization method can be used because it can be considered as a label allocation problem in which the value 0 is assigned to the pixel when maintaining the data value of the current image and the value 1 is assigned when replacing the data value of the proposed image. Can be solved. Here, the real number coefficient of the energy (polynomial) can be set so that the energy becomes smaller as the pattern is less likely to contain noise in the group of pixels constituting the image data. In addition, the proposed image can be set by blurring the current image using a smoothing filter (Gaussian kernel), or generate a gradient vector with the same dimensions as the number of variables by partial differentiation of energy with each variable. And a re-steep descent method in which the value is shifted from the data value of the current image in the direction of the generated vector. Of course, the present invention is not limited to these methods, and any method such as setting a random number image can be adopted.

以上、本発明の実施の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。   The embodiments of the present invention have been described using the embodiments. However, the present invention is not limited to these embodiments, and can be implemented in various forms without departing from the gist of the present invention. Of course you get.

本発明は、情報処理装置や画像処理装置の製造産業などに利用可能である。   The present invention can be used in the manufacturing industry of information processing apparatuses and image processing apparatuses.

20 コンピュータ、22 高階エネルギー設定部、24 エネルギー変換部、26 エネルギー最小化部、30 ディスプレイ、40 キーボード、50 マウス。   20 computers, 22 higher energy setting units, 24 energy conversion units, 26 energy minimizing units, 30 displays, 40 keyboards, 50 mice.

Claims (11)

各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理方法であって、
前記高階エネルギーのデータ表現を記憶手段に格納し、
前記高階エネルギー対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を演算手段により変更することにより前記高階エネルギーを同値な1階のエネルギーに変換し、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより前記高階エネルギーが最小となる前記各変数を設定する
ことを特徴とする情報処理方法。
An information processing method for processing higher-order energy in which each variable can be expressed by a binary fourth-order or higher-order polynomial,
Storing a data representation of the higher order energy in a storage means;
By changing the stored data representation by a calculation means so as to correspond to the addition of binary external variables of a number corresponding to the order using a symmetric formula for the higher order energy , the higher order energy is changed to the same first order energy. Converted into energy
An information processing method comprising: setting each variable that minimizes the higher-order energy by applying a predetermined energy minimizing method to the converted first-floor energy.
請求項1記載の情報処理方法であって、
次数をdとし係数をaとし前記変数をx1,…,xdとし値0か値1のいずれかをとる前記外部変数をwとし1次の基本対称式をS1とし2次の基本対称式をS2とすると、前記高階エネルギーの多項式の各項毎に、係数aが正の項に対しては該項の次数dが偶数のときには式(1)を用いて前記1階エネルギーの多項式に変換し、該項の次数dが奇数のときには式(2)を用いて前記1階エネルギーの多項式に変換する
ことを特徴とする情報処理方法。
Figure 0005564643
An information processing method according to claim 1,
The degree is d, the coefficient is a, the variable is x 1 ,..., X d , the external variable taking either 0 or 1 is w, the primary basic symmetry formula is S 1, and the secondary basic symmetry is Assuming that the equation is S 2 , for each term of the higher-order energy polynomial, when the coefficient d is an even number for a term with a positive coefficient a, the first-order energy polynomial is expressed by using equation (1). And when the order d of the term is an odd number, the information is converted into the first-order energy polynomial using equation (2).
Figure 0005564643
請求項2記載の情報処理方法であって、
前記高階エネルギー多項式の各項毎に係数aが負の項に対しては式(3)を用いて前記1階エネルギーの多項式に変換する
ことを特徴とする情報処理方法。
Figure 0005564643
An information processing method according to claim 2,
An information processing method, wherein a term having a negative coefficient a for each term of the higher-order energy polynomial is converted into the first-order energy polynomial using Equation (3).
Figure 0005564643
前記所定のエネルギー最小化法は、グラフカット法,信念伝播法,ツリー重み再配分メッセージ伝達法のいずれかである請求項1ないし3いずれか1項に記載の情報処理方法。   The information processing method according to any one of claims 1 to 3, wherein the predetermined energy minimization method is any one of a graph cut method, a belief propagation method, and a tree weight redistribution message transmission method. 画像データを処理する請求項1ないし4いずれか1項に記載の情報処理方法であって、
前記画像データを構成する各画素のうち所定の条件に合致する画素に第1の値のラベルを割り当てると共に該所定の条件に合致しない画素に第2の値のラベルを割り当てる2値のラベルを前記変数として前記各画素だけに依存する1次の項と4点以上の画素の組に依存する4次以上の項とを含む多項式の高階エネルギーを設定し、該設定した高階エネルギーが最小となるよう前記変数を設定することにより前記2値のラベルを割り当てる
ことを特徴とする情報処理方法。
The information processing method according to any one of claims 1 to 4, wherein the image data is processed.
A binary label that assigns a label of a first value to a pixel that matches a predetermined condition among pixels constituting the image data and assigns a label of a second value to a pixel that does not meet the predetermined condition A higher order energy of a polynomial including a first order term that depends only on each pixel and a fourth order or more term that depends on a set of four or more pixels is set as a variable so that the set higher order energy is minimized. An information processing method, wherein the binary label is assigned by setting the variable.
前記所定の条件に合致する確率が高いほどエネルギーが小さくなるよう各項の係数を定めることにより前記多項式の高階エネルギーを設定することを特徴とする請求項5記載の情報処理方法。   6. The information processing method according to claim 5, wherein the higher-order energy of the polynomial is set by determining the coefficient of each term so that the energy becomes smaller as the probability of meeting the predetermined condition is higher. 前記所定の条件に合致する確率をPとしたときにエネルギーが−logPとなるよう前記各項の係数を定めることを特徴とする請求項6記載の情報処理方法。   The information processing method according to claim 6, wherein the coefficient of each term is determined so that the energy becomes −logP when P is a probability of meeting the predetermined condition. 請求項5ないし7いずれか1項に記載の情報処理方法であって、
現在の画像に対して変化を与えた提案画像を生成し前記現在の画像の画素を該生成した提案画像の対応する画素に置き換えるときには前記第1の値のラベルを割り当てると共に前記現在の画像の画素を前記生成した提案画像の対応する画素に置き換えないときには前記第2のラベルを割り当てることにより新たな画像を生成する処理を繰り返すことにより画像を復元する
ことを特徴とする情報処理方法。
An information processing method according to any one of claims 5 to 7,
When generating a proposed image with a change to the current image and replacing the pixel of the current image with the corresponding pixel of the generated proposed image, a label of the first value is assigned and the pixel of the current image An information processing method characterized by reconstructing an image by repeating a process of generating a new image by assigning the second label when not replacing a corresponding pixel of the generated proposed image.
前記提案画像は、再急降下法を用いて生成することを特徴とする請求項8記載の情報処理方法。   The information processing method according to claim 8, wherein the proposal image is generated using a re-steep descent method. 前記提案画像は、前記現在の画像に対して所定のぼかしフィルタを適用することにより生成することを特徴とする請求項8記載の情報処理方法。   The information processing method according to claim 8, wherein the proposed image is generated by applying a predetermined blur filter to the current image. 各変数が2値の4次以上の多項式によって表わすことが可能な高階エネルギーを処理する情報処理装置であって、
前記高階エネルギーのデータ表現を格納する記憶手段と、
前記高階エネルギー対称式を用いて次数に応じた数の2値の外部変数を付加することに対応するように該格納したデータ表現を変更する演算手段と、
前記高階エネルギーを該データ表現の変更により同値な1階のエネルギーに変換するエネルギー変換手段と、
該変換した1階のエネルギーに対して所定のエネルギー最小化法を適用することにより前記高階エネルギーが最小となる前記各変数を設定するエネルギー最小化手段と、
を備える情報処理装置。
An information processing apparatus for processing higher-order energy, each variable being represented by a binary fourth or higher order polynomial,
Storage means for storing a data representation of the higher order energy;
A calculating means for changing the data representation that is the stored so as to correspond to the addition of external variable binary number corresponding to the order by using a symmetric polynomial in the higher-order energy,
Energy conversion means for converting the higher-order energy into equivalent first- order energy by changing the data representation ;
Energy minimizing means for setting each variable that minimizes the higher order energy by applying a predetermined energy minimizing method to the converted first floor energy;
An information processing apparatus comprising:
JP2009140998A 2009-06-12 2009-06-12 Information processing method and information processing apparatus Expired - Fee Related JP5564643B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009140998A JP5564643B2 (en) 2009-06-12 2009-06-12 Information processing method and information processing apparatus
PCT/JP2010/059273 WO2010143561A1 (en) 2009-06-12 2010-06-01 Information processing method and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009140998A JP5564643B2 (en) 2009-06-12 2009-06-12 Information processing method and information processing apparatus

Publications (2)

Publication Number Publication Date
JP2010287091A JP2010287091A (en) 2010-12-24
JP5564643B2 true JP5564643B2 (en) 2014-07-30

Family

ID=43308816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009140998A Expired - Fee Related JP5564643B2 (en) 2009-06-12 2009-06-12 Information processing method and information processing apparatus

Country Status (2)

Country Link
JP (1) JP5564643B2 (en)
WO (1) WO2010143561A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5660078B2 (en) * 2012-05-31 2015-01-28 カシオ計算機株式会社 Multi-class classifier, method and program
JP5894514B2 (en) 2012-09-28 2016-03-30 富士フイルム株式会社 Image processing apparatus, image processing program, and operation method of image processing apparatus
JP5897445B2 (en) 2012-09-28 2016-03-30 富士フイルム株式会社 Classification device, classification program, and operation method of classification device
JP5946153B2 (en) 2014-03-12 2016-07-05 富士フイルム株式会社 Image processing apparatus, operating method thereof, and program
JPWO2015190593A1 (en) * 2014-06-12 2017-04-20 学校法人早稲田大学 Information processing method, information processing apparatus and program thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0620497B1 (en) * 2005-11-15 2018-09-25 Yissum Research Development Company Of The Hebrew Univ Of Jerusalem method for creating a video synopsis, and system for transforming a source sequence of video frames from a first dynamic scene into a synopsis sequence of at least two video frames illustrating a second dynamic scene.

Also Published As

Publication number Publication date
WO2010143561A1 (en) 2010-12-16
JP2010287091A (en) 2010-12-24

Similar Documents

Publication Publication Date Title
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
JP5275489B2 (en) Image processing apparatus and method
US8472709B2 (en) Apparatus and method for reducing artifacts in images
US8131069B2 (en) System and method for optimizing single and dynamic markov random fields with primal dual strategies
JP5564643B2 (en) Information processing method and information processing apparatus
Kohli et al. Energy minimization for linear envelope MRFs
WO2019114023A1 (en) Fourier-graph-transform-based point cloud intraframe coding method and apparatus
EP3692508B1 (en) Method and device for up-sampling a point cloud
WO2015190593A1 (en) Information processing method, information processing device, and program therefor
JP5716170B2 (en) Information processing method and information processing apparatus
EP3304488B1 (en) An image processing apparatus and method
Geetha et al. An improved method for segmentation of point cloud using minimum spanning tree
JP2008084076A (en) Image processor, method, and program
JP5879291B2 (en) Image processing apparatus, image processing program, and method of operating image processing apparatus
US10460491B2 (en) Method for real-time deformable fusion of a source multi-dimensional image and a target multi-dimensional image of an object
CN108347549B (en) Method for improving video jitter based on time consistency of video frames
CN106897975B (en) Image denoising method for hypercube particle calculation
JP5897445B2 (en) Classification device, classification program, and operation method of classification device
KR101289003B1 (en) Method and Device for Stereo Matching of Images
Hochbaum An efficient and effective tool for image segmentation, total variations and regularization
JP2016214833A (en) Method for registering deformable image to fixed image
JP2008225778A (en) Image processor
Flesia et al. Accuracy of MAP segmentation with hidden Potts and Markov mesh prior models via Path Constrained Viterbi Training, Iterated Conditional Modes and Graph Cut based algorithms
Käck Robust stereo correspondence using graph cuts
KR100581895B1 (en) Apparatus for representing three-dimensional object motion with semiregular meshes

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5564643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees