JP2010237941A - Mask image generation device, three-dimensional model information generation device, and program - Google Patents
Mask image generation device, three-dimensional model information generation device, and program Download PDFInfo
- Publication number
- JP2010237941A JP2010237941A JP2009084871A JP2009084871A JP2010237941A JP 2010237941 A JP2010237941 A JP 2010237941A JP 2009084871 A JP2009084871 A JP 2009084871A JP 2009084871 A JP2009084871 A JP 2009084871A JP 2010237941 A JP2010237941 A JP 2010237941A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- ray
- attribute
- foreground
- mask image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、マスク画像及び3次元物体モデル情報の生成技術に関する。 The present invention relates to a technique for generating a mask image and three-dimensional object model information.
特許文献1には、複数のカメラで撮影した動画像から、任意の位置における画像を再現する自由視点画像生成技術が記載されている。特許文献1によると、被写体を取り囲む様に複数のカメラを配置し、このカメラに囲まれた1つの領域を複数の局所領域に分割し、各カメラが撮影した画像に基づき局所的な光線空間を複数構築して自由視点画像を生成している。ここで、局所的な光線空間を構築するとは、局所領域の境界面を通過する光線を適当な座標軸を使用して表し、この座標空間の座標として表現される光線と、この光線により生じる画像の画素値を対応付けることを言う。
自由視点画像生成のためには、3次元空間における被写体の表面位置を示す情報である3次元物体モデル情報が必要であり、例えば、非特許文献1には、視体積交差法により3次元物体モデル情報を生成する技術が、非特許文献2には、センサを利用して3次元物体モデル情報を生成する技術が記載されている。なお、視体積交差法とは、複数のカメラで撮影した画像の各画素が被写体に対応するものであるか否かを判定し、被写体であるか否かを示す2値画像であるマスク画像を複数生成し、各マスク画像の被写体に対応する画素とカメラパラメータから3次元物体情報を求めるものである。
In order to generate a free viewpoint image, 3D object model information that is information indicating the surface position of a subject in a 3D space is required. For example, Non-Patent
任意の位置から見た映像を再現する自由視点映像システムのためには、被写体の形状情報、つまり、3次元物体モデル情報を、可能な限り正確に生成することが必要である。ただし、自由視点映像システムでは、例えば、スポーツの試合等、常に動き続ける被写体をも対象とするため、非特許文献2に記載のセンサ等を利用することなく3次元物体モデル情報を生成することが求められる。なお、3次元物体モデル情報は、マスク画像から生成することができるため、正確なマスク画像を生成できれば正確な3次元物体モデル情報を生成できることになる。
For a free viewpoint video system that reproduces video viewed from an arbitrary position, it is necessary to generate subject shape information, that is, three-dimensional object model information, as accurately as possible. However, in the free viewpoint video system, for example, a subject that constantly moves, such as a sporting game, is also targeted, so that it is possible to generate 3D object model information without using the sensor described in Non-Patent
したがって、本発明は、可能な限り正確なマスク画像又は3次元物体モデル情報を生成する装置及び該装置としてコンピュータを機能させるプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide an apparatus that generates as accurate a mask image or three-dimensional object model information as possible and a program that causes a computer to function as the apparatus.
本発明によるマスク画像生成装置によれば、
複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を“不定”に更新する不定領域決定手段と、マッティング手段とを備えており、前記マッティング手段は、光線空間の光線の属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、生成したマスク画像の属性が不定である画素のマッティングを行う判定手段とを備えていることを特徴とする。
According to the mask image generating apparatus according to the present invention,
Based on a plurality of images, for a ray in the ray space, the pixel value of the pixel generated by the ray, attribute information indicating an attribute of whether the pixel is the foreground or the background, and the attribute of the pixel when the attribute is the foreground Pre-processing means for generating information indicating a position in real space, and the attribute of the light ray space determines the indefinite region including the boundary at the boundary between the foreground and background rays, and the attribute information of the light ray included in the determined indefinite region Indeterminate area determining means for updating the value to “indefinite”, and matting means, the matting means, mask image generating means for generating a plurality of mask images based on the attribute information of the light rays in the light space, And a determination unit that performs matting of a pixel whose attribute of the generated mask image is indefinite.
本発明によるマスク画像生成装置の他の実施形態によれば、
複数の画像に基づき、光線空間の光線について、該光線により生じる画素の画素値、該画素が前景であるか背景であるかの属性を示す属性情報及び属性が前景である場合には該画素の実空間における位置を示す情報を生成する前処理手段と、前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を“不定”に更新する不定領域決定手段とマッティング手段とを備えており、前記マッティング手段は、光線空間の属性が不定である光線に対応する画素のマッティングを行う判定手段と、光線空間の光線の前記マッティング後における属性情報に基づき複数のマスク画像を生成するマスク画像生成手段とを備えていることを特徴とする。
According to another embodiment of the mask image generating apparatus according to the present invention,
Based on a plurality of images, for a ray in the ray space, the pixel value of the pixel generated by the ray, attribute information indicating an attribute of whether the pixel is the foreground or the background, and the attribute of the pixel when the attribute is the foreground Pre-processing means for generating information indicating a position in real space, and the attribute of the light ray space determines the indefinite region including the boundary at the boundary between the foreground and background rays, and the attribute information of the light ray included in the determined indefinite region Indeterminate area determining means and matting means for updating to “indefinite”, the matting means comprising: a determining means for performing matting of a pixel corresponding to a light ray having an indefinite ray space attribute; And a mask image generating means for generating a plurality of mask images based on the attribute information after the mating of the rays in the space.
また、本発明によるマスク画像生成装置の他の実施形態によれば、
前景と背景の境界にある属性が前景の第3の光線を複数選択し、選択した第3の光線それぞれについて、第3の光線に対応する第3の画素の実空間の位置である第1の位置と、実空間の1点から発出される各光線の該光線空間における分布に基づき、所定の視点から見た画像内の画素であって第1の位置から発出される第1の光線に対応する第1の画素と、前記所定の視点とは異なる視点から見た画像内の画素であって第1の位置から発出される第2の光線に対応する第2の画素とを求める探索範囲設定手段と、選択した第3の光線それぞれについて、第1の画素を中心とする所定範囲の領域と、第2の画素を中心とする所定範囲の領域内において、所定サイズの画素ブロックによるブロックマッチングを適用し、最も相関の高い組合せに含まれる2つの画素ブロックの所定位置の画素である第4の画素と第5の画素を求めるブロックマッチング手段と、前記不定領域を決定する決定手段とを備えており、前記決定手段は、選択した第3の光線それぞれについて、前記光線空間において、第3の光線と、第4の画素に対応する第4の光線及び第5の画素に対応する第5の光線を直線又は曲線で結ぶことにより得た光線空間内の複数の直線又は曲線で囲まれた領域を前記不定領域とすることも好ましい。
Further, according to another embodiment of the mask image generating apparatus according to the present invention,
A plurality of third light rays having an attribute at the boundary between the foreground and the background are selected, and the first light ray is a position in the real space of the third pixel corresponding to the third light ray for each selected third light ray. Based on the position and the distribution of each ray emitted from one point in the real space in the ray space, corresponding to the first ray emitted from the first position, which is a pixel in the image viewed from a predetermined viewpoint Search range setting for obtaining a first pixel to be processed and a second pixel corresponding to a second light ray emitted from the first position in the image viewed from a viewpoint different from the predetermined viewpoint And block matching with a pixel block of a predetermined size for each of the selected third light rays in a predetermined range area centered on the first pixel and a predetermined range area centered on the second pixel. Applied and included in the most correlated combination Block matching means for obtaining a fourth pixel and a fifth pixel which are pixels at predetermined positions of the two pixel blocks to be determined, and a determining means for determining the indefinite region, wherein the determining means For each of the three light beams, the third light beam, the fourth light beam corresponding to the fourth pixel, and the fifth light beam corresponding to the fifth pixel are connected by a straight line or a curve in the light space. It is also preferable that an area surrounded by a plurality of straight lines or curves in the light space is the indefinite area.
さらに、本発明によるマスク画像生成装置の他の実施形態によれば、
判定手段は、属性が不定である画素の画素値と、該画素を中心とした所定領域に含まれる属性が前景である画素の画素値の平均値及び分散と、属性が背景である画素の画素値の平均値及び分散に基づき該画素に対する第1の値を算出し、不定領域内の前景と背景の境界を、前記境界上の画素に対する第1の値の総和が最小となる様に求めることも好ましい。
Furthermore, according to another embodiment of the mask image generating apparatus according to the present invention,
The determination means includes a pixel value of a pixel whose attribute is indefinite, an average value and a variance of pixel values of a pixel whose attribute is a foreground included in a predetermined area centered on the pixel, and a pixel of a pixel whose attribute is a background A first value for the pixel is calculated based on an average value and a variance of the values, and a boundary between the foreground and the background in the indefinite region is obtained so that a sum of the first values for the pixels on the boundary is minimized. Is also preferable.
本発明による3次元物体モデル情報生成装置によれば、
前記マスク画素装置が生成するマスク画像に基づき3次元物体モデル情報を生成することを特徴とする。
According to the three-dimensional object model information generating device according to the present invention,
Three-dimensional object model information is generated based on a mask image generated by the mask pixel device.
本発明によるプログラムによれば、
前記装置としてコンピュータを機能させることを特徴とする。
According to the program according to the present invention,
A computer is caused to function as the device.
前処理手段が判定する各画素の実空間における位置には誤差が含まれている可能性が高く前景と背景の境界は正確ではない。よって、前景と背景の境界において不定領域を決定して、この不定領域に対して種々のマッティグを行うことで前景及び背景の正確な判定を行う。本発明においては、不定領域を実空間の1点から発出される各光線の光線空間における分布に基づき決定し、これにより、マッティングを行う領域を効率的に絞り込むことができ、よって、少ない処理で前景及び背景の正確な判定が可能となる。 The position in the real space of each pixel determined by the preprocessing means is likely to contain an error, and the boundary between the foreground and the background is not accurate. Therefore, an indefinite area is determined at the boundary between the foreground and the background, and the foreground and background are accurately determined by performing various types of matching on the indefinite area. In the present invention, the indefinite region is determined based on the distribution in the light space of each light beam emitted from one point in the real space, and thereby, the region to be mated can be narrowed down efficiently, and therefore, less processing is performed. This makes it possible to accurately determine the foreground and background.
マッティングには、例えば、不定領域の画素を中心とする所定範囲に含まれる前景と背景の画素の画素値を使用して前記中心の画素のエネルギー値を定義し、このエネルギー値を使用したダイナミックプログラミング法を用いることで効率的に実施することができる。なお、マッティングは、画像上で行っても、光線空間上で行っても良い。 In matting, for example, the energy value of the center pixel is defined using the pixel values of the foreground and background pixels included in a predetermined range centered on the pixel of the undefined region, and the dynamic value using the energy value is defined. It can be implemented efficiently by using a programming method. Note that the matting may be performed on the image or in the light space.
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。 The best mode for carrying out the present invention will be described in detail below with reference to the drawings.
図1は、本発明によるマスク画像生成装置の機能ブロック図である。図1によると、マスク画像生成装置は、保存部1と、前処理部2と、不定領域決定部3と、マッティング部4とを備えている。なお図1は、本発明の説明に必要な部分のみを表示するものである。
FIG. 1 is a functional block diagram of a mask image generating apparatus according to the present invention. As shown in FIG. 1, the mask image generation apparatus includes a
マスク画像生成装置は、まず、複数のカメラ100が撮影した動画像を構成する撮影画像と、これら複数のカメラ100のカメラパラメータを取り込んで保存部1に保存する。前処理部2は、保存部1に保存されている撮影画像及びカメラパラメータに基づき撮影画像の被写体を判定して3次元物体モデル情報、つまり、被写体表面の実空間での位置を示す情報を生成する。なお、前処理部2における被写体の判定及び3次元物体モデル情報の生成には公知の種々の方法を利用する。
First, the mask image generation apparatus captures captured images constituting moving images captured by the plurality of
また、前処理部2は、例えば、図2に示す様に点線で囲まれた空間を、実線の円で示す複数の局所領域に分割し、例えば、特許文献1に記載されている方法を使用して、各局所領域に対する光線空間データを生成する。なお、図2は平面図であり、本実施形態において、実際の局所領域は円柱状である。また、局所的な光線空間データとは、局所領域の境界面を通過する光線と、この光線により生じる画像の画素の画素値と、各光線の属性情報を示すデータである。ここで、属性情報とは、光線により生じる画素が被写体に対応しているか否かを示す情報である。以後、被写体に対応する画素又は光線を前景(図面ではFと表記する。)と、被写体に対応しない画素又は光線を背景(図面ではBと表記する。)と呼ぶ。
Further, the
例えば、局所領域を図2に示す円柱状とした場合の座標系としては図3に示す円筒座標系を使用することができる。図3の座標系においては、局所領域を水平に貫く光線を、Z軸からの角度θの値θ0と、原点を通り光線の方向に対して垂直なP軸上の位置p0で特定される座標(p0,θ0)に対応させて表している。この様な座標系を使用した場合、被写体表面のある一点から各角度で発出される各光線は、P−θ平面上では、その空間位置に応じた振幅及び位相の正弦波状に分布することになる。したがって、この局所領域のある水平面内の各光線の属性をP−θ平面で表すと、例えば、図4に示す様になる。なお、図4は一例であり、実際の形状は被写体の形状及び位置により決まるものである。 For example, the cylindrical coordinate system shown in FIG. 3 can be used as the coordinate system when the local region is the columnar shape shown in FIG. In the coordinate system of FIG. 3, a light beam penetrating the local region horizontally is specified by a value θ 0 of an angle θ from the Z axis and a position p 0 on the P axis that passes through the origin and is perpendicular to the direction of the light beam. Are expressed in correspondence with the coordinates (p 0 , θ 0 ). When such a coordinate system is used, each light ray emitted at a certain angle from a certain point on the surface of the subject is distributed in a sinusoidal shape with an amplitude and a phase corresponding to the spatial position on the P-θ plane. Become. Therefore, when the attribute of each light ray in the horizontal plane where the local region exists is represented by the P-θ plane, for example, as shown in FIG. FIG. 4 is an example, and the actual shape is determined by the shape and position of the subject.
前処理部2が生成する3次元物体モデル情報は正確ではなく誤差が含まれる。つまり、図4の背景と前景との境界線は正確なものではなく再決定する必要がある。このため、不定領域決定部3は、光線空間データの属性情報として、背景及び前景に加えて“不定”(図面ではUと表記する。)を追加し、各局所領域の光線空間において、属性を不定に変更する光線を決定する。図5は、不定領域決定部3のブロック図である。図5に示す様に、不定領域決定部3は、探索範囲設定部31と、ブロックマッチング部32と、決定部33とを備えている。
The three-dimensional object model information generated by the
以下、ある局所領域9の光線空間に対する不定領域の決定について説明する。まず、図6に示す様に、ある局所領域9に対し局所領域に向かう3つの視点を設定する。図6においては局所領域の境界面上に局所領域の中心を向く視点91、92及び93を設定している。視点91、92及び93から見た画像をそれぞれ画像61、62及び63とすると、各画像の画素値は、図7の光線空間の点線で示す位置の光線に対応する値となる。なお、図7は、光線区間をP−θ面に垂直な方向から見た図であり、符号61、62及び63で示す点線は、実際には、P−θ面に垂直な方向に高さを有する曲面である。また、図7は、P−θ面の総てではなく、一部のみを示すものであり、よって、画像61、62及び63もその一部のみを示すものである。なお、以後の説明においてP−θ面に垂直な方向を高さ方向と呼ぶものとする。
Hereinafter, the determination of the indefinite region for the light space of a certain local region 9 will be described. First, as shown in FIG. 6, three viewpoints toward a local area are set for a certain local area 9. In FIG. 6,
探索範囲設定部31は、画像61と画像62の間にある画像63から、前処理部2が求めた現時点における背景と前景の境界線上にある属性が前景の画素、つまり、物体表面の画素73を選択する。上述した様に、実空間のある一点から発出される光線は、光線空間において、その座標系により定まるある曲線又は直線上に分布することになる。図7の実線は画素73と同じ位置から発出される光線を結んだもの、つまり、前記分布の1つを示すものである。探索範囲設定部31は、画素73の3次元物体モデル情報と前記分布から、画像61と画像62内にある画素であって、画素73と同じ空間位置から発出された光線に対応する画素を求める。つまり、図7の例においては、実線と画像61及び画像62の交点である、画素81及び画素82を探索範囲設定部31は求めることになる。
The search
ただし、前処理部2が求めた3次元物体モデル情報が正確ではない場合、画素81及び画素82は、それぞれ、画素73に対応する画素、つまり同一位置から発出された光線による画素ではないことになる。よって、探索範囲設定部31は、図9において点線にて示す様に、画像61内に画素81を中心とした探索範囲を設け、同様に、画像62内に画素82を中心とした探索範囲を設ける。両画像の探索範囲の大きさは同一としても、例えば、視点93と視点91の距離と、視点93と視点92の距離に応じて変化させても良い。つまり、視点93との距離が大きくなる程、探索範囲を大きくする形態であっても良い。
However, when the three-dimensional object model information obtained by the
ブロックマッチング部32は、探索範囲設定部31が設定した探索範囲に対してブロックマッチングの手法を適用し、画像73に対応する画像61及び画像62内の画素を求める。具体的には、画像61の探索範囲内にあるブロックと、画像62の探索範囲内にあるブロックの対応する画素の画素値の差の絶対値の総和、或いは、差の2乗の総和を、ブロックの組合せそれぞれに対して求め、求めた総和の値が一番小さい組合せに含まれる2つのブロックの同じ所定位置にある画素、好ましくは中心画素を対応する画素とする。図8及び図9においては、画像61の画素71と、画像62の画素72が、画素73に対応する画素として求められている。
The
探索範囲設定部31及びブロックマッチング部32は、画像63内の画素73とは異なる高さや異なる位置にある物体表面の画素に対しても同じ処理を行い、それぞれ、画像61及び62内の対応する画素を求める。さらに、探索範囲設定部31及びブロックマッチング部32は、視点93の位置を、視点91と視点92の間で動かしながら、同じ処理を行い、画像63の物体表面の各画素に対応する、画像61及び62の画素を求める。
The search
決定部33は、視点93の物体表面の画素と、ブロックマッチング部32が求めた前記視点93の物体表面の画素に対応する視点91及び92の画素を、曲線又は直線で接続する。図8においては、画素71、73、72を曲線にて結んでいる。決定部73は、探索範囲設定部31及びブロックマッチング部32が視点93を移動させながら求めた各物体表面の画素に対応する視点91及び92の画素を、それぞれ、曲線又は直線で結ぶことで、図10に示す様に、ある領域内に広がった複数の曲線又は直線を求め、図11に示す様に、これら複数の曲線又は直線の最も外側の曲線又は直線により囲まれた領域を不定領域とする。なお、視点91及び92間に設定する視点93の位置の数や、高さ方向の処理密度は設計事項である。
The
上記処理は、図7及び8に示すP−θ面の画像61から画像62の区間のみの処理であるが、不定領域決定部3は、上記処理を光線空間全体に対して行う。つまり、図6における視点91と92の位置のみならず、局所領域9の境界面である円周上全体に視点を設定して上述した処理を順次行い、局所領域9の光線空間データの前景と背景の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を不定に変更する。図14は実際の処理結果を示す図である。なお、図14はある水平面に関するデータであり、白抜きの部分は不定領域を、不定領域の内側が前景を、不定領域の外側が背景を表している。
The above processing is processing only for the section from the
マッティング部4は、不定領域に対してマッティングを行って前景又は背景の判定を行う。図12は、マッティング部4のブロック図である。図12に示す様にマッティング部4は、マスク画像生成部41と判定部42とを備えている。マスク画像生成部42は、不定領域決定部3が出力する各局所領域に対する光線空間データの光線の属性情報からマスク画像を生成する。図15は、図14の光線空間データから得たマスク画像を示す図であり、図14と同じく白抜きの部分は不定領域を表しており、不定領域に囲まれた人の形状をした部分が前景でありそれ以外の部分が背景である。
The
図13は、判定部42による属性が不定である画素の前景又は背景の振り分けを説明する図である。図13において、符号90は、不定領域内の画素であり、点線は、画素90を中心とするあらかじめ定めた大きさの領域である。判定部42は、画素90を中心とする所定の大きさの領域に含まれる前景画素と背景画素それぞれの画素値の平均値u(F)及びu(B)と、分散ρ2(F)及びρ2(B)を求め、
ut=(u(F)+u(B))/2
σt 2=(σ2(F)+σ2(B))/4
を求める。続いて、画素90の位置を中心とし、平均値がv×ut、分散がσt 2である2次元ガウス分布を求め、この2次元ガウス分布に画素90の位置を代入した値を、画素90の位置におけるエネルギー値Eとする。なお、vは画素90の画素値である。
FIG. 13 is a diagram for explaining the foreground or background distribution of a pixel whose attribute is indefinite by the
u t = (u (F) + u (B)) / 2
σ t 2 = (σ 2 (F) + σ 2 (B)) / 4
Ask for. Subsequently, a two-dimensional Gaussian distribution having an average value of v × u t and a variance of σ t 2 around the position of the
判定部42は、上記エネルギー値Eに基づきダイナミックプログラミング法により境界線を決定する。具体的には、不定領域において選択する画素のエネルギー値Eと、その画素の位置で決まる値λ(d1−d2)2の和、つまり、
ΣE+λΣ(d1−d2)2 (1)
が最小となる様に選択を行い、選択した不定領域の画素を物体表面の点又は背景と前景の境界における背景側の点とする。なお、λは所定の係数であり、式(1)の第2項は不定領域の中心を境界線として選択され易くするためのものである。なお、λは0であっても良い。
The
ΣE + λΣ (d 1 -d 2 ) 2 (1)
Is selected, and the selected pixel in the indefinite region is set as a point on the object surface or a point on the background side at the boundary between the background and the foreground. Note that λ is a predetermined coefficient, and the second term of the equation (1) is for facilitating selection of the center of the indefinite region as a boundary line. Λ may be 0.
また、判定部42は、上述したダイナミックプログラミング法以外にも、例えば、“Bayes matting”、“Knockout”、“Poisson matting”といった、公知の種々のマッティング方法を利用することも可能である。なお、マッティング部4は、マスク画像に変換することなく、図14に示す光線空間データに対して上述した方法によりマッティングを行い、その後にマスク画像に変換することも可能である。具体的には、所定の高さ位置のP−θ面それぞれに対して上述した処理を行って境界を決定する。この場合には、処理したP−θ面の間の高さにおける境界は、処理したP−θ面の境界から決定し、その後、マスク画像に変換する。つまり、この場合、判定部42とマスク画像生成部41の順序は入れ替わることになる。
In addition to the dynamic programming method described above, the
さらに、本発明による3次元物体モデル情報の生成装置は、上記、マスク画像生成装置が出力するマスク画像に対して、例えば、視体積交差法を適用すれことにより3次元物体モデル情報を生成する。 Furthermore, the three-dimensional object model information generating apparatus according to the present invention generates the three-dimensional object model information by applying, for example, the visual volume intersection method to the mask image output from the mask image generating apparatus.
以上、本発明によるマスク画像生成装置は、まず、前処理部2において複数の画像から任意の方法にて3次元物体モデル情報を求める。しかしながら、この3次元物体モデル情報には誤差が含まれている可能性が高い。つまり、前処理部2が決定した前景と背景の境界は正確ではない。よって、不定領域決定部3は、前景と背景の境界の近傍領域に不定領域を設定する。本発明において、不定領域決定部3は、実空間の1点から発出される各光線の光線空間における分布とブロックマッチングによりこの不定領域を決定する。これによりマッティングを行う領域の絞込みを行い、マッティング処理負荷を抑える。マッティングは、光線空間データからマスク画像を生成した後にマスク画像に対して行っても、先に光線空間上で行い、その後にマスク画像を生成しても良い。
As described above, the mask image generation apparatus according to the present invention first obtains three-dimensional object model information from a plurality of images in the
マッティングには公知の種々の方法を使用できるが、不定領域の画素を中心とする所定範囲に含まれる前景と背景の画素値に基づき前記中心の画素のエネルギー値を定義してダイナミックプログラミング法を適用することで効率的に前景と背景の境界を判定することができる。 Various known methods can be used for matting, but the dynamic programming method is defined by defining the energy value of the center pixel based on the foreground and background pixel values included in a predetermined range centered on the pixel in the indefinite region. By applying this, the boundary between the foreground and the background can be determined efficiently.
なお、本発明によるマスク画像生成装置及び3次元物体モデル情報の生成装置は、コンピュータを上述した各機能ブロックとして機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。 The mask image generation apparatus and the three-dimensional object model information generation apparatus according to the present invention can be realized by a program that causes a computer to function as each of the functional blocks described above. These computer programs can be stored in a computer-readable storage medium or distributed via a network. Furthermore, the present invention can be realized by a combination of hardware and software.
1 保存部
2 前処理部
3 不定領域決定部
31 探索範囲設定部
32 ブロックマッチング部
33 決定部
4 マッティング部
41 マスク画像生成部
42 判定部
61、62、63 画像
71、72、73、81、82 画素
9 局所領域
91、92、93 視点
100 カメラ
DESCRIPTION OF
Claims (6)
前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を不定に更新する不定領域決定手段と、
マッティング手段と、
を備えており、
前記マッティング手段は、
光線空間の光線の属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、
生成したマスク画像の属性が不定である画素のマッティングを行う判定手段と、
を備えているマスク画像生成装置。 Based on a plurality of images, for a ray in the ray space, the pixel value of the pixel generated by the ray, attribute information indicating an attribute of whether the pixel is the foreground or the background, and the attribute of the pixel when the attribute is the foreground Preprocessing means for generating information indicating a position in real space;
An indeterminate area determining means for determining an indeterminate area including the boundary at the boundary between the foreground and the background ray, and determining the attribute information of the ray included in the determined indeterminate area indefinitely;
Matting means;
With
The matting means is
Mask image generating means for generating a plurality of mask images based on the attribute information of the light rays in the light space;
A determination unit that performs matting of a pixel whose attribute of the generated mask image is indefinite;
A mask image generating apparatus comprising:
前記光線空間の属性が前景と背景の光線の境界において、境界を含む不定領域を決定し、決定した不定領域に含まれる光線の属性情報を不定に更新する不定領域決定手段と、
マッティング手段と、
を備えており、
前記マッティング手段は、
光線空間の属性が不定である光線に対応する画素のマッティングを行う判定手段と、
光線空間の光線の前記マッティング後における属性情報に基づき複数のマスク画像を生成するマスク画像生成手段と、
を備えているマスク画像生成装置。 Based on a plurality of images, for a ray in the ray space, the pixel value of the pixel generated by the ray, attribute information indicating an attribute of whether the pixel is the foreground or the background, and the attribute of the pixel when the attribute is the foreground Preprocessing means for generating information indicating a position in real space;
An indeterminate area determining means for determining an indeterminate area including the boundary at the boundary between the foreground and the background ray, and determining the attribute information of the ray included in the determined indeterminate area indefinitely;
Matting means;
With
The matting means is
A determination unit that performs matting of pixels corresponding to a light beam having an indefinite ray space attribute;
A mask image generating means for generating a plurality of mask images based on the attribute information after the matting of the light rays in the light space;
A mask image generating apparatus comprising:
前景と背景の境界にある属性が前景の第3の光線を複数選択し、選択した第3の光線それぞれについて、第3の光線に対応する第3の画素の実空間の位置である第1の位置と、実空間の1点から発出される各光線の該光線空間における分布に基づき、所定の視点から見た画像内の画素であって第1の位置から発出される第1の光線に対応する第1の画素と、前記所定の視点とは異なる視点から見た画像内の画素であって第1の位置から発出される第2の光線に対応する第2の画素とを求める探索範囲設定手段と、
選択した第3の光線それぞれについて、第1の画素を中心とする所定範囲の領域と、第2の画素を中心とする所定範囲の領域内において、所定サイズの画素ブロックによるブロックマッチングを適用し、最も相関の高い組合せに含まれる2つの画素ブロックの所定位置の画素である第4の画素と第5の画素を求めるブロックマッチング手段と、
前記不定領域を決定する決定手段と、
を備えており、
前記決定手段は、選択した第3の光線それぞれについて、前記光線空間において、第3の光線と、第4の画素に対応する第4の光線及び第5の画素に対応する第5の光線を直線又は曲線で結ぶことにより得た光線空間内の複数の直線又は曲線で囲まれた領域を前記不定領域とする、
請求項1又は2に記載のマスク画像生成装置。 The undefined area determination means is
A plurality of third light rays having an attribute at the boundary between the foreground and the background are selected, and the first light ray is a position in the real space of the third pixel corresponding to the third light ray for each selected third light ray. Based on the position and the distribution of each ray emitted from one point in the real space in the ray space, corresponding to the first ray emitted from the first position, which is a pixel in the image viewed from a predetermined viewpoint Search range setting for obtaining a first pixel to be processed and a second pixel corresponding to a second light ray emitted from the first position in the image viewed from a viewpoint different from the predetermined viewpoint Means,
For each selected third ray, block matching with a pixel block of a predetermined size is applied within a predetermined range region centered on the first pixel and a predetermined range region centered on the second pixel, Block matching means for obtaining a fourth pixel and a fifth pixel which are pixels at predetermined positions of two pixel blocks included in the most highly correlated combination;
Determining means for determining the indefinite region;
With
The determining means, for each of the selected third light beams, linearly combines the third light beam, the fourth light beam corresponding to the fourth pixel, and the fifth light beam corresponding to the fifth pixel in the light beam space. Alternatively, the region surrounded by a plurality of straight lines or curves in the light space obtained by connecting with a curve is the indefinite region,
The mask image generating apparatus according to claim 1.
不定領域内の前景と背景の境界を、前記境界上の画素に対する第1の値の総和が最小となる様に求める、
請求項1から3のいずれか1項に記載のマスク画像生成装置。 The determination means includes a pixel value of a pixel whose attribute is indefinite, an average value and a variance of pixel values of a pixel whose attribute is a foreground included in a predetermined area centered on the pixel, and a pixel of a pixel whose attribute is a background Calculating a first value for the pixel based on an average value and a variance of the values;
Obtaining the boundary between the foreground and the background in the indefinite region so that the sum of the first values for the pixels on the boundary is minimized;
The mask image generation apparatus of any one of Claim 1 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009084871A JP2010237941A (en) | 2009-03-31 | 2009-03-31 | Mask image generation device, three-dimensional model information generation device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009084871A JP2010237941A (en) | 2009-03-31 | 2009-03-31 | Mask image generation device, three-dimensional model information generation device, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010237941A true JP2010237941A (en) | 2010-10-21 |
Family
ID=43092196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009084871A Pending JP2010237941A (en) | 2009-03-31 | 2009-03-31 | Mask image generation device, three-dimensional model information generation device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010237941A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101059480B1 (en) | 2011-06-08 | 2011-08-25 | (주)나인정보시스템 | Video index apparatus and method thereof |
KR101092472B1 (en) | 2011-09-09 | 2011-12-13 | (주)나인정보시스템 | Video indexing system using surveillance camera and the method thereof |
WO2014057988A1 (en) * | 2012-10-12 | 2014-04-17 | 独立行政法人情報通信研究機構 | Device, program, and method for reducing data size of multiple images containing similar information, and data structure expressing multiple images containing similar information |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0927969A (en) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | Method for generating intermediate image of plural images, parallax estimate method and device |
JPH1153546A (en) * | 1997-07-31 | 1999-02-26 | Nec Corp | Method and device for data processing and information storage medium |
JP2006053919A (en) * | 2004-08-06 | 2006-02-23 | Microsoft Corp | Image data separating system and method |
JP2008015756A (en) * | 2006-07-05 | 2008-01-24 | Kddi Corp | Method, device and program for generating free visual point image by local area division |
-
2009
- 2009-03-31 JP JP2009084871A patent/JP2010237941A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0927969A (en) * | 1995-05-08 | 1997-01-28 | Matsushita Electric Ind Co Ltd | Method for generating intermediate image of plural images, parallax estimate method and device |
JPH1153546A (en) * | 1997-07-31 | 1999-02-26 | Nec Corp | Method and device for data processing and information storage medium |
JP2006053919A (en) * | 2004-08-06 | 2006-02-23 | Microsoft Corp | Image data separating system and method |
JP2008015756A (en) * | 2006-07-05 | 2008-01-24 | Kddi Corp | Method, device and program for generating free visual point image by local area division |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101059480B1 (en) | 2011-06-08 | 2011-08-25 | (주)나인정보시스템 | Video index apparatus and method thereof |
KR101092472B1 (en) | 2011-09-09 | 2011-12-13 | (주)나인정보시스템 | Video indexing system using surveillance camera and the method thereof |
WO2014057988A1 (en) * | 2012-10-12 | 2014-04-17 | 独立行政法人情報通信研究機構 | Device, program, and method for reducing data size of multiple images containing similar information, and data structure expressing multiple images containing similar information |
CN104718755A (en) * | 2012-10-12 | 2015-06-17 | 国立研究开发法人情报通信研究机构 | Device, program, and method for reducing data size of multiple images containing similar information, and data structure expressing multiple images containing similar information |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8452081B2 (en) | Forming 3D models using multiple images | |
US8447099B2 (en) | Forming 3D models using two images | |
JP4195096B2 (en) | Equipment for 3D surface shape reconstruction | |
US20150134303A1 (en) | Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe | |
US11263356B2 (en) | Scalable and precise fitting of NURBS surfaces to large-size mesh representations | |
WO2012096747A1 (en) | Forming range maps using periodic illumination patterns | |
KR102152436B1 (en) | A skeleton processing system for dynamic 3D model based on 3D point cloud and the method thereof | |
JP6863596B6 (en) | Data processing device and data processing method | |
WO2020075252A1 (en) | Information processing device, program, and information processing method | |
CN113362457A (en) | Stereoscopic vision measurement method and system based on speckle structured light | |
JP2019091436A (en) | Classification of 2d image according to type of 3d arrangement | |
JP2010121945A (en) | Three-dimensional shape forming system | |
CN113160335A (en) | Model point cloud and three-dimensional surface reconstruction method based on binocular vision | |
CN115205463A (en) | New visual angle image generation method, device and equipment based on multi-spherical scene expression | |
JP2010237941A (en) | Mask image generation device, three-dimensional model information generation device, and program | |
Abzal et al. | Development of a novel simplification mask for multi-shot optical scanners | |
JP5248992B2 (en) | 3D object model information generation apparatus and program | |
EP3961556A1 (en) | Object recognition device and object recognition method | |
CN108256477B (en) | Method and device for detecting human face | |
CN114241052B (en) | Method and system for generating new view image of multi-object scene based on layout | |
Tran et al. | Accurate RGB-D camera based on structured light techniques | |
CN111292414B (en) | Method and device for generating three-dimensional image of object, storage medium and electronic equipment | |
Nanya et al. | Reconstruction of complete 3D models by voxel integration | |
Biswas et al. | Physically plausible 3D human-scene reconstruction from monocular RGB image using an adversarial learning approach | |
JP6641313B2 (en) | Region extraction device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100823 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120817 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |