JP2001175863A - Method and device for multi-viewpoint image interpolation - Google Patents
Method and device for multi-viewpoint image interpolationInfo
- Publication number
- JP2001175863A JP2001175863A JP36256399A JP36256399A JP2001175863A JP 2001175863 A JP2001175863 A JP 2001175863A JP 36256399 A JP36256399 A JP 36256399A JP 36256399 A JP36256399 A JP 36256399A JP 2001175863 A JP2001175863 A JP 2001175863A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- depth
- viewpoint
- weighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Generation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、視点の異なる複数
枚の画像から任意の視点での画像を内挿する多視点画像
内挿方法および装置に関する。The present invention relates to a multi-viewpoint image interpolation method and apparatus for interpolating an image at an arbitrary viewpoint from a plurality of images having different viewpoints.
【０００２】[0002]
【従来の技術】多視点画像における入力画像とは、任意
のｎ眼（ｎは自然数）のカメラから得られる画像であ
る。出力として任意の視点からの入力画像が必要な場合
に、できるだけｎを大きくする必要がある。ｎが大きく
なれば画像入力システムの構成が大規模化するので、任
意視点の画像を入力することは、現実的ではない。そこ
で、入力画像から任意の視点の画像を内挿することが必
要となる。2. Description of the Related Art An input image in a multi-viewpoint image is an image obtained from an arbitrary n-eye (n is a natural number) camera. When an input image from an arbitrary viewpoint is required as an output, it is necessary to increase n as much as possible. Since the configuration of the image input system increases as n increases, it is not realistic to input an image from an arbitrary viewpoint. Therefore, it is necessary to interpolate an image of an arbitrary viewpoint from the input image.
【０００３】視点位置の異なる複数台のカメラ（例え
ば、２台のカメラ）によって取得された画像から任意の
視点の画像を内挿する方法の一つとして、視差情報を用
いる方法がある。入力画像から視差を求めるためには、
画像を一定の大きさのブロックに分割し（例えば、１６
画素×１６ラインなど）、各ブロックについて相関を大
きくするような画像ブロックの相対位置を求めるブロッ
クマッチング法などを用いて、ブロック間の相対変移で
ある視差情報を利用することができる。One method of interpolating an image of an arbitrary viewpoint from images acquired by a plurality of cameras (for example, two cameras) having different viewpoint positions is a method using parallax information. To find parallax from the input image,
The image is divided into blocks of a certain size (for example, 16
Parallax information, which is a relative transition between blocks, can be used by using a block matching method or the like that obtains a relative position of an image block that increases the correlation for each block.
【０００４】しかし、画像を内挿するためにはブロック
マッチング法などで得られる視差情報のみでは、十分に
表現できない領域がある。例えば、被写体が重なり合う
などのために、ある方向のカメラから見えない隠れ（オ
クルージョン）領域では、ブロツクマッチング法におけ
る高い相関は得られなくなり、たとえ画像テクスチャの
相関が高いブロックであっても、構造を反映した正しい
視差情報が得られるとは限らない。[0004] However, in order to interpolate an image, there is an area that cannot be sufficiently expressed only by parallax information obtained by a block matching method or the like. For example, in a hidden (occlusion) region that cannot be seen from a camera in a certain direction due to, for example, overlapping of objects, a high correlation in the block matching method cannot be obtained. Correct reflected disparity information is not always obtained.
【０００５】また、すべてのカメラから見えている領域
で、各カメラの画像の間でブロックマッチング法などに
より相関が高いと判定された領域であっても、光の反射
やカメラの調整の違いなどにより、以下のような理由で
正しい視差情報が求められないことがある。これらの問
題は多視点画像の内挿のみならず、多視点画像を符号化
する場合にも問題となる。[0005] In addition, even in an area that can be seen from all the cameras and an area in which the correlation between the images of the cameras is determined to be high by the block matching method or the like, there are differences in light reflection and camera adjustment. Therefore, correct disparity information may not be obtained for the following reasons. These problems occur not only in interpolation of a multi-view image, but also in encoding a multi-view image.
【０００６】上記の問題を解決するために、視差情報が
得られない領域ではその領域の視差は周囲の視差と同じ
値をとるものと仮定し、周囲の視差値から線形内挿を行
うことで求める方法が多数提案されている。しかし、線
形内挿では、オブジェクト領域境界で急峻なエツジが得
られなかったり、線形内挿する領域と周辺領域とが滑ら
かにつながらないことがあり、正しい視差情報が求めら
れないことになる。森永ほか、「多眼視画像からの奥行
き情報の獲得と視点補間への応用」信学技法ＳＡＴ９４
−６３，ＣＳ９４−１３５（１９９４−１０）参照）。In order to solve the above problem, in a region where disparity information cannot be obtained, it is assumed that the disparity of the region takes the same value as the surrounding disparity, and linear interpolation is performed from the surrounding disparity values. Many methods have been proposed for this. However, in linear interpolation, a steep edge cannot be obtained at the boundary of an object region, or a region to be linearly interpolated and a peripheral region may not be smoothly connected, so that correct disparity information cannot be obtained. Morinaga et al., "Acquisition of depth information from multi-view images and application to viewpoint interpolation" IEICE Technical Report SAT94
-63, CS94-135 (1994-10)).
【０００７】また、多視点画像の視差ベクトルを部分的
に平滑化して周辺画像との滑らかさを保つために、被写
体であるオブジェクトの輪郭線付近などの小領域におい
て、視差ベクトルの作る平面に物理的にばねのエネルギ
ー関数の次元をもつ評価関数を定義し、オブジェクト領
域境界の輝度勾配の大きさで定義された重みづけによっ
て平滑化を行う方法（以下、第１の方法と言う）もあ
る。しかし、この方法では、平滑化領域がオブジェクト
領域境界周辺に限定されるので、平滑化された領域と周
辺領域とが滑らかにつながらないことがある。吾妻ほか
「ステレオ画像の中間視点画像生成のためのエッジ情報
を用いた視差推定」映像情報メディア学会誌 Vol.52 ，
No.3 , pp.３２２−３３０，１９９８参照）。Further, in order to partially smooth the disparity vector of the multi-viewpoint image and to maintain smoothness with the peripheral image, a small area such as the vicinity of the contour of the object which is the subject is physically located on a plane formed by the disparity vector. There is also a method (hereinafter referred to as a first method) in which an evaluation function having a dimension of a spring energy function is defined, and weighting is defined by the magnitude of the luminance gradient at the boundary of the object region. However, in this method, since the smoothed area is limited to the periphery of the object area boundary, the smoothed area and the peripheral area may not be smoothly connected. Agatsuma et al., "Parallax Estimation Using Edge Information for Generating Intermediate Viewpoint Images of Stereo Images", Journal of the Institute of Image Information and Television Engineers Vol.52,
No. 3, pp. 322-330, 1998).
【０００８】さらに、ブロックマッチング法などで、動
きベクトルを抽出することにより求められた視差情報に
誤りが含まれる場合、このときの視差と輝度からマクロ
ブロックごとの中心座標位置での被写体までの距離情報
（以下、奥行深度情報という）とマクロブロック全体の
奥行深度情報とのそれぞれの関係を表す指標を求めるこ
とでブロック形状や大きさを適応的に変えながら繰り返
し計算を行う方法（以下、第２の方法と言う）も提案さ
れている。この方法によれば、急峻なオブジェクト領域
境界を保ちながら、視差情報の誤りを平滑化することが
できるが、一方、オクルージョン領域と周辺領域との領
域境界では、視差が滑らかにつながらず視差値の孤立点
ができてしまうなどの問題が生じる（T. Kanade and M.
Okutomi, “A Stereo Matching Algorithm with an Ad
aptive Window ： Theory and Experiment”，IEEE Tra
ns. PAMI Vl. 16, No. 9, pp. ９２０−９３２，Sept.
１９９４参照）。Further, if the parallax information obtained by extracting a motion vector by a block matching method or the like contains an error, the distance from the parallax and luminance at this time to the object at the center coordinate position of each macroblock is determined. A method of performing an iterative calculation while adaptively changing the block shape and size by obtaining an index indicating the relationship between the information (hereinafter referred to as depth depth information) and the depth depth information of the entire macroblock (hereinafter, referred to as a second calculation). Method) is also proposed. According to this method, it is possible to smooth the error of the disparity information while maintaining the steep object region boundary. On the other hand, at the region boundary between the occlusion region and the peripheral region, the disparity is not smoothly connected and the disparity value is not increased. Problems such as the formation of isolated points occur (T. Kanade and M.
Okutomi, “A Stereo Matching Algorithm with an Ad
aptive Window: Theory and Experiment ”, IEEE Tra
ns. PAMI Vl. 16, No. 9, pp. 920-932, Sept.
1994).
【０００９】[0009]
【発明が解決しようとする課題】上述したように、視点
の異なる複数台のカメラによって取得された画像から任
意の視点での内挿画像を作成するために用いられる奥行
深度情報や視差情報の誤りや欠落した情報を平滑化した
り補間する方法は幾つか提案されている。これらのうち
の１つである線形内挿による方法では、周辺領域と平滑
化対象領域の視差の値が連続的に変化するという仮定に
基づいて局所的な処理を行なうため、視差や画像テクス
チャの変化が周辺領域と滑らかにつながらないことがあ
る。As described above, errors in depth depth information and disparity information used for creating an interpolated image at an arbitrary viewpoint from images acquired by a plurality of cameras having different viewpoints. Several methods have been proposed for smoothing or interpolating missing information. In the method based on linear interpolation, which is one of these methods, local processing is performed based on the assumption that the value of disparity between the peripheral region and the smoothing target region changes continuously. The change may not be smoothly connected to the surrounding area.
【００１０】また、上記第１の方法では、平滑化が行な
われる領域はブロックマッチング法によりマッチング誤
差の大きい領域に限られており、輪郭線強度にのみ依存
した重みを用いて平滑化を行っているため、平滑化され
た領域が周辺領域と滑らかにつながらなかったり、ブロ
ックマッチング法の信頼度の程度が平滑化に反映されな
いことがある。Further, in the first method, the area where the smoothing is performed is limited to the area where the matching error is large by the block matching method, and the smoothing is performed by using the weight depending only on the contour strength. Therefore, the smoothed area may not be smoothly connected to the surrounding area, or the degree of reliability of the block matching method may not be reflected in the smoothing.
【００１１】また、上記第２の方法では、画面全体に繰
り返し処理を行なうことにより、平滑化が行なわれる
が、ある方向から見えない隠れた領域、すなわちオクル
ージョン領域境界周辺ではブロックの適応的切替えを行
なうことが難しく、従って、近傍の適当な視差情報を求
めることができず、孤立点を生じることがある。Further, in the second method, smoothing is performed by repeatedly performing processing on the entire screen, but adaptive switching of blocks is performed in a hidden area which cannot be seen from a certain direction, that is, in the vicinity of an occlusion area boundary. This is difficult to perform, and therefore, it is impossible to obtain appropriate parallax information in the vicinity, and an isolated point may be generated.
【００１２】本発明の目的は、視点の異なる複数枚の画
像から任意の視点の内挿画像を作成する際、使用する奥
行深度情報の精度を高めることによって、得られた内挿
画像に画質劣化の生じない多視点画像内挿方法および装
置を提供するにある。An object of the present invention is to improve the accuracy of depth depth information used when creating an interpolated image of an arbitrary viewpoint from a plurality of images having different viewpoints, so that the obtained interpolated image has image quality degradation. It is an object of the present invention to provide a multi-viewpoint image interpolation method and apparatus which does not cause the problem.
【００１３】[0013]
【課題を解決するための手段】上記目的を達成するため
に、本発明多視点画像内挿方法は、入力画像の画像テク
スチャとともに、奥行深度情報や視差情報などから任意
の視点での画像を内挿する際に、奥行深度情報から得ら
れる曲面に定義された重みづけ関数を最小化する平滑方
法に、奥行深度情報の値の確からしさを示す指標を用い
て奥行深度情報の値の平滑化の程度に重みづけを行う方
法を組み合わせて、奥行深度情報の精度を高めることに
より、指定された視点での内挿画像の画質を向上させる
ことを可能にする。In order to achieve the above object, a multi-viewpoint image interpolation method according to the present invention includes a method for interpolating an image at an arbitrary viewpoint from depth depth information, disparity information, etc. together with the image texture of an input image. When inserting, in the smoothing method that minimizes the weighting function defined on the surface obtained from the depth depth information, the smoothing of the value of the depth depth information using the index indicating the certainty of the value of the depth depth information By improving the accuracy of the depth depth information by combining the methods of weighting the degrees, it is possible to improve the image quality of the interpolated image at the designated viewpoint.
【００１４】すなわち、本発明多視点画像内挿方法は、
視点の異なる複数枚の画像から任意の視点での画像を内
挿する多視点画像内挿方法であって、奥行深度情報から
得られる曲面に定義された重みづけ関数を最小化するよ
うな重みづけで奥行深度情報を平滑化するとともに、前
記奥行深度情報の値の確からしさを示す指標を用いてそ
の平滑化に際しての前記重みづけに必要な重みづけ情報
を得ることによって精度の高い奥行深度情報を得て、該
得られた精度の高い奥行深度情報を用い、視点の異なる
複数枚の画像から任意の視点での画像を内挿するように
したことを特徴とするものである。That is, the multi-viewpoint image interpolation method of the present invention
A multi-view image interpolation method for interpolating an image at an arbitrary viewpoint from a plurality of images having different viewpoints, wherein the weighting is such that a weighting function defined on a curved surface obtained from depth depth information is minimized. Along with smoothing the depth depth information, the depth depth information with high accuracy by obtaining the weighting information necessary for the weighting at the time of the smoothing using an index indicating the likelihood of the value of the depth depth information Then, an image at an arbitrary viewpoint is interpolated from a plurality of images having different viewpoints by using the obtained highly accurate depth depth information.
【００１５】また、本発明多視点画像内挿方法は、前記
奥行深度情報に代えて視差情報を用いるようにしたこと
を特徴とするものである。Further, the multi-viewpoint image interpolation method according to the present invention is characterized in that parallax information is used in place of the depth information.
【００１６】また、本発明多視点画像内挿方法は、画像
のテクスチャをマッピングすることで前記内挿を行うこ
とを特徴とするものである。Further, the multi-viewpoint image interpolation method of the present invention is characterized in that the interpolation is performed by mapping a texture of an image.
【００１７】また、本発明多視点画像内挿方法は、前記
重みづけとして画像のマッチング度を利用したものであ
ることを特徴とするものである。Further, the multi-viewpoint image interpolation method of the present invention is characterized in that the degree of image matching is used as the weight.
【００１８】また、本発明多視点画像内挿方法は、前記
画像のマッチング度として画像の相互相関関数、画像の
差分絶対値和、画像の二乗誤差および画像のマクロブロ
ック内輝度勾配のいずれか１つを用いるようにしたもの
であることを特徴とするものである。Further, the multi-viewpoint image interpolation method according to the present invention is characterized in that, as the degree of matching of the image, one of an image cross-correlation function, an image sum of absolute differences, a square error of the image, and a luminance gradient in a macroblock of the image is used. It is characterized in that one is used.
【００１９】また、本発明多視点画像内挿方法は、前記
重みづけとして画像のテクスチャの類似度を利用したも
のであることを特徴とするものである。Further, the multi-viewpoint image interpolation method of the present invention is characterized in that similarity of image texture is used as the weighting.
【００２０】また、本発明多視点画像内挿方法は、前記
画像のテクスチャの類似度として画像の一様性、画像の
相関、画像のエントロピー、画像のエッジ強化および画
像のエッジの有無のいずれか１つを用いるようにしたも
のであることを特徴とするものである。The multi-viewpoint image interpolation method according to the present invention may further include any one of image similarity, image correlation, image entropy, image edge enhancement, and presence or absence of image edge as the similarity of the image texture. It is characterized in that one is used.
【００２１】また、本発明多視点画像内挿装置は、視点
の異なる複数枚の画像から任意の視点での画像を内挿す
る多視点画像内挿装置であって、前記複数枚の画像情報
から距離情報を検出する距離情報検出手段、該検出手段
により検出した距離情報を、距離情報から得られる曲面
に定義された重みづけ関数を最小化するような重みづけ
で平滑化を行う平滑化手段、前記距離情報検出手段によ
り検出した前記距離情報の値の確からしさを示す指標を
用いて前記平滑化手段での重みづけを行うために必要な
重みづけ情報を検出する重みづけ情報検出手段、および
前記複数枚の画像情報と前記平滑化手段からの平滑化さ
れた距離情報とに基づいて、入力視点画像の再生を経
て、これをもとに任意視点での画像を内挿する画像再生
・内挿手段を具えて構成したことを特徴とするものであ
る。The present invention also provides a multi-viewpoint image interpolating apparatus for interpolating an image at an arbitrary viewpoint from a plurality of images having different viewpoints. Distance information detecting means for detecting distance information, distance information detected by the detecting means, smoothing means for smoothing with a weight such as to minimize a weighting function defined on a curved surface obtained from the distance information, Weighting information detecting means for detecting weighting information necessary for performing weighting in the smoothing means using an index indicating the likelihood of the value of the distance information detected by the distance information detecting means, and Based on a plurality of pieces of image information and the smoothed distance information from the smoothing unit, after reproducing an input viewpoint image, image reproduction / interpolation for interpolating an image at an arbitrary viewpoint based on the input viewpoint image. With means It is characterized in that the form.
【００２２】[0022]
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。まず、
本発明方法について説明する。本発明多視点画像内挿方
法は、上述したように、奥行深度情報（これは、本発明
の一実施形態においては視差情報であってもよい）から
得られる曲面に定義された奥行深度情報を平滑化すると
ともに、その平滑化に際して奥行深度情報の値の確から
しさを示す指標を用いて奥行深度情報の値の平滑化の程
度に重みづけを行うことによって精度の高い奥行深度情
報を得て、この奥行深度情報を用いることでより画質劣
化の生じない内挿画像が得られるようにしたものであ
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail below based on embodiments of the present invention with reference to the accompanying drawings. First,
The method of the present invention will be described. As described above, the multi-viewpoint image interpolation method of the present invention uses the depth depth information defined on the curved surface obtained from the depth depth information (which may be parallax information in one embodiment of the present invention). Along with smoothing, obtaining a highly accurate depth depth information by weighting the degree of smoothing of the value of the depth depth information using an index indicating the likelihood of the value of the depth depth information at the time of the smoothing, By using this depth depth information, it is possible to obtain an interpolated image in which the image quality does not deteriorate.
【００２３】以下では、説明の都合上、最初に、奥行深
度情報の値の平滑化の程度に重みづけを行うことを、次
に、奥行深度情報から得られる曲面に定義された重みづ
け関数の最小化について説明する。視差ベクトルを検出
するためによく使われるブロックマッチング法では、原
画像と視差情報とから推定される画像との差分であるブ
ロックマッチング誤差を求め、誤差を最小化するベクト
ルを視差情報としている。ブロックマッチング誤差が大
きければ視差情報が正しく求められなかったと考えられ
るので、ブロックマッチング誤差の大きさは平滑化の重
みづけ係数を決定する一つの指標となる。In the following, for the sake of explanation, first, weighting is applied to the degree of smoothing of the value of the depth depth information, and then, the weighting function defined for the surface obtained from the depth depth information is weighted. The minimization will be described. In a block matching method often used to detect a disparity vector, a block matching error that is a difference between an original image and an image estimated from disparity information is obtained, and a vector that minimizes the error is used as disparity information. If the block matching error is large, it is considered that the disparity information has not been correctly obtained, so the magnitude of the block matching error is one index for determining the weighting coefficient for smoothing.
【００２４】従来のブロックマッチング法を用いて視差
情報を求める場合には、各ブロックについて差分絶対値
和が最も小さいベクトルとして求められる。しかし、差
分が小さい視差ベクトルが構造を反映した正しい視差情
報とは限らない。差分が大きければ領域の相関が低く、
求められた奥行深度情報や視差情報の値が誤っている可
能性がある。差分の大きさはブロックマッチング法で求
められた領域の相関の高さに関係しており、求められた
奥行深度情報や視差情報の値の確からしさの指標の１つ
として用いられる。差分絶対値和のように、ブロックマ
ッチング法などにより求めた視差情報の相関の高さを示
す指標には以下のような値がある。 ・差分絶対値和（差分絶対値和が大きければベクトルの
確からしさは低い） ・相互相関関数（相互相関が低ければベクトルの確から
しさは低い） ・二乗誤差（二乗誤差が大きければベクトルの確からし
さは低い） ・マクロブロック内輝度勾配（輝度勾配が小さければベ
クトルの確からしさは低い）When parallax information is obtained by using the conventional block matching method, a vector having the smallest sum of absolute differences for each block is obtained. However, a disparity vector with a small difference is not always correct disparity information reflecting a structure. If the difference is large, the correlation of the area is low,
There is a possibility that the values of the obtained depth depth information and parallax information are incorrect. The magnitude of the difference is related to the height of the correlation of the area obtained by the block matching method, and is used as one of the indices of certainty of the values of the obtained depth depth information and parallax information. Like the sum of absolute differences, an index indicating the degree of correlation of the disparity information obtained by the block matching method or the like has the following values. -Sum of absolute differences (the probability of the vector is low if the sum of absolute differences is large)-Cross-correlation function (the probability of the vector is low if the cross-correlation is low)-Square error (the probability of the vector if the square error is large)・ Luminance gradient within the macroblock (the lower the gradient, the lower the likelihood of the vector)
【００２５】さらに画像のテクスチャのある領域では正
しい視差情報が求められるので、テクスチャやエッジ位
置が分かれば、奥行深度情報や視差情報の値の確からし
さの一つの指標となり、テクスチャに即した平滑化がで
きる。平滑化の重みづけの指標となる画像のテクスチャ
に関する値の例では、以下の値が挙げられる。 ・対象ブロック内のテクスチャ（線、線分、角）の有無
（テクスチャがなければ確からしさは低い） ・エッジの強度（エッジが弱ければ確からしさは低い）Further, since correct parallax information is obtained in an area of the image having texture, if the texture and edge position are known, it becomes one index of certainty of the values of the depth depth information and the parallax information, and smoothing in accordance with the texture is performed. Can be. Examples of values relating to the texture of the image serving as an index of the weight for smoothing include the following values. -Presence or absence of texture (lines, line segments, corners) in the target block (low probability without texture)-Edge strength (low probability if edge is weak)
【００２６】平滑化の重みづけの指標となる画像のテク
スチャに関する値の例では、ほかにもテクスチャ解析に
用いられる濃度同時生起行列を利用した以下の値が挙げ
られる。 ・コントラスト（コントラストが低ければ確からしさは
低い） ・一様性（一様性が高ければ、確からしさは低い） ・相関（相関が低ければ、確からしさは低い） ・エントロピー（エントロピーが低ければ確からしさは
低い）Examples of values relating to the texture of an image, which are used as indices for weighting the smoothing, include the following values using a density co-occurrence matrix used for texture analysis. • Contrast (lower contrast is less probable) • Uniformity (higher uniformity is less probable) • Correlation (lower correlation is less probable) • Entropy (lower entropy is more certain) Lowness)
【００２７】以下に、奥行深度情報から得られる曲面に
定義された重みづけ関数の最小化について説明する。奥
行深度情報や視差情報から得られる曲面がｆ（ｕ，ｖ）
で定義されている場合の評価関数の一例を、（１）式に
より表すことができる。Hereinafter, the minimization of the weighting function defined on the curved surface obtained from the depth depth information will be described. The surface obtained from the depth depth information and the parallax information is f (u, v)
An example of the evaluation function in the case where is defined by Equation (1) can be expressed by Expression (1).
【数１】 (Equation 1)
【００２８】上記（１），（２）および（３）式におい
て、Ｃ1 の項は平滑化の項である。デプスマップの凹凸
が少ないほどＣ1 の値は小さくなる。Ｃ2 の項は内部エ
ネルギーの項である。変形する前後のデプスマップの形
状が近いほどＣ2 は小さくなる。λはＣ1 の項とＣ2 の
項との比を決める重みづけ係数である。評価関数Ｅ
（ｕ，ｖ）を最小化するにあたり、λが大きければ変形
を抑制する内部エネルギーの項Ｃ2 が支配的となり、定
数λが小さければ変形を促進する平滑化の項Ｃ1 が支配
的となる。In the above equations (1), (2) and (3), the term C 1 is a term for smoothing. The smaller the unevenness of the depth map value of C 1 is reduced. The term C 2 is an internal energy term. As C 2 is near the shape of the front and rear of the depth map which is deformed decreases. It is λ is a weighting factor which determines the ratio between the section and the C 2 term C 1. Evaluation function E
In minimizing (u, v), if λ is large, the internal energy term C 2 that suppresses deformation becomes dominant, and if the constant λ is small, the smoothing term C 1 that promotes deformation becomes dominant. .
【００２９】（１）式で表される評価関数Ｅ（ｕ，ｖ）
を最小化する奥行深度情報や視差情報の曲面ｆ（ｕ，
ｖ）が求めるデプスマップとなる。求められたデプスマ
ップでは、ベクトル探索で誤って求められたデプス値は
平滑化され、オクルージョン領域ではデプス値が内挿さ
れる。上記のλについて、（４）式により表すことがで
きる。 λ（ｕ，ｖ）＝λ′α（ｕ，ｖ）... （４） ここに、 λ′：定数 α（ｕ，ｖ）：ピクセルごとに定義されたデプス値の確
からしさThe evaluation function E (u, v) represented by the equation (1)
Surface f (u, u) of the depth depth information and the parallax information that minimizes
v) becomes the depth map to be obtained. In the obtained depth map, the depth value erroneously obtained in the vector search is smoothed, and in the occlusion region, the depth value is interpolated. The above λ can be expressed by the equation (4). λ (u, v) = λ′α (u, v) ... (4) where λ ′: constant α (u, v): certainty of the depth value defined for each pixel
【００３０】（１）式で表される評価関数Ｅ（ｕ，ｖ）
を最小化するような奥行深度情報もしくは視差情報を求
めるためには、評価関数において平滑化領域をピクセル
ごとなどの離散点の集合で表現し、各点の奥行深度情報
もしくは視差情報を変数とした評価関数の偏微分値を０
とおく。The evaluation function E (u, v) represented by the equation (1)
In order to obtain depth depth information or disparity information that minimizes, the smoothing region is represented by a set of discrete points such as pixels in the evaluation function, and the depth depth information or disparity information of each point is used as a variable Set the partial differential value of the evaluation function to 0
far.
【数２】 (Equation 2)
【００３１】（５）式よりｍ×ｎ元連立１次方程式が求
められる。この方程式を例えば Gauss-Seidel 法または
加速緩和法（ＳＯＲ：successive over-relaxation）な
どを用いて、各ｕi ｖj について解けば、求める奥行深
度情報もしくは視差情報を求めることができる。From the equation (5), an m × n-element simultaneous linear equation is obtained. The equation for example Gauss-Seidel method or acceleration Relaxation (SOR: successive over-relaxation) by using a, solving for each u i v j, it is possible to obtain the depth depth information or parallax information obtaining.
【００３２】ここで、従来の平滑化と本発明で使用する
平滑化による効果を比較すると以下のようになる。上述
した第１の方法（従来技術の項に記載）では平滑化領域
がオブジェクト領域境界周辺に限定されるため、平滑化
領域と周辺領域とが滑らかにつながらないことがある
が、本発明で使用する方法では平滑化領域をオブジェク
ト領域境界周辺に限定しないため、一様な平滑化を実現
することができる。Here, the effects of the conventional smoothing and the smoothing used in the present invention are compared as follows. In the above-described first method (described in the section of the prior art), the smoothed region is limited to the periphery of the object region boundary, so that the smoothed region and the peripheral region may not be smoothly connected. Since the method does not limit the smoothed area to the periphery of the object area boundary, uniform smoothing can be realized.
【００３３】また、上述した第２の方法（従来技術の項
に記載）では領域境界と周辺領域では視差が滑らかにつ
ながらず視差の孤立点を生じることがあるが、本発明で
使用する方法では、領域境界と周辺領域を含めて不連続
点はエッジ強度からエッジを検出し、不連続性は保ちつ
つ、孤立点を生じない平滑化を行うことができる。従っ
て、本発明で使用する平滑化を行うことによって、より
高精度な奥行深度情報や視差情報を得ることができ、そ
の結果任意の視点で得られた内挿画像の画質が一段と向
上する。In the above-mentioned second method (described in the section of the prior art), the parallax is not smoothly connected between the region boundary and the peripheral region, and an isolated point of the parallax may be generated. The edge of the discontinuous point including the region boundary and the peripheral region can be detected from the edge strength, and smoothing can be performed while maintaining the discontinuity and without generating an isolated point. Therefore, by performing the smoothing used in the present invention, more accurate depth depth information and parallax information can be obtained, and as a result, the image quality of an interpolated image obtained from an arbitrary viewpoint is further improved.
【００３４】以下では、上述した本発明多視点画像内挿
方法を実施するための本発明多視点画像内挿装置につ
き、図面を参照して説明する。図１は、本発明多視点画
像内挿装置の一実施形態をブロック図にて示している。
本実施形態においては、４つの入力画像信号から被写体
までの距離情報（奥行深度情報）を得て、その距離情報
を平滑化するに際して、本発明によりその平滑化の程度
に重みづけを行うようにしている。Hereinafter, a multi-view image interpolation apparatus of the present invention for implementing the above-described multi-view image interpolation method of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of the multi-viewpoint image interpolation device of the present invention.
In the present embodiment, when obtaining distance information (depth depth information) to a subject from four input image signals and smoothing the distance information, the present invention weights the degree of smoothing. ing.
【００３５】図１において、１は入力画像信号から距離
情報を検出する距離情報検出部、２は距離情報検出部１
で得られた距離情報の平滑化を行う平滑化部、３は重み
づけ情報を検出してこれを平滑化部２に供給する重みづ
け情報を検出する重みづけ情報検出部、４は平滑化され
てより精度の高い距離情報と入力画像信号とから任意の
視点での内挿画像信号を生成する画像再生・内挿部であ
る。上記において、まず、距離情報検出部１では、入力
された多視点（本例では、４視点）入力画像の相関から
距離情報を検出している。In FIG. 1, reference numeral 1 denotes a distance information detecting unit for detecting distance information from an input image signal;
The smoothing unit 3 for smoothing the distance information obtained in step 3 detects the weighting information and supplies the same to the smoothing unit 2. The weighting information detecting unit 4 detects the weighting information. An image reproduction / interpolation unit that generates an interpolated image signal at an arbitrary viewpoint from distance information and an input image signal with higher accuracy. In the above description, first, the distance information detecting unit 1 detects distance information from the correlation of the input image of the input multi-viewpoint (four viewpoints in this example).
【００３６】図２は、距離情報検出部１の一構成例を示
し、図中、視差情報検出回路５では多視点入力画像から
２枚の画像を選び出し、その選択した画像を、例えば、
１６画素×１６ラインなどのブロックに分割してからブ
ロックマッチング法などにより視差ベクトルを検出する
ことで視差情報が求まる。また、奥行深度情報算出回路
６では、入力画像視点の位置情報と視差情報検出回路５
から得られた視差情報を用いて奥行深度情報を求め、こ
の求めた奥行深度情報を距離情報として出力することが
できる。また、複数の入力画像の組み合わせからそれぞ
れ奥行深度情報が求められる場合には、奥行深度情報を
統合してもよい。上記のようにして求められた視差情報
および距離情報（奥行深度情報）は、それぞれ図１に示
す重みづけ情報検出部３および平滑化部２に供給され
る。FIG. 2 shows an example of the configuration of the distance information detecting section 1. In the figure, the parallax information detecting circuit 5 selects two images from a multi-viewpoint input image, and converts the selected images into, for example,
Parallax information is obtained by dividing into blocks of 16 pixels × 16 lines or the like and then detecting a parallax vector by a block matching method or the like. In the depth depth information calculation circuit 6, the position information of the viewpoint of the input image and the disparity information detection circuit 5
, Depth information can be obtained using the disparity information obtained from, and the obtained depth information can be output as distance information. Further, when depth depth information is obtained from a combination of a plurality of input images, the depth depth information may be integrated. The parallax information and distance information (depth depth information) obtained as described above are supplied to the weighting information detection unit 3 and the smoothing unit 2 shown in FIG.
【００３７】図３は、重みづけ情報検出部３の一構成例
を示し、図中、テクスチャ種類判別回路７、エッジ強度
測定回路８およびコントラスト、一様性、相関、エント
ロピー測定回路９は、いずれも平滑化部２（図１参照）
で距離情報を平滑化する際に平滑化の程度に重みづけを
するにあたって、その重みづけの指標（距離情報の値の
確からしさを示す指標）となる値を測定する回路であ
る。なお、図示の場合は、指標となる値を測定する回路
７，８，９は１組しかないが、さらに、精度のよい平滑
化された距離情報を得るために、それぞれ異なる入力画
像が供給されて指標となる値を測定する回路７，８，９
を複数組設け、組毎に得られた測定値を統合して出力す
るようにしてもよい。FIG. 3 shows an example of the configuration of the weighting information detecting section 3. In the drawing, the texture type discriminating circuit 7, the edge strength measuring circuit 8, and the contrast, uniformity, correlation, and entropy measuring circuits 9 are all included. Also the smoothing unit 2 (see FIG. 1)
When weighting the degree of smoothing when the distance information is smoothed in step (a), this circuit measures a value serving as an index of the weight (an index indicating the likelihood of the value of the distance information). In the case shown in the figure, there is only one set of circuits 7, 8, and 9 for measuring the index value. However, different input images are supplied in order to obtain more accurate and smoothed distance information. Circuits 7, 8, 9 for measuring the values that serve as indices
May be provided, and the measured values obtained for each set may be integrated and output.
【００３８】図３において、図３中の重みづけの指標と
なる値を測定する回路７，８，９のいずれかの出力、お
よび図１に示す距離情報検出部を構成する図２中の視差
情報検出回路５からの視差情報（ブロックマッチング法
により視差情報を検出する場合には、ブロックマッチン
グ誤差）を重みづけ情報算出回路１０に供給して、例え
ば、次の（７）式により重みづけ情報としての重みづけ
係数を算出する。以下においては、エッジ強度などの重
みづけの指標となるピクセル位置の関数をｇ（ｕi ，ｖ
j ）、求められた重みづけ係数をａ（ｕi ，ｖj ）で表
示する。In FIG. 3, any one of the outputs of the circuits 7, 8, and 9 for measuring a value serving as an index of weighting in FIG. 3 and the parallax in FIG. 2 constituting the distance information detecting unit shown in FIG. The disparity information from the information detection circuit 5 (in the case of detecting the disparity information by the block matching method, a block matching error) is supplied to the weighting information calculation circuit 10, and the weighting information is calculated by the following equation (7), for example. Is calculated. In the following, a function of a pixel position serving as a weighting index such as an edge strength is represented by g (u i , v
j ), and the obtained weighting coefficients are indicated by a (u i , v j ).
【数３】 なお、（７）式は、重みづけの指標となる値の一例とし
てエッジ強度測定回路８によって測定されたエッジ強度
を使用する場合をとりあげたが、これ以外にテクスチャ
種類判別回路７やコントラスト、一様性、相関、エント
ロピー測定回路９によって測定された指標となる値を用
いても同様に重みづけ係数を算出することができる。な
お、ラプラシアンフィルタ等を用いて算出されたエッジ
強度は負の値もとりうる。(Equation 3) Equation (7) uses the case where the edge strength measured by the edge strength measuring circuit 8 is used as an example of a value as an index of the weighting. The weighting coefficient can be similarly calculated by using the index value measured by the appearance, correlation, and entropy measurement circuit 9. The edge strength calculated using a Laplacian filter or the like can take a negative value.
【００３９】これに対して、（１）式で示される評価関
数Ｅ（ｕ，ｖ）より解が安定に求められるような重みづ
け係数λ（ｕi ，ｖj ）の範囲は限られており、エッジ
強度（重みづけの指標となるピクセル位置の関数）ｇ
（ｕi ，ｖj ）から重みづけ係数λ（ｕi ，ｖj ）＝ａ
（ｕi ，ｖj ）ヘマッピングしなくてはならない。
（７）式を用いて重みづけ係数を算出する場合には、エ
ッジ強度の値ｇ（ｕi ，ｖj）から適当なａ（ｕi ，ｖj
）へ線形マッピングを行っている。従って、（７）式
によれば、エッジ強度の値ｇ（ｕi ，ｖj ）から重みづ
け係数λ（ｕi ，ｖj）が算出される。この算出された
重みづけ係数は平滑化部２（図１参照）に供給される。
ここで、平滑化部２は、奥行深度情報や視差情報を表す
曲面に評価関数を定義し、弛緩法などを用いて（１）式
で示される評価関数Ｅ（ｕi ，ｖj ）を最小化するよう
に動作する。On the other hand, the range of the weighting coefficient λ (u i , v j ) for which a solution can be stably obtained from the evaluation function E (u, v) expressed by the equation (1) is limited. , Edge strength (a function of pixel position serving as an index of weighting) g
From (u i , v j ), weighting coefficient λ (u i , v j ) = a
(U i , v j ).
When calculating the weighting coefficients using equation (7), the value g (u i, v j) of the edge strength from an appropriate a (u i, v j
) To perform linear mapping. Therefore, according to the equation (7), the weighting coefficient λ (u i , v j ) is calculated from the edge strength value g (u i , v j ). The calculated weighting coefficient is supplied to the smoothing unit 2 (see FIG. 1).
Here, the smoothing unit 2 defines an evaluation function on the curved surface representing the depth depth information and the disparity information, and minimizes the evaluation function E (u i , v j ) represented by Expression (1) using a relaxation method or the like. Behave as if
【００４０】図４は、画像再生・内挿部４（図１参照）
の一構成例を示し、図中、入力視点画像再生回路１１に
は、入力画像信号と平滑化部２（図１参照）で平滑化さ
れた距離情報が供給され、同回路から各入力画像の視点
における再生画像（入力視点画像）が出力される。次段
の内挿画像作成回路１２では、入力視点画像再生回路１
１で再生された入力画像の一つである再生画像Ａを参照
画像として、再生画像Ｂを作成するための視差情報を線
形内挿することにより、再生画像Ａに基づく任意視点で
の内挿画像が得られる。同様に、再生画像Ｂを参照画像
として任意視点での内挿画像が得られる。このようにし
て再生画像ＡおよびＢに基づく任意視点での内挿画像が
求められる。これら任意視点での内挿画像を画像合成回
路１３に供給して輝度平均値をとるなどして合成するこ
とにより、任意視点での内挿画像を得ることができる。FIG. 4 shows an image reproducing / interpolating unit 4 (see FIG. 1).
In the figure, an input viewpoint image reproducing circuit 11 is supplied with an input image signal and distance information smoothed by a smoothing unit 2 (see FIG. 1). A reproduced image (input viewpoint image) at the viewpoint is output. In the next-stage interpolated image creating circuit 12, the input viewpoint image reproducing circuit 1
An interpolated image at an arbitrary viewpoint based on the reproduced image A is obtained by linearly interpolating disparity information for generating the reproduced image B using the reproduced image A, which is one of the input images reproduced in step 1, as a reference image. Is obtained. Similarly, an interpolated image at an arbitrary viewpoint can be obtained using the reproduced image B as a reference image. Thus, an interpolated image at an arbitrary viewpoint based on the reproduced images A and B is obtained. By supplying the interpolated images at these arbitrary viewpoints to the image synthesizing circuit 13 and taking an average value of the luminance and synthesizing them, an interpolated image at an arbitrary viewpoint can be obtained.
【００４１】[0041]
【発明の効果】本発明によれば、視点の異なる複数枚の
画像から任意の視点での画像を内挿するに際して、画素
ごとに求められたブロックマッチング誤差や入力画像情
報などで平滑化の重みづけされた評価関数を最小化して
奥行深度情報や視差情報の平滑化を行ない、その際、評
価関数を最小化するように奥行深度情報や視差情報を平
滑化することによって、従来法ではベクトル探索誤りや
オクルージョンにより正しく求められない領域でも、周
囲の奥行深度情報や視差情報との連続性を保ち、ブロッ
クマッチング誤差や入力画像情報をパラメータとした評
価関数を最小にするような奥行深度情報や視差情報が求
められる。このように、平滑化することで奥行深度情報
や視差情報の誤りが軽減され、欠落した奥行深度情報や
視差情報が補間されることによって、多視点画像内挿装
置から出力される内挿画像の画質が向上する。According to the present invention, when an image at an arbitrary viewpoint is interpolated from a plurality of images having different viewpoints, the weight of smoothing is calculated based on a block matching error or input image information obtained for each pixel. The conventional method performs vector search by minimizing the assigned evaluation function and smoothing depth depth information and disparity information, and then smoothing depth depth information and disparity information so as to minimize the evaluation function. Depth depth information and disparity that maintain continuity with surrounding depth depth information and disparity information even in areas that cannot be obtained correctly due to errors and occlusion, and minimize the evaluation function using block matching errors and input image information as parameters. Information is required. In this way, by performing smoothing, errors in depth depth information and disparity information are reduced, and by interpolating missing depth depth information and disparity information, the interpolation image output from the multi-viewpoint image interpolation device is interpolated. Image quality is improved.
【図１】 本発明多視点画像内挿装置の一実施形態をブ
ロック図にて示している。FIG. 1 is a block diagram showing an embodiment of a multi-viewpoint image interpolation apparatus according to the present invention.
【図２】 図１中の距離情報検出部の一構成例を示して
いる。FIG. 2 shows a configuration example of a distance information detection unit in FIG.
【図３】 図１中の重みづけ情報検出部の一構成例を示
している。FIG. 3 shows a configuration example of a weighting information detection unit in FIG.
【図４】 図１中の画像再生・内挿部の一構成例を示し
ている。FIG. 4 shows a configuration example of an image reproducing / interpolating unit in FIG.
１ 距離情報検出部 ２ 平滑部 ３ 重みづけ情報検出部 ４ 画像再生・内挿部 ５ 視差情報検出回路 ６ 奥行深度情報算出回路 ７ テクスチャ種類判別回路 ８ エッジ強度測定回路 ９ コトンラスト、一様性、相関、エントロピー測定回
路 10 重みづけ情報算出回路 11 入力視点画像再生回路 12 内挿画像作成回路 13 画像合成回路DESCRIPTION OF SYMBOLS 1 Distance information detection part 2 Smoothing part 3 Weighting information detection part 4 Image reproduction / interpolation part 5 Parallax information detection circuit 6 Depth depth information calculation circuit 7 Texture type discrimination circuit 8 Edge strength measurement circuit 9 Coton last, uniformity, Correlation and entropy measurement circuit 10 Weight information calculation circuit 11 Input viewpoint image reproduction circuit 12 Interpolated image creation circuit 13 Image synthesis circuit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 蓼沼 眞 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 金次 保明 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 田中 豊 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5B057 BA02 CD01 CE20 DC05 DC16 DC22 5B080 BA02 GA22 ──────────────────────────────────────────────────続 き Continuing from the front page (72) Inventor Makoto Tadenuma 1-10-11 Kinuta, Setagaya-ku, Tokyo Inside the Japan Broadcasting Corporation Broadcasting Research Institute (72) Yasuaki Kinji 1-10 Kinuta, Setagaya-ku, Tokyo 11 Japan Broadcasting Corporation Broadcasting Research Institute (72) Inventor Yutaka Tanaka 1-10-11 Kinuta, Setagaya-ku, Tokyo F-term in Japan Broadcasting Corporation Broadcasting Research Institute 5B057 BA02 CD01 CE20 DC05 DC16 DC22 5B080 BA02 GA22
Claims (8)
点での画像を内挿する多視点画像内挿方法であって、 奥行深度情報から得られる曲面に定義された重みづけ関
数を最小化するような重みづけで奥行深度情報を平滑化
するとともに、前記奥行深度情報の値の確からしさを示
す指標を用いてその平滑化に際しての前記重みづけに必
要な重みづけ情報を得ることによって精度の高い奥行深
度情報を得て、該得られた精度の高い奥行深度情報を用
い、視点の異なる複数枚の画像から任意の視点での画像
を内挿するようにしたことを特徴とする多視点画像内挿
方法。1. A multi-view image interpolation method for interpolating an image at an arbitrary viewpoint from a plurality of images having different viewpoints, wherein a weighting function defined on a curved surface obtained from depth depth information is minimized. The depth depth information is smoothed with such weighting, and the weighting information necessary for the weighting at the time of the smoothing is obtained by using an index indicating the likelihood of the value of the depth depth information, thereby improving the accuracy. A multi-viewpoint image obtained by obtaining high depth depth information and using the obtained high-accuracy depth depth information to interpolate an image at an arbitrary viewpoint from a plurality of images having different viewpoints Interpolation method.
いて、前記奥行深度情報に代えて視差情報を用いるよう
にしたことを特徴とする多視点画像内挿方法。2. The multi-view image interpolation method according to claim 1, wherein parallax information is used in place of said depth depth information.
方法において、画像のテクスチャをマッピングすること
で前記内挿を行うことを特徴とする多視点画像内挿方
法。3. The multi-view image interpolation method according to claim 1, wherein the interpolation is performed by mapping a texture of the image.
視点画像内挿方法において、前記重みづけとして画像の
マッチング度を利用したものであることを特徴とする多
視点画像内挿方法。4. The multi-view image interpolation method according to claim 1, wherein a degree of image matching is used as the weight. .
いて、前記画像のマッチング度として画像の相互相関関
数、画像の差分絶対値和、画像の二乗誤差および画像の
マクロブロック内輝度勾配のいずれか１つを用いるよう
にしたものであることを特徴とする多視点画像内挿方
法。5. The multi-viewpoint image interpolation method according to claim 4, wherein the degree of matching of the image includes a cross-correlation function of the image, a sum of absolute differences of the image, a square error of the image, and a luminance gradient in the macroblock of the image. A multi-viewpoint image interpolation method characterized in that any one is used.
視点画像内挿方法において、前記重みづけとして画像の
テクスチャの類似度を利用したものであることを特徴と
する多視点画像内挿方法。6. The multi-view image interpolation method according to claim 1, wherein a similarity of an image texture is used as the weight. Insertion method.
いて、前記画像のテクスチャの類似度として画像の一様
性、画像の相関、画像のエントロピー、画像のエッジ強
化および画像のエッジの有無のいずれか１つを用いるよ
うにしたものであることを特徴とする多視点画像内挿方
法。7. The multi-viewpoint image interpolation method according to claim 6, wherein the similarity of the texture of the image includes image uniformity, image correlation, image entropy, image edge enhancement, and presence / absence of image edge. A multi-viewpoint image interpolation method characterized by using any one of the following.
点での画像を内挿する多視点画像内挿装置であって、 前記複数枚の画像情報から距離情報を検出する距離情報
検出手段、 該検出手段により検出した距離情報を、距離情報から得
られる曲面に定義された重みづけ関数を最小化するよう
な重みづけで平滑化を行う平滑化手段、 前記距離情報検出手段により検出した前記距離情報の値
の確からしさを示す指標を用いて前記平滑化手段での重
みづけを行うために必要な重みづけ情報を検出する重み
づけ情報検出手段、および前記複数枚の画像情報と前記
平滑化手段からの平滑化された距離情報とに基づいて、
入力視点画像の再生を経て、これをもとに任意視点での
画像を内挿する画像再生・内挿手段を具えて構成したこ
とを特徴とする多視点画像内挿装置。8. A multi-viewpoint image interpolation device for interpolating an image at an arbitrary viewpoint from a plurality of images having different viewpoints, wherein a distance information detecting unit detects distance information from the plurality of image information; Smoothing means for smoothing the distance information detected by the detecting means with a weight that minimizes a weighting function defined on a curved surface obtained from the distance information; the distance detected by the distance information detecting means Weighting information detecting means for detecting weighting information necessary for performing weighting in the smoothing means using an index indicating the likelihood of the value of information, and the plurality of pieces of image information and the smoothing means Based on the smoothed distance information from
A multi-viewpoint image interpolation device comprising an image reproduction / interpolation means for interpolating an image at an arbitrary viewpoint based on the reproduction of an input viewpoint image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36256399A JP2001175863A (en) | 1999-12-21 | 1999-12-21 | Method and device for multi-viewpoint image interpolation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36256399A JP2001175863A (en) | 1999-12-21 | 1999-12-21 | Method and device for multi-viewpoint image interpolation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001175863A true JP2001175863A (en) | 2001-06-29 |
Family
ID=18477179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36256399A Pending JP2001175863A (en) | 1999-12-21 | 1999-12-21 | Method and device for multi-viewpoint image interpolation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001175863A (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006035778A1 (en) * | 2004-09-27 | 2006-04-06 | Matsushita Electric Industrial Co., Ltd. | Camera module and electronic apparatus provided with it |
| JP2009212664A (en) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Encoding method, decoding method, encoding device, decoding device, encoding program and decoding program, of distance information, and computer readable recording medium |
| US7738725B2 (en) | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
| JP2010533338A (en) * | 2007-07-12 | 2010-10-21 | トムソン ライセンシング | System and method for recognizing 3D object from 2D image |
| JP2010244220A (en) * | 2009-04-03 | 2010-10-28 | Kddi Corp | Image processing apparatus, method, and program |
| WO2012042998A1 (en) * | 2010-09-28 | 2012-04-05 | シャープ株式会社 | Image processing device, image processing method, program, and recording medium |
| JP2012080242A (en) * | 2010-09-30 | 2012-04-19 | Sharp Corp | Prediction vector generation method, image encoding method, image decoding method, prediction vector generation device, image encoding device, image decoding device, prediction vector generation program, image encoding program, and image decoding program |
| JP2012123800A (en) * | 2010-12-03 | 2012-06-28 | Nagoya Univ | Multi-viewpoint image composition method and multi-viewpoint image composition system |
| JP2012516637A (en) * | 2009-01-30 | 2012-07-19 | トムソン ライセンシング | Depth map encoding |
| WO2013072965A1 (en) * | 2011-11-17 | 2013-05-23 | パナソニック株式会社 | Video processing device and video processing method |
| WO2014038476A1 (en) * | 2012-09-06 | 2014-03-13 | シャープ株式会社 | Stereoscopic image processing device, stereoscopic image processing method, and program |
| WO2014148031A1 (en) * | 2013-03-19 | 2014-09-25 | パナソニック株式会社 | Image generation device, imaging device and image generation method |
| WO2015020072A1 (en) * | 2013-08-08 | 2015-02-12 | 株式会社 日立メディコ | X-ray ct device and correction process device |
| JP2015073292A (en) * | 2009-06-16 | 2015-04-16 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Device and method of converting two dimensional image to three dimensional image |
| JP2015521407A (en) * | 2012-05-02 | 2015-07-27 | コーニンクレッカ フィリップス エヌ ヴェ | Quality metrics for processing 3D video |
| US9361725B2 (en) | 2012-04-20 | 2016-06-07 | Nlt Technologies, Ltd. | Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium |
| JP2017021759A (en) * | 2015-07-15 | 2017-01-26 | キヤノン株式会社 | Image processor, image processing method and program |
| US9641821B2 (en) | 2012-09-24 | 2017-05-02 | Panasonic Intellectual Property Management Co., Ltd. | Image signal processing device and image signal processing method |
| WO2017131071A1 (en) * | 2016-01-28 | 2017-08-03 | 日本電信電話株式会社 | Virtual environment construction device, video presentation device, model learning device, optimum depth determination device, method therefor, and program |
| JP2019184308A (en) * | 2018-04-04 | 2019-10-24 | 日本放送協会 | Depth estimation device and program, as well as virtual viewpoint video generator and its program |
-
1999
- 1999-12-21 JP JP36256399A patent/JP2001175863A/en active Pending
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7738725B2 (en) | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
| WO2006035778A1 (en) * | 2004-09-27 | 2006-04-06 | Matsushita Electric Industrial Co., Ltd. | Camera module and electronic apparatus provided with it |
| US7911516B2 (en) | 2004-09-27 | 2011-03-22 | Panasonic Corporation | Camera module and electronic apparatus provided with it |
| JP2010533338A (en) * | 2007-07-12 | 2010-10-21 | トムソン ライセンシング | System and method for recognizing 3D object from 2D image |
| JP2009212664A (en) * | 2008-03-03 | 2009-09-17 | Nippon Telegr & Teleph Corp <Ntt> | Encoding method, decoding method, encoding device, decoding device, encoding program and decoding program, of distance information, and computer readable recording medium |
| US9569819B2 (en) | 2009-01-30 | 2017-02-14 | Thomson Licensing | Coding of depth maps |
| JP2012516637A (en) * | 2009-01-30 | 2012-07-19 | トムソン ライセンシング | Depth map encoding |
| JP2010244220A (en) * | 2009-04-03 | 2010-10-28 | Kddi Corp | Image processing apparatus, method, and program |
| JP2015073292A (en) * | 2009-06-16 | 2015-04-16 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Device and method of converting two dimensional image to three dimensional image |
| WO2012042998A1 (en) * | 2010-09-28 | 2012-04-05 | シャープ株式会社 | Image processing device, image processing method, program, and recording medium |
| JP2012073702A (en) * | 2010-09-28 | 2012-04-12 | Sharp Corp | Image processing apparatus, image processing method, program, and recording medium |
| JP2012080242A (en) * | 2010-09-30 | 2012-04-19 | Sharp Corp | Prediction vector generation method, image encoding method, image decoding method, prediction vector generation device, image encoding device, image decoding device, prediction vector generation program, image encoding program, and image decoding program |
| JP2012123800A (en) * | 2010-12-03 | 2012-06-28 | Nagoya Univ | Multi-viewpoint image composition method and multi-viewpoint image composition system |
| WO2013072965A1 (en) * | 2011-11-17 | 2013-05-23 | パナソニック株式会社 | Video processing device and video processing method |
| US9361725B2 (en) | 2012-04-20 | 2016-06-07 | Nlt Technologies, Ltd. | Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium |
| JP2015521407A (en) * | 2012-05-02 | 2015-07-27 | コーニンクレッカ フィリップス エヌ ヴェ | Quality metrics for processing 3D video |
| WO2014038476A1 (en) * | 2012-09-06 | 2014-03-13 | シャープ株式会社 | Stereoscopic image processing device, stereoscopic image processing method, and program |
| US9641821B2 (en) | 2012-09-24 | 2017-05-02 | Panasonic Intellectual Property Management Co., Ltd. | Image signal processing device and image signal processing method |
| JPWO2014148031A1 (en) * | 2013-03-19 | 2017-02-16 | パナソニックＩｐマネジメント株式会社 | Image generating apparatus, imaging apparatus, and image generating method |
| WO2014148031A1 (en) * | 2013-03-19 | 2014-09-25 | パナソニック株式会社 | Image generation device, imaging device and image generation method |
| CN105451658A (en) * | 2013-08-08 | 2016-03-30 | 株式会社日立医疗器械 | X-ray ct device and correction process device |
| WO2015020072A1 (en) * | 2013-08-08 | 2015-02-12 | 株式会社 日立メディコ | X-ray ct device and correction process device |
| JPWO2015020072A1 (en) * | 2013-08-08 | 2017-03-02 | 株式会社日立製作所 | X-ray CT apparatus and correction processing apparatus |
| US9895128B2 (en) | 2013-08-08 | 2018-02-20 | Hitachi, Ltd. | X-ray CT apparatus and correction processing device |
| JP2017021759A (en) * | 2015-07-15 | 2017-01-26 | キヤノン株式会社 | Image processor, image processing method and program |
| WO2017131071A1 (en) * | 2016-01-28 | 2017-08-03 | 日本電信電話株式会社 | Virtual environment construction device, video presentation device, model learning device, optimum depth determination device, method therefor, and program |
| JPWO2017131071A1 (en) * | 2016-01-28 | 2018-11-08 | 日本電信電話株式会社 | Virtual environment construction device, virtual environment construction method, program, and recording medium |
| JP2019184308A (en) * | 2018-04-04 | 2019-10-24 | 日本放送協会 | Depth estimation device and program, as well as virtual viewpoint video generator and its program |
| JP7233150B2 (en) | 2018-04-04 | 2023-03-06 | 日本放送協会 | Depth estimation device and its program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001175863A (en) | Method and device for multi-viewpoint image interpolation | |
| US5383013A (en) | Stereoscopic computer vision system | |
| US6856314B2 (en) | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling | |
| US8427488B2 (en) | Parallax image generating apparatus | |
| JP4435867B2 (en) | Image processing apparatus, method, computer program, and viewpoint conversion image generation apparatus for generating normal line information | |
| US20030198378A1 (en) | Method and system for 3D smoothing within the bound of error regions of matching curves | |
| EP1442614A1 (en) | Method and apparatus for image matching | |
| EP1072014A1 (en) | Face recognition from video images | |
| Oliveira et al. | Selective hole-filling for depth-image based rendering | |
| US6480620B1 (en) | Method of and an apparatus for 3-dimensional structure estimation | |
| JP2011210246A (en) | Method for handling occlusion in stereo image | |
| Park et al. | Fast view interpolation of stereo images using image gradient and disparity triangulation | |
| JP4394487B2 (en) | Stereo image processing device | |
| Luo et al. | Using surface model to correct and fit disparity data in stereo vision | |
| Um et al. | Three-dimensional scene reconstruction using multiview images and depth camera | |
| US20230419524A1 (en) | Apparatus and method for processing a depth map | |
| JP2000088523A (en) | Recognition equipment and method of object using feature vector | |
| JP2000149017A (en) | Image processing device, method and supply medium thereof | |
| JPH10283474A (en) | Depth information extracting device and depth information extracting method | |
| Lim et al. | Depth map rasterization using triangulation and color consistency for various sampling structures | |
| EP3809372B1 (en) | Method of real-time generation of 3d imaging | |
| Ding et al. | Direct virtual viewpoint synthesis from multiple viewpoints | |
| Muddala et al. | Depth-included curvature inpainting for disocclusion filling in view synthesis | |
| KR20060132280A (en) | Method for estimating disparity adaptively for intermediate view reconstruction | |
| Oliveira et al. | Full Reference Quality Assessment of DIBR-Based Synthesized Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071211 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080610 |