JP2013143109A - Multi-viewpoint image processing apparatus, method and program - Google Patents
Multi-viewpoint image processing apparatus, method and program Download PDFInfo
- Publication number
- JP2013143109A JP2013143109A JP2012004447A JP2012004447A JP2013143109A JP 2013143109 A JP2013143109 A JP 2013143109A JP 2012004447 A JP2012004447 A JP 2012004447A JP 2012004447 A JP2012004447 A JP 2012004447A JP 2013143109 A JP2013143109 A JP 2013143109A
- Authority
- JP
- Japan
- Prior art keywords
- image
- quality
- low
- viewpoint image
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 82
- 238000000034 method Methods 0.000 title claims description 31
- 238000003702 image correction Methods 0.000 claims description 52
- 238000013139 quantization Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 2
- 238000013507 mapping Methods 0.000 abstract 1
- 230000002787 reinforcement Effects 0.000 description 33
- 230000005540 biological transmission Effects 0.000 description 17
- 230000004048 modification Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 230000003014 reinforcing effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 10
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
本発明は、複数の視点画像(多視点画像)のうちのある視点の低画質画像に対し、その画質を改善する多視点画像処理装置、方法及びプログラムに関する。 The present invention relates to a multi-viewpoint image processing apparatus, method, and program for improving the image quality of a low-quality image at a certain viewpoint among a plurality of viewpoint images (multi-viewpoint images).
従来、1つの対象物を複数の視点から撮影し、これにより得られた多視点画像を伝送する多視点画像処理システムが知られている。多視点画像(2視点画像を含む)を立体テレビ放送等で用いる場合には、ある視点の画像は高画質で伝送し、他の視点の画像はより低画質で伝送する。この多視点画像処理システムによれば、伝送帯域を節減することができ、効率的な多視点画像の伝送を実現することができる。 2. Description of the Related Art Conventionally, a multi-view image processing system that captures a single object from a plurality of viewpoints and transmits a multi-view image obtained thereby is known. When multi-viewpoint images (including two-viewpoint images) are used in 3D television broadcasting or the like, an image from one viewpoint is transmitted with high image quality, and an image from another viewpoint is transmitted with lower image quality. According to this multi-viewpoint image processing system, the transmission band can be reduced, and efficient multi-viewpoint image transmission can be realized.
このような多視点画像処理システムにより伝送された多視点画像に画質差があったとしても、視聴者は、視差の認知が可能であるため、提示された画像に立体感を感じ取ることができる。また、人間の視覚特性は、より高画質な画像に頼って精細な絵柄を認知する傾向があるため、視聴者は、どちらかというと高画質寄りの主観画質として画像を認知することができる。 Even if there is a difference in image quality between the multi-viewpoint images transmitted by such a multi-viewpoint image processing system, the viewer can perceive the parallax and thus can feel a stereoscopic effect in the presented image. In addition, since human visual characteristics tend to recognize fine patterns depending on higher-quality images, viewers can perceive images as subjective image quality closer to high-quality images.
ところで、画像処理の技術分野では、画質を改善する技術が知られている。例えば、複数の画像を用いて画質を向上する技術として複数枚超解像がある(特許文献1)。この複数枚超解像技術は、高解像度画像を仮定し、この仮定した高解像度画像から所定の関数を用いて、低解像度画像の画素毎に画素値を推定し、推定した画素値と観測した画素値との間の差が最小になるように、高解像度画像を探索するものである。 Incidentally, in the technical field of image processing, a technique for improving image quality is known. For example, as a technique for improving the image quality using a plurality of images, there is a plurality of super-resolution (Patent Document 1). This multi-frame super-resolution technique assumes a high-resolution image, estimates a pixel value for each pixel of the low-resolution image using a predetermined function from the assumed high-resolution image, and observes the estimated pixel value. The high-resolution image is searched so that the difference between the pixel value is minimized.
また、例えば、物体の3次元モデルを用いたテクスチャの超解像技術が提案されている(特許文献2)。この超解像技術は、低画質の画像から、高品質で、かつ任意の位置の置かれた擬似的な光源下での被写体画像を生成するものである。具体的には、この超解像技術を実現する装置は、光源及び視点の位置情報並びに被写体の表面形状を表す法線情報から被写体の形状に関する第一幾何パラメータを算出し、法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を空間的に拡張し、拡張した表現子を用いて第一幾何パラメータを補正し、補正後の第一幾何パラメータを反射モデルに適用することにより、高画質画像を生成する。 For example, a texture super-resolution technique using a three-dimensional model of an object has been proposed (Patent Document 2). This super-resolution technique generates a subject image under a pseudo light source having a high quality and an arbitrary position from a low-quality image. Specifically, the apparatus for realizing the super-resolution technique calculates the first geometric parameter related to the shape of the subject from the positional information of the light source and the viewpoint and the normal information representing the surface shape of the subject, and the normal information space Spatial expansion is performed on an expression that is a geometric parameter having a higher resolution component than the general resolution, the first geometric parameter is corrected using the expanded expression, and the corrected first geometric parameter is converted into a reflection model. By applying this, a high-quality image is generated.
また、例えば、視点間の視差を動きベクトルとみなして符号化を行う多視点画像符号化手法が提案されている(特許文献3)。この多視点画像符号化手法では、立体画像圧縮装置が、立体画像を構成する多視点画像を1枚の画像に多重して圧縮する際に、動きベクトルをオフセットベクトル及びローカル動きベクトルに分解し、動画ストリーム中に挿入する。そして、立体画像伸長装置が、動画ストリームを受信して伸長する際に、オフセットベクトル及びローカル動きベクトルを1本の動きベクトルに合成し、合成した動きベクトルを用いて立体画像を復元する。 In addition, for example, a multi-view image encoding method that performs encoding by regarding the parallax between viewpoints as a motion vector has been proposed (Patent Document 3). In this multi-viewpoint image encoding method, when a stereoscopic image compression apparatus multiplexes and compresses a multi-viewpoint image constituting a stereoscopic image into one image, the motion vector is decomposed into an offset vector and a local motion vector, Insert into the video stream. Then, when the stereoscopic image decompression apparatus receives and decompresses the moving image stream, the stereoscopic image decompression device combines the offset vector and the local motion vector into one motion vector, and restores the stereoscopic image using the combined motion vector.
しかしながら、視点によって画質の異なる従来の立体テレビでは、視聴者は、目や精神に疲労や酔いを生じたり、片目をつぶったときの画質差を違和感として感じたり、にじみのような画質劣化を感じたりするという問題があった。 However, in conventional 3D televisions with different image quality depending on the viewpoint, viewers feel tired and intoxicated in their eyes and mind, feel the difference in image quality when one eye is closed, or feel image quality deterioration like blurring. There was a problem.
また、前述の特許文献1に記載された複数枚超解像技術は、複数の低解像の画像列から高解像の画像を生成するものであり、画像間に画質差がある場合を積極的に考慮していない。また、複数枚超解像技術では、低解像の画像列には折り返し歪が存在することが前提となるため、撮像時に折り返し歪が付加されていない場合には、有効に動作しない。
In addition, the multiple-resolution super-resolution technique described in
また、前述の特許文献2に記載された3次元モデルを用いたテクスチャの超解像技術では、多視点画像に応用するために、3次元モデルの構築及び視点毎のレンダリングが必要となることから、ハードウェア及び演算が極端に大規模なものとなる。 Further, the texture super-resolution technique using the three-dimensional model described in Patent Document 2 described above requires construction of a three-dimensional model and rendering for each viewpoint in order to apply to a multi-view image. , Hardware and operations become extremely large.
また、前述の特許文献3に記載された視差を動きベクトルとみなして符号化を行う手法では、視点の異なる画像列を動画像とみなして符号化を行うため、視点毎に解像度が異なるような場合が考慮されていない。 In addition, in the method of performing encoding by regarding the parallax described in Patent Document 3 as a motion vector, encoding is performed by regarding an image sequence with different viewpoints as a moving image, so that the resolution differs for each viewpoint. The case is not considered.
このように、特許文献1〜3は、画質差がある多視点画像において、低画質画像の画質を改善する手法について何ら言及していない。低画質画像の画質を改善することができれば、視点によって画質の異なる従来の立体テレビにおける目の疲労、酔い等の問題を解決することができる。
As described above,
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ある視点の低画質画像(低画質の視点画像)を、別の視点の高画質画像(高画質の視点画像)に基づいて精細化することが可能な多視点画像処理装置、方法及びプログラムを提供することにある。 Accordingly, the present invention has been made to solve the above-described problems, and an object of the present invention is to change a low-quality image (low-quality viewpoint image) from one viewpoint to a high-quality image (high-quality viewpoint image) from another viewpoint. ) Based multi-viewpoint image processing apparatus, method and program.
前記した課題を解決するため、本発明の請求項1に係る多視点画像処理装置は、高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備えることを特徴とする。係る構成によれば、多視点画像に高画質の視点画像と低画質の視点画像が含まれる場合において、低画質の視点画像の画質を改善することができる。例えば、伝送帯域を削減可能な、左眼用と右眼用の伝送映像に画質差が生じるシステムであっても、本発明の多視点画像処理装置によれば、低画質の視点画像の画質を改善でき、両眼の画質差を小さくすることができる。
In order to solve the above-described problem, a multi-viewpoint image processing apparatus according to
請求項2に係る多視点画像処理装置は、請求項1に記載の多視点画像処理装置において、前記高画質の視点画像と前記低画質の視点画像との間の差異が、解像度の違い、前記高画質の視点画像及び前記低画質の視点画像を符号化して伝送する際の符号化パラメータの違い、または画素値の量子化方法の違いにある、ことを特徴とする。
The multi-view image processing apparatus according to claim 2 is the multi-view image processing apparatus according to
請求項3に係る多視点画像処理装置は、請求項1に記載の多視点画像処理装置において、前記高画質の視点画像と前記低画質の視点画像との間の差異が、前記高画質の視点画像がカラー画像で前記低画質の視点画像がモノクロ画像である違いにある、ことを特徴とする。
The multi-view image processing apparatus according to claim 3 is the multi-view image processing apparatus according to
請求項4に係る多視点画像処理装置は、請求項1から3までのいずれか一項に記載の多視点画像処理装置において、前記画像補正手段が、前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像を、対応する前記視差補償した高画質の視点画像に置換する、ことを特徴とする。係る構成によれば、低画質の視点画像の部分領域を、対応する高画質の視点画像で置換するため、低画質の視点画像の画質が改善する。 A multi-viewpoint image processing apparatus according to a fourth aspect is the multi-viewpoint image processing apparatus according to any one of the first to third aspects, wherein the image correction unit is based on the parallax estimated by the parallax estimation unit. The parallax compensation is performed for each partial area with respect to the high-quality viewpoint image, and the low-quality viewpoint image is replaced with the corresponding parallax-compensated high-quality viewpoint image for each partial area. It is characterized by that. According to such a configuration, since the partial area of the low-quality viewpoint image is replaced with the corresponding high-quality viewpoint image, the image quality of the low-quality viewpoint image is improved.
請求項5に係る多視点画像処理装置は、請求項1から3までのいずれか一項に記載の多視点画像処理装置において、前記画像補正手段が、前記高画質の視点画像から空間高周波成分を抽出し、前記視差推定手段により推定された視差に基づいて、前記空間高周波成分に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した空間高周波成分を重畳する、ことを特徴とする。係る構成によれば、低画質の視点画像の情報を残したまま、補間すべき高域情報を付加するため、実際の視点から見た情報を保持しつつ、低画質の視点画像の画質を改善することができる。
The multi-viewpoint image processing device according to claim 5 is the multi-viewpoint image processing device according to any one of
請求項6に係る多視点画像処理装置は、請求項1から3までのいずれか一項に記載の多視点画像処理装置において、前記画像補正手段が、前記高画質の視点画像からテクスチャ成分を抽出し、前記視差推定手段により推定された視差に基づいて、前記抽出したテクスチャ成分に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償したテクスチャ成分を重畳する、ことを特徴とする。係る構成によれば、低画質の視点画像に対して、非輪郭的な振動成分のみを付加するため、エッジ部分のリンギング等のアーチファクトを防止しつつ、低画質の視点画像の画質を改善することができる。
The multi-view image processing apparatus according to claim 6 is the multi-view image processing apparatus according to any one of
請求項7に係る多視点画像処理装置は、請求項6に記載の多視点画像処理装置において、前記画像補正手段が、トータルバリエーションフィルタを用いて、前記高画質の視点画像からテクスチャ成分を抽出する、ことを特徴とする。係る構成によれば、演算の平易なトータルバリエーションノルムの正則化を行うため、少ない演算コストでエッジ部分のリンギング等のアーチファクトを防止しつつ、低画質の視点画像の画質を改善することができる。 The multi-view image processing apparatus according to claim 7 is the multi-view image processing apparatus according to claim 6, wherein the image correction unit extracts a texture component from the high-quality viewpoint image using a total variation filter. It is characterized by that. According to such a configuration, since the total variation norm that is easy to calculate is regularized, it is possible to improve the image quality of the low-quality viewpoint image while preventing artifacts such as ringing of the edge portion at a low calculation cost.
請求項8に係る多視点画像処理装置は、請求項3に記載の多視点画像処理装置において、前記画像補正手段が、前記高画質の視点画像から色差を抽出し、前記視差推定手段により推定された視差に基づいて、前記抽出した色差に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した色差を重畳する、ことを特徴とする。係る構成によれば、低画質の視点画像の情報を残したまま、補間すべき色差を付加するため、実際の視点から見た情報を保持しつつ、低画質の視点画像の画質を改善することができる。 The multi-view image processing apparatus according to claim 8 is the multi-view image processing apparatus according to claim 3, wherein the image correction unit extracts a color difference from the high-quality viewpoint image and is estimated by the parallax estimation unit. Performing parallax compensation for each of the partial areas based on the parallax obtained, and superimposing the corresponding parallax-compensated color difference on the low-quality viewpoint image for each of the partial areas. Features. According to such a configuration, the color difference to be interpolated is added while leaving the information of the low-quality viewpoint image, so that the image quality of the low-quality viewpoint image is improved while retaining the information viewed from the actual viewpoint. Can do.
請求項9に係る多視点画像処理方法は、高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理方法であって、前記高画質の視点画像及び前記低画質の視点画像を入力するステップと、前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定するステップと、前記推定した視差に基づいて、前記高画質の視点画像に対して視差補償を行うステップと、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成するステップと、を有することを特徴とする。 A multi-viewpoint image processing method according to claim 9 is a multi-viewpoint image processing method for improving the image quality of a low-quality viewpoint image using a high-quality viewpoint image, wherein the high-quality viewpoint image and the low-quality viewpoint image Based on the estimated parallax, the step of inputting the viewpoint image, the step of associating each partial area between the high-quality viewpoint image and the low-quality viewpoint image, and estimating the parallax , Performing parallax compensation on the high-quality viewpoint image, and generating an image in which the image quality of the low-quality viewpoint image is improved using the parallax-compensated high-quality viewpoint image. It is characterized by that.
請求項10に係る多視点画像処理プログラムは、コンピュータを、請求項1から8までのいずれか一項に記載の多視点画像処理装置として機能させることを特徴とする。 A multi-viewpoint image processing program according to a tenth aspect causes a computer to function as the multi-viewpoint image processing apparatus according to any one of the first to eighth aspects.
以上のように、本発明によれば、ある視点の低画質画像を、別の視点の高画質画像に基づいて精細化することができ、低画質画像の画質を改善することができる。 As described above, according to the present invention, a low-quality image from one viewpoint can be refined based on a high-quality image from another viewpoint, and the image quality of the low-quality image can be improved.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔多視点画像処理装置〕
まず、本発明の実施形態による多視点画像処理装置の構成について説明する。図1は、多視点画像処理装置の構成例を示すブロック図であり、図2は、多視点画像処理装置の処理を示すフローチャートである。この多視点画像処理装置1は、視差推定手段10及び画像補正手段20を備えている。多視点画像処理装置1は、ある視点(視点1)から撮影された高画質画像と、別の視点(視点2)から撮影された低画質画像とを入力し、これらの画像に基づいて、低画質画像の画質を改善し、視点2の改善画像として出力する。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[Multi-viewpoint image processing device]
First, the configuration of a multi-viewpoint image processing apparatus according to an embodiment of the present invention will be described. FIG. 1 is a block diagram illustrating a configuration example of a multi-view image processing apparatus, and FIG. 2 is a flowchart illustrating processing of the multi-view image processing apparatus. The multi-viewpoint
尚、多視点画像処理装置1は、さらに別の視点(視点V;Vは3以上の整数)から撮影された低画質画像も入力し、視点Vの低画質画像を改善し、視点Vの改善画像として出力するようにしてもよい。その場合の多視点画像処理装置1は、後述する「視点2」の低画質画像を「視点V」の低画質画像に置き換えた構成を付加したものとすればよい。
Note that the multi-viewpoint
また、高画質画像と低画質画像とは、解像度または撮像レンズの焦点距離が異なるカメラまたはレンズにて撮影されたものであっても構わない。高画質画像と低画質画像との原点、倍率及び収差を考慮した対応付け(キャリブレーション)は、図1には示していない低画質画像校正手段によりなされるものとする。このキャリブレーションは、高画質画像を撮影するレンズと低画質画像を撮影するレンズとの光軸及び前側光学主点を一致させたときに、両画像上における被写体の位置及び大きさが一致するような、画像座標間の対応付けを意味する。 Further, the high-quality image and the low-quality image may be images taken with cameras or lenses having different resolutions or focal lengths of the imaging lenses. Assume that the association (calibration) between the high-quality image and the low-quality image in consideration of the origin, magnification, and aberration is performed by the low-quality image calibration means not shown in FIG. In this calibration, when the optical axis and the front optical principal point of the lens that shoots a high-quality image and the lens that shoots a low-quality image are matched, the position and size of the subject on both images match. It means the association between image coordinates.
また、高画質画像と低画質画像とは、異なる量子化方法で量子化されたもの、例えば、異なるビット深度(量子化ビット数)で量子化されたものであっても構わない。高画質画像及び低画質画像の量子化方法を一致させる処理も、図1には示していない低画質画像校正手段によりなされるものとする。 The high-quality image and the low-quality image may be those quantized by different quantization methods, for example, those quantized with different bit depths (quantization bit numbers). It is assumed that the process of matching the quantization method for the high-quality image and the low-quality image is also performed by the low-quality image calibration unit not shown in FIG.
以下、低画質画像をL、高画質画像をHとし、低画質画像Lの量子化のダイナミックレンジ及び特性曲線を、高画質画像Hの量子化のダイナミックレンジ及び特性曲線に整合させる関数をbとする。高画質画像Hにおける画像座標(P)(Pは2次元のベクトル)の画素値をH(P)、低画質画像Lにおける画像座標(p)(pは2次元のベクトル)の画素値をL(p)とする。 Hereinafter, let L be a low-quality image, H be a high-quality image, and b be a function that matches the quantization dynamic range and characteristic curve of the low-quality image L to the quantization dynamic range and characteristic curve of the high-quality image H. To do. The pixel value of the image coordinate (P) (P is a two-dimensional vector) in the high-quality image H is H (P), and the pixel value of the image coordinate (p) (p is a two-dimensional vector) in the low-quality image L is L (P).
また、前記キャリブレーションによる高画質画像H上の画像座標Pから低画質画像L上の画像座標pへの対応付けを、以下の式のように、ベクトル関数cにて表すものとする。
多視点画像処理装置1が視点1の高画質画像H及び視点2の低画質画像Lを入力すると(ステップS201)、図示しない低画質画像校正手段は、視点2の低画質画像Lを、キャリブレーションによって高画質画像Hの画像座標系に一致させ、高画質画像Hの画像座標系に一致した低画質画像Lを、高画質画像Hの量子化特性に一致させ、校正済み低画質画像Mを生成する(ステップS202)。校正済み低画質画像Mは、視差推定手段10及び画像補正手段20に出力される。例えば、低画質画像校正手段は、低画質画像Lの解像度を高画質画像Hの解像度に一致させ、低画質画像Lのビット深度を高画質画像Hのビット深度に一致させる。低画質画像校正手段により、校正済み低画質画像Mの画像座標系は高画質画像Hの画像座標系に一致することになるが、両画像間の視差は存在する。
When the multi-viewpoint
尚、図示しない低画質画像校正手段は、視差推定手段10及び画像補正手段20に含まれるようにしてもよい。この場合、視差推定手段10及び画像補正手段20は、視点2の低画質画像Lを入力し、校正済み低画質画像Mを生成する。また、低画質画像Lと高画質画像Hとの間で、画像座標系及び量子化特性が一致している場合には、低画質画像校正手段による処理は不要である。
Note that low-quality image calibration means (not shown) may be included in the parallax estimation means 10 and the image correction means 20. In this case, the
ここで、低画質画像Lを、キャリブレーションによって高画質画像Hの画像座標系に一致させ、かつ高画質画像Hの量子化特性に一致させた画像である校正済み低画質画像Mは、以下の式で表される。
尚、前記式(2)の演算において、c(P)が非格子点(水平座標または垂直座標のいずれか一方または両方が非整数の点)となった場合には、多視点画像処理装置1は、低画質画像Lにおけるc(P)近傍の格子点上の画素値に基づいて、補間演算(例えば、最近傍補間、双一次補間、双三次補間等)によって画素値L(c(P))を定め、それらを関数bによって量子化の特性を補償し、b(L(c(P)))を求め、校正済み低画質画像Mを得る。この場合、多視点画像処理装置1は、低画質画像Lにおけるc(P)近傍の格子点上の画素値を求め、それらを関数bによって量子化の特性を補償した後に補間演算を施し、その結果をb(L(c(P)))とみなし、校正済み低画質画像Mを得るようにしてもよい。
In the calculation of the above formula (2), when c (P) is a non-lattice point (one or both of horizontal coordinates and vertical coordinates are non-integer points), the multi-viewpoint
また、多視点画像処理装置1は、以下の式のように、補間演算(汎関数F;画像F[L]は小数画素位置における画素値を補間演算により定義した連続な定義域の画像)によって小数画素位置の画素値を定めた後、画像座標c(P)の画素値を求め、校正済み低画質画像Mを得るようにしてもよい。
例えば、補間演算Fは、以下の式のように、インパルス応答がf(p)のフィルタ係数の畳み込みによることができる。
視差推定手段10は、視点1の高画質画像Hを入力すると共に、図示しない低画質画像校正手段から視点2の校正済み低画質画像Mを入力し、高画質画像Hと校正済み低画質画像Mとの間のパターン照合により、部分領域毎の対応付けを行い、視差を推定し、視差ベクトル(視差マップD)を生成する(ステップS203)。視差ベクトルは、画像補正手段20に出力される。尚、高画質画像Hと校正済み低画質画像Mとの間のパターン照合による対応付けは、高画質画像Hと低画質画像Lとの間のパターン照合による対応付けでもある。
The parallax estimation means 10 inputs the high-quality image H of the
例えば、視差推定手段10は、ブロックマッチング法により、以下の式のように、高画質画像Hの画素値H(P)と校正済み低画質画像Mの画素値M(P)との間で部分領域毎のマッチングを行い、視差を推定し、視差マップD(P)を生成する。
尚、前記式(5)は、高画質画像Hと校正済み低画質画像Mとの間の差の絶対値和(SAD値;Sum of Absolute Difference)の最小化結果を視差として求めるものであるが、この代わりに、差の二乗和(SSD値;Sum of Squared Difference)の最小化結果、または正規化相互相関の最大化結果を視差として求めるようにしてもよい。また、部分領域のブロック内において重み付け(例えば、ブロック中心からの距離に応じて単調減少する重み付け)を施すようにしてもよい。また、全ての画像座標Pについて視差を求めないで、間引いた画像座標のみで視差を求め、間引かれた画像座標については、補間処理により視差を定義するようにしてもよい。また、視差の推定に先立って、高画質画像H及び校正済み低画質画像Mのいずれかまたはその両方に対し、フィルタ処理(例えば、ガウシアンフィルタ)を適用するようにしてもよい。これにより、ノイズの影響を抑え、視差を頑健に求めることができる。 The equation (5) is used to obtain the minimization result of the sum of absolute values (SAD value; Sum of Absolute Difference) between the high-quality image H and the calibrated low-quality image M as the parallax. Instead of this, the result of minimizing the sum of squares of the difference (SSD value; Sum of Squared Difference) or the result of maximizing the normalized cross-correlation may be obtained as the parallax. Further, weighting (for example, weighting monotonously decreasing in accordance with the distance from the block center) may be performed in the block of the partial area. Alternatively, the parallax may be obtained only by the thinned image coordinates without obtaining the parallax for all the image coordinates P, and the parallax may be defined by interpolation processing for the thinned image coordinates. Prior to the parallax estimation, filter processing (for example, a Gaussian filter) may be applied to either or both of the high-quality image H and the calibrated low-quality image M. Thereby, the influence of noise can be suppressed and parallax can be obtained robustly.
画像補正手段20は、視点1の高画質画像Hを入力し、図示しない低画質画像校正手段から視点2の校正済み低画質画像Mを入力し、視差推定手段10から視差ベクトル(視差マップD)を入力し、視差マップDを用いて高画質画像Hの視差補償を行い、視差補償した高画質画像H及び校正済み低画質画像Mに基づいて、低画質画像Lに対して画質改善した改善画像Kを生成し(ステップS204)、改善画像Kを外部へ出力する(ステップS205)。尚、画像補正手段20の詳細については、後述する実施例1〜4にて説明する。
The
〔実施例1〕
まず、実施例1の画像補正手段20について詳細に説明する。実施例1の画像補正手段20は、校正済み低画質画像Mの部分領域を、視差補償した高画質画像Hに置換し、改善画像Kを生成することを特徴とする。
[Example 1]
First, the
図3は、実施例1の画像補正手段20の構成例を示すブロック図であり、図4は、実施例1の画像補正手段20の処理を示すフローチャートである。この画像補正手段20−1は、視差補償手段21を含む画像置換手段22を備えている。画像補正手段20−1は、視点1の高画質画像Hを入力し、低画質画像校正手段から視点2の校正済み低画質画像Mを入力し、視差推定手段10から視差ベクトル(視差マップD)を入力し、視差マップDに基づいて高画質画像Hを視差補償し、その結果を校正済み低画質画像M上に貼り込み(画像を部分領域毎に置換し)、視点2の改善画像Kを生成して外部へ出力する。
FIG. 3 is a block diagram illustrating a configuration example of the
具体的には、画像補正手段20−1が高画質画像H、視差マップD及び校正済み低画質画像Mを入力すると(ステップS401)、画像置換手段22の視差補償手段21は、高画質画像Hの画素値H(P)及び視差マップDの視差ベクトルD(P)を入力し、以下に示す式(6)の上段に示す画素値H(P+D(P))を生成する演算(視差補償の演算)を行うことで、高画質画像Hを視差補償し、視差補償した画素値H(P+D(P))を生成する(ステップS402)。
Specifically, when the image correction unit 20-1 inputs the high-quality image H, the parallax map D, and the calibrated low-quality image M (step S401), the
画像置換手段22は、校正済み低画質画像の画素値M(P)を入力し、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域が存在するか否かを判定する(ステップS403)。具体的には、画像置換手段22は、後述する式(6)の右辺の条件部分に示すように、高画質画像Hを視差補償した画像の座標値P+D(P)が、校正済み低画質画像Mの画像内に存在するか否かを判定する。画像置換手段22は、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域が存在する場合(ステップS403:Y)、校正済み低画質画像Mの当該部分領域に、対応する高画質画像Hの部分領域について視差補償して移動させた画素値H(P+D(P))を貼り付ける(ステップS404)。すなわち、校正済み低画質画像Mの当該部分領域において、校正済み低画質画像Mの画素値M(P)を、対応する高画質画像Hの部分領域について視差補償して移動させた画素値H(P+D(P))に置き換える。一方、画像置換手段22は、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域が存在しない場合(ステップS403:N)、校正済み低画質画像Mの当該部分領域には、校正済み低画質画像Mの画素値M(P)をそのまま使用する(ステップS405)。そして、画像置換手段22は、ステップS404及びステップS405の処理により改善画像Kの画素値K(P)を生成し(ステップS406)、改善画像Kを外部へ出力する(ステップS407)。
The image replacement means 22 receives the pixel value M (P) of the calibrated low-quality image, and determines whether or not the corresponding partial area of the high-quality image H exists in the partial area on the calibrated low-quality image M. Determination is made (step S403). Specifically, as shown in the condition part on the right side of Equation (6) described later, the
このように、画像補正手段20−1は、以下に示す式(6)のように、校正済み低画質画像M上の部分領域に対し、対応する高画質画像Hの部分領域を移動(視差補償)して置換することにより改善画像Kを生成する。
以上のように、実施例1の画像補正手段20−1を備えた多視点画像処理装置1によれば、低画質画像校正手段が、低画質画像Lを、キャリブレーションによって高画質画像Hの画像座標系に一致させると共に、高画質画像Hの量子化特性に一致させ、校正済み低画質画像Mを生成し、視差推定手段10が、高画質画像Hと校正済み低画質画像Mとの間のパターン照合により、部分領域毎の対応付けを行い、視差マップDを生成するようにした。そして、視差補償手段21が、視差マップDに基づいて高画質画像Hを視差補償し、画像置換手段22が、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域が存在する場合、校正済み低画質画像Mの当該部分領域に、視差補償した高画質画像Hを貼り付け、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域が存在しない場合、校正済み低画質画像Mをそのまま使用して改善画像Kを生成するようにした。これにより、校正済み低画質画像Mの部分領域が、高画質画像Hに置換される。したがって、多視点画像のうちの低画質画像Lを、高画質画像Hに基づいて精細化することができ、低画質画像Lの画質を改善することができる。
As described above, according to the multi-viewpoint
また、例えば、伝送帯域を削減可能な、左眼用と右眼用の伝送映像に画質差が生じるシステムであっても、多視点画像処理装置1を用いることにより、低画質画像Lの画質が改善されるから、両眼の画質差を小さくすることができる。また、視点によって画質の異なる従来の立体テレビでは、視聴者は、目や精神に疲労や酔いを生じたり、片目をつぶったときの画質差を違和感として感じたり、にじみのような画質劣化を感じたりするという問題があったが、多視点画像処理装置1を用いることにより、これらの問題を解決することができる。
Further, for example, even in a system in which the transmission band can be reduced and the image quality difference occurs between the transmission images for the left eye and the right eye, the image quality of the low-quality image L can be improved by using the multi-viewpoint
(実施例1の変形例)
尚、実施例1の画像補正手段20−1において、第1の変形例として、画像置換手段22は、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域を貼り付ける際に、以下の式(7)に示すように、視差ベクトルD(P)の信頼度に応じて、視差補償した高画質画像Hの画素値H(P)の貼り付けを行うか、校正済み低画質画像Mの画素値M(P)をそのまま使用するかを選択し、改善画像Kの画素値K(P)を生成するようにしてもよい。
In the image correction unit 20-1 of the first embodiment, as a first modification, the
視差ベクトルD(P)の信頼度は、視差マップDを生成する視差推定手段10により、ブロックマッチング時の評価値に基づいて判定される。例えば、視差推定手段10は、前記式(5)の演算処理において、差の絶対値和(SAD値)が所定の閾値以下の場合に、視差ベクトルD(P)は信頼できると判定し、差の絶対値和が所定の閾値よりも大きい場合に、視差ベクトルD(P)は信頼できないと判定する。視差推定手段10は、このようにして判定した視差ベクトルD(P)の信頼度を画像補正手段20−1の画像置換手段22に出力する。
The reliability of the disparity vector D (P) is determined by the
また、第2の変形例として、画像置換手段22は、校正済み低画質画像M上の部分領域に、対応する高画質画像Hの部分領域を貼り付ける際に、以下の式(8)に示すように、視差ベクトルD(P)の信頼度λ(λは0以上1以下の実数とし、λが大きいほど信頼度が高いものとする。)に応じて、視差補償した高画質画像Hの画素値H(P)と校正済み低画質画像Mの画素値M(P)との按分比を制御し、視差補償した高画質画像Hの画素値H(P)及び校正済み低画質画像Mの画素値M(P)を用いて改善画像Kの画素値K(P)を生成するようにしてもよい。
以下、第2の変形例について具体的に説明する。例えば、視差推定手段10は、差の絶対値和(SAD値)または差の二乗和(SSD値)を最小化するブロックマッチング法によって視差ベクトルD(P)を求めた場合、以下の式のように、これらの誤差値(SAD値、SSD値)の最小値eが小さいほど信頼度λが大きくなるような関数Λを用いて、信頼度λの値を定める。
例えば、関数Λは、以下の式のように、予め定められた閾値θに基づいて定義することができる。
また、関数Λは、以下の式のように、予め定められた2つの閾値θ0及びθ1(θ0<θ1)に基づいて、折れ線関数によって定義することができる。
また、例えば、視差推定手段10は、相互相関を最大化するブロックマッチング法によって視差ベクトルD(P)を求めた場合、該相関値の最大値rが大きいほど信頼度λが大きくなるような関数Γを用いて、信頼度λの値を定める。
例えば、関数Γは、以下の式のように、予め定められた閾値θに基づいて定義することができる。
また、関数Γは、以下の式のように、予め定められた2つの閾値θ0及びθ1(θ0<θ1)に基づいて、折れ線関数によって定義することができる。
以上のように、実施例1の変形例の画像補正手段20−1を備えた多視点画像処理装置1によれば、視差推定手段10が、ブロックマッチングの処理を示す前記式(5)の演算処理において、差の絶対値和(SAD値)に基づいて視差ベクトルD(P)の信頼度を求めるようにした。すなわち、差の絶対値が小さい場合、視差ベクトルD(P)は信頼できる、または、視差ベクトルD(P)の信頼度が高くなるようにし、差の絶対値が大きい場合、視差ベクトルD(P)は信頼できない、または、視差ベクトルD(P)の信頼度が低くなるようにした。そして、画像置換手段22が、視差ベクトルD(P)の信頼度に応じて、視差補償した高画質画像Hを使用するか、校正済み低画質画像Mを使用するかを選択し、または、視差補償した高画質画像Hと校正済み低画質画像Mとの按分比を制御し、改善画像Kを生成するようにした。すなわち、視差ベクトルD(P)の信頼度が高い場合、視差補償した高画質画像Hを使用し、またはその按分比が高くなるようにし、視差ベクトルD(P)の信頼度が低い場合、校正済み低画質画像Mを使用し、またはその按分比が高くなるようにした。これにより、多視点画像のうちの低画質画像Lを、高画質画像Hに基づいて一層精細化することができ、低画質画像Lの画質を一層改善することができる。
As described above, according to the multi-viewpoint
〔実施例2〕
次に、実施例2の画像補正手段20について詳細に説明する。実施例2の画像補正手段20は、高画質画像Hの高域成分(空間高周波成分)を視差補償し、校正済み低画質画像Mに対し、視差補償した高域成分を重畳し、改善画像Kを生成することを特徴とする。
[Example 2]
Next, the
図5は、実施例2の画像補正手段20の構成例を示すブロック図であり、図6は、実施例2の画像補正手段20の処理を示すフローチャートである。この画像補正手段20−2は、高域通過型フィルタ手段23、及び視差補償手段24を含む画像重畳手段25を備えている。画像補正手段20−2は、視点1の高画質画像Hを入力し、低画質画像校正手段から視点2の校正済み低画質画像Mを入力し、視差推定手段10から視差ベクトル(視差マップD)を入力し、高画質画像Hに高域通過型フィルタを適用し、視差マップDに基づいて、適用後の高画質画像H(高域成分)を視差補償し、その結果を校正済み低画質画像M上に重畳し、視点2の改善画像Kを生成して外部へ出力する。
FIG. 5 is a block diagram illustrating a configuration example of the
具体的には、画像補正手段20−2が高画質画像H、視差マップD及び校正済み低画質画像Mを入力すると(ステップS601)、高域通過型フィルタ手段23は、高画質画像Hに対して高域通過型フィルタを適用し、その結果を補強信号画像Gとして画像重畳手段25に出力する(ステップS602)。高域通過型フィルタ手段23は、高画質画像Hと校正済み低画質画像Mとの間の画質差に相当するスペクトル包絡を有するような高域通過特性を有することが好ましいが、必ずしもそうでなくとも構わない。
Specifically, when the image correction unit 20-2 inputs the high-quality image H, the parallax map D, and the calibrated low-quality image M (step S601), the high-
例えば、高域通過型フィルタ手段23は、高域通過特性を有するタップ係数のディジタルフィルタを畳み込むことにより、補強信号画像Gを生成するようにしてもよい。簡単には、ラプラシアンフィルタを適用する。
For example, the high-
また、例えば、高域通過型フィルタ手段23は、高画質画像Hを周波数領域に変換した後、高域通過型の周波数特性を有する周波数応答を乗算し、その結果を空間領域に変換することにより、補強信号画像Gを生成するようにしてもよい。このとき、空間領域から周波数領域への変換には、フーリエ(Fourier)変換、コサイン変換、サイン変換、アダマール(Hadamard)変換、ウォルシュ(Walsh)変換、またはそれらを離散化したもの、高速アルゴリズム化したもの等を利用することができる。また、周波数領域から空間領域への変換には、前述した空間領域から周波数領域への変換手法に対して逆変換の手法を用いればよい。具体的には、高域通過型フィルタ手段23は、高画質画像Hをフーリエ変換してスペクトル画像に変換し、スペクトル画像のうち、その空間周波数の大きさ(2次元空間周波数を(u,v)としたとき、その大きさを(u2+v2)1/2とする。)が所定の値以下のスペクトル成分を0として高域スペクトル画像を生成する。そして、高域通過型フィルタ手段23は、高域スペクトル画像に対して逆フーリエ変換を施し、補強信号画像Gを生成する。
Further, for example, the high-
さらに、例えば、高域通過型フィルタ手段23は、2次元ウェーブレット分解により補強信号画像Gを生成するようにしてもよい。具体的には、高域通過型フィルタ手段23は、入力した高画質画像Hを、水平低周波及び垂直低周波(LL)成分、水平高周波及び垂直低周波(HL)成分、水平低周波及び垂直高周波(LH)成分、水平高周波及び垂直高周波(HH)成分に分解し、LL成分を全て0に置き換えた後、2次元ウェーブレット分解の逆変換を実行することにより、補強信号画像Gを生成する。ウェーブレット分解に用いる基底関数には、例えば、ハール(Haar)基底、ドベシー(Daubechies)基底を用いることができる。
Further, for example, the high-
画像重畳手段25の視差補償手段24は、高域通過型フィルタ手段23から補強信号画像Gの画素値G(P)を入力すると共に、視差マップの視差ベクトルD(P)を入力し、以下の式(15)の上段に示すαG(P+D(P))の演算(視差補償した結果に係数α倍(αは正の実数)する演算)を行うことで、補強信号画像Gを視差補償して係数α倍し、画素値αG(P+D(P))を生成する(ステップS603)。
The
画像重畳手段25は、校正済み低画質画像Mの画素値M(P)を入力し、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在するか否かを判定する(ステップS604)。具体的には、画像重畳手段25は、実施例1の画像置換手段22と同様の処理を行うことで、対応する補強信号画像Gの部分領域が存在するか否かを判定する。画像重畳手段25は、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在する場合(ステップS604:Y)、校正済み低画質画像Mの当該部分領域に、対応する補強信号画像Gの部分領域について視差補償して移動させ係数α倍した画素値αG(P+D(P))を重畳する(ステップS605)。一方、画像重畳手段25は、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在しない場合(ステップS604:N)、校正済み低画質画像Mの当該部分領域には、校正済み低画質画像Mの画素値M(P)をそのまま使用する(ステップS606)。そして、画像重畳手段25は、ステップS605及びステップS606の処理により改善画像Kの画素値K(P)を生成し(ステップS607)、改善画像Kを外部へ出力する(ステップS608)。
The image superimposing means 25 inputs the pixel value M (P) of the calibrated low quality image M, and whether or not the corresponding partial region of the reinforcing signal image G exists in the partial region on the calibrated low quality image M. Is determined (step S604). Specifically, the image superimposing means 25 determines whether or not there is a corresponding partial region of the reinforcing signal image G by performing the same processing as the image replacing means 22 of the first embodiment. When there is a corresponding partial region of the reinforcing signal image G in the partial region on the calibrated low-quality image M (step S604: Y), the image superimposing means 25 The corresponding partial region of the reinforcement signal image G is moved by parallax compensation, and the pixel value αG (P + D (P)) multiplied by the coefficient α is superimposed (step S605). On the other hand, when there is no corresponding partial region of the reinforcing signal image G in the partial region on the calibrated low-quality image M (step S604: N), the
このように、画像補正手段20−2は、以下に示す式(15)のように、校正済み低画質画像M上の部分領域に対し、対応する補強信号画像Gの部分領域を移動(視差補償)して係数α倍(αは正の実数)し、重畳することにより改善画像Kを生成する。
以上のように、実施例2の画像補正手段20−2を備えた多視点画像処理装置1によれば、実施例1と同様に、低画質画像校正手段が、低画質画像Lを校正して校正済み低画質画像Mを生成し、視差推定手段10が、視差マップDを生成するようにした。そして、高域通過型フィルタ手段23が、高画質画像Hに対して高域通過型フィルタを適用し、補強信号画像Gを生成し、視差補償手段24が、視差マップDに基づいて補強信号画像Gを視差補償して係数α倍し、画像重畳手段25が、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在する場合、校正済み低画質画像Mの当該部分領域に、視差補償して係数α倍した補強信号画像Gを重畳し、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在しない場合、校正済み低画質画像Mをそのまま使用して改善画像Kを生成するようにした。これにより、校正済み低画質画像Mの部分領域に、高画質画像Hの高域成分が重畳される。したがって、多視点画像のうちの低画質画像Lを、高画質画像Hに基づいて精細化することができ、低画質画像Lの画質を改善することができる。
As described above, according to the multi-viewpoint
また、校正済み低画質画像Mの情報を残したまま、補間すべき高域成分の情報を付加するため、実際の視点から見た情報を保持しつつ、低画質画像Lの画質を改善することができる。また、実施例1と同様に、両眼の画質差を小さくすることができ、視点によって画質の異なる従来の立体テレビの問題を解決することができる。 In addition, since the high-frequency component information to be interpolated is added while the information of the calibrated low-quality image M is left, the image quality of the low-quality image L is improved while retaining the information viewed from the actual viewpoint. Can do. Further, as in the first embodiment, the difference in image quality between both eyes can be reduced, and the problem of the conventional stereoscopic television in which the image quality differs depending on the viewpoint can be solved.
(実施例2の変形例)
尚、実施例2の画像補正手段20−2において、第1の変形例として、画像重畳手段25は、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域を重畳する際に、以下の式(16)に示すように、視差ベクトルD(P)の信頼度に応じて、補強信号画像Gの重畳を実行するか、校正済み低画質画像Mの画素値をそのまま使用するかを選択し、改善画像Kの画素値K(P)を生成するようにしてもよい。
In the image correcting unit 20-2 of the second embodiment, as a first modification, the
視差ベクトルD(P)の信頼度は、実施例1の変形例の場合と同様に、視差マップDを生成する視差推定手段10により、ブロックマッチング時の評価値(例えば、前記式(5)の演算処理における差の絶対値和(SAD値))に基づいて判定される。
As in the case of the modification of the first embodiment, the reliability of the disparity vector D (P) is evaluated by the
また、第2の変形例として、画像重畳手段25は、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域を重畳する際に、以下の式(17)に示すように、視差ベクトルD(P)の信頼度λ(λは0以上1以下の実数とし、λが大きいほど信頼度が高いものとする。)に応じて、校正済み低画質画像Mの画素値M(P)に対する視差補償した補強信号画像Gの画素値G(P)の重畳量を制御し、校正済み低画質画像Mの画素値M(P)及び視差補償した補強信号画像Gの画素値G(P)を用いて改善画像Kの画素値K(P)を生成するようにしてもよい。
尚、実施例2における第2の変形例についての具体例は、実施例1における第1の変形例及び第2の変形例の具体例と同様に、関数Λまたは関数Γを用いて、信頼度λの値を定める。 The specific example of the second modified example in the second embodiment is similar to the first modified example and the second modified example in the first embodiment using the function Λ or the function Γ, and the reliability Determine the value of λ.
以上のように、実施例2の変形例の画像補正手段20−2を備えた多視点画像処理装置1によれば、視差ベクトルD(P)が信頼できる、または視差ベクトルD(P)の信頼度が高い場合に、校正済み低画質画像Mの部分領域に、高画質画像Hの高周波成分が重畳される。したがって、多視点画像のうちの低画質画像Lを、高画質画像Hに基づいて一層精細化することができ、低画質画像Lの画質を一層改善することができる。
As described above, according to the multi-viewpoint
〔実施例3〕
次に、実施例3の画像補正手段20について詳細に説明する。実施例3の画像補正手段20は、高画質画像Hのテクスチャ成分(変動成分)を視差補償し、校正済み低画質画像Mに対し、視差補償したテクスチャ成分を重畳し、改善画像Kを生成することを特徴とする。
Example 3
Next, the
図7は、実施例3の画像補正手段20の構成例を示すブロック図である。この画像補正手段20−3は、テクスチャ抽出手段26、及び視差補償手段24を含む画像重畳手段25を備えている。画像補正手段20−3は、視点1の高画質画像Hを入力し、低画質画像校正手段から視点2の校正済み低画質画像Mを入力し、視差推定手段10から視差ベクトル(視差マップD)を入力し、高画質画像Hからテクスチャ成分を抽出し、視差マップDに基づいて、高画質画像Hのテクスチャ成分を視差補償し、その結果を校正済み低画質画像M上に重畳し、視点2の改善画像Kを生成して外部へ出力する。
FIG. 7 is a block diagram illustrating a configuration example of the
実施例3の画像補正手段20−3の処理は、図6に示したステップS601〜ステップS608のうち、ステップS602のみが異なり、これ以外は同じである。 The processing of the image correcting unit 20-3 according to the third embodiment is the same except for step S602 among steps S601 to S608 shown in FIG.
具体的には、画像補正手段20−3が高画質画像H、視差マップD及び校正済み低画質画像Mを入力すると(ステップS601に対応)、テクスチャ抽出手段26は、高画質画像Hからテクスチャ成分を抽出し、テクスチャ成分を補強信号画像Gとして画像重畳手段25に出力する(ステップS602に対応)。
Specifically, when the image correction unit 20-3 inputs the high-quality image H, the parallax map D, and the calibrated low-quality image M (corresponding to step S601), the
例えば、テクスチャ抽出手段26には、トータルバリエーションフィルタ等の骨格成分(ストラクチャ成分)及びテクスチャ成分を分離するフィルタを適用し、トータルバリエーション正則化法を用いて高画質画像Hから骨格成分及びテクスチャ成分を分離し、分離したテクスチャ成分を補強信号画像Gとして出力するようにしてもよい。トータルバリエーション正則化法による骨格成分及びテクスチャ成分の分離手法は既知であるから、ここでは説明を省略する。詳細については、例えば「Jerome Gilles and Yves Meyer: Properties of BV-G Structures+Textures Decomposition Models. Application to Road Detection in Satellite Images, IEEE Transactions on Image Processing, vol.19, no.11, November 2010.」を参照されたい。
For example, the
画像重畳手段25の視差補償手段24は、テクスチャ抽出手段26から補強信号画像Gの画素値G(P)を入力すると共に、視差マップの視差ベクトルD(P)を入力し、前記式(15)の上段に示すαG(P+D(P))の演算(視差補償した結果に係数α倍(αは正の実数)する演算)を行うことで、補強信号画像Gを視差補償して係数α倍し、画素値αG(P+D(P))を生成する(ステップS603に対応)。以下、画像重畳手段25は、図6に示したステップS604〜ステップS608と同様の処理を行う。
The
このように、画像補正手段20−3は、実施例1の画像置換手段22と同様の処理を行うことで、対応する補強信号画像Gの部分領域が存在するか否かを判定し、前記式(15)のように、校正済み低画質画像M上の部分領域に対し、対応する補強信号画像Gの部分領域を移動(視差補償)して係数α倍(αは正の実数)し、重畳することにより改善画像Kを生成する。後述する実施例4の画像補正手段20−4についても同様である。
As described above, the image correcting unit 20-3 determines whether or not there is a corresponding partial region of the reinforcing signal image G by performing the same processing as the
以上のように、実施例3の画像補正手段20−3を備えた多視点画像処理装置1によれば、実施例1,2と同様に、低画質画像校正手段が、低画質画像Lを校正して校正済み低画質画像Mを生成し、視差推定手段10が、視差マップDを生成するようにした。そして、テクスチャ抽出手段26が、高画質画像Hからテクスチャ成分を抽出して補強信号画像Gを生成し、視差補償手段24が、視差マップDに基づいて補強信号画像Gを視差補償して係数α倍し、画像重畳手段25が、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在する場合、校正済み低画質画像Mの当該部分領域に、視差補償して係数α倍した補強信号画像Gを重畳し、校正済み低画質画像M上の部分領域に、対応する補強信号画像Gの部分領域が存在しない場合、校正済み低画質画像Mをそのまま使用して改善画像Kを生成するようにした。これにより、校正済み低画質画像Mの部分領域に、高画質画像Hのテクスチャ成分が重畳される。したがって、多視点画像のうちの低画質画像Lを、高画質画像Hに基づいて精細化することができ、低画質画像Lの画質を改善することができる。
As described above, according to the multi-viewpoint
また、校正済み低画質画像Mに対して、テクスチャ成分である非輪郭的な振動成分のみを付加するため、エッジ部分のリンギング等のアーチファクトを防止しつつ、低画質画像Lの画質を改善することができる。テクスチャ抽出手段26にトータルバリエーションフィルタを用いる場合には、演算の平易なトータルバリエーションノルムの正則化が行われるから、少ない演算コストで低画質画像Lの画質を改善することができる。
Further, since only the non-contour vibration component that is a texture component is added to the calibrated low-quality image M, the image quality of the low-quality image L can be improved while preventing artifacts such as ringing at the edge portion. Can do. When the total variation filter is used for the
また、校正済み低画質画像Mの情報を残したまま、補間すべきテクスチャ成分の情報を付加するため、実施例2と同様に、実際の視点から見た情報を保持しつつ、低画質画像Lの画質を改善することができる。また、実施例1と同様に、両眼の画質差を小さくすることができ、視点によって画質の異なる従来の立体テレビの問題を解決することができる。 Further, in order to add the information of the texture component to be interpolated while keeping the information of the calibrated low-quality image M, the low-quality image L is held while retaining the information viewed from the actual viewpoint as in the second embodiment. Image quality can be improved. Further, as in the first embodiment, the difference in image quality between both eyes can be reduced, and the problem of the conventional stereoscopic television in which the image quality differs depending on the viewpoint can be solved.
尚、実施例3の画像補正手段20−3は、実施例2における第1の変形例及び第2の変形例と同様の変形例を適用することができる。 Note that the image correction means 20-3 of the third embodiment can apply a modification similar to the first and second modifications in the second embodiment.
〔実施例4〕
次に、実施例4の画像補正手段20について詳細に説明する。実施例4の画像補正手段20は、高画質画像Hがカラー画像であり、低画質画像Lがモノクロ画像である場合に、高画質画像Hの色差成分を視差補償し、校正済み低画質画像Mに対し、視差補償した色差成分を重畳し、改善画像Kを生成することを特徴とする。
Example 4
Next, the
図8は、実施例4の画像補正手段20の構成例を示すブロック図である。この画像補正手段20−4は、色差抽出手段27、及び視差補償手段24を含む画像重畳手段25を備えている。画像補正手段20−4は、視点1の高画質画像H(カラー画像)を入力し、低画質画像校正手段から視点2の校正済み低画質画像M(校正済みモノクロ画像)を入力し、視差推定手段10から視差ベクトル(視差マップD)を入力し、高画質画像Hから色差を抽出し、視差マップDに基づいて、高画質画像Hの色差を視差補償し、その結果を校正済み低画質画像M上に重畳し、視点2の改善画像Kを生成して外部へ出力する。
FIG. 8 is a block diagram illustrating a configuration example of the
実施例4の画像補正手段20−4の処理は、図6に示したステップS601〜ステップS608のうち、ステップS602のみが異なり、これ以外は同じである。 The processing of the image correcting unit 20-4 of the fourth embodiment is the same except for step S602 in steps S601 to S608 shown in FIG.
具体的には、画像補正手段20−4が高画質画像H、視差マップD及び校正済み低画質画像Mを入力すると(ステップS601に対応)、色差抽出手段27は、高画質画像Hから色差を抽出し、色差を補強信号画像Gとして画像重畳手段25に出力する(ステップS602に対応)。
Specifically, when the image correction unit 20-4 inputs the high-quality image H, the parallax map D, and the calibrated low-quality image M (corresponding to step S601), the color
例えば、色差抽出手段27は、色マトリックス演算により、ITU−R BT.601に定めるCb信号及びCr信号、または、ITU−R BT.709に定めるPb信号及びPr信号を抽出するようにしてもよい。
For example, the color
画像重畳手段25の視差補償手段24は、色差抽出手段27から補強信号画像Gの画素値G(P)を入力すると共に、視差マップの視差ベクトルD(P)を入力し、前記式(15)の上段に示すαG(P+D(P))の演算(視差補償した結果に係数α倍(αは正の実数)する演算)を行うことで、補強信号画像Gを視差補償して係数α倍し、画素値αG(P+D(P))を生成する(ステップS603に対応)。以下、画像重畳手段25は、図6に示したステップS604〜ステップS608と同様の処理を行う。
The
このように、画像補正手段20−4は、前記式(15)のように、校正済み低画質画像M上の部分領域に対し、対応する補強信号画像Gの部分領域を移動(視差補償)して係数α倍(αは正の実数)し、重畳することにより改善画像Kを生成する。つまり、画像補正手段20−4の画像重畳手段25は、輝度画像である校正済み低画質画像Mの部分領域に対し、対応する色差画像である補強信号画像Gの部分領域を移動(視差補償)して合成することにより、改善画像Kを生成する。
As described above, the image correction unit 20-4 moves (parallax compensation) the corresponding partial region of the reinforcing signal image G with respect to the partial region on the calibrated low-quality image M as shown in the equation (15). Then, the coefficient α is multiplied (α is a positive real number), and the improved image K is generated by superimposing. That is, the
以上のように、実施例4の画像補正手段20−4を備えた多視点画像処理装置1によれば、低画質画像校正手段が、低画質画像L(モノクロ画像)を校正して校正済み低画質画像Mを生成し、視差推定手段10が、視差マップDを生成するようにした。そして、色差抽出手段27が、高画質画像H(カラー画像)から色差を抽出して補強信号画像Gを生成し、視差補償手段24が、視差マップDに基づいて補強信号画像Gを視差補償して係数α倍し、画像重畳手段25が、輝度画像である校正済み低画質画像M上の部分領域に、対応する色差画像である補強信号画像Gの部分領域が存在する場合、校正済み低画質画像Mの当該部分領域に、視差補償して係数α倍した補強信号画像Gを重畳し、校正済み低画質画像M上の部分領域に、対応する色差画像である補強信号画像Gの部分領域が存在しない場合、校正済み低画質画像Mをそのまま使用して改善画像Kを生成するようにした。これにより、校正済み低画質画像Mの部分領域に、高画質画像Hの色差が重畳される。したがって、多視点画像のうちの低画質画像Lを、高画質画像Hに基づいて精細化することができ、低画質画像Lの画質を改善することができる。
As described above, according to the multi-viewpoint
また、高画質画像H及び低画質画像Lを送信側から多視点画像処理装置1へ伝送するシステムにおいて、送信側は、多視点画像のうちの一部の画像を色情報のない低画質画像Lとして伝送することができるため、同じ画質を得るために必要な伝送帯域を削減することができる。
In the system that transmits the high-quality image H and the low-quality image L from the transmission side to the multi-viewpoint
また、校正済み低画質画像Mの情報を残したまま、補間すべき色差の情報を付加するため、実施例2と同様に、実際の視点から見た情報を保持しつつ、低画質画像Lの画質を改善することができる。また、実施例1と同様に、両眼の画質差を小さくすることができ、視点によって画質の異なる従来の立体テレビの問題を解決することができる。 Further, in order to add the information of the color difference to be interpolated while keeping the information of the calibrated low-quality image M, the low-quality image L of the low-quality image L is retained while retaining the information viewed from the actual viewpoint as in the second embodiment. The image quality can be improved. Further, as in the first embodiment, the difference in image quality between both eyes can be reduced, and the problem of the conventional stereoscopic television in which the image quality differs depending on the viewpoint can be solved.
尚、実施例4の画像補正手段20−4は、実施例2における第1の変形例及び第2の変形例と同様の変形例を適用することができる。 In addition, the image correction means 20-4 of Example 4 can apply the modification similar to the 1st modification in Example 2, and a 2nd modification.
以上、実施例1〜4を挙げて本発明を説明したが、本発明は前記実施例1〜4に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施例1〜3において、高画質画像Hと低画質画像Lとの間の画質の差異は、解像度の違い及び量子化方法の違いの他、高画質画像H及び低画質画像Lを符号化して伝送する際の符号化パラメータの違いに起因するものであってもよい。符号化パラメータは、例えば、直交変換係数に対する量子化ステップ等に用いるQP(Quantization Parameter:量子化パラメータ)値である。小さい値の(量子化の細かい)QP値を用いて符号化した画像が高画質画像Hであり、大きい値の(量子化の粗い)QP値を用いて符号化した画像が低画質画像Lである。この場合、高画質画像H及び低画質画像Lを送信側から多視点画像処理装置1へ伝送するシステムにおいて、送信側は、多視点画像のうちの一部の高画質画像Hを高圧縮に伝送することができるから、同じ画質を得るために必要な伝送帯域を削減することができる。
Although the present invention has been described with reference to the first to fourth embodiments, the present invention is not limited to the first to fourth embodiments, and various modifications can be made without departing from the technical idea thereof. For example, in the first to third embodiments, the difference in image quality between the high-quality image H and the low-quality image L includes the high-quality image H and the low-quality image L in addition to the difference in resolution and the difference in quantization method. It may be caused by a difference in encoding parameters when encoded and transmitted. The encoding parameter is, for example, a QP (Quantization Parameter) value used in a quantization step for orthogonal transform coefficients. An image encoded using a small value (fine quantization) QP value is a high quality image H, and an image encoded using a large value (coarse quantization) QP value is a low image quality image L. is there. In this case, in the system that transmits the high-quality image H and the low-quality image L from the transmission side to the multi-viewpoint
高画質画像Hと低画質画像Lとの間の画質の差異が解像度の違いに起因する場合には、送信側は、多視点画像のうちの一部の画像を解像度の低い低画質画像Lとして伝送することができるから、同じ画質を得るために必要な伝送帯域を削減することができる。 When the difference in image quality between the high-quality image H and the low-quality image L is caused by the difference in resolution, the transmission side sets some of the multi-viewpoint images as the low-resolution image L with low resolution. Since transmission is possible, a transmission band necessary for obtaining the same image quality can be reduced.
また、高画質画像Hと低画質画像Lとの間の画質の差異が画素値の量子化方法の違いに起因する場合には、送信側は、例えば、多視点画像のうちの一部の画像をビット深度の小さい低階調の低画質画像Lとして伝送することができるから、同じ画質を得るために必要な伝送帯域を削減することができる。 In addition, when the difference in image quality between the high-quality image H and the low-quality image L is caused by the difference in the quantization method of the pixel value, the transmission side, for example, selects some of the multi-viewpoint images. Can be transmitted as a low-gradation low-quality image L with a small bit depth, so that the transmission band necessary to obtain the same image quality can be reduced.
尚、本発明の実施形態による多視点画像処理装置1のハードウェア構成としては、通常のコンピュータを使用することができる。多視点画像処理装置1は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。多視点画像処理装置1に備えた視差推定手段10及び画像補正手段20の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
Note that a normal computer can be used as the hardware configuration of the multi-viewpoint
1 多視点画像処理装置
10 視差推定手段
20 画像補正手段
21,24 視差補償手段
22 画像置換手段
23 高域通過型フィルタ手段
25 画像重畳手段
26 テクスチャ抽出手段
27 色差抽出手段
DESCRIPTION OF
Claims (10)
前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、
前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、
を備えることを特徴とする多視点画像処理装置。 A multi-viewpoint image processing apparatus that uses a high-quality viewpoint image to improve the image quality of a low-quality viewpoint image,
A parallax estimation unit that associates each partial area between the high-quality viewpoint image and the low-quality viewpoint image and estimates a parallax;
Based on the parallax estimated by the parallax estimation means, parallax compensation is performed on the high-quality viewpoint image, and the quality of the low-quality viewpoint image is improved using the parallax-compensated high-quality viewpoint image. Image correction means for generating a corrected image;
A multi-viewpoint image processing apparatus comprising:
前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像を、対応する前記視差補償した高画質の視点画像に置換する、ことを特徴とする請求項1から3までのいずれか一項に記載の多視点画像処理装置。 The image correcting means is
Based on the parallax estimated by the parallax estimation means, parallax compensation is performed for each of the partial areas with respect to the high-quality viewpoint image,
4. The multi-viewpoint according to claim 1, wherein, for each of the partial areas, the low-quality viewpoint image is replaced with the corresponding parallax-compensated high-quality viewpoint image. 5. Image processing device.
前記高画質の視点画像から空間高周波成分を抽出し、
前記視差推定手段により推定された視差に基づいて、前記空間高周波成分に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した空間高周波成分を重畳する、ことを特徴とする請求項1から3までのいずれか一項に記載の多視点画像処理装置。 The image correcting means is
Extract spatial high-frequency components from the high-quality viewpoint image,
Based on the parallax estimated by the parallax estimation means, perform parallax compensation for each of the partial regions with respect to the spatial high frequency component,
The multi-viewpoint image processing according to any one of claims 1 to 3, wherein, for each of the partial regions, the corresponding high-frequency component subjected to parallax compensation is superimposed on the low-quality viewpoint image. apparatus.
前記高画質の視点画像からテクスチャ成分を抽出し、
前記視差推定手段により推定された視差に基づいて、前記抽出したテクスチャ成分に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償したテクスチャ成分を重畳する、ことを特徴とする請求項1から3までのいずれか一項に記載の多視点画像処理装置。 The image correcting means is
Extracting a texture component from the high-quality viewpoint image;
Based on the parallax estimated by the parallax estimation means, parallax compensation is performed for each partial region on the extracted texture component,
4. The multi-viewpoint image processing apparatus according to claim 1, wherein the parallax-compensated texture component is superimposed on the low-quality viewpoint image for each partial region. 5. .
トータルバリエーションフィルタを用いて、前記高画質の視点画像からテクスチャ成分を抽出する、ことを特徴とする請求項6に記載の多視点画像処理装置。 The image correcting means is
The multi-viewpoint image processing apparatus according to claim 6, wherein a texture component is extracted from the high-quality viewpoint image using a total variation filter.
前記高画質の視点画像から色差を抽出し、
前記視差推定手段により推定された視差に基づいて、前記抽出した色差に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した色差を重畳する、ことを特徴とする請求項3に記載の多視点画像処理装置。 The image correcting means is
Extracting a color difference from the high-quality viewpoint image;
Based on the parallax estimated by the parallax estimation means, perform parallax compensation for each partial region with respect to the extracted color difference,
The multi-viewpoint image processing apparatus according to claim 3, wherein the parallax-compensated color difference is superimposed on the low-quality viewpoint image for each partial region.
前記高画質の視点画像及び前記低画質の視点画像を入力するステップと、
前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定するステップと、
前記推定した視差に基づいて、前記高画質の視点画像に対して視差補償を行うステップと、
前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成するステップと、
を有することを特徴とする多視点画像処理方法。 A multi-viewpoint image processing method for improving the image quality of a low-quality viewpoint image using a high-quality viewpoint image,
Inputting the high-quality viewpoint image and the low-quality viewpoint image;
Performing the association for each partial region between the high-quality viewpoint image and the low-quality viewpoint image, and estimating the parallax;
Performing parallax compensation on the high-quality viewpoint image based on the estimated parallax;
Using the parallax-compensated high-quality viewpoint image to generate an image with improved image quality of the low-quality viewpoint image;
A multi-viewpoint image processing method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012004447A JP5940812B2 (en) | 2012-01-12 | 2012-01-12 | Multi-viewpoint image processing apparatus, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012004447A JP5940812B2 (en) | 2012-01-12 | 2012-01-12 | Multi-viewpoint image processing apparatus, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013143109A true JP2013143109A (en) | 2013-07-22 |
JP5940812B2 JP5940812B2 (en) | 2016-06-29 |
Family
ID=49039629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012004447A Active JP5940812B2 (en) | 2012-01-12 | 2012-01-12 | Multi-viewpoint image processing apparatus, method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5940812B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116437205A (en) * | 2023-06-02 | 2023-07-14 | 华中科技大学 | Depth of field expansion method and system for multi-view multi-focal length imaging |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001174219A (en) * | 1999-12-15 | 2001-06-29 | Sony Corp | Device and method for processing image and processing medium |
JP2002149146A (en) * | 2000-11-15 | 2002-05-24 | Seiko Epson Corp | Image processor, its method, and recording medium therefor |
JP2002524937A (en) * | 1998-08-28 | 2002-08-06 | サーノフ コーポレイション | Method and apparatus for synthesizing a high resolution image using a high resolution camera and a low resolution camera |
JP2005210217A (en) * | 2004-01-20 | 2005-08-04 | Olympus Corp | Stereoscopic camera |
JP2011253481A (en) * | 2010-06-04 | 2011-12-15 | Aisin Aw Co Ltd | Display image generation device, display image generation method, and display image generation program |
-
2012
- 2012-01-12 JP JP2012004447A patent/JP5940812B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002524937A (en) * | 1998-08-28 | 2002-08-06 | サーノフ コーポレイション | Method and apparatus for synthesizing a high resolution image using a high resolution camera and a low resolution camera |
JP2001174219A (en) * | 1999-12-15 | 2001-06-29 | Sony Corp | Device and method for processing image and processing medium |
JP2002149146A (en) * | 2000-11-15 | 2002-05-24 | Seiko Epson Corp | Image processor, its method, and recording medium therefor |
JP2005210217A (en) * | 2004-01-20 | 2005-08-04 | Olympus Corp | Stereoscopic camera |
JP2011253481A (en) * | 2010-06-04 | 2011-12-15 | Aisin Aw Co Ltd | Display image generation device, display image generation method, and display image generation program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116437205A (en) * | 2023-06-02 | 2023-07-14 | 华中科技大学 | Depth of field expansion method and system for multi-view multi-focal length imaging |
CN116437205B (en) * | 2023-06-02 | 2023-08-11 | 华中科技大学 | Depth of field expansion method and system for multi-view multi-focal length imaging |
Also Published As
Publication number | Publication date |
---|---|
JP5940812B2 (en) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7012642B2 (en) | Auxiliary data for artifact-aware view composition | |
US9547887B2 (en) | Visual-experience-optimized super-resolution frame generator | |
TWI748949B (en) | Methods for full parallax compressed light field synthesis utilizing depth information | |
KR101498535B1 (en) | System and method for transmission, processing, and rendering of stereoscopic and multi-view images | |
JP6085620B2 (en) | Method, system and apparatus for super-resolution processing | |
JP6016061B2 (en) | Image generation apparatus, image display apparatus, image generation method, and image generation program | |
US9525858B2 (en) | Depth or disparity map upscaling | |
KR101415147B1 (en) | A Boundary Noise Removal and Hole Filling Method for Virtual Viewpoint Image Generation | |
JP2012123799A (en) | Virtual viewpoint image synthesis method and virtual viewpoint image synthesis system | |
EP2074586A2 (en) | Image enhancement | |
WO2013005365A1 (en) | Image processing apparatus, image processing method, program, and integrated circuit | |
KR101938205B1 (en) | Method for depth video filtering and apparatus thereof | |
JP2013517686A (en) | Edge enhancement for time scaling with metadata | |
RU2690757C1 (en) | System for synthesis of intermediate types of light field and method of its operation | |
CA2341886A1 (en) | Method and apparatus for synthesizing high-resolution imagery using one high-resolution camera and a lower resolution camera | |
Wang et al. | A graph-based joint bilateral approach for depth enhancement | |
JP2012249038A (en) | Image signal processing apparatus and image signal processing method | |
JP6148154B2 (en) | Image processing apparatus and image processing program | |
WO2008102898A1 (en) | Image quality improvement processig device, image quality improvement processig method and image quality improvement processig program | |
JP5940812B2 (en) | Multi-viewpoint image processing apparatus, method, and program | |
Al Ismaeil et al. | Dynamic super resolution of depth sequences with non-rigid motions | |
Joachimiak et al. | View synthesis quality mapping for depth-based super resolution on mixed resolution 3D video | |
JP5498970B2 (en) | Image reduction device, image enlargement device, and program thereof | |
US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
KR101633634B1 (en) | Method and system for color matching between left and right images acquired from stereoscopic camera in digital cinemas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150915 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160324 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5940812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |