JP4214976B2 - Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system - Google Patents
Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system Download PDFInfo
- Publication number
- JP4214976B2 JP4214976B2 JP2004273040A JP2004273040A JP4214976B2 JP 4214976 B2 JP4214976 B2 JP 4214976B2 JP 2004273040 A JP2004273040 A JP 2004273040A JP 2004273040 A JP2004273040 A JP 2004273040A JP 4214976 B2 JP4214976 B2 JP 4214976B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pseudo
- stereoscopic image
- depth
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システムに係り、特に通常の静止画若しくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を作成する擬似立体画像作成装置及び擬似立体画像作成方法並びに作成した擬似的な立体画像を表示する擬似立体画像表示システムに関する。 The present invention relates to a pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system. In particular, a normal still image or moving image, that is, depth information is given explicitly or implicitly like a stereo image. The present invention relates to a pseudo-stereoscopic image creation apparatus and pseudo-stereoscopic image creation method for creating a pseudo-stereoscopic image from a non-stereo image (non-stereoscopic image), and a pseudo-stereoscopic image display system for displaying the created pseudo-stereoscopic image.
立体表示システムにおいて非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画若しくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体化画像を作成することが行われる。また、立体視に限らず２次元画像からシーンの３次元構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている（例えば、非特許文献１参照）。この非特許文献１記載のツァー・インツー・ザ・ピクチャ（″Tour Into the Picture″）では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。 In order to enable non-stereoscopic images to be viewed in pseudostereoscopic view in a stereoscopic display system, normal still images or moving images, that is, images in which depth information is not given explicitly or implicitly like stereo images A pseudo three-dimensional image is created from (non-stereo image). In addition to stereoscopic vision, many approaches and methods for estimating a three-dimensional structure of a scene from a two-dimensional image and realizing image synthesis and virtual viewpoint movement have been studied and studied (for example, Non-Patent Document 1). reference). In “Tour Into the Picture” described in Non-Patent Document 1, after removing a close object from a photographed image and determining a vanishing point in perspective, it is based on that. It is possible to move the viewpoint by estimating the schematic configuration of the scene.
また、上記の″Tour Into the Picture″では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる擬似立体画像作成装置及び擬似立体画像作成方法も従来より知られている（例えば、特許文献１参照）。この特許文献１記載の発明では、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、上記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。 In the above "Tour Into the Picture", the depth structure is a tube having a rectangular cross section, but the perspective is based on the premise that the tube has a cross section with a contour line corresponding to the depth. A pseudo-stereoscopic image creation apparatus and a pseudo-stereoscopic image creation method based on a method-based approach are also conventionally known (see, for example, Patent Document 1). In the invention described in Patent Document 1, three-dimensional polygon solid data is formed by adding contour distance information to mesh image data, and color image data obtained from a photographic image is applied to the three-dimensional polygon solid data. In a mode in which color image data is pasted inside a three-dimensional polygon solid composed of three-dimensional polygon solid data, the three-dimensional polygon solid is rendered to obtain three-dimensional image data.
また、古典的な２次元→３次元手法としては所謂シェープ・フロム・モーション（″shape from motion″）が知られている（例えば、非特許文献２参照）。これは文字通り動き情報から奥行きを推定するもので、動画の動き情報を用いて立体画像を構成するというものである。しかし、編集なしに動きのみから安定した奥行き推定を自動的に行うことは困難であり、この編集を行い易くするための擬似立体画像作成装置及び擬似立体画像作成方法も知られている（例えば、特許文献２参照）。この特許文献２には、元の２次元画像を複数個のシーンに分割し、そのシーン毎に２次元画像のままにするか３次元画像に変換するかによって、２次元画像から生成される３次元画像の前記２次元画像に対する変換率を調整する２次元画像から３次元画像への変換方法が開示されている。 Further, as a classic two-dimensional → three-dimensional method, so-called “shape from motion” is known (see, for example, Non-Patent Document 2). This literally estimates the depth from the motion information, and constructs a stereoscopic image using the motion information of the moving image. However, it is difficult to automatically perform stable depth estimation from only motion without editing, and pseudo-stereoscopic image creation devices and pseudo-stereoscopic image creation methods for facilitating this editing are also known (for example, Patent Document 2). In Patent Document 2, an original two-dimensional image is divided into a plurality of scenes, and a three-dimensional image generated from the two-dimensional image is determined depending on whether the scene is left as a two-dimensional image or converted into a three-dimensional image. A conversion method from a two-dimensional image to a three-dimensional image for adjusting a conversion rate of the two-dimensional image with respect to the two-dimensional image is disclosed.
しかしながら、上記の従来の擬似立体画像作成装置及び擬似立体画像作成方法では、様々な画像に対して、消失点の決定を自動的に行うことは困難であり、また入力されるすべてのシーンに対して遠近法的な構造推定が適合するわけではなく、また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現することは容易ではない。 However, with the above-described conventional pseudo stereoscopic image creation apparatus and pseudo stereoscopic image creation method, it is difficult to automatically determine the vanishing point for various images, and for all input scenes. Therefore, even if the perspective structure estimation is not suitable, and even if the perspective structure estimation is suitable, the correct depth structure model is automatically configured to realize a stereoscopic view without any sense of incongruity. It's not easy.
また、非特許文献２に記載の手法（″shape from motion″）は上記のように安定した奥行き推定を自動的に行うことは困難であり、さらに根本的には静止画若しくは相対的に動きが停止した部分の立体化は不可能である。また、このような動き推定の伴う処理を高速で行うことは困難であり、画像処理のリアルタイム性を損なう可能性が高い。 In addition, it is difficult for the method described in Non-Patent Document 2 (“shape from motion”) to automatically perform stable depth estimation as described above. It is impossible to make the stopped part three-dimensional. In addition, it is difficult to perform such processing with motion estimation at high speed, and there is a high possibility that the real-time property of image processing is impaired.
本発明は以上の点に鑑みなされたもので、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、静止画の画像内容からシーンの基本的な奥行き構造を、”経験知からあるタイプのシーン構造が比較的近い可能性が高いので選択する”という程度に推定し、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づき、非立体画像から擬似的な立体化画像を作成する擬似立体画像作成装置及び擬似立体画像作成方法並びに作成した擬似立体画像を表示する擬似立体画像表示システムを提供することを目的とする。 The present invention has been made in view of the above points, and does not perform depth estimation using motion information such as so-called shape-from-motion. Based on the so-called fail-safe philosophy, it is estimated that the scene structure of a certain type is likely to be relatively close, and is selected so that it does not feel a strong sense of incongruity even if it is misjudged. Another object of the present invention is to provide a pseudo-stereoscopic image creation apparatus and pseudo-stereoscopic image creation method for creating a pseudo-stereoscopic image from a non-stereoscopic image, and a pseudo-stereoscopic image display system for displaying the created pseudo-stereoscopic image.
また、本発明の他の目的は、処理の高速化のため、擬似立体画像の作成アルゴリズムを簡便なものとした擬似立体画像作成装置及び擬似立体画像作成方法を提供することにある。 Another object of the present invention is to provide a pseudo-stereoscopic image creation apparatus and a pseudo-stereoscopic image creation method in which a pseudo-stereoscopic image creation algorithm is simplified for speeding up the processing.
上記の目的を達成するため、第１の発明の擬似立体画像作成装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと非立体画像とから擬似的な立体画像を作成する擬似立体画像作成装置であって、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段と、供給される非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する算定手段と、発生手段から発生した複数の基本奥行きモデルを、算定手段により算定された値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、供給される非立体画像とから奥行き推定データを作成する作成手段とを有する構成としたものである。
To achieve the above object, the pseudo-stereoscopic image creating apparatus according to the first invention creates depth estimation data from a non-stereoscopic image to which depth information is not given explicitly or implicitly like a stereo image. A pseudo-stereoscopic image creation device that creates a pseudo-stereoscopic image from the depth estimation data and a non-stereoscopic image, and generates a plurality of basic depth models indicating depth values for each of a plurality of basic scene structures. Generating means, calculating means for calculating a statistic of a pixel value in a predetermined area in the screen of the supplied non-stereo image, estimating a scene structure, and a plurality of basic depth models generated from the generating means, Depth estimation data is synthesized from a synthesis unit that synthesizes at a synthesis ratio according to the value calculated by the calculation unit, a synthesis result synthesized by the synthesis unit, and the supplied non-stereo image. It is obtained by a structure having a generating means for forming.
また、上記の目的を達成するため、第２の発明は、第１の発明の算定手段を、供給される非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーン構造を推定する構成としたことを特徴とする。 In order to achieve the above object, the second invention calculates the high frequency component of the luminance signal in a predetermined area in the screen of the supplied non-stereo image, by the calculation means of the first invention, It is characterized by the configuration for estimating the scene structure.
また、上記の目的を達成するため、第３の発明の擬似立体画像作成方法は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと非立体画像とから擬似的な立体画像を作成する擬似立体画像作成方法であって、供給される非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する第１のステップと、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、第１のステップにより算定された値に応じた合成比率で合成する第２のステップと、第２のステップにより合成された合成結果と、供給される非立体画像とから奥行き推定データを作成する第３のステップとを含むことを特徴とする。 In order to achieve the above object, the pseudo-stereoscopic image creation method according to the third aspect of the present invention provides depth estimation data from a non-stereoscopic image in which depth information is not given explicitly or implicitly like a stereo image. And a pseudo-stereoscopic image creation method for creating a pseudo-stereoscopic image from the depth estimation data and the non-stereoscopic image, wherein a statistical value of a pixel value in a predetermined region of the screen of the supplied non-stereoscopic image A first step of estimating the scene structure and combining a plurality of basic depth models indicating depth values for each of the plurality of basic scene structures according to the values calculated in the first step Including a second step of combining at a ratio, and a third step of creating depth estimation data from the combined result combined by the second step and the supplied non-stereo image. And features.
また、上記の目的を達成するため、第４の発明は、第３の発明における第１のステップを、供給される非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーン構造を推定するようにしたことを特徴とする。 In order to achieve the above object, the fourth invention calculates the high frequency component of the luminance signal in a predetermined area in the screen of the supplied non-stereo image in the first step of the third invention. The scene structure is estimated.
第１乃至第４の発明の擬似立体画像作成装置及び作成方法では、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、シーンの奥行き構造を推定する。このとき推定されるシーンの奥行き構造は厳密なものではなく、”経験知からあるタイプのシーン奥行き構造が比較的近い可能性が高いので選択する”という程度のものに止め、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づくものとする。この理由は、事実上１枚の非立体画像からその内容を確実に検知し、詳細なシーン構造を決定することは技術的に不可能であるためである。 In the pseudo-stereoscopic image creation apparatus and creation method according to the first to fourth aspects of the invention, depth estimation using motion information such as so-called shape from motion is not performed, and the depth information is expressed explicitly or as a stereo image. The depth structure of the scene is estimated by calculating the high frequency component of the luminance signal in a predetermined area in the screen of the non-stereo image that is not given implicitly. The depth structure of the scene estimated at this time is not strict, and it is limited to the level of “select because there is a high possibility that a certain type of scene depth structure is relatively close based on experience”, and it is erroneously determined However, it shall be based on the so-called fail-safe idea that does not make a strong sense of incongruity. This is because it is technically impossible to detect the contents of one non-stereoscopic image with certainty and determine the detailed scene structure.
現実のシーン構造は無限に存在するが、本発明ではどのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを複数（例えば、３種類）用意し、それらの合成比率を上記の非立体画像の、画面内の所定領域における輝度信号の高域成分の算定値に応じて変化させる。 There are an infinite number of actual scene structures, but the present invention does not give a sense of incongruity to any image, and at the same time, in order to determine a scene structure that is as realistic as possible, a plurality of basic scene structures A plurality of basic depth models (for example, three types) indicating the depth value for each of the above are prepared, and the composition ratio thereof is a calculated value of the high frequency component of the luminance signal in the predetermined area of the screen of the non-stereo image. It changes according to.
基本奥行きモデルを用いることの利点は、本来複雑な構造である現実の３次元のシーンについて、比較的単純な数式で表現される曲面や平面を用いて近似することにより、視覚的な広がり（奥行き感）と動き推定や消失点決定などのプロセスのない簡便な演算処理を両立することである。 The advantage of using the basic depth model is that the visual spread (depth) is obtained by approximating a real 3D scene, which is originally a complex structure, using a curved surface or plane expressed by a relatively simple mathematical expression. Feeling) and simple arithmetic processing without processes such as motion estimation and vanishing point determination.
合成比率の変化の例としては、通常の球状の凹面を示す第１の基本奥行きモデルの使用を基本にしながらも、上記の高域成分の算定値が例えば画面上部の高域成分が少ないことを示している場合は、画面上部に空若しくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２の基本奥行きモデルの比率を増加させ、また、上記の高域成分の算定値が例えば画面下部の高域成分が少ないことを示している場合は、画面下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる第３の基本奥行きモデルの比率を増加させるといった処理を行う。このようにして、本発明では、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーンの奥行き構造を得ることが可能になる。 As an example of the change in the composition ratio, it is based on the use of the first basic depth model that shows a normal spherical concave surface, but the calculated value of the above high frequency component is, for example, that the high frequency component at the top of the screen is small. If it is shown, the scene is recognized as having an empty or flat wall at the top of the screen, and the ratio of the second basic depth model with the depth at the top of the screen being increased is increased. If the calculated value indicates that there are few high-frequency components at the bottom of the screen, for example, it recognizes that the flat ground or water surface spreads continuously toward the bottom of the screen, and approximates the top of the screen as a distant view, For the lower part, a process of increasing the ratio of the third basic depth model whose depth becomes smaller as it goes down is performed. In this way, according to the present invention, it is possible to obtain a scene depth structure that is as close to reality as possible while not causing a sense of discomfort to any image.
上記の３種類のモデルについては、発明を実施するための最良の形態において詳説するが、これらはあくまでも一例であり、別の形状を持つモデルを使用することや、３種類に限らない数のモデルを使用することも可能である。また、モデルの混在比について、画面上部・下部の高域成分を算定した結果をもとに決定しているが、この算定領域について限定されるものではなく、算定されるものも輝度の高域成分に限定されない。本発明のポイントはモデルの形態ではなく、モデルの使用そのものにある。 The above three types of models will be described in detail in the best mode for carrying out the invention, but these are only examples, and it is possible to use a model having a different shape or a number of models not limited to three types. Can also be used. In addition, the model mixture ratio is determined based on the result of calculating the high-frequency components at the top and bottom of the screen, but this calculation area is not limited, and the calculated ratio is also the high-frequency range. It is not limited to ingredients. The point of the present invention is not the form of the model but the use of the model itself.
また、上記の目的を達成するため、第５の発明の擬似立体画像表示システムは、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを作成し、この奥行き推定データと非立体画像とから擬似的な立体画像を作成する請求項１記載の擬似立体画像作成装置と、擬似立体画像作成装置に供給される非立体画像と、擬似立体画像作成装置から出力される奥行き推定データとに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うことによって別視点画像を生成する複数視点画像作成装置と、複数視点画像作成装置で作成された別視点画像と非立体画像との一方を左目画像とし、他方を右目画像として表示するステレオ表示装置とからなることを特徴とする。 In order to achieve the above object, the pseudo stereoscopic image display system according to the fifth aspect of the present invention provides depth estimation data from a non-stereo image in which depth information is not given explicitly or implicitly as a stereo image. And generating a pseudo stereoscopic image from the depth estimation data and the non-stereo image, a non-stereo image supplied to the pseudo stereo image generating apparatus, and a pseudo stereoscopic image. A multi-viewpoint image generation device that generates another viewpoint image by shifting the texture of the non-stereoscopic image by an amount corresponding to the depth estimation data of the corresponding portion based on the depth estimation data output from the image generation device; One of the different viewpoint images and non-stereoscopic images created by the multi-viewpoint image creation device is a left-eye image, and the other is a stereo display device that displays the other as a right-eye image And butterflies.
また、上記の目的を達成するため、第６の発明は、第５の発明における複数視点画像作成装置を、擬似立体画像作成装置に供給される非立体画像と、擬似立体画像作成装置から出力される奥行き推定データとに基づいて、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけ行うテクスチャシフト部と、テクスチャの存在しない部分であるオクルージョンを、入力画像の対応部で充填するか又は分割された画像のテクスチャの統計量に基づきオクルージョン補償を行うオクルージョン補償部と、オクルージョン補償部から出力された信号に対してポスト処理を行うポスト処理部と、ポスト処理部から出力された画像信号を別視点画像である左目画像又は右目画像とし、擬似立体画像作成装置に供給される非立体画像を右目画像又は左目画像として出力する手段とからなる構成としたことを特徴とする。 In order to achieve the above object, according to a sixth aspect, the multi-viewpoint image creating device according to the fifth aspect is output from the non-stereoscopic image supplied to the pseudo stereoscopic image creating device and the pseudo stereoscopic image creating device. The texture shift unit that shifts the texture of the non-stereo image by an amount corresponding to the depth estimation data of the corresponding portion based on the depth estimation data that is generated, and the occlusion that is the portion where the texture does not exist are An occlusion compensation unit that performs occlusion compensation based on a texture statistic of an image that has been filled or divided, a post processing unit that performs post processing on a signal output from the occlusion compensation unit, and an output from the post processing unit A non-stereo image supplied to the pseudo-stereoscopic image creating apparatus using the left-eye image or the right-eye image as a different viewpoint image. Characterized in that a configuration consisting of a means for outputting the right eye image or the left eye image.
本発明によれば、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを複数用意し、それらの合成比率を、非立体画像の、画面内の所定領域における輝度信号の高域成分の算定値に応じて変化させることにより、１枚の非立体画像から違和感を感じさせないと同時に、できる限り現実に近いシーンの奥行き構造を得ることができるため、これを基にどのような非立体画像からも違和感の少ない擬似立体画像を作成することができる。 According to the present invention, a plurality of basic depth models indicating depth values are prepared for each of a plurality of basic scene structures, and the composition ratio thereof is determined as a luminance signal in a predetermined area of a screen of a non-stereo image. By changing according to the calculated value of the high-frequency component, it is possible to obtain a scene depth structure that is as realistic as possible without causing a sense of incongruity from a single non-stereo image. A pseudo-stereoscopic image with little discomfort can be created from a non-stereoscopic image.
次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になる擬似立体画像作成装置の一実施の形態のブロック図、図２は図１における“合成部”の一実施の形態のブロック図、図３は本発明になる擬似立体画像作成方法の一実施の形態のフローチャートを示す。 Next, the best mode for carrying out the present invention will be described with reference to the drawings. 1 is a block diagram of an embodiment of a pseudo-stereoscopic image creation apparatus according to the present invention, FIG. 2 is a block diagram of an embodiment of a “compositing unit” in FIG. 1, and FIG. 3 is a pseudo-stereoscopic image according to the present invention. The flowchart of one Embodiment of the preparation method is shown.
図１において、本実施の形態の擬似立体画像作成装置は、擬似立体化を行う非立体画像が入力される画像入力部１と、画像入力部１からの非立体画像の上部約２０％の高域成分評価値（”ｔｏｐ ａｃｔｉｖｉｔｙ”）を計算により求める上部の高域成分評価部２と、画像入力部１からの非立体画像の下部約２０％の高域成分評価値（”ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ”）を計算により求める下部の高域成分評価部３と、各々基本奥行きモデルタイプ１、基本奥行きモデルタイプ２及び基本奥行きモデルタイプ３の画像を記憶する３つのフレームメモリ４、５及び６と、下部の高域成分評価値及び上部の高域成分評価値の各値に応じて決定される合成比率により、フレームメモリ４、５及び６からの３種類の基本奥行き画像を合成する合成部７と、合成部７により得られた合成基本奥行きモデル画像に、画像入力部１の基になる画像の三原色信号（ＲＧＢ信号）のうち赤色信号（Ｒ信号）９を重畳し最終的な奥行き推定データ１１を得る加算器１０とより構成されている。 In FIG. 1, the pseudo-stereoscopic image creation apparatus according to the present embodiment includes an image input unit 1 to which a non-stereoscopic image to be subjected to pseudo-stereoscopic input is input, and a height of about 20% above the non-stereoscopic image from the image input unit 1 An upper high-frequency component evaluation unit 2 that calculates a region component evaluation value (“top activity”) by calculation, and a high-frequency component evaluation value (“bottom activity”) that is approximately 20% below the non-stereo image from the image input unit 1 The lower high-frequency component evaluation unit 3 that calculates the above, three frame memories 4, 5, and 6 that store images of the basic depth model type 1, the basic depth model type 2, and the basic depth model type 3, respectively, A synthesizing unit that synthesizes three types of basic depth images from the frame memories 4, 5, and 6 with a synthesis ratio determined according to each value of the high frequency component evaluation value and the upper high frequency component evaluation value. 7 and the synthesized basic depth model image obtained by the synthesizing unit 7, the red signal (R signal) 9 of the three primary color signals (RGB signals) of the image that is the basis of the image input unit 1 is superimposed to obtain a final depth estimation. An adder 10 for obtaining data 11 is included.
図２は上記合成部７の構成を示したもので、後述する手法により、下部の高域成分評価値及び上部の高域成分評価値の各値をもとに各モデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する合成比率決定部７０と、これらの合成比率ｋ１，ｋ２，ｋ３と、前記基本奥行きモデルタイプ１、基本奥行きモデルタイプ２、基本奥行きモデルタイプ３Ｓを別々に乗算して、合成比率ｋ１，ｋ２，ｋ３による各モデルの線形和を出力する３つの乗算器７１、７２、７３と、これらの乗算器７１、７２、７３の各乗算結果を加算する加算器７４とより構成されている。 FIG. 2 shows the configuration of the synthesis unit 7, and the synthesis ratio k1, k2 of each model based on the lower high-frequency component evaluation value and the upper high-frequency component evaluation value by the method described later. , K3 (where k1 + k2 + k3 = 1), the combination ratios k1, k2, and k3, and the basic depth model type 1, the basic depth model type 2, and the basic depth model type 3S. And the multipliers 71, 72, 73 for outputting the linear sum of the respective models with the synthesis ratios k1, k2, k3, and the adder for adding the multiplication results of these multipliers 71, 72, 73 74.
上記の基本奥行きモデルタイプ１は、球面上の凹面による奥行きモデルで、上部の高域評価値（ｔｏｐ ａｃｔｉｂｉｔｙ）と下部の高域評価値（ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ）の値が特に小さい場合以外は、この基本奥行きモデルタイプ１の画像が使用される。また、上記の基本奥行きモデルタイプ２は、基本奥行きモデルタイプ１の上部を球面でなく、アーチ型の円筒面に置き換えたもので、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルである。更に、上記の基本奥行きモデルタイプ３は、上部を平面（Ｚ＝１０００−９０１＝９９）、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルである。 The basic depth model type 1 is a depth model with a concave surface on a spherical surface, and this basic depth model type 1 except for the case where the upper high-frequency evaluation value (top activity) and the lower high-frequency evaluation value (bottom activity) are particularly small. Depth model type 1 images are used. The basic depth model type 2 is obtained by replacing the upper part of the basic depth model type 1 with an arch-shaped cylindrical surface instead of a spherical surface. The upper part is a cylindrical surface (the axis is vertical) and the lower part is a concave surface (spherical surface). ) Model. Furthermore, in the basic depth model type 3 described above, the upper part is a flat surface (Z = 1000-901 = 99), the lower part is continuous from the flat surface, and the lower part is a cylindrical surface toward the front side. This is a model in which the plane and the lower part are cylindrical surfaces (the axis is the horizontal direction).
次に、図１の実施の形態の動作について図３のフローチャート等と共に説明する。まず、画像入力部１に擬似立体化を行う画像が入力される（ステップＳ１）。この画像は、通常の静止画若しくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像で、８ビットで量子化されている画像データである。また、この入力画像の画像サイズは、例えば、水平７２０画素、垂直４８６画素である。 Next, the operation of the embodiment of FIG. 1 will be described with reference to the flowchart of FIG. First, an image to be pseudo-three-dimensionalized is input to the image input unit 1 (step S1). This image is a normal still image or moving image, that is, non-stereoscopic image to which depth information is not given explicitly or implicitly like a stereo image, and is image data quantized with 8 bits. . The image size of the input image is, for example, horizontal 720 pixels and vertical 486 pixels.
上記の画像入力部１に入力された非立体画像の画像データは、上部の高域成分評価部２に供給され、ここで非立体画像の上部約２０％が水平８画素、垂直８画素のブロックに分割され、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて次式 The image data of the non-stereo image input to the image input unit 1 is supplied to the upper high-frequency component evaluation unit 2, where the upper 20% of the non-stereo image is a block of 8 horizontal pixels and 8 vertical pixels. And the luminance signal at the point (i, j) in each block is Y (i, j),
また、上記の高域成分評価と並行して、上記の画像入力部１に入力された非立体画像の画像データは、下部の高域成分評価部３にも供給され、ここで非立体画像の下部約２０％が水平８画素、垂直８画素のブロックに分割され、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて上記と同じ式による計算が行われ、この計算結果の値の上記画像下部約２０％のブロックについての平均が下部の高域成分評価値（”ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ”）とされる（ステップＳ３）。 In parallel with the high-frequency component evaluation, the image data of the non-stereo image input to the image input unit 1 is also supplied to the lower high-frequency component evaluation unit 3, where the non-stereo image About 20% of the lower part is divided into blocks of 8 horizontal pixels and 8 vertical pixels, and when the luminance signal at the point (i, j) in each block is Y (i, j), the same equation as above for each block The calculation is performed, and the average of the calculation result values for the block of about 20% in the lower part of the image is set as the lower high-frequency component evaluation value ("bottom activity") (step S3).
一方、フレームメモリ４には、球面（凹面）モデルである基本奥行きモデルタイプ１の半径をｒ、画像中心をｘ、ｙ座標の原点とした場合、次式により得られる奥行きＺの基本奥行きモデルタイプ１の画像が格納されている。 On the other hand, in the frame memory 4, when the radius of the basic depth model type 1 which is a spherical (concave) model is r and the image center is the origin of the x and y coordinates, the basic depth model type of the depth Z obtained by the following equation: One image is stored.
ｘ２＋ｙ２＋ｚ２＝ｒ２
におけるｚの値のことであり、１画素の一辺の長さを単位とし、ｘｙ平面に画像を置き、ｚ軸方向を奥行きと設定したときの値である。
Z is a value when the length of one side of one pixel is used as a unit, an image is placed on the xy plane, and the depth in the z-axis direction is set.
この基本奥行きモデルタイプ１の奥行き画像の一例を図４に示す。図４は通常の球状の凹面を示しており、このときの輝度は２５５−２×Ｚで表され、輝度が高いほど奥行きが浅いことを示す。図５に基本奥行きモデルタイプ１の立体構造を示す。この基本奥行きモデルタイプ１で凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。基本奥行きモデルタイプ１が使用されるシーン構成の一例として、図６のようなシーンが挙げられる。 An example of the depth image of the basic depth model type 1 is shown in FIG. FIG. 4 shows a normal spherical concave surface, and the luminance at this time is represented by 255-2 × Z, and the higher the luminance, the shallower the depth. FIG. 5 shows a three-dimensional structure of the basic depth model type 1. The reason for using a concave surface in this basic depth model type 1 is that, in a scene where no object is present, basically, the center of the screen is set to the farthest distance, so that a three-dimensional effect with less discomfort and a comfortable depth feeling can be obtained. Because. An example of a scene configuration in which the basic depth model type 1 is used is a scene as shown in FIG.
また、フレームメモリ５には、上部が円筒面（軸は垂直方向）で下部が凹面（球面）とした基本奥行きモデルタイプ２の次式により得られる奥行きＺの画像が格納されている。 Further, the frame memory 5 stores an image of depth Z obtained by the following equation of the basic depth model type 2 in which the upper part is a cylindrical surface (the axis is vertical) and the lower part is a concave surface (spherical surface).
この基本奥行きモデルタイプ２は、上部の高域成分評価値（ｔｏｐ ａｃｔｉｖｉｔｙ）が小さい場合に、画面上部に空若しくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプ２が使用されるシーン構成の一例として、図９のようなシーンがあげられる。 This basic depth model type 2 recognizes a scene with an empty or flat wall at the top of the screen when the top high component evaluation value (top activity) is small, and sets the depth at the top of the screen deeply. It is. An example of a scene configuration in which the basic depth model type 2 is used is a scene as shown in FIG.
更に、フレームメモリ６には、画像上部を平面（Ｚ＝１０００−９０１＝９９）、画像下部をその平面から連続し、画像の下に行くほど手前側に向かう円筒面状とした基本奥行きモデルタイプ３の次式により得られる奥行きＺの画像が格納されている。 Further, the frame memory 6 has a basic depth model type in which the upper part of the image is a plane (Z = 1000−901 = 99), the lower part of the image is continuous from the plane, and the cylindrical surface is directed toward the front as it goes below the image. An image having a depth Z obtained by the following equation (3) is stored.
この基本奥行きモデルタイプ３は下部の高域成分評価値（ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ）が小さい場合に、画面下部に平坦な地面若しくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きＺが小さくなるように設定したものである。基本奥行きモデルタイプ３が使用されるシーン構成の一例として、図１２のようなシーンが挙げられる。 This basic depth model type 3 recognizes a scene that spreads on the flat ground or water surface at the bottom of the screen when the bottom high-frequency component evaluation value (bottom activity) is small, and approximates the top of the screen as a distant view, and approximates the bottom of the screen Is set so that the depth Z decreases as it goes down. An example of a scene configuration in which the basic depth model type 3 is used is a scene as shown in FIG.
上記のフレームメモリ４、５及び６に格納されている３種類の基本奥行きモデルタイプ１、２、３の各奥行き画像は、入力画像の画像サイズによって奥行きＺが決定されている。上部の高域成分評価部２からの上部の高域成分評価値（ｔｏｐ ａｃｔｉｖｉｔｙ）と、下部の高域成分評価部３からの下部の高域成分評価値（ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ）の値に応じて合成比率８が決定され（ステップＳ４）、その合成比率８に応じて上記のフレームメモリ４、５及び６に格納されている３種類の基本奥行きモデルタイプ１、２、３の各奥行き画像が、図２に示したブロック図の構成の合成部７において合成される（ステップＳ５）。合成部７では、後述する手法により、各モデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定し、これらの比率による各モデルの線形和を出力する。 The depth Z of each of the three basic depth model types 1, 2, and 3 stored in the frame memories 4, 5, and 6 is determined according to the image size of the input image. The upper high-frequency component evaluation value (top activity) from the upper high-frequency component evaluation unit 2 and the lower high-frequency component evaluation value (bottom activity) from the lower high-frequency component evaluation unit 3 are combined. The ratio 8 is determined (step S4), and the depth images of the three basic depth model types 1, 2, and 3 stored in the frame memories 4, 5, and 6 according to the combination ratio 8 are shown in FIG. 2 is synthesized by the synthesizing unit 7 having the configuration of the block diagram shown in FIG. The synthesizing unit 7 determines a synthesis ratio k1, k2, k3 (where k1 + k2 + k3 = 1) of each model by a method described later, and outputs a linear sum of each model based on these ratios.
図１３はステップＳ５で決定される合成比率の決定条件の一例を示す。図１３は上部の高域成分評価値（ｔｏｐ ａｃｔｉｖｉｔｙ）を横軸、下部の高域成分評価値（ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ）を縦軸とし、予め指定された値ｔｐｓ，ｔｐｌ，ｂｍｓ，ｂｍｌとの兼ね合いにより基本奥行きモデルタイプが選択若しくは合成されることを示す。図１３において、複数の基本奥行きモデルタイプが記載されている部分については、高域成分評価値（ａｃｔｉｖｉｔｙ）に応じて線形に合成される。 FIG. 13 shows an example of the condition for determining the composition ratio determined in step S5. In FIG. 13, the upper high-frequency component evaluation value (top activity) is plotted on the horizontal axis and the lower high-frequency component evaluation value (bottom activity) is plotted on the vertical axis, depending on the balance with the previously specified values tps, tpl, bms, and bml. Indicates that the basic depth model type is selected or synthesized. In FIG. 13, a portion in which a plurality of basic depth model types are described is synthesized linearly according to the high-frequency component evaluation value (activity).
例えば、Ｔｙｐｅ１／２では（ｔｏｐ ａｃｔｉｖｉｔｙ−ｔｐｓ）：（ｔｐｌ−ｔｏｐ ａｃｔｉｖｉｔｙ）の比率で基本奥行きモデルタイプ１（Ｔｙｐｅ１）と基本奥行きモデルタイプ２（Ｔｙｐｅ２）の合成比率が決定する。すなわち、Ｔｙｐｅ１／２の合成比率は、基本奥行きモデルタイプ３（Ｔｙｐｅ３）は使用せず、
Type1：Type2：Type3＝(top activity−tps)：(tpl−top activity)：0
で合成比率が決定される。
For example, in Type 1/2, the composition ratio of basic depth model type 1 (Type 1) and basic depth model type 2 (Type 2) is determined at a ratio of (top activity-tps) :( tpl-top activity). That is, the composition ratio of Type 1/2 does not use basic depth model type 3 (Type 3),
Type1 ： Type2 ： Type3 ＝ (top activity−tps) ：( tpl−top activity) ： 0
To determine the composition ratio.
また、Ｔｙｐｅ２／３、Ｔｙｐｅ１／３については（ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ−ｂｍｓ）：（ｂｍｌ−ｂｏｔｔｏｍ ａｃｔｉｖｉｔｙ）の比率で基本奥行きモデルタイプ２と基本奥行きモデルタイプ３の合成比率が決定し、基本奥行きモデルタイプ１と基本奥行きモデルタイプ３の合成比率が決定する。すなわち、Ｔｙｐｅ２／３の合成比率は、基本奥行きモデルタイプ１（Ｔｙｐｅ１）は使用せず、
Type1：Type2：Type3＝0：(bottom activity−bms)：(bml−bottom activity)
で合成比率が決定され、Ｔｙｐｅ１／３の合成比率は、基本奥行きモデルタイプ２（Ｔｙｐｅ２）は使用せず、
Type1：Type2：Type3＝(bottom activity−bms)：0：(bml−bottom activity)
で合成比率が決定される。
For Type 2/3 and Type 1/3, the combination ratio of basic depth model type 2 and basic depth model type 3 is determined based on the ratio of (bottom activity-bms) :( bml-bottom activity), and basic depth model type 1 And the composition ratio of the basic depth model type 3 is determined. That is, the composition ratio of Type 2/3 does not use the basic depth model type 1 (Type 1),
Type1: Type2: Type3 = 0: (bottom activity-bms): (bml-bottom activity)
The composition ratio is determined by the above, and the composition ratio of Type 1/3 is not used for the basic depth model type 2 (Type 2),
Type1: Type2: Type3 = (bottom activity-bms): 0: (bml-bottom activity)
To determine the composition ratio.
更に、Ｔｙｐｅ１／２／３においては、Ｔｙｐｅ１／２，Ｔｙｐｅ１／３の合成比率の平均を採用しており、
Type1：Type2：Type3＝(top activity−tps)＋(bottom activity−bms)：(tpl−top activity)：(bml−bottom activity)
で合成比率が決定される。
Furthermore, in Type1 / 2/3, the average of the synthesis ratio of Type1 / 2, Type1 / 3 is adopted.
Type1: Type2: Type3 = (top activity-tps) + (bottom activity-bms): (tpl-top activity): (bml-bottom activity)
To determine the composition ratio.
なお、図２における合成比率ｋ１，ｋ２，ｋ３は、次式で表現される。 Note that the synthesis ratios k1, k2, and k3 in FIG. 2 are expressed by the following equations.
ｋ１＝Type1／(Type1＋Type2＋Type3)
ｋ２＝Type2／(Type1＋Type2＋Type3)
ｋ３＝Type3／(Type1＋Type2＋Type3)
このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定し、基本奥行きモデルタイプ１を基本にしながらも、画面上部の高域成分が少ない場合には上部に空若しくは平坦な壁が存在するシーンと認識して上部の奥行きを深くした基本奥行きモデルタイプ２の比率を増加させ、画面下部の高域成分が少ない場合は下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きモデルタイプ３の比率を増加させるといった処理を行うようにしたため、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うことが可能になる。
k1 = Type1 / (Type1 + Type2 + Type3)
k2 = Type2 / (Type1 + Type2 + Type3)
k3 = Type3 / (Type1 + Type2 + Type3)
As described above, in this embodiment, three types of basic depth models are prepared as the basic depth structure model of the scene, the high frequency component of the luminance signal of the base image is calculated for the upper part of the screen and the lower part of the screen, Ratio of basic depth model type 2 with the depth of the upper part recognized as a scene with an empty or flat wall in the upper part when the high-frequency component at the top of the screen is small, but based on the basic depth model type 1 If there is little high-frequency component at the bottom of the screen, it will be recognized as a scene where the flat ground or water surface spreads continuously in the lower part, and the upper part is approximated as a distant view, and the lower part becomes deeper as it goes down. Since the processing such as increasing the ratio of the basic depth model type 3 that decreases is not performed, it does not feel uncomfortable with any image It is possible to perform the determination of the near scene structure to reality as possible.
再び図１及び図３に戻って説明する。上記のように図１の合成器７において図３のステップＳ５で得られた合成基本奥行きモデルは加算器１０に供給され、ここで画像入力部１により入力された基になる非立体画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）９と重畳されて最終的な奥行き推定データ１１とされる（ステップＳ６）。ここでは原画のＲ信号の１／１０を重畳している。 Returning to FIG. 1 and FIG. As described above, the synthesized basic depth model obtained in step S5 in FIG. 3 in the synthesizer 7 in FIG. 1 is supplied to the adder 10, where the three primary colors of the base non-stereo image input by the image input unit 1 are used. Superimposed on the red signal (R signal) 9 of the signals (RGB signals) is used as final depth estimation data 11 (step S6). Here, 1/10 of the R signal of the original image is superimposed.
Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。 One of the reasons for using the R signal is that there is a high probability that it matches the unevenness of the subject in an environment where the magnitude of the R signal is close to the direct light and the brightness of the texture is not significantly different. By the law. Yet another reason is that red and warm colors are advanced colors in colorology, and the depth is perceived in front of the cold color system. Is possible.
基本奥行きモデル１の一例である図６のシーンの、手前に人物を配したサンプルである図１４に対して、Ｒ信号を重畳したときの奥行き推定データ１１の画像の例を図１５に示す。また図１６にその３次元構造を示す。図１５、図１６においてはＲ信号の比較的大きな人物や並木が一段前面に出たような形態になっている。 FIG. 15 shows an example of the image of the depth estimation data 11 when the R signal is superimposed on FIG. 14 which is a sample in which a person is placed in front of the scene of FIG. 6 which is an example of the basic depth model 1. FIG. 16 shows the three-dimensional structure. In FIGS. 15 and 16, a person or a tree with a relatively large R signal protrudes to the front.
他方、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。 On the other hand, red and warm colors are forward colors, while blue is a backward color, and the depth is recognized deeper than the warm color system. Therefore, it is possible to enhance the stereoscopic effect by arranging the blue portion in the back. Furthermore, it is also possible to enhance the stereoscopic effect by using both in combination and arranging the red part in front and the blue part in the back.
また、以上の奥行き推定データ１１を基に別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。 In addition, an image of another viewpoint can be generated based on the depth estimation data 11 described above. For example, when moving the viewpoint to the left, for objects that are displayed in front of the screen, the closer the object, the closer to the viewer (the nose side) the more visible, the amount of texture corresponding to the depth on the inside, that is, the right Just move. As for objects to be displayed at the back of the screen, the closer the object is to the outside of the viewer, the corresponding texture is moved to the left by an amount corresponding to the depth. A stereo pair is formed by using this as the left-eye image and the original image as the right-eye image.
ステレオペア生成のより具体的な手順を図１７に示す。ここでは、入力画像１５に対応する奥行き推定データ１６を８ビットの輝度値Ｙｄで表すものとする。テクスチャシフト部１７では、この輝度値Ｙｄについて小さい値、すなわち奥に位置するものから順に、その値に対応する部分の入力画像１５のテクスチャを（Ｙｄ−ｍ）／ｎ画素右にシフトする。ここで、ｍは画面上の奥行きに表示する奥行きデータであり、これより大きなＹｄに関しては画面より手前に、小さなＹｄに関しては奥に表示される。また、ｎは奥行き感を調整するパラメータであり、これらのパラメータの具体例として、ｍ＝２００、ｎ＝２０などが挙げられる。 A more specific procedure for generating a stereo pair is shown in FIG. Here, it is assumed that the depth estimation data 16 corresponding to the input image 15 is represented by an 8-bit luminance value Yd. The texture shift unit 17 shifts the texture of the portion of the input image 15 corresponding to the luminance value Yd to the right by (Yd−m) / n pixels in order from the smallest value, that is, the one located in the back. Here, m is depth data to be displayed at the depth on the screen. Yd larger than this is displayed in front of the screen and smaller Yd is displayed in the back. N is a parameter for adjusting the feeling of depth. Specific examples of these parameters include m = 200, n = 20, and the like.
シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部１８において、入力画像１５の対応部分で充填する、若しくは公知の文献（山田邦男、望月研二、相澤清晴、齋藤隆弘：”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Ｖｏｌ．５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５））に記載の手法で充填する。 There may be a portion where the texture does not exist, that is, occlusion due to a change in the positional relationship in the image due to the shift. For such a part, the occlusion compensation unit 18 fills in the corresponding part of the input image 15 or a known document (Kunio Yamada, Kenji Mochizuki, Kiyoharu Aizawa, Takahiro Saito: “Images divided by the region competition method” Occlusion compensation based on texture statistics ", Journal of the Institute of Image Information, Vol. 56, No. 5, pp. 863-866 (2002.5)).
オクルージョン補償部１８でオクルージョン補償された画像は、ポスト処理部１９において平滑化などの公知のポスト処理が施されることにより、それ以前の処理において発生したノイズなどが軽減されることによって左目画像２１として生成され、一方、入力画像１５を右目画像２０とすることによりステレオペアが構成される。これらの右目画像２０と左目画像２１とは、出力手段により出力される。 The image subjected to occlusion compensation by the occlusion compensation unit 18 is subjected to known post processing such as smoothing in the post processing unit 19 so that noise generated in the previous processing is reduced, thereby reducing the left eye image 21. On the other hand, a stereo pair is formed by using the input image 15 as the right eye image 20. These right eye image 20 and left eye image 21 are output by the output means.
図１８に以上の手順で生成されたステレオペアの一例を示す。但し、ここでは、左右の違いをわかりやすくするための強調がなされている。なお、上記について左右反転することで、左目画像が原画、右目画像が生成された別視点画像のステレオペアが構成される。 FIG. 18 shows an example of a stereo pair generated by the above procedure. However, here, emphasis is made to make the difference between left and right easier to understand. In addition, by left-right reversing the above, a stereo pair of different viewpoint images in which the left-eye image is the original image and the right-eye image is generated is configured.
なお、上記プロセスにおいて、右目画像を入力画像、他方を生成された別視点画像とするようなステレオペアを構成しているが、左目画像を入力画像、右目画像を生成された別視点画像としてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。更に、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成することも可能である。 In the above process, a stereo pair is formed in which the right eye image is the input image and the other is the different viewpoint image generated. However, the left eye image is the input image and the right eye image is the different viewpoint image generated. It is also possible to use another viewpoint image for both the left and right sides, that is, to form a stereo pair using another viewpoint image whose viewpoint is moved to the right and another viewpoint image whose viewpoint is moved to the left. Furthermore, when displaying on a display device capable of displaying two or more viewpoints, it is possible to generate as many different viewpoint images as the number of viewpoints.
上記の奥行き推定及びステレオペア生成法を組み合わせることにより、図１９のような本発明に係る２次元画像を立体視することを可能にする擬似立体画像生成・表示システムを構成することができる。同図中、図１及び図１７と同一構成部分には同一符号を付し、その説明を省略する。 By combining the above-described depth estimation and stereo pair generation method, a pseudo-stereoscopic image generation / display system that enables stereoscopic viewing of a two-dimensional image according to the present invention as shown in FIG. 19 can be configured. In the figure, the same components as those in FIGS. 1 and 17 are denoted by the same reference numerals, and the description thereof is omitted.
図１９に示す擬似立体画像表示システムは、図１に示した擬似立体画像生成装置３０で生成した擬似立体画像である奥行き推定データと、画像入力部１に入力された非立体画像とを図１７に示した構成のステレオペア生成装置４０のテクスチャシフト部１７に供給し、これによりステレオペア生成装置４０で生成されたステレオペア画像（右目画像２０及び左目画像２１）をステレオ表示装置５０に供給する構成である。 The pseudo-stereoscopic image display system shown in FIG. 19 shows depth estimation data, which is a pseudo-stereo image generated by the pseudo-stereoscopic image generation apparatus 30 shown in FIG. 1, and a non-stereo image input to the image input unit 1. Is supplied to the texture shift unit 17 of the stereo pair generating device 40 having the configuration shown in FIG. 6, and the stereo pair images (the right eye image 20 and the left eye image 21) generated by the stereo pair generating device 40 are supplied to the stereo display device 50. It is a configuration.
ここで、上記のステレオ表示装置５０とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。 Here, the stereo display device 50 includes a projection system using polarized glasses, a projection system or display system combining time-division display and liquid crystal shutter glasses, a lenticular stereo display, an anaglyph stereo display, a head mount. Includes a display. In particular, the projector system includes two projectors corresponding to each of the stereo images. In addition, as described above, a multi-view stereoscopic video display system using a display device capable of displaying two or more viewpoints can be constructed. Further, the present stereoscopic display system may be configured to be equipped with an audio output. In this case, for video content that does not have audio information such as a still image, a mode in which an environmental sound suitable for video is added can be considered.
このように、本実施の形態によれば、基本奥行きモデルの決定において、３種類の基本奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的に近い可能性が高いようにすることを目標としつつも、複雑なシーンの場合には、球面の基本モデルタイプ１が主体になるように、いわばフェイルセーフに配慮しながら、立体感を見る者に与えるようにし、得られたステレオペア（擬似立体画像）は、左目画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、１枚の画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。 As described above, according to the present embodiment, the basic depth model is determined based on the synthesis of three basic depth models, and based on experience knowledge, there is a high possibility that it is relatively close to the actual scene structure. However, in the case of complex scenes, the basic model type 1 of the sphere is the main subject, giving the viewer a three-dimensional effect while giving consideration to fail-safety. The stereo pair (pseudo-stereo image) has no noticeable failure with respect to the left-eye image, and there is no great sense of incongruity when viewed stereoscopically. Therefore, it is possible to construct a depth model according to the scene contents from a single image. Therefore, it is possible to generate a pseudo stereoscopic image with little discomfort based on this.
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像作成装置を構成する場合に限定されるものではなく、図３の手順を実行するコンピュータプログラムによるソフトウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。 Note that the present invention is not limited to the case where the pseudo-stereoscopic image creation apparatus having the configuration shown in FIG. 1 is configured by hardware, and the pseudo-stereoscopic image creation is performed by software using a computer program that executes the procedure shown in FIG. You can also. In this case, the computer program may be taken into the computer from a recording medium or may be taken into the computer via a network.
１ 画像入力部
２ 上部の高域成分評価部
３ 下部の高域成分評価部
フレームメモリ
７ 合成部
９ Ｒ信号
１０ 加算器
１１ 奥行き推定データ
１７ テクスチャシフト部
１８ オクルージョン補償部
１９ ポスト処理部
２０ 右目画像
２１ 左目画像
３０ 擬似立体画像生成装置
４０ ステレオペア生成装置
５０ ステレオ表示装置
７０ 合成比率決定部
７１、７２、７３ 乗算器
７４ 加算器
DESCRIPTION OF SYMBOLS 1 Image input part 2 Upper high frequency component evaluation part 3 Lower high frequency component evaluation part Frame memory 7 Synthesis | combination part 9 R signal 10 Adder 11 Depth estimation data 17 Texture shift part 18 Occlusion compensation part 19 Post processing part 20 Right eye image 21 left-eye image 30 pseudo-stereoscopic image generation device 40 stereo pair generation device 50 stereo display device 70 composition ratio determination unit 71, 72, 73 multiplier 74 adder
Claims (6)
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを発生する発生手段と、
供給される前記非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する算定手段と、
前記発生手段から発生した前記複数の基本奥行きモデルを、前記算定手段により算定された値に応じた合成比率で合成する合成手段と、
前記合成手段により合成された合成結果と、供給される前記非立体画像とから前記奥行き推定データを作成する作成手段と
を有することを特徴とする擬似立体画像作成装置。 Depth estimation data is created from a non-stereo image that is not given depth information either explicitly or implicitly as a stereo image, and a pseudo stereo image is created from the depth estimation data and the non-stereo image. A pseudo-stereoscopic image creation device,
Generating means for generating a plurality of basic depth models indicating depth values for each of a plurality of basic scene structures;
Calculating means for estimating a scene structure by calculating a statistic of a pixel value in a predetermined area in the screen of the supplied non-stereo image;
And combining means for combining said plurality of basic depth model generated from the generating means, a synthetic ratio corresponding to calculated values by said calculating means,
A pseudo-stereoscopic image creation apparatus comprising: creation means for creating the depth estimation data from the synthesis result synthesized by the synthesis means and the supplied non-stereoscopic image.
供給される前記非立体画像の、画面内の所定領域における画素値の統計量を算定して、シーン構造を推定する第１のステップと、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを、前記第１のステップにより算定された値に応じた合成比率で合成する第２のステップと、
前記第２のステップにより合成された合成結果と、供給される前記非立体画像とから前記奥行き推定データを作成する第３のステップと
を含むことを特徴とする擬似立体画像作成方法。 Depth estimation data is created from a non-stereo image that is not given depth information either explicitly or implicitly as a stereo image, and a pseudo stereo image is created from the depth estimation data and the non-stereo image. A pseudo-stereoscopic image creation method that includes:
A first step of estimating a scene structure by calculating a statistic of a pixel value in a predetermined area in the screen of the supplied non-stereo image;
A second step of combining a plurality of basic depth models indicating depth values for each of a plurality of basic scene structures at a combining ratio according to the value calculated in the first step;
A pseudo-stereoscopic image creation method, comprising: a third step of creating the depth estimation data from the synthesis result synthesized in the second step and the supplied non-stereoscopic image.
前記擬似立体画像作成装置に供給される前記非立体画像と、前記擬似立体画像作成装置から出力される前記奥行き推定データとに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うことによって別視点画像を生成する複数視点画像作成装置と、
前記複数視点画像作成装置で作成された前記別視点画像と前記非立体画像との一方を左目画像とし、他方を右目画像として表示するステレオ表示装置と
からなることを特徴とする擬似立体画像表示システム。 Depth estimation data is created from a non-stereo image that is not given depth information either explicitly or implicitly as a stereo image, and a pseudo stereo image is created from the depth estimation data and the non-stereo image. The pseudo-stereoscopic image creation device according to claim 1,
Based on the non-stereo image supplied to the pseudo-stereoscopic image creation device and the depth estimation data output from the pseudo-stereoscopic image creation device, texture shift of the non-stereo image is estimated for the corresponding portion. A multi-viewpoint image creation device for generating different viewpoint images by performing only an amount according to data;
A pseudo-stereoscopic image display system comprising: a stereo display device that displays one of the different viewpoint image and the non-stereoscopic image created by the multi-viewpoint image creating device as a left-eye image and the other as a right-eye image. .
前記擬似立体画像作成装置に供給される前記非立体画像と、前記擬似立体画像作成装置から出力される前記奥行き推定データとに基づいて、前記非立体画像のテクスチャのシフトを対応部分の前記奥行き推定データに応じた量だけ行うテクスチャシフト部と、
テクスチャの存在しない部分であるオクルージョンを、入力画像の対応部で充填するか又は分割された画像のテクスチャの統計量に基づきオクルージョン補償を行うオクルージョン補償部と、
オクルージョン補償部から出力された信号に対してポスト処理を行うポスト処理部と、
前記ポスト処理部から出力された画像信号を前記別視点画像である左目画像又は右目画像とし、前記擬似立体画像作成装置に供給される前記非立体画像を右目画像又は左目画像として出力する手段と
を有することを特徴とする請求項５記載の擬似立体画像表示システム。 The multi-viewpoint image creating device includes:
Based on the non-stereo image supplied to the pseudo-stereoscopic image creation device and the depth estimation data output from the pseudo-stereoscopic image creation device, texture shift of the non-stereo image is estimated for the corresponding portion. A texture shift unit for performing an amount corresponding to the data;
An occlusion compensator that performs occlusion compensation based on a texture statistic of an image that is filled or segmented with a corresponding portion of the input image, which is a non-textured portion;
A post processing unit that performs post processing on the signal output from the occlusion compensation unit;
Means for outputting the image signal output from the post-processing unit as a left-eye image or a right-eye image which is the different viewpoint image, and outputting the non-stereo image supplied to the pseudo-stereoscopic image creation device as a right-eye image or a left-eye image. 6. The pseudo-stereoscopic image display system according to claim 5, further comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004273040A JP4214976B2 (en) | 2003-09-24 | 2004-09-21 | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system |
| US11/176,200 US7262767B2 (en) | 2004-09-21 | 2005-07-08 | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003331030 | 2003-09-24 | ||
| JP2003362705 | 2003-10-23 | ||
| JP2004273040A JP4214976B2 (en) | 2003-09-24 | 2004-09-21 | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2005151534A JP2005151534A (en) | 2005-06-09 |
| JP2005151534A5 JP2005151534A5 (en) | 2008-03-06 |
| JP4214976B2 true JP4214976B2 (en) | 2009-01-28 |
Family
ID=34704849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004273040A Active JP4214976B2 (en) | 2003-09-24 | 2004-09-21 | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4214976B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087100A (en) * | 2009-10-15 | 2011-04-28 | Jvc Kenwood Holdings Inc | Pseudo-stereoscopic image generation device and pseudo-stereoscopic image display system |
| JP2012105019A (en) * | 2010-11-09 | 2012-05-31 | Toshiba Corp | Image processing device, method, and program thereof |
| JP2012142852A (en) * | 2011-01-05 | 2012-07-26 | Jvc Kenwood Corp | Pseudo stereoscopic image generation device, pseudo stereoscopic image generation program, and pseudo stereoscopic image display device |
| US8599198B2 (en) | 2009-10-02 | 2013-12-03 | Victor Company Of Japan, Ltd. | Pseudo 3D image creation apparatus and display system |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7262767B2 (en) | 2004-09-21 | 2007-08-28 | Victor Company Of Japan, Limited | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
| JP2007264722A (en) * | 2006-03-27 | 2007-10-11 | Victor Co Of Japan Ltd | Image processor |
| US8330801B2 (en) * | 2006-12-22 | 2012-12-11 | Qualcomm Incorporated | Complexity-adaptive 2D-to-3D video sequence conversion |
| US8131098B2 (en) | 2007-07-06 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit |
| US8463019B2 (en) | 2007-07-19 | 2013-06-11 | JVC Kenwood Corporation | Pseudo 3D image generation device, image encoding device, image encoding method, image transmission method, image decoding device, and image decoding method |
| JP4952657B2 (en) * | 2007-07-19 | 2012-06-13 | 株式会社Ｊｖｃケンウッド | Pseudo stereoscopic image generation apparatus, image encoding apparatus, image encoding method, image transmission method, image decoding apparatus, and image decoding method |
| JP5347717B2 (en) | 2008-08-06 | 2013-11-20 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP2010062695A (en) | 2008-09-02 | 2010-03-18 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP4636149B2 (en) | 2008-09-09 | 2011-02-23 | ソニー株式会社 | Image data analysis apparatus, image data analysis method, and program |
| EP2184713A1 (en) * | 2008-11-04 | 2010-05-12 | Koninklijke Philips Electronics N.V. | Method and device for generating a depth map |
| KR101506926B1 (en) | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | Method and appratus for estimating depth, and method and apparatus for converting 2d video to 3d video |
| KR101547151B1 (en) | 2008-12-26 | 2015-08-25 | 삼성전자주식회사 | Image processing method and apparatus |
| JP5521913B2 (en) | 2009-10-28 | 2014-06-18 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP5387377B2 (en) | 2009-12-14 | 2014-01-15 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP5347987B2 (en) * | 2010-01-20 | 2013-11-20 | 株式会社Ｊｖｃケンウッド | Video processing device |
| WO2011096252A1 (en) | 2010-02-02 | 2011-08-11 | コニカミノルタホールディングス株式会社 | Image processing system, image processing method, and program |
| JP5227993B2 (en) | 2010-03-31 | 2013-07-03 | 株式会社東芝 | Parallax image generation apparatus and method thereof |
| JP5304714B2 (en) * | 2010-04-09 | 2013-10-02 | 株式会社Ｊｖｃケンウッド | Pseudo stereoscopic image generation apparatus and camera |
| WO2011135857A1 (en) * | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | Image conversion device |
| JP5197683B2 (en) | 2010-06-30 | 2013-05-15 | 株式会社東芝 | Depth signal generation apparatus and method |
| WO2012014708A1 (en) * | 2010-07-26 | 2012-02-02 | 富士フイルム株式会社 | Image processing device, method and program |
| JP4937390B2 (en) * | 2010-08-24 | 2012-05-23 | 株式会社東芝 | 3D image display device and 3D image glasses |
| JP5304758B2 (en) * | 2010-09-08 | 2013-10-02 | 株式会社Ｊｖｃケンウッド | Multi-viewpoint image creation apparatus, multi-viewpoint image creation method, and multi-viewpoint image display system |
| JP2012120057A (en) | 2010-12-02 | 2012-06-21 | Sony Corp | Image processing device, image processing method, and program |
| JP2012138787A (en) * | 2010-12-27 | 2012-07-19 | Sony Corp | Image processor, image processing method, and program |
| JP5087684B2 (en) * | 2011-02-07 | 2012-12-05 | 株式会社東芝 | Image processing apparatus, image processing method, and image display apparatus |
| JP2013005259A (en) | 2011-06-17 | 2013-01-07 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP5708395B2 (en) * | 2011-09-16 | 2015-04-30 | 株式会社Ｊｖｃケンウッド | Video display device and video display method |
| JP5691965B2 (en) | 2011-09-22 | 2015-04-01 | 株式会社Ｊｖｃケンウッド | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program |
| JP5691966B2 (en) | 2011-09-22 | 2015-04-01 | 株式会社Ｊｖｃケンウッド | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program |
| US9471988B2 (en) * | 2011-11-02 | 2016-10-18 | Google Inc. | Depth-map generation for an input image using an example approximate depth-map associated with an example similar image |
| JP2013115668A (en) * | 2011-11-29 | 2013-06-10 | Sony Corp | Image processing apparatus, image processing method, and program |
| JP5720561B2 (en) * | 2011-12-26 | 2015-05-20 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| JP5899910B2 (en) * | 2011-12-26 | 2016-04-06 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| JP5692051B2 (en) | 2011-12-27 | 2015-04-01 | 株式会社Ｊｖｃケンウッド | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program |
| JP6024110B2 (en) | 2012-01-26 | 2016-11-09 | ソニー株式会社 | Image processing apparatus, image processing method, program, terminal device, and image processing system |
| JP5807571B2 (en) * | 2012-01-31 | 2015-11-10 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| JP5807570B2 (en) * | 2012-01-31 | 2015-11-10 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| JP5807569B2 (en) * | 2012-01-31 | 2015-11-10 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| JP5887966B2 (en) * | 2012-01-31 | 2016-03-16 | 株式会社Ｊｖｃケンウッド | Image processing apparatus, image processing method, and image processing program |
| JP5888140B2 (en) * | 2012-06-20 | 2016-03-16 | 株式会社Ｊｖｃケンウッド | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program |
| JP5780214B2 (en) * | 2012-06-27 | 2015-09-16 | 株式会社Ｊｖｃケンウッド | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device |
| JP6028427B2 (en) * | 2012-07-10 | 2016-11-16 | 株式会社Ｊｖｃケンウッド | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device |
| JP5928280B2 (en) * | 2012-09-28 | 2016-06-01 | 株式会社Ｊｖｃケンウッド | Multi-viewpoint image generation apparatus and method |
| JP5356590B1 (en) * | 2012-10-02 | 2013-12-04 | 株式会社東芝 | Image processing apparatus and method |
| US9098911B2 (en) * | 2012-11-01 | 2015-08-04 | Google Inc. | Depth map generation from a monoscopic image based on combined depth cues |
| JP2015041936A (en) * | 2013-08-23 | 2015-03-02 | ソニー株式会社 | Image display device, image processing apparatus and image processing method |
| KR102030830B1 (en) * | 2014-07-18 | 2019-10-10 | 삼성전자주식회사 | Curved multiview image display apparatus and control method thereof |
-
2004
- 2004-09-21 JP JP2004273040A patent/JP4214976B2/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8599198B2 (en) | 2009-10-02 | 2013-12-03 | Victor Company Of Japan, Ltd. | Pseudo 3D image creation apparatus and display system |
| JP2011087100A (en) * | 2009-10-15 | 2011-04-28 | Jvc Kenwood Holdings Inc | Pseudo-stereoscopic image generation device and pseudo-stereoscopic image display system |
| JP2012105019A (en) * | 2010-11-09 | 2012-05-31 | Toshiba Corp | Image processing device, method, and program thereof |
| JP2012142852A (en) * | 2011-01-05 | 2012-07-26 | Jvc Kenwood Corp | Pseudo stereoscopic image generation device, pseudo stereoscopic image generation program, and pseudo stereoscopic image display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005151534A (en) | 2005-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4214976B2 (en) | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system | |
| US7262767B2 (en) | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system | |
| JP5402483B2 (en) | Pseudo stereoscopic image creation device and pseudo stereoscopic image display system | |
| US8471898B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
| JP5402504B2 (en) | Pseudo stereoscopic image creation device and pseudo stereoscopic image display system | |
| JP4489610B2 (en) | Stereoscopic display device and method | |
| US20050253924A1 (en) | Method and apparatus for processing three-dimensional images | |
| JP2005295004A (en) | Stereoscopic image processing method and apparatus thereof | |
| KR20110090958A (en) | Generation of occlusion data for image properties | |
| WO2015196791A1 (en) | Binocular three-dimensional graphic rendering method and related system | |
| JP2007264722A (en) | Image processor | |
| JP4214529B2 (en) | Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program | |
| US9196080B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
| JP4214527B2 (en) | Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display system | |
| US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
| JP5692051B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
| KR102091860B1 (en) | Method and apparatus for image encoding | |
| JP4214528B2 (en) | Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display system | |
| JP5304758B2 (en) | Multi-viewpoint image creation apparatus, multi-viewpoint image creation method, and multi-viewpoint image display system | |
| JP2005229560A (en) | Three-dimensional image displaying method | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| JP4419139B2 (en) | Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program | |
| TWM529333U (en) | Embedded three-dimensional image system | |
| KR100272132B1 (en) | Method and apparatus for reconstruction of stereo scene using vrml | |
| KR100400209B1 (en) | Apparatus for generating three-dimensional moving pictures from tv signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4214976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |