JP2004200973A - Apparatus and method of inputting simple stereoscopic image, program, and recording medium - Google Patents

Apparatus and method of inputting simple stereoscopic image, program, and recording medium Download PDF

Info

Publication number
JP2004200973A
JP2004200973A JP2002366342A JP2002366342A JP2004200973A JP 2004200973 A JP2004200973 A JP 2004200973A JP 2002366342 A JP2002366342 A JP 2002366342A JP 2002366342 A JP2002366342 A JP 2002366342A JP 2004200973 A JP2004200973 A JP 2004200973A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
stereo image
plurality
images
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002366342A
Other languages
Japanese (ja)
Other versions
JP3990271B2 (en )
Inventor
Yasuo Ishigure
Kazuo Kimura
一夫 木村
康雄 石榑
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To solve the conventional problem that two cameras must be usually used to input a stereoscopic image, and the size and cost of the cameras cause a barrier against spreading this. <P>SOLUTION: A plurality of images are inputted into a photographing object under different illumination conditions. As the illumination conditions, "light up" and "no light" are set, and an image having a larger illuminance difference when computing the differential between images under each condition is determined to be close to illumination. Although a rough depth value is calculated at this time, this value is divided into a plurality of depth levels, parallax equivalent to a depth value is assigned to each level, and the parallax between respective levels is changed so that a photographing object in a scenery state can be recognized as one object in order to prevent a stereoscopic image from being perceived as a scenery. By performing interpolation processing using image information of a depth level farther than an adjacent depth level for the omission of data in a stereoscopic image generated due to the addition of parallax, information about shielding of an object can be faithfully reproduced, and a natural stereoscopic image can be generated. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、撮影対象に対する照明の有無または強度を変えて撮影した複数の画像からステレオ画像を生成する簡易ステレオ画像入力装置、方法、プログラム、および記録媒体に関する。 The present invention is simple stereo image input device for generating a stereo image from a plurality of images taken by changing the presence or intensity of the illumination for the imaging target, method, program, and a recording medium.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来、ステレオ画像表示装置用の自然画像入力装置としては、2台またはこれ以上のカメラを平行に、または若干の輻輳をつけて光軸が交差するように配置し、撮影した画像をそのまま左右眼用画像として表示装置に入力する方式が用いられてきた(非特許文献1参照)。 Conventionally, as a natural image input apparatus for the stereo image display apparatus, parallel two or more cameras, or arranged so that the optical axis intersects with a slight congestion, as the left and right eyes recorded images method of input to the display device as a use image have been used (see non-Patent Document 1). この方法は最も簡単な構成ではあるが、カメラを複数台用いる必要があるため、より高価となる。 This method is the most simple configuration, since it is necessary to use a plurality of cameras, become more expensive. また、携帯電話用途のように限られた大きさに複数台のカメラを配置することは、小型化の面で不利となる。 Also, arranging the plurality of cameras in limited size as mobile phone applications is disadvantageous in terms of downsizing.
【0003】 [0003]
また、1台のカメラで撮影した2次元「動」画像からステレオ画像を生成する方法も提案されている(特許文献1参照)。 A method of generating a stereo image from a two-dimensional "moving" images captured by a single camera has been proposed (see Patent Document 1). この方法は、左右眼用画像のうち片眼の画像は入力用の2次元動画像をそのまま入力し、もう片眼用の画像を入力用2次元動画像の動きベクトルの大きさによりフレームの遅延量を変化させて入力することにより立体視させる方式である。 This method is one eye image of the left and right eye images as inputs the two-dimensional moving image for the input, the delay of the frame according to the size of the motion vector of the input 2D video image for the other eye it is a method for stereoscopic vision by inputting varying amounts. この方法は、2次元動画像の動き情報を用いて、ステレオ画像の生成を行っているため、複数の物体が異なる方向に移動した場合には物体間の視差が逆転するため立体像が乱れる問題がある。 This method uses the motion information of the 2D video, because a generation of stereo images, the problem of stereoscopic image is disturbed because the parallax between objects is reversed in the case where a plurality of objects moves in different directions there is.
【0004】 [0004]
これに対し、2次元「静止」画像からステレオ画像を生成する方法も提案されている(特許文献2参照)。 In contrast, a method of generating a stereo image from a two-dimensional "still" images has been proposed (see Patent Document 2). この方法は、1枚の静止画像からステレオ画像を生成するため、距離に関する情報が不足し、生成されるステレオ画像の画質レベルが低い欠点がある。 The method for producing a stereo image from one still image, the distance information is insufficient regarding, quality level of the stereo image to be generated is low drawbacks.
【0005】 [0005]
【特許文献1】 [Patent Document 1]
特許第2594235号明細書(2次元映像を3次元映像に変換する方法及び3次元映像生成装置) Patent No. 2594235 (method for converting 2D images into 3D images and 3D image generating apparatus)
【特許文献2】 [Patent Document 2]
特許第3067097号明細書(三次元画像データ生成方法) Patent No. 3067097 (the three-dimensional image data generating method)
【非特許文献1】 Non-Patent Document 1]
泉武博監修、NHK放送技術研究所編、「3次元映像の基礎」、オーム社、1995年6月5日、pp. Takehiro Izumi supervision, NHK Broadcasting Technology Research Institute, ed., "Fundamentals of three-dimensional image", Ohm, Inc., June 5, 1995, pp. 71−73 71-73
【0006】 [0006]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
現在、カメラ付きの携帯電話やノート型PC、PDA等の開発が盛んになっている。 Currently, the camera-equipped mobile phones and notebook PC, the development of the PDA and the like have become popular. 通常、これらに取り付けられているカメラで撮影される画像は2次元情報のみであるが、距離情報の取得・生成も可能になれば、ステレオ画像表示など応用の幅が広がる。 Normally, an image captured by the camera attached thereto are only two-dimensional information, if the possible acquisition and generation of the distance information, the width of the application such as a stereo image display is widened. しかし、これまでステレオ画像を入力するためには、通常、2台のカメラを用いる必要があり大きさや価格の点が普及の障壁となっていた。 However, heretofore in order to enter the stereo image is typically the size and cost is necessary to use two cameras point has been a barrier to widespread use.
【0007】 [0007]
【課題を解決するための手段】 In order to solve the problems]
本発明は上記の課題を解決するために発明したものであり、小型で手軽にステレオ画像の生成を可能とする。 The present invention has invented to solve the above problems, allowing the generation of easily stereo image small.
【0008】 [0008]
本発明のステレオ画像入力装置は、複数の画像を記録する画像記録手段と、前記複数の画像における対応する画素の画素値の比較演算に基づいて撮影対象の奥行き値を算出する奥行き値算出手段と、前記奥行き値算出手段により得られた奥行き値を元にステレオ画像を生成するステレオ画像生成手段とを備える。 Stereo image input apparatus of the present invention, an image recording means for recording a plurality of images, and the depth value calculating means for calculating the depth value of the imaging target based on the comparison calculation of the pixel values ​​of the corresponding pixels in the plurality of images , and a stereoscopic image generating means for generating a stereo image based on the obtained depth value by said depth value calculating means.
【0009】 [0009]
本発明によるステレオ画像入力装置は次のように動作する。 Stereo image input apparatus according to the invention operates as follows. 撮影対象に対して異なる照明条件で複数画像を入力する。 Inputting a plurality of images under different lighting conditions for photographing a subject. この複数の画像を比較することにより奥行き値を算出する。 Calculating a depth value by comparing the plurality of images. 比較方法として例えば、照明条件として「照明あり」と「照明なし」を設定し、各条件下での画像の差分を取ったときに輝度差が大きいほど照明に近いとする。 As a comparison method for example, set to "Yes illumination" "no lighting" as an illumination condition, and close to the illumination larger the luminance difference when taking the difference of the image under each condition.
【0010】 [0010]
このとき算出される奥行き値は照明光のムラや撮影対象の反射特性により粗いものとなるが、これを複数の奥行きレベルに分割し、各レベルに奥行き値に相当する視差を割り当て、書き割りのように立体像が知覚されることを回避するため、各レベル間の視差を変更し書き割り状態の撮影対象を1つの物体として認識させるようにする。 In this case depth value calculated is becomes coarser by the reflection characteristic of the unevenness of the illumination light and imaging target, it is divided into a plurality of depth levels, assign the disparity corresponding to the depth value for each level, cardboard of to avoid that the stereoscopic image is perceived as, so as to recognize the shooting target by changing a parallax between each level cardboard state as one object.
【0011】 [0011]
さらに、視差を付加したことに起因して発生するステレオ画像中のデータの欠落を、隣接するより遠方の奥行きレベルの画像情報を用いて補間処理を行うことにより、物体の遮蔽に関する情報もより忠実に再現でき、より自然なステレオ画像生成が可能である。 Further, the missing data in the stereo image caused in the addition of a parallax, by performing interpolation processing using the image information of the remote depth levels than the adjacent even more faithful information about shielding object can be reproduced, it is possible to more natural stereo image produced.
【0012】 [0012]
この方法では、撮影装置が1台で済むため複数台用いる場合に比べ小型化が可能である。 In this way, it is possible to miniaturize compared with the case of using multiple for capturing apparatus requires only one. また、粗い精度での検出であっても、物体の大まかな距離情報を用いて視差を画像処理により変更し、ステレオ画像生成によるデータの欠落処理を行うことで、書き割りの知覚を回避し観察者により高い品質の立体画像を提示することが可能である。 Further, even in the detection of a coarse precision, and change the image processing parallax using the rough distance information of the object, by performing the lost data processing by the stereoscopic image generation, observed to avoid the perception of cardboard it is possible to provide a high quality of the stereoscopic image by person.
【0013】 [0013]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
図1は本発明の実施例の簡易ステレオ画像入力装置を示す。 Figure 1 shows a simple stereo image input apparatus according to an embodiment of the present invention. 簡易ステレオ画像入力装置は撮影対象を照明する照明装置1−2を備えたあるいは接続した撮影装置1−1に接続され、撮影対象の画像データと取り込み保持する画像記録装置1−3、照明の強弱が異なる撮影対象の複数の画像を比較することにより被写体の大まかな距離情報を求め、その結果から撮影対象のステレオ画像生成を行う演算装置1−4、上記各手段を制御するシステム制御装置1−5より構成される。 Simple stereo image input device is connected to the imaging device 1-1 has been or connected with the illumination apparatus 12 to illuminate the photographic subject, the image recording apparatus 1-3 to the image data and the capture holding to be imaged, the intensity of illumination It obtains rough distance information of the object by the comparing multiple images of different shooting target, resulting arithmetic unit 1-4 which performs a stereo imaging of the imaging target from the system control unit for controlling the above means 1 5 composed of.
【0014】 [0014]
次に、本発明の実施例の画像入力方法の概要を図2を用いて説明する。 Next, an overview of an image input method according to an embodiment of the present invention will be described with reference to FIG. (A)フラッシュありで撮影する。 (A) shooting in there flash. 顔画像(前景)は明るく撮影されるが、カメラからの距離が遠い背景領域はフラッシュの明かりが届かないので暗く撮影される。 Although face image (foreground) is photographed bright, the distance is far background area from the camera is dark shot does not reach the flash of lights. (B)同じ画像をフラッシュなしで撮影する。 (B) to photograph the same image without the flash. 顔画像(前景)も背景領域も暗く撮影される。 Face image (foreground) is also taken darker background area. (C)フラッシュありの画像とフラッシュなしの画像の濃淡値の引き算を行う。 (C) performing a subtraction of the gray value of the flash and no-flash images. 引き算の結果、明るさの差のある部分の映像が得られる。 Subtraction result is obtained images of part of the difference in brightness. 明るさの差が大きい部分が照明に近く、明るさの差の小さい部分が照明より遠いことから、前景と背景の大まかな距離情報を取得できる。 Near the portion difference in brightness is large illumination, since it is farther than the illumination small part of the difference in brightness can be obtained rough distance information of the foreground and background. (D)被写体の色・明るさの影響を吸収する為に2値化を行い2値化距離情報を得る。 (D) obtaining a binary distance information binarized to absorb the effects of the color and brightness of the subject. 図の黒は前景であり、白は背景である。 Black figure is the foreground, white is the background. (E)前記2値化距離情報を用いて、撮影した映像の顔画像(前景)を取得し、これに視差を割り当て、右眼用画像と左眼用画像を作成する。 (E) using the binary distance information to obtain a photographed image of the face image (foreground), this assignment of parallax, to create the right-eye and left-eye images. しかし、このままでは、顔画像が平ら(書き割り)に見えるので、(F)右目用および左目用の顔画像に丸みを持たせ、自然に見えるように加工する。 However, in this state, since the face image looks flat (cardboard), (F) rounded to the right eye and the face image for the left eye, processed to look natural. これにより、自然に見えるステレオ画像が得られる。 As a result, the stereo image is obtained that looks natural.
【0015】 [0015]
以下、簡易ステレオ画像入力装置の動作を図3に示す簡易ステレオ画像入力方法のフローチャートを用いて説明する。 It will be described below with reference to the flow chart of the simple stereo image input method showing the operation of a simple stereo image input device in FIG. ある撮影対象に対して簡便にステレオ画像を生成する場合、まず照明条件と撮影枚数kを入力する(ステップ3−1)。 When generating a conveniently stereo images for a shooting target, first enter the number of shots k and illumination condition (step 3-1). 照明条件および撮影枚数は予め決めておいても良い。 Lighting conditions and the number of shots may be determined in advance. 次に照明装置1−2を用いて撮影対象をj番目の照明条件で照明し、撮影装置1−1により撮影した画像を入力する(ステップ3−2)。 Then shooting subject using illumination apparatus 12 illuminates the j-th illumination condition, inputs an image photographed by the photographing device 1-1 (step 3-2). 照明条件は照明の強弱で決定され、撮影装置1−1からの照明信号(例えば撮影のシャッターに同期したパルス光)にあわせて照明を行う。 Illumination condition is determined by the intensity of the illumination, to illuminate in accordance with the (pulsed light synchronized with the shutter, for example shooting) illumination signal from the imaging device 1-1. j番目に入力された画像信号は画像記録装置1−3のフレームメモリjに画像データとして格納される(ステップ3−3)。 Image signal input to the j-th is stored as image data in a frame memory j of the image recording apparatus 1-3 (Step 3-3). ステップ3−2からステップ3−3までの処理を撮影枚数kに達するまで繰り返す(ステップ3−4、3−5)。 Repeating steps 3-2 until the processes of steps 3-3 reaches the number of shots k (step 3-4 and 3-5). 本実施例では撮影回数を2回(k=2)と想定しているので、画像記録手段1−3上のフレームメモリ(1−31、1−32)は2つであるが、撮影回数に応じてフレームメモリを増やしてもよい。 Since this embodiment assumes a number of shots twice with (k = 2), the frame memory on the image recording unit 1-3 (1-31,1-32) is, two, the number of times of photographing it may increase the frame memory in response. 画像の入力が終了すると、システム制御装置1−5の指令により撮影された画像データはフレームメモリから演算装置1−4の画像演算部1−41に転送される(ステップ3−6)。 When the input image is completed, the image data photographed by a command from the system controller 1-5 is transferred from the frame memory to the image computing unit 1-41 of the arithmetic unit 1-4 (step 3-6).
【0016】 [0016]
1−41の画像演算部では、複数画像を用いて適切な明るさの色情報(2次元画像)の出力を行う(3−7)。 The image computing unit of the 1-41, to output the color information of the appropriate brightness (two-dimensional image) by using a plurality of images (3-7). また、画像演算部1−41は照明条件の異なる複数の画像を比較し、複数画像間の明るさの差から大まかな距離情報を生成し、1−42のステレオ画像生成部に出力する(3−8)。 The image calculation unit 1-41 compares the plurality of images having different illumination conditions, generates rough distance information from the difference in brightness between plural images, and outputs the stereo image generating unit of the 1-42 (3 -8). 距離情報の計算には、画像の差分計算・除算・2値化・エッジ検出などを用いることができる。 The calculation of the distance information, such as an image difference calculation, dividing and binarization, edge detection can be used. また、色情報の合成処理としては、各画像のコントラストが最大になるように変換し最もコントラストが高いものを抽出する方法や、それらを適当な重み付けで合成する方法などがある。 Examples of the synthetic processing of the color information, and how the contrast of each image to extract a high conversion most contrast to maximize, and a method of synthesizing them in a suitable weighting. これらの処理の組合せをシステム制御装置1−5の命令により選択させても良い。 The combination of these processes may be selected by the instruction of the system controller 1-5.
【0017】 [0017]
図4は距離情報算出手順を示すフローチャートの例である。 Figure 4 is an example of a flowchart showing a distance information calculation procedure. ここでは奥行き値として前後2値の奥行きとする。 Here, the depth of the binary longitudinal as the depth value. 照明条件として「照明有り」「照明無し」の2つを設定し、撮影枚数は2枚とする。 Set the two "with illumination" "no lighting" as lighting conditions, number of pictures that can be taken with the two. このとき「照明有り」のときの画像データのi番目の画素の画素値をAi、「照明無し」のときの画像データのi番目の画素の画素値をBi、2値化後のデータをDiで表す。 In this case the pixel value of the i-th pixel of the image data when the "with illumination" Ai, the data of Bi, after binarizing the pixel values ​​of the i-th pixel of the image data when the "no illumination" Di represented by. 奥行き値を計算するとき、まず閾値n・画像サイズsを決定する(ステップ4−1)。 When computing depth value, first determines the threshold n · image size s (step 4-1). 閾値nは画像を2値に分けるときのパラメータで任意に決定が可能である。 Threshold n are possible arbitrarily determined by parameter when dividing the image into binary. また画像サイズsは入力する画像データの横方向画素サイズxと縦方向画素サイズyを掛け合わせた値とする。 The image size s is set to a value obtained by multiplying the lateral pixel size x and vertical pixel size y of the image data to be input. 次に画素値AiとBiの差分を取り、閾値n以上であればDiを1、そうでなければ0とする(ステップ4−2〜4−4)。 Then take the difference between the pixel values ​​Ai and Bi, 1 to Di equal to or greater than the threshold value n, and 0 otherwise (step 4-2 to 4-4). ステップ4−2〜4−4の処理を画像データの全画素分繰り返す(ステップ4−5〜4−6)。 The process of step 4-2 to 4-4 is repeated for all pixels of the image data (step 4-5~4-6). 2値化後のデータDiの値が1の画素は撮影装置の近くにあると判断し手前に、その他の画素は遠くにあると判断する。 The pixel value of 1 of the data Di of the binarized in front is determined to be near the photographing apparatus, and the other pixels is determined to be in the distance. またステップ4−2において、(Ai−Bi)/Biが、予め決められた割合より大きければDiを1、そうでなければ0としてもよい。 In step 4-2, (Ai-Bi) / Bi is 1 Di larger than a predetermined ratio may be 0 otherwise. また比較を行う複数の画像のデータがずれてしまう場合も、画素iの比較を行うときに近傍数画素の平均値をとることによって、ずれによる影響を軽減することが出来る他、動画対応も可能となる。 Also if the data of a plurality of image to be compared is shifted, by taking the average of neighboring pixel number when making a comparison of the pixel i, except that it is possible to reduce the influence due to the deviation, moving image support also to become.
【0018】 [0018]
図3のステップ3−9では、画像演算部1−41により得られた大まかな距離情報を用いて、ステレオ画像生成部1−42により、実際にステレオ画像として出力するための奥行き値を計算する。 At step 3-9 in FIG. 3, by using the rough distance information obtained by the image computing unit 1-41, the stereoscopic image generation unit 1-42, calculates a depth value for outputting actually as a stereo image . ここでは、まず、最終的に出力(表示)されるステレオ画像中の被写体の飛び出し量Lを指定し、この距離に観察されるように画像中の各画素の奥行きを決定する。 Here, first, finally output specifies the pop-out amount L of the subject in the stereo image (displayed), to determine the depth of each pixel in the image as observed in this distance. 具体的には、まず、距離情報を前景と背景の2種類に分割(2値化)した場合、前景の最大飛び出し量Lとする。 Specifically, first, when the distance information is divided into two kinds of foreground and background (binarization), and the foreground of the maximum projection amount L. しかし、このままでは前景が書き割りのように厚みのない物体として観察される。 However, in this state it is observed as an object without thick as split write the foreground. これを防止するため、図5に示すように、(A)に示された書き割り状態の右眼用画像と左眼用画像の各々について、(B)前景とされる物体の重心を計算し、(C)重心と前景内の各画素の距離を計算し、(D)前景領域のうちこの重心から離れた距離にある画素ほど遠景に設定するような処理を行う。 To prevent this, as shown in FIG. 5, for each of the right eye and left-eye images of cardboard state shown (A), the calculated center of gravity of the object to be (B) and the foreground , calculates the distance of each pixel in the (C) the center of gravity and the foreground, performs processing for setting the distant view more pixels at a distance away from the center of gravity of (D) the foreground area. この距離の決定方法は、遠景までの間を2次曲線で補間する方法、直線で補間する方法、重心を中心とした例えば30%の長さまでを最大飛び出し量Lとしそこから前景の境界までを2次曲面で補間する方法など、また、物体の厚みを任意に指定できるようにするなどが設定可能である。 Method of determining the distance, a method for interpolating between distant subjects in a quadratic curve, a method of interpolating a straight line, the centering of gravity the example of 30% to the length from there to the amount of maximum protrusion L to the foreground boundary and a method for interpolating a quadratic curved surface, also the like can be set to be arbitrarily designated the object thickness. (E)は表示画像である。 (E) is a display image.
【0019】 [0019]
また遠景については、図6に示すように、前景の物体より遠方に観察されるように、奥行き値を決定する。 Also for the distant view, as shown in FIG. 6, as observed from the foreground object in the distance, to determine the depth value. 具体的には、(A)に示す背景画像(左右眼)を、背景画像を画面の奥側に配置するのであれば、(B)に示すように、左眼用の画像ではより左方向に移動させ、右眼用の画像ではより右に移動させれば画面奥側に表示が可能である。 Specifically, the background image (right and left eyes) of (A), a long as placing the background image on the back side of the screen, (B), the more the left direction in the image for the left eye the moved, it is possible to display on the screen the back side is moved more to the right in the image for the right eye. 前景と背景の奥行き決定に関する処理は、以下に示す3−10の処理と同一の処理に含めて行うことも可能である。 Processing relating the depth determination of foreground and background, it is also possible to perform, including the same processes as 3-10 below.
【0020】 [0020]
図3のステップ3−9で設定した奥行き値を、ステップ3−10では画像上の視差情報に変換する。 A depth value set in step 3-9 of FIG. 3 is converted into parallax information on the image at step 3-10. 具体的には、ステップ3−9で指定した奥行きにステレオ画像を観察させるためには、両眼の間隔と画像中の1画素の大きさから三角測量の原理で計算される奥行き値と一致するように、ステレオ画像の視差を決定する。 More specifically, in order to observe a stereo image to the specified depth in the step 3-9, consistent with the depth value calculated in the principle of triangulation from the size of 1 pixel in the interval and the image of the binocular as described above, to determine the parallax of a stereo image.
【0021】 [0021]
ステップ3−10で決定した視差に基づき、ステップ3−11では実際にステレオ画像を生成する。 Based on the parallax determined in step 3-10, actually generating stereo image in step 3-11. 具体的には、図7に示すように、まず、(A)ステレオ画像(左右眼用画像)の元画像として、1−41で出力される2次元画像か、または1−31および1−32で出力される画像を用意する。 Specifically, as shown in FIG. 7, first, (A) as the original image of the stereo image (left eye image), or two-dimensional image outputted by 1-41 or 1-31 and 1-32 in providing an image to be output. 次に、(B)指定した視差量に応じて画面上で各画素に対応する視差量を左右眼用画像内で左右方向に移動させる。 Next, move to the right and left direction parallax amount corresponding to each pixel on the screen in accordance with the disparity amount specified (B) in the left and right eye images. 例えば、画像中のある1点が画面手前方向に視差dの奥行き情報を持っている場合、その画素値を右眼用にはd/2だけ画像の左方向に移動させて画像を生成し、左眼用にはd/2だけ画像の右方向に移動させて画像を生成する。 For example, if one point in the image has depth information of the parallax d in the screen front direction, is the pixel value for the right eye generates the image by moving to the left in d / 2 only the image, the left eye to generate an image by moving to the right of the d / 2 only the image. この際、視差が0のものについては、左右眼用画像にそのままコピーする。 At this time, for those parallax is 0, as it is copied to left and right eye images. この方法で、左右画像間の対応点が存在するデータについてはステレオ画像の生成が可能であるが、ここで生成される左右眼用画像には、画素値(色データ)が存在しない場合が発生する。 In this method, the data corresponding points between the left and right images are present can be generated in the stereo image, wherein the left and right eye images to be generated, occurs in the absence pixel value (color data) to. これを次のステップ3−12で処理する。 This is processed in the next step 3-12.
【0022】 [0022]
色データの存在しない画素については、図8(A)に示すように、その画素の左右方向で色データが欠落していない画素の視差が左右で比較してより遠方に対応するデータを、欠落した画素の色データとする方法で実現できる(例1)。 For nonexistent pixel color data, as shown in FIG. 8 (A), a data disparity of the pixels in the horizontal direction is not missing color data of the pixel corresponds to a more distant compared with right and left, missing It can be realized in a way to the pixel color data (example 1). この他、色データの存在しない領域を隣接するより遠方の視差を持つ領域の色データで置き換える方法なども可能である(例2)。 In addition, it is also possible a method to replace the color data of the area having a far disparity from adjacent a nonexistent region of the color data (Example 2). これにより、前景が背景を遮蔽する際に、前景と背景の左右方向の境界付近に発生する片眼のみに見える領域についても、背景領域の色データを用いて補間することで前景の遠方に存在しているという情報を与えられるため、ある程度自然なステレオ画像の生成が可能となる(図8(B))。 Thus, when the foreground is to shield the background, for the visible area only one eye that occurs in the vicinity of the left-right direction of the border of the foreground and background, present in the foreground of the distant by interpolation using the color data of the background area because given the information that is, it is possible to produce a somewhat natural stereo image (FIG. 8 (B)).
【0023】 [0023]
以上により、ステレオ画像の生成が可能である。 Thus, it is possible to generate a stereo image.
【0024】 [0024]
上記、ステレオ画像生成を行うためには、複数台のカメラを使用する必要がなく、また照明装置をカメラに隣接した位置に配置可能なため、従来の装置より小型化が可能であり、携帯端末等への搭載も可能となる。 Above, in order to perform the stereo image generation, it is not necessary to use a plurality of cameras, and because that can be located adjacent the illuminating device to the camera position can be miniaturized than the conventional device, the portable terminal installed it is possible to like.
【0025】 [0025]
本発明の装置はコンピュータプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。 The apparatus of the present invention can also be realized by a computer program, also record a program on a recording medium, it can be provided through a network.
【0026】 [0026]
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。 Although the invention made by the present inventors has been concretely described based on the embodiments, the present invention, the present invention is not limited to the embodiments, and various modifications are possible within a scope not departing from the gist thereof it is a matter of course.
【0027】 [0027]
【発明の効果】 【Effect of the invention】
以上述べたように本発明によれば以下に示すような効果が生じる。 According mentioned to the present invention the following effects occur more.
本発明の請求項1の発明によれば、撮影装置が1台のみと複数用いる必要がないため、従来のステレオ画像撮影装置に比べ、小型化が可能となる。 According to the invention of claim 1 of the present invention, since the imaging apparatus is not necessary to use more and only one, compared with the conventional stereo image photographing apparatus, can be miniaturized.
請求項2の発明によれば、単純な2値化処理の結果を大まかな2つの距離と設定することで、照明光のムラや撮影対象の反射特性に影響を受けにくい、また計算負荷が少ない高速な処理が可能となる。 According to the invention of claim 2, the results of the simple binarization processing by setting a broad two distances, less susceptible to the reflection characteristic of the unevenness or the imaging target of the illumination light and small calculation load high-speed processing is possible.
請求項3の発明によれば、複雑な計算処理をすることなく簡便に自然な奥行き知覚が得られるステレオ画像を生成することができる。 According to the invention of claim 3, it is possible to generate a stereo image obtained is conveniently natural depth perception without complicated calculation process.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の実施例の簡易ステレオ画像入力装置を示す図である。 1 is a diagram showing a simple stereo image input apparatus according to an embodiment of the present invention.
【図2】本発明の実施例の画像入力方法の概要を示す図である。 2 is a diagram showing an outline of an image input method according to an embodiment of the present invention.
【図3】簡易ステレオ画像入力方法のフローチャートの例を示す図である。 3 is a diagram showing an example of a flow chart of the simple stereo image input method.
【図4】大まかな距離情報算出手順を示すフローチャートの例を示す図である。 4 is a diagram showing an example of a flowchart showing a rough distance information calculation procedure.
【図5】書き割り回避処理を示す図である。 FIG. 5 is a diagram showing a cardboard avoidance process.
【図6】背景部の奥行き値決定方法を示す図である。 6 is a diagram showing a depth value determination method of the background portion.
【図7】ステレオ画像生成方法を示す図である。 7 is a diagram showing a stereoscopic image generating method.
【図8】ステレオ画像生成により生じる色データの欠落の補間方法を示す図である。 8 is a diagram showing a method of interpolating the missing color data generated by the stereoscopic image generating.
【符号の説明】 DESCRIPTION OF SYMBOLS
1−1…撮像装置、1−2…照明装置、1−3…画像記録装置、1−4…演算装置、1−5…システム制御装置、1−11…個体撮像素子、1−12…A/D変換部、1−31…フレームメモリ1、1−32…フレームメモリ2、1−41…画像演算部、1−42…ステレオ画像生成部、3−1〜3−12…簡易ステレオ画像入力手順の各ステップ、4−1〜4−5…大まかな距離情報算出手順の各ステップ。 1-1 ... imaging apparatus, 1-2 ... lighting device, 1-3 ... image recording apparatus, 1-4 ... arithmetic unit, 1-5 ... system controller, 1-11 ... solid-state imaging device, 1-12 ... A / D conversion unit, 1-31 ... frame memory 1,1-32 ... frame memory 2,1-41 ... image computing unit, 1-42 ... stereoscopic image generation unit, 3-1~3-12 ... simple stereo image input each step of the procedure, 4-1 to 4-5 ... each step in the rough distance information calculation procedure.

Claims (5)

  1. 撮影対象に対する照明の有無または強度を変えて撮影した複数の画像からステレオ画像を生成する装置であって、 An apparatus for generating a stereoscopic image from a plurality of images taken by changing the presence or intensity of the illumination for the imaging target,
    前記複数の画像を記録する画像記録手段と、 An image recording means for recording the plurality of images,
    前記複数の画像における対応する画素の画素値の比較演算に基づいて撮影対象の奥行き値を算出する奥行き値算出手段と、 A depth value calculating means for calculating the depth value of the imaging target based on the comparison calculation of the pixel values ​​of the corresponding pixels in the plurality of images,
    前記奥行き値算出手段により得られた奥行き値を元にステレオ画像を生成するステレオ画像生成手段とを備えることを特徴とする簡易ステレオ画像入力装置。 Simple stereo image input apparatus comprising: a stereo image generating means for generating a stereo image based on the obtained depth value by said depth value calculating means.
  2. 撮影対象に対する照明の有無または強度を変えて撮影した複数の画像からステレオ画像を生成する方法であって、 A plurality of images taken by changing the presence or intensity of the illumination for the imaging target A method of generating a stereo image,
    前記複数の画像を記録する画像記録過程と、 An image recording step of recording the plurality of images,
    前記複数の画像における対応する画素の画素値の比較演算に基づいて撮影対象の奥行き値を算出する奥行き値算出過程と、 A depth value calculating step of calculating a depth value of the imaging target based on the comparison calculation of the pixel values ​​of the corresponding pixels in the plurality of images,
    前記奥行き値算出手段により得られた奥行き値を元にステレオ画像を生成するステレオ画像生成過程とを備えることを特徴とする簡易ステレオ画像入力方法。 Simple stereo image input method characterized by comprising the stereoscopic image generating step of generating a stereo image based on the obtained depth value by said depth value calculating means.
  3. 請求項2に記載の簡易ステレオ画像入力方法であって、 A simple stereo image input method according to claim 2,
    照明装置の条件を変更した複数画像を撮影し、その画像演算により、撮影対象の距離情報を複数のレベルに切り分ける過程と、 Capturing a plurality images by changing the conditions of the lighting device, by the image calculation, a process to isolate the distance information to be imaged into a plurality of levels,
    前記複数のレベルの距離情報を実際に表示したい距離情報に変換する過程と、 A process of converting the actually displayed like distance information distance information of the plurality of levels,
    前記距離情報をステレオ画像の視差情報に変換する過程と、 A process of converting the distance information to the parallax information of the stereo image,
    前記視差情報に基づき、ステレオ画像を生成する過程と、 Based on the disparity information, and generating a stereo image,
    前記ステレオ画像生成により発生する、データの欠落を周辺の画像データを用いて補間する過程とを有することを特徴とする簡易ステレオ画像入力方法。 It said stereoscopic image generated by generating, simple stereo image input method characterized by having a step of interpolating using surrounding image data of the missing data.
  4. 請求項2ないし3のいずれかに記載の簡易ステレオ画像入力方法における過程をコンピュータに実行させるためのプログラムとしたことを特徴とする簡易ステレオ画像生成プログラム。 Claims 2 to simple stereoscopic image generating program which is characterized in that a program for executing a process in the simple stereo image input method according to the computer in any of the three.
  5. 請求項2ないし3のいずれかに記載の簡易ステレオ画像入力方法における過程をコンピュータに実行させるためのプログラムとし、前記プログラムを前記コンピュータで読み取り可能な記録媒体に記録したことを特徴とする簡易ステレオ画像生成プログラムを記録した記録媒体。 And claims 2 to program for executing a process in the simple stereo image input method according to the computer in any one of 3, simple stereo image, characterized by recording the program on the computer readable recording medium recording medium storing the generated program.
JP2002366342A 2002-12-18 2002-12-18 Simple stereo image input device, method, program, and recording medium Expired - Fee Related JP3990271B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002366342A JP3990271B2 (en) 2002-12-18 2002-12-18 Simple stereo image input device, method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002366342A JP3990271B2 (en) 2002-12-18 2002-12-18 Simple stereo image input device, method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004200973A true true JP2004200973A (en) 2004-07-15
JP3990271B2 JP3990271B2 (en) 2007-10-10

Family

ID=32763577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002366342A Expired - Fee Related JP3990271B2 (en) 2002-12-18 2002-12-18 Simple stereo image input device, method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP3990271B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010158009A (en) * 2008-12-26 2010-07-15 Samsung Electronics Co Ltd Video processing method and device therefor
WO2010140332A1 (en) * 2009-06-01 2010-12-09 パナソニック株式会社 Stereoscopic image display apparatus
JP2012029168A (en) * 2010-07-26 2012-02-09 Toshiba Corp Parallax image generation method and device
WO2012133117A1 (en) * 2011-03-25 2012-10-04 京セラ株式会社 Electronic apparatus
JP2012212984A (en) * 2011-03-30 2012-11-01 Nec Personal Computers Ltd Image processing device and image processing method
WO2013014710A1 (en) * 2011-07-27 2013-01-31 パナソニック株式会社 Stereoscopic image adjustment device
JP2013074585A (en) * 2011-09-29 2013-04-22 Jvc Kenwood Corp Stereoscopic image generation device and stereoscopic image generation method
WO2013080544A1 (en) * 2011-11-30 2013-06-06 パナソニック株式会社 Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
JPWO2011135857A1 (en) * 2010-04-28 2013-07-18 パナソニック株式会社 Image converter
KR101314101B1 (en) 2012-09-24 2013-10-04 위프코 주식회사 System for three-dimensional measurement and method therefor
JP2014512144A (en) * 2011-04-15 2014-05-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated Device and method for warp and filling between the view synthesis
JP5502211B2 (en) * 2011-01-17 2014-05-28 パナソニック株式会社 Three-dimensional image processing apparatus and a stereoscopic image processing method
JP2015520961A (en) * 2012-04-19 2015-07-23 トムソン ライセンシングThomson Licensing Method and apparatus for correcting the distortion error caused by modulating effect in the stereoscopic display
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US9210396B2 (en) 2011-03-31 2015-12-08 JVC Kenwood Corporation Stereoscopic image generation apparatus and stereoscopic image generation method

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010158009A (en) * 2008-12-26 2010-07-15 Samsung Electronics Co Ltd Video processing method and device therefor
US8767048B2 (en) 2008-12-26 2014-07-01 Samsung Electronics Co., Ltd. Image processing method and apparatus therefor
US8704881B2 (en) 2009-06-01 2014-04-22 Panasonic Corporation Stereoscopic image display apparatus
WO2010140332A1 (en) * 2009-06-01 2010-12-09 パナソニック株式会社 Stereoscopic image display apparatus
CN102124749A (en) * 2009-06-01 2011-07-13 松下电器产业株式会社 Stereoscopic image display apparatus
JP5308523B2 (en) * 2009-06-01 2013-10-09 パナソニック株式会社 Three-dimensional image display device
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JPWO2011135857A1 (en) * 2010-04-28 2013-07-18 パナソニック株式会社 Image converter
JP2012029168A (en) * 2010-07-26 2012-02-09 Toshiba Corp Parallax image generation method and device
JP5502211B2 (en) * 2011-01-17 2014-05-28 パナソニック株式会社 Three-dimensional image processing apparatus and a stereoscopic image processing method
US8750601B2 (en) 2011-01-17 2014-06-10 Panasonic Corporation Three-dimensional image processing device, and three-dimensional image processing method
US9462259B2 (en) 2011-03-25 2016-10-04 Kyocera Corporation Electronic device
WO2012133117A1 (en) * 2011-03-25 2012-10-04 京セラ株式会社 Electronic apparatus
JP2012205148A (en) * 2011-03-25 2012-10-22 Kyocera Corp Electronic apparatus
JP2012212984A (en) * 2011-03-30 2012-11-01 Nec Personal Computers Ltd Image processing device and image processing method
US9210396B2 (en) 2011-03-31 2015-12-08 JVC Kenwood Corporation Stereoscopic image generation apparatus and stereoscopic image generation method
JP2014512144A (en) * 2011-04-15 2014-05-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated Device and method for warp and filling between the view synthesis
WO2013014710A1 (en) * 2011-07-27 2013-01-31 パナソニック株式会社 Stereoscopic image adjustment device
JP2013074585A (en) * 2011-09-29 2013-04-22 Jvc Kenwood Corp Stereoscopic image generation device and stereoscopic image generation method
WO2013080544A1 (en) * 2011-11-30 2013-06-06 パナソニック株式会社 Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
US9602797B2 (en) 2011-11-30 2017-03-21 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic image processing apparatus, stereoscopic image processing method, and stereoscopic image processing program
JP5307953B1 (en) * 2011-11-30 2013-10-02 パナソニック株式会社 Three-dimensional image processing apparatus, stereoscopic image processing method, and a three-dimensional image processing program
US10110872B2 (en) 2012-04-19 2018-10-23 Interdigital Madison Patent Holdings Method and device for correcting distortion errors due to accommodation effect in stereoscopic display
JP2015520961A (en) * 2012-04-19 2015-07-23 トムソン ライセンシングThomson Licensing Method and apparatus for correcting the distortion error caused by modulating effect in the stereoscopic display
KR101314101B1 (en) 2012-09-24 2013-10-04 위프코 주식회사 System for three-dimensional measurement and method therefor

Also Published As

Publication number Publication date Type
JP3990271B2 (en) 2007-10-10 grant

Similar Documents

Publication Publication Date Title
Wenger et al. Performance relighting and reflectance transformation with time-multiplexed illumination
Moreno-Noguer et al. Active refocusing of images and videos
US7551770B2 (en) Image conversion and encoding techniques for displaying stereoscopic 3D images
US20070263119A1 (en) Object matting using flash and no-flash images
US20140267243A1 (en) Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies
US20100103194A1 (en) Method and system for fusing images
US20080247670A1 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US20080150945A1 (en) Complexity-adaptive 2d-to-3d video sequence conversion
US20110025825A1 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20120162379A1 (en) Primary and auxiliary image capture devcies for image processing and related methods
US8212889B2 (en) Method for activating a function, namely an alteration of sharpness, using a colour digital image
US20110012998A1 (en) Imaging device, imaging method and recording medium
US20110157321A1 (en) Imaging device, 3d modeling data creation method, and computer-readable recording medium storing programs
US20110018972A1 (en) Stereoscopic imaging apparatus and stereoscopic imaging method
US20120162366A1 (en) 3D Cameras for HDR
US20110292045A1 (en) Three-dimensional image output device and three-dimensional image output method
US20110074928A1 (en) Image processing apparatus, camera, and image processing method
US20110025830A1 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US20130242057A1 (en) Methods and devices for producing an enhanced image
JP2004021388A (en) Image processor and photographing system equipped therewith
JP2009124308A (en) Multi-viewpoint image creating system and multi-viewpoint image creating method
JP2003187261A (en) Device and method for generating three-dimensional image, three-dimensional image processing apparatus, three-dimensional image photographing display system, three-dimensional image processing method and storage medium
WO2012086120A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
US20100118122A1 (en) Method and apparatus for combining range information with an optical image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees