JP2005341569A - Method for generating stylized image of scene including object - Google Patents

Method for generating stylized image of scene including object Download PDF

Info

Publication number
JP2005341569A
JP2005341569A JP2005143803A JP2005143803A JP2005341569A JP 2005341569 A JP2005341569 A JP 2005341569A JP 2005143803 A JP2005143803 A JP 2005143803A JP 2005143803 A JP2005143803 A JP 2005143803A JP 2005341569 A JP2005341569 A JP 2005341569A
Authority
JP
Japan
Prior art keywords
image
method
edges
depth
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005143803A
Other languages
Japanese (ja)
Other versions
JP4610411B2 (en
Inventor
Ramesh Raskar
ラメッシュ・ラスカー
Original Assignee
Mitsubishi Electric Research Laboratories Inc
ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US10/847,068 priority Critical patent/US7738725B2/en
Application filed by Mitsubishi Electric Research Laboratories Inc, ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2005341569A publication Critical patent/JP2005341569A/en
Application granted granted Critical
Publication of JP4610411B2 publication Critical patent/JP4610411B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for generating a stylized image of a scene including an object. <P>SOLUTION: A set of n input images are acquired of the scene with a camera. Each one of the n input images is illuminated by one of a set of n light sources mounted on a body of the camera at different positions from a center of projection of a lens of the camera. Ambient lighting can be used to illuminate one image. Features in the set of n input images are detected. The features include depth edges, intensity edges, and texture edges to determine qualitative depth relationships between the depth edges, the intensity edges and the texture edges. The set of n input images are then combined in an output image to enhance the detected features according to the qualitative relationships. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、包括的にはノンフォトリアリスティック画像をレンダリングすることに関し、特に、自然のシーンおよび物体から取得した画像からノンフォトリアリスティック画像を生成することに関する。 The present invention relates generally to rendering the non-photorealistic images, in particular, it relates to generating a photorealistic image from an image obtained from natural scenes and objects.

本発明の目的は、実世界のシーンおよび物体から取得された画像から様式化された画像を生成することである。 An object of the present invention is to produce a stylized image from the acquired image from the real world scene and the object. 様式化された画像は、描写される物体の形状について見る者の理解を深めることができる。 Stylized image can better understand the viewer the shape of the object to be depicted. ノンフォトリアリスティックレンダリング(NPR)技法は、物体の形状の輪郭を描き、移動部分を強調して動作を示し、影およびテクスチャの細部といったビジュアルクラッタ(visual clutter)を低減することを目的としている。 Photorealistic rendering (NPR) technique, outlines of the object shape, shows an enhancement to the operation of the moving parts, are intended to reduce the visual clutter such details shadows and texture (visual clutter). 様式化された画像は、機械部品、植物または内視鏡等の検査を受けている患者の体内のような低コントラストで幾何学的に複雑なシーンをレンダリングするために有用である。 Stylized image are useful to render the mechanical parts, geometrically complex scenes with low contrast, such as in the body of a patient undergoing examination, such as a plant or an endoscope.

シーンの豊かな3D幾何モデルが入手可能である場合、単純なシーンの視点に依存する輪郭の部分集合をレンダリングすることは比較的良く理解されている作業である(Saito等著「Comprehensible Rendering of 3-D Shapes」(Proceedings of SIGGRAPH'90, 1990)、およびMarkosian等著「Real-Time Non-photorealistic Rendering」(Proceedings of SIGGRAPH'97, pp. 415-420, 1997))。 If rich 3D geometric model of the scene is available, it is work that are relatively well understood that renders a subset of the contour which depends on a simple scene perspectives (Saito et al., "Comprehensible Rendering of 3 -D Shapes "(Proceedings of SIGGRAPH'90, 1990), and Markosian et al.," Real-Time Non-photorealistic Rendering "(Proceedings of SIGGRAPH'97, pp. 415-420, 1997)). しかしながら、この手法を実世界のシーン、たとえば花を咲かせた植物に、最初にその植物の3Dモデルを生成することによって拡張することは、ほぼ不可能ではないにしろ困難である。 However, this approach real-world scene, in the plant, for example, the bloom, the first to be extended by generating a 3D model of the plant, it is difficult if not almost impossible.

3Dシーンの幾何の取得を迂回することが望ましい。 It is desirable to bypass the geometry of acquisition of the 3D scene. その代わりに、目的は、カメラによって取得された画像から実世界のシーンの様式化された画像を直接生成することである。 Instead, the purpose is to produce a stylized image of the real world scene from the image acquired by the camera directly.

従来技術において、利用可能な技法の大半は、単一の画像を処理して様式化された画像を生成する。 In the prior art, the majority of the available techniques to produce a stylized image by processing a single image. 通常、画像の分割、エッジの検出および色の割り当てといった形態学的な動作が適用される。 Usually, image segmentation, morphological operations such detection and color assignment edge is applied. 技法の中には、様式化された描写を目的とするものも(DeCarlo等著「Stylization and Abstraction of Photographs」(Proc. Siggraph 02, ACM Press, 2002)、およびHertzmann著「Painterly Rendering with Curved Brush Strokes of Multiple Sizes」(ACM SIGGRAPH, pp. 453-460, 1998)を参照されたい)、判読性を高めるものもある。 Some of the techniques, intended to depict stylized also (DeCarlo et al., "Stylization and Abstraction of Photographs" (Proc. Siggraph 02, ACM Press, 2002), and Hertzmann al., "Painterly Rendering with Curved Brush Strokes of Multiple Sizes "(ACM SIGGRAPH, pp. 453-460, 1998) see), and some enhance the readability.

ロトスコーピングといった様式化されたレンダリングのための対話型の技法も知られている。 Interactive techniques for rotoscoping, such as stylized rendering are also known. しかしながら、綿密な手動操作を必要とせずに、様式化された画像を生成する過程を自動化することが望ましい。 However, without requiring meticulous manual operations, it is desirable to automate the process of generating a stylized image.

航空写真において、シーン内の影は、平坦な地面および均一なアルベドを仮定して単一の輝度画像を閾値処理することによって特定されて、地形および建物の高さを推測する(Huertas等著「Detecting buildings in aerial images」(Computer Vision, Graphics and Image Processing 41, 2, pp. 131-152, 1998)、Irvin等著「Methods for exploiting the relationship between buildings and their shadows in aerial imagery」(IEEE Transactions on Systems, Man and Cybernetics 19, 6, pp. 1564-1575, 1989)、およびLin等著「Building detection and description from a single intensity image」(Computer Vision and Image Understanding: CVIU 72, 2, pp. 101-121, 1998)を参照されたい)。 In aerial photograph, the shadow in the scene, are identified by thresholding a single intensity image assuming flat ground and uniform albedo, guess the height of the terrain and buildings (Huertas et al., " Detecting buildings in aerial images "(Computer Vision, Graphics and Image Processing 41, 2, pp. 131-152, 1998), Irvin et al.," Methods for exploiting the relationship between buildings and their shadows in aerial imagery "(IEEE Transactions on Systems , Man and Cybernetics 19, 6, pp 1564-1575, 1989), and Lin et al., "Building detection and description from a single intensity image" (Computer Vision and Image Understanding:.. CVIU 72, 2, pp 101-121, 1998), which is incorporated herein by reference).

技法の中には、影抽出技法を用いて影の取り込みを改善するものもあり、それによって、影マット(shadow mattes)を求めるか(Chuang等著「Shadow matting and compositing」(ACM Trans. Graph. 22, 3, pp. 494-500, 2003))、あるいは影を全て除去してシーンの分割を改善する(Toyama等著「Wallflower: Principles and Practice of Background Maintenance」(ICCV, pp. 255-261, 1999))。 Some of the techniques, there is also intended to improve the shadow of incorporation using the shadow extraction techniques, thereby, or seek the shade mat (shadow mattes) (Chuang et al., "Shadow matting and compositing" (ACM Trans. Graph. . 22, 3, pp 494-500, 2003)), or to all of the shadow removal to improve the division of the scene (Toyama et al., "Wallflower: Principles and Practice of Background Maintenance" (ICCV, pp 255-261, 1999)). 固有の(intrinsic)画像を用いて、他の技法は、影をはっきりと検出せずに影を除去する(Weiss著「Deriving intrinsic images from image sequences」(Proceedings of ICCV, vol. 2, pp. 68-75, 2001))。 By using the specific (intrinsic) image, the other techniques, to remove the shadow without clearly detected the shadow (Weiss et al., "Deriving intrinsic images from image sequences" (Proceedings of ICCV, vol. 2, pp. 68 -75, 2001)).

受動的および能動的な照明を用いるステレオ技法は通常、深度エッジを検出するのではなく、深度値または表面の向きを求めるように設計される。 Stereo techniques using passive and active illumination is usually not detect depth edges are designed to determine the orientation of the depth values ​​or surface. 深度エッジまたは不連続性は、照合過程を混乱させる部分遮蔽に起因して、従来のステレオ技法に問題を生じる(Geiger等著「Occlusions and binocular stereo」(European Conference on Computer Vision, pp. 425-433, 1992))。 Depth edges or discontinuities, due to confuse partial occlusion collation process, causing problems to the traditional stereo techniques (Geiger et al., "Occlusions and binocular stereo" (European Conference on Computer Vision, pp. 425-433 , 1992)).

技法の中には、不連続点および遮蔽を直接モデル化しようとするものもある(Intille等著「Disparity-space images and large occlusion stereo」(ECCV (2), pp. 179-186, 1994)、Birchfield等著「Depth discontinuities by pixel-to-pixel stereo」(International Journal of Computer Vision 35, 3, pp. 269-293, 1999)、およびScharstein等著「A taxonomy and evaluation of dense two-frame stereo correspondence algorithms」(International Journal of Computer Vision, vol. 47(1), pp. 7-42, 2002))。 Some of the technique, there is also intended to directly model the discontinuity point and shielding (Intille et al., "Disparity-space images and large occlusion stereo" (ECCV (2), pp. 179-186, 1994), Birchfield et al., "Depth discontinuities by pixel-to-pixel stereo" (International Journal of Computer Vision 35, 3, pp. 269-293, 1999), and Scharstein et al., "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms "(International Journal of Computer Vision, vol. 47 (1), pp. 7-42, 2002)).

通常より良好な結果を生じる能動的な照明方法が深度の抽出、影からの形状、影−時間ステレオ、および照度差ステレオに用いられている。 Extracting active illumination Method of producing better results normally depth, the shape of the shadow, the shadow - used time stereo, and photometric stereo. 残念ながら、これらの方法は深度の不連続点の周囲において不安定である(Sato等著「Stability issues in recovering illumination distribution from brightness in shadows」(IEEE Conf. on CVPR, pp. 400-407, 2001))。 Unfortunately, these methods are unstable in the periphery of the discontinuity point of depth (Sato et al., "Stability issues in recovering illumination distribution from brightness in shadows" (IEEE Conf. On CVPR, pp. 400-407, 2001) ).

或る技法は、多種多様な照明下で取得された画像内の検出された輝度エッジに対して論理演算を行い、形状の境界を保存する(Shirai等著「Extraction of the line drawing of 3-dimensional objects by sequential illumination from several directions」(Pattern Recognition, 4, 4, pp. 345-351, 1972))。 Some techniques, performs logical operations on the detected intensity edges in the acquired under a wide variety of lighting image and storing the boundary of shape (Shirai et al., "Extraction of the line drawing of 3-dimensional objects by sequential illumination from several directions "(Pattern Recognition, 4, 4, pp. 345-351, 1972)). この技法はまた、均一なアルベドシーンに制限されている。 This technique is also limited to a uniform albedo scene.

照度差ステレオ技法を用いた場合、輝度統計を解析して、遮蔽輪郭における曲率の高い領域または折り目(folds)を検出することが可能である(Huggins等著「Finding Folds: On the Appearance and Identification of Occlusion」(IEEE Conf. on Computer Vision and Pattern Recognition, IEEE Computer Society, vol. 2, pp 718-725, 2001))。 When using photometric stereo technique, analyzes the luminance statistics, it is possible to detect the high areas or folds curvature (folds) in blocking contour (Huggins et al., "Finding Folds: On the Appearance and Identification of Occlusion "(IEEE Conf. on Computer Vision and Pattern Recognition, IEEE Computer Society, vol. 2, pp 718-725, 2001)). この技法は、遮蔽輪郭付近の領域を検出するが、輪郭そのものは検出しない。 This technique is to detect a region near the shield contour, the contour itself is not detected. この技法は、表面の部分が局所的に滑らかであるものと仮定する。 This technique, portions of the surface it is assumed that locally smooth. したがって、この技法は、一枚の(a leaf or piece of)紙といった平坦な前景物体、または立方体の角のような視点に依存しないエッジの場合に失敗する。 Thus, this technique fails in the case of independent edges on one (a leaf or piece of) flat foreground object, such as paper or perspective such as a corner cube.

影または暗部から形状を求める技法は移動する光源から連続的な表現、たとえば射影を構築する。 Techniques from the shadows or dark part determining the shape continuous representation from the light source to move, for example, to construct a projection. 連続的な深度の推定は射影から可能である(Raviv等著「Reconstruction of three-dimensional surfaces from two-dimensional binary images」(IEEE Transactions on Robotics and Automation, vol. 5(5), pp. 701-710, 1989)、Langer等著「Space occupancy using multiple shadowimages」(International Conference on Intelligent Robots and Systems, pp. 390-396, 1995)、およびDaum等著「On 3-D surface reconstruction using shape from shadows」(CVPR, pp. 461-468, 1998))。 Estimation of continuous depth can be from the projection (Raviv et al., "Reconstruction of three-dimensional surfaces from two-dimensional binary images" (IEEE Transactions on Robotics and Automation, vol. 5 (5), pp. 701-710 , 1989), Langer et al., "Space occupancy using multiple shadowimages" (International Conference on Intelligent Robots and Systems, pp. 390-396, 1995), and Daum et al., "On 3-D surface reconstruction using shape from shadows" (CVPR , pp. 461-468, 1998)). この技法は、影の開始および終了の正確な検出を必要とする。 This technique requires the accurate detection of the shadow of the start and end. これにより、連続的な高さを推定することは困難になる。 Thus, it becomes difficult to estimate the continuous height.

影を基にする形状の解析方法の概説が、Yang著「Shape from Darkness Under Error」(PhD thesis, Columbia University, 1996)、Kriegman等著「What shadows reveal about object structure」(Journal of the Optical Society of America, pp. 1804-1813, 2001)、およびSavarese等著「Shadow Carving」(Proc. of the Int. Conf. on Computer Vision, 2001)によって記載されている。 A review of the shape methods of analysis on which to base a shadow, Yang et al., "Shape from Darkness Under Error" (PhD thesis, Columbia University, 1996), Kriegman et al., "What shadows reveal about object structure" (Journal of the Optical Society of America, pp. 1804-1813, 2001), and Savarese et al., "Shadow Carving" (Proc. of the Int. Conf. has been described by on Computer Vision, 2001).

既知の能動的な照明に共通する制限は、推定されたまたは既知の3D光位置から画像の有効な影付けおよび影の変化を得るためには、光源が物体を取り囲む必要があることである。 Common to limit the known active illumination, from the estimated or known 3D-position in order to obtain a change in the effective shading and shadow image, the light source is that it is necessary to surround the object. これは、これらの技法のスタジオまたは工業用の環境への応用を制限する固定されたライティングリグ(lighting rig)を必要とする。 This requires a fixed lighting rig to limit the application to these techniques of studio or industrial environment (lighting rig).

深度エッジは多くの技法に固有の滑らかさの仮定に背く場合が多いため、深度および3D方面形状を求めるための既知の方法と相補的な方法で画像から深度エッジを抽出することが望ましい。 Since in many cases the depth edges to disobey assumptions inherent smoothness many techniques, it is desirable to extract the known method as depth edges from an image in a complementary manner for determining the depth and 3D surface shape.

深度の不連続点の場所を確実に検出し、入力として供給することができれば、多くの3D表面再構成過程の性能を著しく高めることができる。 The location of discontinuities depth reliably detected, if it is possible to supply as an input, can significantly enhance the performance of many 3D surface reconstruction process.

対応問題を解いたり、移動する光を用いて画素の輝度統計を解析したりすることなく深度エッジを検出することが望ましい。 Or solve the correspondence problem, it is desirable to detect the depth edges without or analyzing the luminance statistics of a pixel using a moving light. さらに、面法線が急激に変化する複雑な実世界のシーン(たとえば鉢植えの植物)、または深度の複雑度が高い、あるいは輝度の変化が小さいシーン(たとえば車のエンジンまたは検診を受けている人間の骨)からNPR画像を生成できることが望ましい。 Furthermore, human surface normals undergoing rapid changes complex real world scene (e.g. potted plants), or high complexity of depth, or a change is small scene (e.g. a car engine or screening of luminance it is desirable that the bone) can be generated NPR image.

本発明は、3Dモデルを再構成することなく実世界のシーンおよび物体の形状特徴を正確に取り込んで伝えるノンフォトリアリスティックレンダリング(NPR)のためのシステムおよび方法を提供する。 The present invention provides a system and method for non-photorealistic rendering (NPR) to convey capture accurately the shape features of the real world scene and the object, without the need to reconfigure the 3D model.

本発明は、複数の光源、たとえばカメラ本体のレンズの周囲に位置付けられて、異なる角度からシーン内の深度の不連続点に沿って影を投じるフラッシュユニットを有するカメラを用いる。 The present invention includes a plurality of light sources, for example, positioned around the camera body of a lens, using a camera with a flash unit to cast shadows along the discontinuity depth in the scene from different angles.

次に、カメラとフラッシュユニットの間の投影−幾何の関係を使用して、深度の不連続点を検出し、不連続点を、シーン内の物質の不連続点に起因する輝度エッジと区別する。 Next, the projection between the camera and flash unit - distinguish using geometric relationships, detecting the discontinuity of depth discontinuities, and intensity edges due to the discontinuity of the material in the scene .

本発明は、検出されたエッジ特徴を使用して、様式化された静止画および動画画像、たとえば映像を生成する。 The present invention uses the detected edge characteristic, stylized still images and moving images, for example, to generate an image. 検出された特徴を強調することができ、不要な細部を抑制することができる。 Can highlight the detected feature, it is possible to suppress unnecessary detail. また、複数の画像からの特徴を合成することができる。 Further, it is possible to synthesize the features from the plurality of images. 結果として得られる画像は、実世界のシーンおよび物体の3D構造を明確に伝える。 The resulting image is clearly communicate the real world scene and object 3D structure.

本発明によるシステムは、従来のデジタルカメラと同様のサイズおよび形状の単一パッケージとして構成されることができる。 The system according to the invention can be configured as a single package of a similar size and shape to a conventional digital camera. したがって、本発明によるシステムは、従来技術のNPRシステムおよび方法と比較して、携帯可能であり、使い易く、かつ低費用で製造できる。 Therefore, the system according to the present invention, as compared to the NPR system and method of the prior art, a portable, easy to use, and can be manufactured at low cost.

本発明は、実世界のシーンの様式化された画像および様式化された映像をレンダリングすることによって形状を伝えるための単純であるが効果的な方法を提供する。 The present invention is a simple to convey shape by rendering the stylized image and stylized image of the real world scene is to provide an effective way. 本発明は、光源と投じられた影の間のエピポーラの関係を利用して、シーンの複数の画像から幾何特徴を抽出する。 The present invention utilizes the epipolar relationship between shadow cast a light source, extracts a geometric feature from a plurality of images of the scene. 3Dシーンの再構成に基づくのではなく、画像空間の不連続性を利用することによって、本発明の方法は、基礎となるシーンのプリミティブを強力に取得して異なる様式でレンダリングすることができる。 Not based on the reconstruction of the 3D scene by utilizing the discontinuity of the image space, the method of the present invention, it is possible to render the primitive of the underlying scene with strong acquired by different modalities.

本発明は、基本的なカメラ構成、関連する特徴抽出およびレンダリング過程を提供する。 The present invention is basic camera configuration provides related feature extraction and rendering processes. 深度エッジは、実世界のシーンのあらゆる画像内の基本的なプリミティブであるため、本発明は、ノンフォトリアリスティックなレンダリングを超えた用途で深度エッジ情報を用いることができる方法を説明する。 Depth edges are the basic primitives in any image of the real world scene, the present invention describes a method that can be used depth edge information in applications beyond non-photorealistic rendering.

本発明は、カメラ本体のレンズの周囲に配置される複数のフラッシュユニットを有するスチルカメラまたはビデオカメラを用いる。 The present invention uses a still camera or a video camera having a plurality of flash units arranged around the lens of the camera body. シーン中の点の完全な3D座標を推定し、次に深度の不連続点を見つけなければならない代わりに、本発明による方法は、深度エッジ回復の一般的な3D問題を輝度ステップエッジ検出の問題に低減する。 Estimating the full 3D coordinates of a point in the scene, then instead of having to find a point of discontinuity depth, the method according to the present invention, the general 3D problems of the luminance step edge detection problem depth edges Recovery reduced to.

したがって、イメージング幾何の画像幾何を利用して、実世界のシーンおよび物体の様式化された画像を単純かつ低費用でレンダリングすることができる。 Therefore, it can be rendered using the image geometric imaging geometry, the stylized image of the real world scene and objects in a simple and low cost. 本発明のカメラの解決策は、プロの芸術家ならびに一般の撮影者にとって有用なツールとなることができる。 The camera of the solution of the present invention, can be a useful tool for professional artists as well as the general of the photographer.

NPRカメラ 図1Aは、本発明によるノンフォトリアリスティック(NPR)画像を生成するためのデジタルカメラ100を示す。 NPR camera view 1A shows a digital camera 100 for generating a non-photorealistic (NPR) images according to the present invention. カメラ100は複数の光源、たとえば、フラッシュユニット101〜104と、単一のレンズ105とを備える。 The camera 100 includes a plurality of light sources, for example, a flash unit 101 to 104, and a single lens 105. フラッシュユニット101〜104は、レンズ105の投影中心(COP)106の周囲に分散して配置される。 Flash unit 101 to 104 is arranged to be distributed around the center of projection (COP) 106 of the lens 105. 最も良好な結果を得るために、フラッシュユニットはできる限りCOPの近くに配置される。 To obtain best results, the flash unit is placed near the COP as possible. それゆえ、フラッシュユニットをカメラ体の前面107に取り付けることは理に適っている。 Therefore, attaching the flash unit to the front 107 of the camera body is reasonable.

以下で説明する1実施形態において、フラッシュユニットは、レンズの投影中心から別々の距離に位置付けられる。 In one embodiment described below, the flash unit is positioned from the projection center of the lens to a separate distance.

図1Bに示される最適な構成では、フラッシュユニット101〜104は左右および上下の対で操作される。 The optimal configuration shown in FIG. 1B, the flash unit 101 to 104 is operated by the right and left and upper and lower pairs. これにより、画像110〜114内の画素が、少なくとも4つのライティング条件、すなわち下側に影ができる場合、上側に影ができる場合、左側に影ができる場合、および右側に影ができる場合についてイメージングされることができる。 Thus, the pixels in the image 110 to 114 is at least four lighting conditions, i.e. if a shadow on the lower side, if a shadow on the upper side, the imaging case where a shadow case, and on the right a shadow on the left it is the can. したがって、隣接する画素が、少なくとも1つの画像では影で覆われ、少なくとも1つの他の画像では影で覆われない。 Thus, adjacent pixels, shaded, at least one image, not shaded, at least one other image. また、たとえ影があってもわずかであるように1つの画像を周辺からの光で収集することができる。 Further, it is possible to even collect a single image as a slightly even when a shadow by the light from the periphery.

また、この構成は、エピポーラ横断を効率的にする。 Furthermore, this arrangement effectively epipolar cross. 左右対の場合、その横断は、水平方向の走査線に沿って近似することができる。 If the right and left pair, its cross can be approximated in the horizontal direction of the scanning lines. 上下対の場合、その横断は、垂直方向に沿う。 When the upper and lower pairs, the traversal along the vertical direction. 図1Cは3つのフラッシュユニットを備える構成を示す。 Figure 1C shows a configuration with three flash unit. 図8は別の構成を示す。 Figure 8 shows an alternative configuration.

フラッシュユニットは、光学的に結合されたLEDによって起動することができる。 Flash unit can be activated by optically coupled LED. LEDはマイクロコントローラ120によって、或る順序で1つずつオンにされ、対応するフラッシュユニットが起動される。 LED by the microcontroller 120, are turned on one by one in a certain order, the corresponding flash unit is activated. フラッシュ持続時間は約4ミリ秒である。 Flash duration is about 4 milliseconds. 1つのフラッシュユニットがシーンを照明する毎に1つの画像が収集される。 One flash unit is one image for each illuminating a scene to be collected.

カメラの解像度は約4メガピクセルであるが、それよりも低い解像度あるいは高い解像度も実現可能である。 Camera resolution is about 4 megapixels, but can be realized low resolution or a higher resolution than that.

全ての新型のデジタルカメラと同様に、本発明のカメラもマイクロプロセッサ120およびメモリ130を備える。 As with all new digital camera, even a camera of the present invention comprises a microprocessor 120 and memory 130. マイクロプロセッサ120は、本明細書に記載される動作、具体的には様式化された画像を生成するための方法200を実行するように設計される。 Microprocessor 120 operates as described herein, is specifically designed to perform the method 200 for generating a stylized image. 図2を参照されたい。 See Figure 2.

メモリ130を用いて、収集された画像と、他の中間的な画像とを線形化した形で格納する。 Using the memory 130, and the collected images, stores and other intermediate image linearized form. またメモリは、本明細書に記載される方法および手順によって用いられるデータも格納する。 The memory also stores data used by the methods and procedures described herein. 出力される様式化された画像201も、後にポート140を経由して閲覧用の外部装置にダウンロードするために、メモリに格納することができる。 Image 201 stylized is also output, for downloading to the external device for viewing via port 140 after, can be stored in memory.

カメラ100は、複数の画像を高速で連続撮影し、フレームシーケンスあるいは映像を生成することができることに留意すべきである。 The camera 100 is continuous shooting multiple images at a high speed, it should be noted that it is possible to generate a sequence of frames or images. これらも、本明細書に記載されるように様式化することができる。 These can also be stylized as described herein. また、画像110〜114は、スタンドアローンプロセッサ、たとえばデスクトップシステムあるいはポータブルコンピューティング装置において後に処理するために、本発明と整合性のある他の技法を用いることにより収集することができることにも留意すべきである。 The image 110 to 114, a stand-alone processor, for example, for processing later in the desktop system or a portable computing device, also be noted that it can be collected by using other techniques consistent with the present invention it should.

カメラはビデオカメラの形態であってもよいことにも留意すべきである。 Camera It should also be noted that it may be in the form of a video camera. この場合、カメラは、複数の画像シーケンス(映像)を収集し、各シーケンスがフラッシュユニットによる異なる照明条件に対応し、出力が様式化された映像となるようにする。 In this case, the camera collects a plurality of image sequences (video), each sequence correspond to different illumination conditions by the flash unit, the output is made to be stylized image.

カメラ動作 図2は、或るシーンの様式化された画像201を生成するための本発明の方法200を示す。 Camera Operation Figure 2 illustrates a method 200 of the present invention for producing a stylized image 201 of a scene. 様式化とは、本明細書に記載されるように、エッジのような特定の細部を有するあらゆるノンフォトリアリスティック画像が強調され、テクスチャおよび単調な背景のような他の細部が削減、抽象化あるいは他の方法で簡略化されることを意味している。 The stylized, as described herein, any non-photorealistic images with specific details, such as the edge is emphasized, reducing other details such as texture and monotonous background, abstraction or it is meant to be simplified in other ways.

最初に、図1のカメラ100によって、あるいは図に示されている構成と同様の何らかの他のカメラおよびフラッシュユニットによって、1組の画像110〜114が収集される210。 210 First, the camera 100 of FIG. 1 or by shown by structure similar to that some other camera and flash unit in figure, a set of images 110 to 114 are collected. 各画像は、制御された異なるライティング条件下で収集される。 Each image is collected under controlled different lighting conditions. 図示される構成の場合、1つの画像は周囲からの光で、すなわちフラッシュを用いることなく撮影され、1つの画像は上側フラッシュユニットを用いて撮影され、1つの画像は下側フラッシュユニットを用いて撮影され、1つの画像は左側フラッシュユニットを用いて撮影され、1つの画像は右側フラッシュユニットを用いて撮影される。 In the configuration shown, in one image light from the surroundings, that is, captured without using the flash, one image is taken with an upper flash unit, one image using the lower flash unit photographed, one image is taken using the left flash unit, one image is taken using the right flash unit. 最低限、2つのフラッシュユニットおよび3つの画像が必要とされるが、さらに多くの、たとえば4〜8の画像およびフラッシュユニットを用いる場合、より良好な結果を得ることができる。 Minimum, although two flash units and three images are required, yet often, for example when using an image and a flash unit 4-8, it is possible to obtain better results. フラッシュユニットがレンズの投影中心から別々の距離に配置される場合、さらに良好な結果を得ることができる。 If the flash unit is arranged in separate distance from the projection center of the lens, it is possible to obtain better results.

1組の画像がマイクロプロセッサ120によって処理され、シルエットエッジが検出され220、テクスチャ領域が特定される230。 230 set of images is processed by the microprocessor 120, which 220 silhouette edge is detected, the texture area are identified. その後、画像の組み合わせのシルエットエッジおよびテクスチャ領域を用いて、様式化された画像201が提供される。 Then, using a silhouette edge and texture areas of the combination of image, image 201 stylized is provided. たとえば、シルエットエッジの幅を、そのエッジにおける深度不連続点のサイズに比例させ、テクスチャ領域を色勾配に従ってデエンファシスする。 For example, the width of the silhouette edges, in proportion to the size of the depth discontinuity at the edges, to de-emphasis in accordance with the color gradient texture region.

本発明は、各画像内の各画素を、シルエットエッジ画素、テクスチャエッジ画素、あるいは特徴のない画素のいずれかとして分類する。 The present invention, each pixel in each image, classifying silhouette edge pixel, either as pixels without texture edge pixel or features.

本発明では、シルエットエッジ画素という用語を用いて、シーン内にC0の深度不連続点を有する画素のことを指す。 In the present invention, by using the term silhouette edge pixel refers to a pixel having a depth discontinuity in C0 in the scene. これらシルエットエッジ画素は、法線が視野方向に垂直であるシーン内の物体の表面上の点に対応する画素を含む。 These silhouette edge pixel comprises a pixel normals corresponding to points on the surface of an object in a perpendicular scene sight. また本発明は、薄い物体、たとえば一枚の紙の境界に対応する画素、および立方体のような視点に依存しない物体のエッジに対応する画素も含み、これらのタイプの物体はいずれも深度不連続点を有する。 The present invention is a thin object, for example a single pixel corresponding to the boundary of the paper, and also includes a pixel corresponding to the edge of an object such does not depend on the viewpoint as a cube, also depth discontinuity any object of these types are It has a point. シルエットエッジ画素は、自己遮蔽に起因して、物体の内部に属することもできる。 Silhouette edge pixel, due to the self-shielding, can also belong to the interior of the object.

テクスチャエッジ画素は、シーン内の反射率の変化および物質の不連続点に対応する。 Texture edge pixels correspond to discontinuities changes and material in reflectance in the scene. テクスチャ領域は通常テクスチャエッジによって輪郭を描かれる。 Texture area is outlined by normal texture edges. しかしながら、テクスチャ領域は完全には包囲されない場合もある。 However, the texture region completely may not be enclosed.

入力画像の特徴のない領域内の画素は、概ね一定の反射率および低い曲率を有するシーン内の領域、たとえば単調な背景の壁に対応する。 Pixels in the area having no features of the input image, the region in the scene generally having a constant reflectance and low curvature, corresponding to the wall, for example monotonous background. これらの画素は、金属およびプラスチックのような「光沢のある」物質上の異方性の反射を含む、照明あるいは視野方向の変化に起因する、見え方のわずかな変化にも対応することができる。 These pixels "shiny", such as metal and plastics including anisotropic reflection on material, due to the lighting or the field direction change, it is possible to cope with a slight change in appearance .

画像収集 1組の画像110〜114が、レンズ105の投影中心(COP)106の極めて近くに配置されるフラッシュユニット101〜104を用いて、或るシーンから収集される210。 Image acquisition set of images 110 to 114, using the flash unit 101 to 104 are arranged very close to the projection center (COP) 106 of the lens 105, 210 to be collected from a scene. 図1を参照されたい。 See Figure 1. COPとフラッシュユニットとの間の基線150が短いことに起因して、そのシーン内の深度不連続点(エッジ)を表す長細い(a narrow sliver of)影がその画像内の各シルエットエッジ付近に現れる。 Due to the baseline 150 between the COP and the flash unit is short, the depth discontinuity in the scene (edge) elongated represents a (a narrow sliver of) shadow near the silhouette edge in the image appear.

個別の違うライティングを有する2つ以上の画像からのアタッチトキャストシャドウについての情報を組み合わせることにより、本発明はシルエットエッジ画素を検出することができる。 By combining information-attached cast shadows from two or more images having a separate, different lighting, the present invention can detect a silhouette edge pixel.

本明細書において、アタッチトキャストシャドウが画像空間において定義される。 In this specification, Attached cast shadows are defined in the image space. この定義は、物体空間内の従来のシェイプ・フロム・シャドウの定義とは全く異なる。 This definition is quite different from conventional Shape From shadow definition of the object space. その場合、光線が滑らかな物体に対して接線方向にある表面境界は、アタッチトシャドウ、すなわち「そのものの」影を有するものと見なされる。 In that case, the surface boundary tangential to rays smooth object, Attached shadow, i.e. are considered to have the shadow "of itself". ここでは、アッタチトキャストシャドウは、物体と、その物体によって背景上に投じられる影とが画像空間において連続しているときに生成される。 Here, Atta Tito cast shadow is generated when the object, and a shadow is cast on the background by the object are contiguous in the image space.

大部分の視点に依存しないエッジの場合、影のあるエリアは次の深度層上に投じられる影を含む。 For most independent edges perspective, the area with a shadow including shadows are cast on the next depth layer. 視点に依存するエッジの場合、影のあるエリアのごく一部がそのものの影を含む。 If the edges that depend on the viewpoint, a small portion of a shadow area including shadow of itself.

一般的には、影はフラッシュユニットの「反対」側にあり、すなわちフラッシュユニットがレンズの右側にある場合には、影はカメラ画像の深度不連続点の左側に現れ、別のフラッシュユニットは別の場所に影を投じる。 In general, the shadow is in "opposite" side of the flash unit, that is, when the flash unit is to the right of the lens, the shadow appears on the left side of the depth discontinuities of the camera image, another flash unit another cast a shadow on the location. 図5Bを参照されたい。 See Figure 5B.

シルエットエッジ画素の検出 図3は、本手法の根底をなすシルエットエッジ画素を検出するための手順300を示す。 Detection view of silhouette edge pixel 3 shows a procedure 300 for detecting silhouette edge pixel underlying the present method. その概念は驚くほど簡単である。 The concept is surprisingly simple. 本発明の画像収集過程は照度差ステレオに密接に関連するが、本発明者らが知る限りでは、或るシーン内の影によって反映されるような深度不連続点を検出するためのコンピュータビジョンシステムにおいて照度差ステレオが用いられたことはない。 Image acquisition process of the present invention is closely related to the photometric stereo, but as far as the present inventors know, the computer vision system for detecting the depth discontinuities as reflected by the shadow in a scene never photometric stereo is used in. 照度差ステレオにより、本発明は、消去の過程によって他のエッジを分類できるようになる。 The photometric stereo, the present invention will be able to classify the other edge by a process of erasure.

その基本的な手順300は以下のように動作する。 The basic procedure 300 operates as follows.

或るシーンの周囲画像I ambient 301を収集する。 To collect the surrounding image I ambient 301 of a scene. ただし、I ambientはいずれのフラッシュユニットも用いることなく、周囲からの光の下で撮影された画像である。 However, I ambient is also without using any flash unit, a captured image under the light from the surroundings.

場所P において、点光源、すなわちフラッシュユニットを用いて、制御しながら照明されたそのシーンのn枚の画像I' (k=1,...,n)302を収集する。 In place P k, using a point light source, i.e. the flash unit, n images I 'k of the scene that is illuminated while controlling (k = 1, ..., n ) 302 to collect. その画像は任意の順序で収集することができる。 The image may be collected in any order. 本発明の例では、n=4である。 In the example of the present invention, n = 4.

照明された画像から周囲画像を差し引くこと310、すなわちI' −I ambientによって差画像I 303が得られる。 310 subtracting the ambient image from the illuminated image, i.e. the difference between the image I k 303 by I 'k -I ambient is obtained.

差画像から、最大画像I max 304が、I max (x)=max (I (x))(k=1,...,n)として生成される320。 320 from the difference image, the maximum image I max 304 is, I max (x) = max k (I k (x)) (k = 1, ..., n) is generated as. すなわち、最大画像内の各画素は、差画像内の対応する画素の中の最大輝度値を有するものである。 That is, each pixel in the maximum image are those having a maximum luminance value in the corresponding pixel in the difference image.

差画像I 毎に、除算によって全ての画素(x)について、R (x)=I (x)/I max (x)として放射画像305が生成される330。 330 for each difference image I k, for all the pixels by dividing (x), where R k (x) = I k (x) / I radiation image 305 as max (x) is generated. すなわち、各差画像が最大画像によって割られる。 That is, each difference image is divided by the maximum image.

放射画像内の画素e 341はエピポール画素であり、すなわちエピポール画素はP における対応する光源の画像である。 Pixel e k 341 in the radiation image is epipole pixel, i.e. epipole pixel is an image of the light source corresponding in P k. 従来の立体写真技法を用いて、エピポールを特定することができる。 Using conventional anaglyph techniques can identify the epipole.

放射画像R 305毎に、画素輝度とエピポール画素の画素輝度とを比較しながら、画像が横断される340。 For each radiation image R k 305, while comparing the pixel luminance of pixel brightness and epipole pixels, the image is traversed 340. 本発明において、放射状の横断とは、エピポール画素から所与の画素までの放射状の直線に沿って輝度エッジを検出することを意味する。 In the present invention, the radial transverse, means detecting the intensity edges along a radial line from epipole pixels to a given pixel. この横断は、ライティングされたエリアから影のエリアへの、あるいはその逆への遷移を検出する。 This transverse detects a transition from writing to the area to the area of ​​the shadow, or vice versa.

負の輝度遷移を有するステップで画素yを特定する。 Determining the pixel y in step with negative intensity transition. 負の輝度遷移を有するこれらの画素yをシルエットエッジ画素306として指示する。 It instructs these pixels y having negative intensity transition as a silhouette edge pixel 306. シルエット画素として特定された全ての画素を最大画像内に重ね合わせることができ、結果として、全ての画像が処理されたときに、最大画像が全てのシルエット輪郭を示すようになる。 All pixels identified as silhouettes pixel can be superimposed within the maximum image, as a result, when all the images have been processed, the maximum image exhibits a all silhouette contour.

図4は、本発明に従ってシルエットエッジを強調した、花を生けた花瓶の様式化された画像400である。 4 highlighted the silhouette edge in accordance with the present invention, an image 400 that has been stylized vase with alive flowers.

十分に大きな数のフラッシュユニットn(最低限2つであるが、通常4〜8)が用いられる場合、全ての向きおよび十分な深度差においてシルエットエッジ画素を検出することができる。 Large number of flash unit n thoroughly (which is one least 2, but generally 4-8) When is used, it is possible to detect the silhouette edge pixel in all directions and sufficient depth difference. そのシルエットがエピポーラ線に対して垂直な成分を有する場合には、照明されたエリアから影のあるエリアへの負の輝度遷移を有するエッジ画素が検出される。 If it has a component perpendicular its silhouette against epipolar lines, edge pixels having negative intensity transition to area with a shadow from the illuminated area is detected.

非常に簡単なシーンの場合、1つの照明された画像からいくつかのシルエットエッジが検出できることは理解すべきである。 For very simple scene, it should be understood that can be detected several silhouette edges from one of the illuminated image. たとえば、主に垂直方向の深度不連続点を有するシーン、たとえば杭の囲いでは、1つの側方からの照明によって、複数のエッジを検出することができる。 For example, predominantly scenes with vertical depth discontinuities, the enclosure for instance pile, by illumination from one side, it is possible to detect a plurality of edges.

ここで、手順300がさらに詳細に記載される。 Here, the procedure 300 is described in further detail. max画像は、カメラのCOP106に光源を有する画像を近似したものである。 I max image is obtained by approximating the image with a light source COP106 camera. 点光源が同じ大きさを有し、光源間の基線がそのシーンの深度よりも著しく小さいとき、この近似は概ね正確である。 Point light sources have the same size, when the baseline between the light source is significantly smaller than the depth of the scene, this approximation is generally accurate. したがって、I max画像は影内に画素を持たない。 Therefore, I max image has no pixels Kagenai.

光源kによって照明されるエリアでは、比(I /I max )は概ね1に等しく、影のあるエリアでは概ね0に等しい。 In the area illuminated by the light source k, the ratio (I k / I max) is approximately equal to 1, approximately equal to 0 in the area with a shadow. それゆえ、負の輝度遷移の場所は影エッジを指示する。 Therefore, negative intensity transition location instructs the shadow edges.

に光源があるものとすると、カメラ座標系内の拡散反射を有する3Dシーンの点Xのための画素xにおける輝度はI (x)によって与えられる。 Assuming that there is a light source P k, the brightness at a pixel x for the X point of the 3D scene with a diffuse reflection in the camera coordinate system is given by I k (x).

3Dシーンの点Xが光源P によって照明される場合には、以下の式が成り立つ。 When the point X of the 3D scene is illuminated by a light source P k is the following equation holds.
(x)=μ ρ (x)・N(x)、そうでない場合には、 I k (x) = μ k ρ k L k (x) · N (x), and if not,
(x)=0 I k (x) = 0
ここで、μ という値は光の大きさであり、ρ (x)はシーン内の点Xにおける反射率であり、L (x)は正規化された光ベクトルL (x)=P −Xであり、N(x)は面法線であり、それらは全てカメラ座標系内にある。 Here, a value of mu k is the size of the light, ρ k (x) is the reflectance at X point in the scene, L k (x) is normalized light vector L k (x) = a P k -X, N (x) is the surface normal, is within all of which camera coordinate system.

したがって、シーン内の点Xが点光源P によって照明されるとき、その比は以下のように表される。 Therefore, when the X point in the scene is illuminated by a point source P k, the ratio is expressed as follows.

0以外のρ を有する拡散物体の場合、この比R (x)はアルベドρ とは無関係であり、局所幾何のみの関数である。 For diffuse object having a non-zero [rho k, this ratio R k (x) is independent of the albedo [rho k, which is a function of the local geometry only. さらに、光源がカメラのCOP106に近く、かつX>>P(k)である場合には、この比は近似的に(μ /max (μ ))であり、それは1組の無指向性の光源の場合に一定である。 Furthermore, when the source is close to COP106 camera, and an X >> P (k), this ratio is an approximation (μ k / max i (μ k)), which is a set of non-directional It is constant in the case of sexual source. (x)は、視点に依存するエッジを有する湾曲した物体のシルエット付近で非常に小さいことに留意されたい。 R k (x) It is noted that very small near the silhouette of a curved object having an edge which depends on the viewpoint.

これは、(L (x)・N(x)〜=0)であり、反対側にある光源のドット積の方が大きい、すなわち(L (x)・N(x)>L(x)・N(x))であるためである。 This is the (L k (x) · N (x) ~ = 0), the larger the dot product of the light source on the opposite side, i.e. (L i (x) · N (x)> L (x ) it is because it is a · N (x)). したがって、放射画像R (x)内の画素の輝度は、その画素が影のあるエリアにはない場合であっても、急激に減少する。 Accordingly, the luminance of the pixels in the radiation image R k (x) is the pixel even when not in area with a shadow, decreases rapidly. しかしながら、これは大きな問題ではなく、結果として、影のある領域が厚くなるだけであり、エピポーラ線に沿った輝度プロファイルの反転にはつながらない。 However, this is not a big problem, as a result, only an area of ​​the shadow is increased, does not lead to reversal of the luminance profile along the epipolar line.

よって二次散乱に起因して、影のあるエリアでは、比R (x)は概ね0に近くなる。 Thus due to the secondary scattering, in an area where they can shadow the ratio R k (x) is approximately close to zero. エピポーラ線に沿った輝度プロファイルは、影のない前景から影のある背景に横断するときには、シルエットエッジにおいて急激な負の遷移を示し、背景上の影のある領域から影のない領域に横断するときには、急激な正の遷移を示す。 Epipolar luminance profile along the line, when crossing the background with a shadow from the foreground without shadow, showed a sharp negative transition in silhouette edge, when crossing the free region shaded from a region of the shadow on the background shows a sharp positive transition.

エピポールから所与の画素までの放射状のエピポーラ線に沿って、任意の標準的な1−Dエッジ検出器が適用でき、両方のこれらの遷移が検出され、負の遷移を有する画素がシルエットエッジ画素として指示される。 Along the radial epipolar line to a given pixel from epipole, can apply any standard 1-D edge detector, these transitions both are detected, the pixel is a silhouette edge pixels having a negative transition It is designated as.

輝度の遷移が検出されるので、ノイズおよび二次散乱が、検出されたシルエットエッジ画素の場所の精度に、それも常にそれらが存在することに影響を及ぼす可能性がある。 Since the transition of the luminance is detected, the noise and the secondary scattering, the accuracy of the detected silhouette edge pixel location, it also always may affect their presence.

シルエットエッジにおける負の輝度遷移が放射画像R(x)内で検出できないとき、あるいは他の条件が誤った遷移を引き起こすとき、いくつかの条件が存在する。 When negative intensity transition in the silhouette edge can not be detected in a radiation image R (x), or when causing a transition other conditions are wrong, some conditions are present. 孤立した影、低い背景のアルベド、穴および窪みに起因して、あるいはシルエットが影のある領域内に存在するときに、シルエットは見逃される可能性がある。 Isolated shadow, low background albedo, when due to the holes and depressions, or silhouette is present in the region of the shadow, the silhouette is likely to be missed. 鏡面反射、自己遮蔽、あるいは視点に依存するシルエットに起因して、いくつかの画素がシルエットエッジ画素として誤って分類される可能性がある。 Specular reflection, due to the silhouette dependent on self-shielding, or perspective, some pixels could be misclassified as silhouette edge pixel.

カメラのCOPとフラッシュユニットとの間の基線を選択する際にトレードオフがある。 There is a tradeoff in selecting a baseline between the cameras of COP and the flash unit. 影dのための画像幅を大きくしていく場合、基線は長いほど良好であるが、基線が短くなると影の分離が回避される。 If we increase the image width for shadow d, baseline is a longer satisfactory, the shadow of the separation is avoided when the base line is shortened. 基線が様々であるとさらに良好な結果を得ることができる。 Baseline can be obtained even better results to be different.

或る画像内の或る特定のアタッチトキャストシャドウの幅はd=f(z −z )B/(z ・z )である。 The Certain Attached cast shadow width in one image is d = f (z 2 -z 1 ) B / (z 1 · z 2). ここで、fは焦点距離であり、Bはmm単位の基線であり、z およびz は、影を付けるエッジ及び影のあるエッジまでのmm単位の深度である。 Here, f is the focal length, B is the baseline in mm, z 1 and z 2 are the depth in mm to the edge with the edge and shadow add shadows.

物体の閾値幅Tが(z −z )×B/z よりも小さいときに、影分離が生じる。 When the threshold width T of the object (z 2 -z 1) less than × B / z 2, shadows separation occurs. それゆえ、基線が短くなると、影分離を生じることなく、より小さな幅Tが可能になる。 Therefore, when the base line is shortened, without causing shadows separation allows a smaller width T. より高い解像度のカメラを用いて、実効焦点距離を長くすることができるので、本発明では、非常に小さな基線および、物体(z )への長い距離あるいは「深度」を有する高解像度のカメラが用いられる。 Using a higher resolution of the camera, it is possible to increase the effective focal length, in the present invention, very small baseline and high resolution camera with a long distance or "depth" of the object (z 2) used.

光源の不均一性もその結果に影響を及ぼすようになる。 Non-uniformity of the light source is also to influence the result. (μ /max (μ ))が定数ではないので、それはR (x)に影響を及ぼす。 Since (μ k / max i (μ k)) is not a constant, it affects the R k (x). 都合がよいことに、不均一な光源を用いる場合でも、ローブ輝度がフィールドに渡って滑らかに変化するので、それはR 内に誤ったエッジを導入しない。 Conveniently be good, even when using a non-uniform light source, since the lobes luminance changes smoothly across the field, it does not introduce edge incorrect in R k.

影領域につながる負の輝度ステップの検出は二値判定であり、本発明による方法はノイズに耐えることができるようになる。 Detection of negative intensity steps leading to the shadow area is judged binary, the method according to the present invention will be able to withstand noise. しかしながら、フラッシュユニットによって生成される光は依然として周囲光よりも優位である必要がある。 However, the light generated by flash unit still needs to be superior than the ambient light. また本発明は、シルエットが、有限の深度を有する背景から分離されるという仮定を基にしており、それは、本発明が背景を必要とすることを意味する。 The present invention, silhouette, and based on the assumption that are separated from the background with a finite depth, it is the present invention is meant to require background. 下記で記載される別の実施形態は、この背景が必要であるという要件に依存しない。 Another embodiment described below does not depend on the requirement that the background is needed.

テクスチャ領域内の細部の削減 また、本発明は、テクスチャおよび照明の変動のような、或るシーンのシルエットに関連しない、画像の領域内の細部あるいは複雑な部分を削減するための手順も提供する。 Reduction of the details in the texture region, is the invention, such as variations in texture and lighting, not related to a scene silhouette also provides procedures for reducing details or complex parts in the region of the image . シルエットエッジ画素306が与えられるとき、テクスチャエッジに属する画素を特定することができる230。 When silhouette edge pixel 306 is given, 230 can identify the pixels belonging to the texture edges. したがって、テクスチャ領域を特定することができる。 Therefore, it is possible to identify textured regions. これらの画素は照明の方向とは無関係である。 These pixels are independent of the direction of illumination. テクスチャエッジは、最大画像I max内の輝度エッジから、検出されたシルエットエッジを引いたものである。 Texture edges are those from the luminance edges in the maximum image I max, minus the detected silhouette edges.

理想的には、本発明は、全てのテクスチャ領域、すなわち元の画像内のテクスチャの細部に対応する画素の組を特定し、出力画像201内のテクスチャの細部をデエンファシスすることが望ましい。 Ideally, the present invention includes all of the texture region, namely to identify the set of pixels corresponding to the details of the texture in the original image, it is desirable to de-emphasis the details of the texture in the output image 201. しかしながら、本発明はテクスチャエッジを特定することができるが、全てのテクスチャ領域を確実に見つけることはできない。 However, the present invention but can identify the texture edges can not reliably find that all of the texture region. これは、シルエットエッジ検出後のギャップに起因して、テクスチャエッジが必ずしも、テクスチャ領域の周囲に閉じた輪郭を形成するとは限らないため、あるいはそのような領域が次第に消えて、シーン内の支配的な色になる可能性があるためである。 This is due to the gap after the silhouette edge detection, texture edges necessarily, because not always form a contour closed around the texture region, or such region disappears gradually dominant in the scene can become a color is because there.

それゆえ、本発明では、たとえば、幾何学的特徴により高い重要度を与えることができるとともに、テクスチャ特徴、たとえば、エッジおよび領域をデエンファシスすることができる「調整可能な」抽象化を実行することが望ましい。 Therefore, in the present invention, for example, it is possible to give more importance to the geometric characteristics, texture characteristics, for example, performing a "tunable" abstraction that can be de-emphasized edges and regions It is desirable また本発明では、支配的な色を持たない画素を削除することも望ましい。 In the present invention, it is also desirable to remove the pixels that do not have a dominant color.

1つの対処方法では、テクスチャエッジに関連する領域がぼかされる。 In one Action, a region associated with the texture edges are blurred. テクスチャ画素および隣接する画素に対して、隣接する特徴のない画素の色の重み付けされた平均値を単に割り当てることもできる。 For a pixel to texture pixels and the adjacent, can also be assigned a mean value weighted color with no adjacent feature pixels simply. しかしながら、それはテクスチャ領域境界のみを減少させ、勾配を除去しない。 However, it reduces only texture area boundary, it does not remove the gradient. さらに、テクスチャエッジによって輪郭を描かれたテクスチャ領域は数画素の幅を有することができ、それゆえ完全には削除されない。 Furthermore, textured regions delineated by the texture edge may have a width of several pixels, not deleted in therefore completely. 別の手法は、距離フィールドまたは拡散タイプの技法を用いる。 Another approach, using a distance field or technology diffusion type.

画素レベルで動作する代わりに、本発明はエッジを基にする手順を用いる。 Instead of operating at the pixel level, the present invention employs a procedure which based on edge.

本発明によるエッジを基にする手順は、テクスチャ画素における高い輝度勾配が、支配的でない色画素を支配的な色画素から分離するという観測に基づく。 Procedure for the basis of the edge according to the present invention, high intensity gradient in the texture pixel is based on the observation that the separation of color pixels is not dominant from dominant color pixels. テクスチャ画素における高い勾配を用いることなく、画素が勾配から再構成される場合には、テクスチャ画素の反対側からの色によって滑らかに、支配的でない色画素が自動的に埋められる。 Without using a high gradient in the texture pixels, when the pixel is reconstructed from the gradient is smoothly by color from the opposite side of the texture pixels, the color pixel is not dominant is automatically filled. 従来の画素を基にするシステムの場合に必要とされるような、穴を埋めるためにどの輝度値を用いるべきかについて判定を行う必要はなく、フェザリングあるいはぼかしを行う必要もない。 As required in the case of systems based on conventional pixel, it is not necessary to make a determination about whether to use which luminance values ​​to fill the hole, it is not necessary to perform feathering or blurring.

エッジの強調 シルエットエッジ画素を検出するための本発明による手順は、画像を強調するために用いることができるさらに別の有用な情報も生成する。 Procedure according to the invention for detecting emphasize silhouette edge pixel of an edge also generates a further useful information can be used to enhance the image.

影の幅d=f(z −z )B/(z )は、深度不連続点における深度差(z −z )に比例する。 Shadow width d = f (z 2 -z 1 ) B / (z 1 z 2) is proportional to the depth difference in the depth discontinuity (z 2 -z 1). この情報は画像を強調するときに用いることができる。 This information can be used when image enhancement.

シルエットエッジにおいて、本発明は、シルエットのどちら側が前景に属し、どちら側が背景に属するかを判定することができる。 In silhouette edge, the present invention is, which side of the silhouette belongs to the foreground, which side can determine belongs to the background. その計算は、エッジのどちら側が、エピポーラ線に沿った負の遷移において、R 画像内により高い輝度を有するかに基づく。 The calculation, which side edge, in the negative transition along the epipolar lines, based on whether having a high luminance by the R k image.

この定性的な深度の関係は、エッジを強調するためにも用いることができる。 The relationship between the qualitative depth, can also be used to emphasize the edge. 本発明は最初に、シルエットが黒色の背景上に白色で存在するシルエット画像を生成する。 The invention first generates a silhouette image of the silhouette is present in white on a black background. 本発明は、エッジ強調フィルタの勾配であるフィルタを用いてたたみ込みを行う。 The present invention performs a convolution using the filter is the slope of the edge emphasis filter. 本発明は、ガウスフィルタからインパルス関数を引いたものを用いる。 The present invention uses a minus impulse function from a Gaussian filter. 本発明により、たたみ込まれた画像が積分されるとき、シルエットエッジにおいて急激な遷移が得られる。 The present invention, when the image convolved is integrated, abrupt transitions are obtained in silhouette edges.

従来技術との比較 より良好なライティングを用いて、コントラストを改善し、背景に対して物体を強調することができる。 With better lighting than compared with the prior art, to improve the contrast, it is possible to emphasize the object relative to the background. この手法の成功は一般的に撮影者の技量によるが、本発明は、明らかな幾何に基づく一般的な解決手段を提供する。 The success of this approach depends on generally photographer's skill, the present invention provides a general solution means based on a clear geometry. さらに、光源がカメラのCOPに近いので、本発明による単体で十分な機能を有するカメラ100では、外部光源は不要であり、操作が簡略化される。 Further, since the light source is close to the camera of COP, the camera 100 has a sufficient function alone according to the present invention, an external light source is not required, the operation is simplified.

第2の簡単なオプションは、輝度画像上でエッジ検出を実行することである。 The second simple option is to perform edge detection on the intensity image. しかしながら、画像値の急激な変化は必ずしも物体の境界を意味するわけではなく、その逆の場合もある。 However, a sudden change in image values ​​are not necessarily mean the boundary of the object, and vice versa. たとえば、或る複雑なシーンは、数多くの誤った輝度エッジを生成する可能性があり、一方、簡単な画像では、ほとんど輝度エッジが検出されない。 For example, certain complex scenes, may generate a large number of false intensity edges, whereas, in a simple image, most luminance edge is not detected. それゆえ、画像値の変化のみを調べることによる画像強調方式は失敗する場合も多い。 Thus, that the image enhancement method according to examine the change of image values ​​only often fail.

単一の画像上で動作する従来のNPR技法は、輝度エッジ検出および色の分割の信頼性が高くなるように、非常に画質が高く、コントラストが良好な画像を基にする。 Conventional NPR techniques that operate on a single image, as the reliability of the luminance edge detection and color division is increased, very quality is high, contrast is based on a good image.

本発明による手法は、従来のステレオ、照度差ステレオおよびヘルムホルツステレオのような能動的な照明技法と同じように見えるかもしれない。 Method according to the invention, conventional stereo, it may appear similar to active illumination techniques such as photometric stereo and Helmholtz stereo. しかしながら、深度不連続点が、従来のステレオ技法に問題を生じている。 However, depth discontinuities have occurred problems of the conventional stereo techniques. ステレオ技法は、照合過程を混乱させる半遮蔽に起因して失敗する場合が多い。 Stereo technique is often fail due to the semi-shielding confuse the collation process.

照度差ステレオは、或るシーンに渡る幾何およびアルベドを同時に推定する。 Photometric stereo estimates the geometric and albedo across a scene at the same time. 古典的な照度差ステレオの主な制約は、光源がカメラのCOPから遠く離れていなければならないこと、および光源の位置が正確に分からなければならないことである。 The main limitation of the classical photometric stereo is that the light source must be far away from the camera of the COP, and the position of the light source is that it must know exactly. これには、スタジオ、工業用あるいは研究所の環境内でなら可能であるが、自給式のカメラユニットでは不可能であるような、固定されたライティングリグが必要とされる。 This includes studio is susceptible if industrial or laboratory within an environment, such is not possible with self-contained camera unit is required fixed lighting rig. さらに、その手法は、滑らかな表面に沿って法線を検出することを基にしており、深度不連続点、影のある領域および半遮蔽された部分では失敗する。 Furthermore, the technique is based on detecting the normal along the smooth surface, depth discontinuities, fail on regions and semi-shielding portion is shadowed.

本発明による手法は正反対であり、或るシーン深度不連続点において輝度変動のための二値判定を行う。 Method according to the invention are opposite, it performs binary decision for brightness variations in a scene depth discontinuity.

ヘルムホルツステレオの場合、影のある領域および半遮蔽された領域は対応している。 For Helmholtz stereo, regions and semi-shielding areas shadowed it corresponds. 左側の画像における影内の表面は、右側の画像では見ることができず、その逆も成り立つ。 Surface of the shadow on the left side of the image can not be seen on the right side of the image, and vice versa. その問題は、単一の画像内の影のある領域を計算することが難しい問題であるということである。 The problem is that it is a difficult problem to calculate the area of ​​the shadow of a single image. 或る画素が影の領域にあるものと分類するための唯一の信頼性のある方法は、その画素と、影の中にないときのさらに別の画素とを比較することである。 How only reliable for a certain pixel is classified as in the region of the shadow is to compare its pixels, and yet another pixel when not in the shadow. この二値判定は、本発明の技法を強力にする。 The binary decision is a powerful technique of the present invention. また本発明では、いずれの照合あるいは相関過程も基にせず、大部分の動作を画素毎に行うことができる。 In the present invention, without any of the collation or correlation process also groups, most of the operations can be performed for each pixel. これにより、本発明は、カメラのマイクロプロセッサ内に方法全体を組み込むことができるようになる。 Thus, the present invention will be able to incorporate the entire way to the camera microprocessor.

さらなる実施形態の説明 シーンの様式化された画像を生成するための本発明の方法は、以下のステップを含む。 The method of the invention for generating a stylized image of the described scene further embodiment includes the following steps. 最初に、カメラのレンズの周囲に位置付けられた複数のフラッシュユニットによって生じるずらした光、および周囲からの光の下でシーンから1組の画像を取得する。 First, to obtain a set of images from the scene under the light from shifting light, and the ambient caused by multiple flash units positioned around the camera lens. これらの画像を処理して、深度エッジ、輝度エッジ、およびテクスチャエッジのような特徴を自動的に検出し、特徴間の定性的な深度の関係を求める。 Process these images, depth edges, intensity edges, and automatically detects features such as texture edges to determine the relationship between qualitative depth between features. 出力画像は、取得した画像の組み合わせであり、検出された特徴を、この検出された特徴および定性的な関係に従って強調し、様式化された画像を提供する。 The output image is the combination of the acquired image, the detected characteristic, stressed in accordance with the detected characteristic and qualitative relationships, providing a stylized image.

本発明では、深度エッジという用語を用いて、C0の深度不連続点を有するエッジのことを指す。 In the present invention, by using the term depth edges refers to the edges with a depth discontinuity of C0. 深度エッジは、滑らかな表面、薄い物体、すなわち一枚の紙の境界、または視点に依存しないエッジの物体、たとえば立方体について内側または外側の遮蔽輪郭またはシルエットに対応する。 Depth edges, smooth surface, a thin object, i.e. object independent edges on a sheet of paper of the boundary or view, for example, corresponds to the inside or outside of the shield contour or silhouette on cubes.

復元した深度エッジは符号付きである。 Restored depth edges are signed. 局所近傍において、深度値の低い側、たとえば前景は正であるとみなされ、反対側、たとえば背景は負であるとみなされる。 In a local neighborhood, the low side, for example, the foreground of the depth value is considered to be positive, the opposite side, for example, is regarded as the background is negative.

テクスチャエッジの例は反射率の変化または物質の不連続点である。 Examples of texture edges are discontinuous points of change in reflectivity or substance. テクスチャエッジは通常、テクスチャ領域の輪郭を描くが、閉じた輪郭を形成しない場合がある。 Texture edges is usually delineate texture area may not form a closed contour.

深度エッジ 図5Aおよび図5Bに示すように、深度エッジを検出するための本発明の方法は、本手法の基礎であり、除去過程によって他のエッジを分類することを可能にする。 As shown in depth edge Figure 5A and 5B, the method of the present invention for detecting depth edges is the basis of this method makes it possible to classify the other edge by the removal process. 本発明の方法は、影のエピポーラ幾何に関する2つの観測値に基づく。 The method of the present invention is based on two observations about epipolar geometry shadows.

図5Aにおいて、シーン501は物体502を含む。 In Figure 5A, the scene 501 includes an object 502. 用いられるライティングに起因して、物体は、カメラ505によって撮影される画像I 504内に影503を投じる。 Due to the lighting used, the object casts a shadow 503 in image I k 504 photographed by the camera 505. 本発明では、全ての向きの深度エッジが少なくとも1つの画像に影を生じ、同じ影のある点が何らかの他の画像において照明されることを確実にする。 In the present invention, depth edges of all orientations occurs a shadow on at least one image, a point on the same shadow to ensure that the illuminated in some other image.

図5Bは、e1、e2、およびe3から発するエピポーラ光線について重ねた物体502の画像を対応する影521〜523とともに示す。 5B shows the corresponding with shadow 521-523 an image of the object 502 overlaid on epipolar rays originating from e1, e2, and e3.

における点光源の画像は、カメラ画像内の画素e にあり、光エピポールと呼ばれる。 Image of the point light source in P k is located at pixel e k in the camera image, it called an optical epipole. から発する光線の画像は、e から発するエピポーラ光線である。 A beam of image emanating from P k is the epipolar rays originating from e k. がカメラの中心の後ろにあり、像平面から離れている場合、エピポーラ光線は無限遠で折り返す。 P k is located behind the center of the camera, when you are away from the image plane, epipolar ray wrap infinity.

第1に、深度エッジ画素の影は、その画素を通過するエピポーラ光線に沿って位置するように制約されることに留意されたい。 First, the shadow depth edge pixel, it is noted that constrained to lie along the epipolar ray passing through the pixel. 第2に、背景画素がエピポーラ光線に沿って深度エッジに対してエピポールの反対側にある場合にのみ影が観測される。 Second, the shadow is observed only when the background pixel is on the other side of the epipoles relative depth edges along the epipolar rays. したがって、概して、2つの光エピポールがエッジの反対側にある場合、一方の画像の深度エッジでは影が観測され、他方の画像では観測されない。 Thus, in general, two optical epipoles cases on the opposite side of the edge, is observed shadows at a depth edge of one image, not observed in the other image.

位置P 、P 、. Position P 1, P 2,. . . に位置付けられたn個の光源に関する基本的な過程は以下の通りである。 Fundamental process regarding n light sources positioned to P n are as follows.
周囲光で画像I を取得する。 It acquires an image I 0 in ambient light.
にある光源で画像I k. Image I k by a light source in the P k. (k=1,...,n)を取得する。 0 (k = 1, ..., n) to get.
画像I =I k,0 −I を求める。 Obtaining an image I k = I k, 0 -I 0.
全ての画素xについて、I max (x)=max (I (x))(k=1,...n)である。 For all pixels x, it is I max (x) = max k (I k (x)) (k = 1, ... n).
各画像kについて、 For each image k,
比画像R を生成する。 Generating a ratio image R k. ここで、R (x)=Ik(x)/I max (x)である。 Here, an R k (x) = Ik ( x) / I max (x).
各画像R について、 For each image R k,
エピポールekから各エピポーラ光線を横断する。 Traversing each epipolar rays from epipole ek.
負の遷移を有するステップエッジを有する画素yを見つける。 Find pixel y having a step edge having a negative transition.
画素yを深度エッジとして指示する。 Instructing pixel y as depth edges.

カメラの周囲に配置される複数の、たとえば2〜8の光源を用いて、十分な深度差を有する全ての向きの深度エッジを検出することができる。 Multiple disposed around the camera, for example, using a 2-8 light source, it is possible to detect the depth edges of all orientations with sufficient depth difference. 各画像において、深度エッジにおける接線とエピポーラ光線のドット積が0以外である場合、照明された部分から影のある部分への負の遷移を有するステップエッジが検出される。 In each image, when the dot product of the tangent and the epipolar ray at the depth edge is non-zero, step edge having a negative transition to portions of the shadow from the illuminated portion is detected. 深度エッジがエピポーラ光線に沿った向きにある場合、ステップエッジは検出することができない。 When in the orientation depth edges along the epipolar rays can not step edge is detected.

画像I は周囲成分が除去されている、すなわちI =I k,0 −I であることに留意されたい。 Image I k Note that ambience components are removed, that is, I k = I k, 0 -I 0. ここで、I は、周囲光のみで、n個の光源をいずれもオンにせずに取得された画像である。 Here, I 0 is the only ambient light, is the image acquired the n light sources without turning on any. 元画像は最大合成画像I maxであり、この最大合成画像I maxは、カメラのCOPに光源を有する画像を近似したものであり、一般的に、n個の光源のいずれからの影も有さない。 The original image is the maximum combined image I max, the maximum combined image I max is obtained by approximating the image with a light source to the camera's COP, generally, also have the shadow from any n light sources Absent. n個の光源が同じ大きさを有し、基線が、イメージングしているシーンの深度よりも十分に小さいとき、この近似は概ね正確である。 n light sources have the same size, baseline, when sufficiently smaller than the depth of the scene being imaged, this approximation is generally accurate.

カメラ座標系内に与えられ、画素xにおいてイメージングされる3Dの点Xの画像を考える。 Given in the camera coordinate system, consider the X image of a 3D point to be imaged in the pixel x. にある光源によって点Xが照明される場合に、輝度I (x)は、一様乱反射(Lambertian)を仮定して、次式によって与えられる。 If the point X is illuminated by the light source on the P k, luminance I k (x), assuming a uniform diffuse (Lambertian), it is given by the following equation.

そうでない場合、I (x)はゼロである。 Otherwise, I k (x) is zero. スカラーμ は光強度の大きさであり、ρ(x)は点Xにおける反射率である。 Scalar mu k is the magnitude of the light intensity, ρ (x) is the reflectivity at point X. 値(^)L (x)は、正規化された光ベクトル(^)L (x)=P −Xであり、N(x)は面法線であり、それらは全てカメラ座標系内にある。 Value (^) L k (x) is normalized light vector (^) and L k (x) = P k -X, N (x) is the surface normal, all of which camera coordinate system It is within. なお、(^)L は、L の上に^があることを表す。 It should be noted, represents the (^) L k is, that there is a ^ on top of the L k.

したがって、点XがP に見える場合、比は次のようになる。 Therefore, if the point X appears to be P k, the ratio is as follows.

0以外のアルベドρ(x)を有する拡散物体の場合、Rk(x)はアルベドρ(x)とは無関係であり、局所幾何のみの関数であることは明らかである。 For diffuse object having a non-zero albedo ρ (x), Rk (x) is independent of the albedo ρ (x), it is clear that a function of the local geometry only. さらに、光源−カメラの基線|Pk|がその点までの距離と比べて小さい、すなわち、|X|<<|P |である場合、この比は近似的にμ /max (μ )であり、それは1組の無指向性の光源の場合に一定である。 Further, the light source - camera baseline | smaller than the distance to that point, i.e., | | Pk X | << | P k | case is, this ratio is an approximation μ k / max i i ), and it is constant in the case of a pair of omni-directional light source.

(R =I /I max )における比の値は、光源kによって照明されるエリアでは1.0に近くなり、影のある領域では0に近くなる。 The value of (R k = I k / I max) in the ratio is closer to 1.0 in the area to be illuminated by a light source k, close to zero in a shadow area. 一般に、この値は相互反射に起因して0以外となる。 Generally, this value is other than 0 due to inter-reflections. 比画像内のエピポーラ光線に沿った輝度プロファイルは、影のない前景から影のある背景に横断するときには、深度エッジにおいて急激な負への遷移を示し、影のある背景から前景上の影のない領域に横断するときには、正への急激な遷移を示す。 The luminance profile along the epipolar rays within a specific image, when crossing the background with a shadow from the foreground without shadow, a transition to rapid negative at depth edge, without the shaded background shadow on the foreground when crossing the region indicates a sharp transition to normal.

これにより、深度エッジ検出の問題が輝度ステップエッジ検出の問題に低減される。 Thus, the problem of depth edge detection is reduced to the problem of the luminance step edge detection. エピポーラ光線に沿う単一エッジ検出器は、正と負の両方の遷移を検出し、本発明では、負の遷移を深度エッジとして指示する。 Single edge detector along the epipolar ray detects the transition of both positive and negative, in the present invention indicates a negative transition as depth edges. 上述のように、ノイズおよび相互反射は、位置の精度にのみ影響を及ぼし、深度エッジの存在の検出には影響を及ぼさない。 As described above, noise and inter-reflections are only affects the accuracy of the position does not affect the detection of the presence of depth edges. なぜなら本発明は、連続値ではなく別個の遷移を検出しているからである。 Because the present invention is because detects the discrete transitions not a continuous value.

まとめると、基本的に3つのステップがある。 In summary, there are essentially three steps.
影のある領域の値が0に近い比画像を生成する。 The value of a shadow area is generated close ratio image to zero.
各比画像上でエピポーラ光線に沿って輝度エッジの検出を実行し、負のステップエッジを深度エッジとして指示する。 Run the detection of intensity edges along the epipolar ray on each specific image, it instructs the negative step edge as depth edges.
n個すべての画像からのエッジマップを合成して、最終的な深度エッジマップを得る。 By combining the edge map from all n images, to obtain the final depth edge map.

物質エッジ 深度エッジに加えて、本発明では、画像内の照明エッジおよび物質エッジも考慮する。 In addition to the material edge depth edges, the present invention also contemplates the illumination edge and material edges in the image. 照明エッジは、本発明のカメラに取り付けられたフラッシュユニットではなく周囲光に起因するライティングされた領域と影のある領域との間の境界である。 Illumination edge is the boundary between the lighting region and a shadow area due to the ambient light rather than the flash unit attached to the camera present invention. 個々の画像I は周囲からの照明がなく、周囲照明エッジがない。 Each image I k without lighting from the surroundings, there is no ambient illumination edge. 一般に物質エッジは、照明方向と無関係であるため、除去過程によって分類することができる。 Generally materials edge, since it is independent of the illumination direction can be classified by the removal process. 物質エッジは、I maxの輝度エッジから深度エッジを引いたものである。 Material edge is obtained by subtracting the depth edges from the luminance edge of I max. このエッジ分類方式は良好に動作し、調整に最少数のパラメータを伴う。 This edge classification scheme works well, involving the minimum number of parameters to adjust. 本発明において必要となるパラメータは、深度エッジおよび物質エッジをそれぞれ検出するための比画像およびImax画像の輝度エッジ検出用パラメータのみである。 Parameters required in the present invention are only the luminance edge detection parameters for specific images and Imax image to detect depth edges and material edge, respectively.

深度エッジを検出するための本発明の技法は、深度エッジにおける負の遷移を比画像R 内で検出することができないフォールスネガティブ、または他の条件がR 内で誤った遷移を引き起こすフォールスポジティブのような一部の条件を除いて、驚くほど信頼性が高い。 The techniques of the present invention for detecting the depth edges, false positives that cause transitions false negatives can not detect a negative transition at depth edges in a ratio image R k, or other conditions, it is wrong in the R k except for some conditions, such as, surprisingly reliable. 深度エッジもまた、孤立した影、低い背景のアルベド、穴および窪みに起因して、あるいは深度エッジが影のある領域内に存在する場合に見逃される可能性がある。 Depth edges are also likely to isolated shadow, low background albedo, due to holes and recesses, or depth edges are missed when present in the region of the shadow. 鏡面反射、自己遮蔽、あるいは視点に依存する深度エッジに起因して、いくつかの画素が深度エッジ画素として誤ってラベル付けされる可能性がある。 Specular reflection, due to the depth edges that rely on self-shielding, or perspective, some pixels could be erroneously labeled as depth edge pixel.

湾曲した表面 比R (x)は、視点に依存するエッジを有する湾曲した物体の非常に小さく深度の短いエッジである。 Curved surface ratio R k (x) is very small short edges of the depth of the curved object having an edge which depends on the viewpoint. これは、ドット積((^)Lk(x)・N(x))であり、「反対」側にある光源のドット積の方がより大きいためである。 This is the dot product ((^) Lk (x) · N (x)), towards the dot product of the light source in the "opposite" side is because larger. これは次のように表される。 This is represented as follows.

したがって、R (x)は、画素が影のある領域にはない場合であっても、急激に減少する。 Therefore, R k (x), even if the pixel is not in the region of the shadow, decreases rapidly. しかしながら、これは大きな問題ではなく、R の負の遷移における傾斜が小さくなるだけである。 However, this is not a major problem, but only inclined in the negative transition of the R k decreases.

基線を選択する際のトレードオフ カメラとフラッシュの間の基線距離は長いほど良い。 Tradeoff camera and baseline distance between the flash in selecting the baseline, the better long. 基線が長いほど、画像内に投じられる検出可能な影の幅は広くなるが、影が関連する深度エッジから分離することを回避するには、より短い基線が必要とされる。 As the baseline is long, the width of the detectable shadows are cast in the image is large, but to avoid separating from the depth edges shadow relevant are required shorter baseline.

画像内の隣接する影の幅はd=fB(z −z )/(z )である。 The width of the adjacent shadow in the image is d = fB (z 2 -z 1 ) / (z 1 z 2). ここで、fは焦点距離であり、Bは基線であり、z およびz は、影を付けるエッジ及び影のあるエッジまでの深度である。 Here, f is the focal length, B is the baseline, z 1 and z 2 are the depth to the edge with the edge and shadow add shadows. 物体の幅Tが(z −z )B /z よりも小さいときに、影の孤立が生じる。 When the width T of the object (z 2 -z 1) smaller than B f / z 2, shadow isolated arises. よって、基線Bが短いほど、影分離を生じることなく、Tのより小さい、より幅の狭い物体が可能になる。 Therefore, the shorter base line B, without causing shadows separation, less than T, then it is possible to narrower the object width. 幸い、デジタルカメラの小型化により、本発明では、小さな基線を選択する一方で、fに比例して画素解像度を上げることができるので、積fBは一定のままとなる。 Fortunately, the miniaturization of digital cameras, in the present invention, while selecting a smaller base, it is possible to increase the pixel resolution in proportion to f, the product fB remains constant. これにより、幅の狭い物体の深度検出が可能になる。 This enables the depth detection of small objects in width.

階層的な基線 図6に示すように、カメラの解像度が限られている場合は、階層的な基線を用いることができる。 As shown in hierarchical baseline Figure 6, if the resolution of the camera is limited, it is possible to use a hierarchical baseline. ここでは、第1のフラッシュユニットの組610がCOP106から第1の距離611のところに配置されて画像F を取得し、第2のフラッシュユニットの組620が第1の距離よりも大きな第2の距離622に配置されて画像F を取得する。 Here, the set 610 of the first flash unit from COP106 is located at a first distance 611 acquires image F S, larger second than the set 620 of the second flash unit is a first distance It disposed a distance 622 to acquire an image F L with.

したがって、本発明では、短い基線を用いて幅の狭い物体において影分離を生じることなく、より長い基線を用いて小さい深度不連続点を検出することができる。 Therefore, in the present invention, it is possible to detect a small depth discontinuities using short baseline without causing shadows separation in a narrow object width using a longer baseline. 実際には、2つの異なる基線で十分である。 In practice, it is sufficient with two different baseline. しかしながら、この場合、基線のより長い画像F 内の影分離に起因する誤ったエッジを扱わなければならない。 However, in this case, it must handle false edges due to shadow the separation of longer image F L baseline. 基線のより短い画像F は小さな深度不連続点を見逃す場合がある。 Shorter image F S of the baseline sometimes miss small depth discontinuities.

1対の画像内の情報を合成して深度エッジを検出する方法には4つの場合がある。 The method of detecting a pair information synthesized by depth edges in an image of a four cases.
画像F は検出不可能な幅の狭い影を有し、画像F は検出可能な影を有する。 Image F S has a narrow shadows undetectable width, image F L has detectable shadows.
画像F は検出可能な幅の狭い影を有し、画像F は幅の広い影を有する。 Image F S has a narrow shadows detectable width, image F L has a broad shadow width.
画像F は検出可能な影を有するが、画像F は、画像F の影と重なる孤立した影を有する。 Image F S has a detectable shadow image F L has isolated shadow overlapping the shadow image F S.
画像F は検出可能な影を有し、画像F は孤立した影を有するが、画像F と画像F の影は重ならない。 Image F S has detectable shadows, the image F L has a shadow isolated, the shadow image F S and the image F L do not overlap.

本発明の方法では、2つの画像の最小合成を取る。 In the method of the present invention, it takes the minimum composition of two images. 最初の3つの場合において、これは、何らアーチファクトを生じることなく隣接する影の有効幅を都合良く増加させ、変更なしで基本的な過程により扱うことができる。 In the first three cases, which is the effective width of the shadow adjacent without any resulting artifacts conveniently increased, it can be handled by without modification fundamental process. 4番目の場合、影のない領域が最小合成画像内の2つの影を分離するため、F 内の影が誤っているように見える。 4 th case, since the shadow-free region separating the two shadows in the minimum composite image appears to be incorrect shadow in F L.

本発明の解決策は以下の通りである。 The solution of the present invention is as follows. 画像F および画像F を用いて深度エッジを求める。 Determining depth edges using image F S and image F L. 次に、エピポーラ光線を横断する。 Next, crossing the epipolar rays. 画像F 内の何らかの点D には深度エッジが現れ、画像F には現れない場合、次の深度エッジが検出されるまで画像F 内のエピポーラ光線を横断する。 It appears depth edges in some point D 1 of the within the image F S, if not appear in the image F L, crossing the epipolar rays in image F L to the next depth edge is detected. 画像F 内に対応する深度エッジがない場合、画像F 内に対応する深度エッジはなく、このエッジを誤ったエッジとして指示する。 If there is no depth edges corresponding to the image F L, no depth edges corresponding to the image F S, is indicated as erroneous edge of this edge.

鏡面反射 一方の画像の画素には現れ、他方の画像には現れない鏡面反射ハイライトは、比画像内に誤った遷移を生じる可能性がある。 Appear in the pixels of the specular one image, the specular highlights that does not appear in the other image, which can result in false transitions in the ratio image. 単一画像内の鏡面反射を検出するための方法はあるが、テクスチャ領域において鏡面反射を確実に検出することは困難である。 There is a method for detecting the specular reflection of the single images, it is difficult to reliably detect the specular reflection in the texture area.

本発明の方法は、鏡面反射を生じる光源のずれに従って鏡面反射スポットがずれるという事実に基づく。 The method of the present invention is based on the fact that specular spot is shifted in accordance with the deviation of the light source to produce specular reflection. 本発明では、異なる光位置における鏡面反射スポットが各画像内にどのように現れるかについて3つの場合を考慮する。 In the present invention, the specular reflection spot at different light positions to consider the three cases how appear in each image. すなわち、たとえば鏡面反射の高く湾曲が中程度である表面上で光沢のあるスポットが鮮明なままである場合、いくつかの光沢のあるスポットが重なる場合、およびたとえば実質的に鏡面反射のフロントパラレル(fronto-parallel)平面上で光沢のあるスポットが完全に重なる場合である。 That is, for example, when high bending glossy on the surface is moderate spot specular reflection remains sharp, if several shiny spots overlap, and for example substantially specular front parallel ( fronto-parallel) shiny plane spot is if completely overlap. この最後の場合は、比画像内に誤った勾配が生じない。 This last case, wrong gradient in the ratio image does not occur.

なお、鏡面反射は入力画像において重なるが、鏡面反射の周囲の境界、すなわち輝度エッジは一般に重ならない。 Although specular overlap in the input image, the periphery of the boundary, i.e. the luminance edge of the specular reflection does not overlap in general. 主な構想は、n枚の画像内の所与の画素(x,y)における勾配変動を利用することである。 The main idea is to use the gradient variations in the given pixel in the n images (x, y). 最初の2つの場合において、画素(x,y)が鏡面反射領域である場合、鏡面反射境界に起因する勾配は、別々のライティング下のn枚の画像のうちの1つまたは少数のみにおいて高い。 In the first two cases, when the pixel (x, y) is a specular reflection area, gradient caused by the specular boundary is higher in only one or a few of the different n images under lighting.

その画素におけるnの勾配の中央値が外れ値を除去する。 The median of the gradient of n at that pixel to remove outliers. 本発明の方法は、Weiss(上記参照)によって記載される固有の画像手法を適応したものである。 The method of the present invention is an adaptation of a specific image technique described by Weiss (see above). ここでは、影の境界が静止していないことに注意することによって屋外シーンの影が除去される。 Here, the shadow of an outdoor scene is removed by noting that the boundary of the shadow is not stationary.

本発明では、以下のように入力画像の勾配の中央値を用いることによって画像を再構成する。 In the present invention, for reconstructing an image by using the median of the gradient of the input image as below.
輝度勾配G (x,y)=∇I (x,y)を求める。 Brightness gradient G k (x, y) = ∇I k (x, y) is determined.
勾配の中央値G(x,y)=median (G (x,y))を見つける。 Median G (x, y) of slope = median k (G k (x , y)) find.
|∇I'−G|を最小化する画像I'を構成する。 | Constituting the image I 'to minimize | ∇I'-G.

本発明では、積分を適用する前に、画像を埋めて2のべき乗に最も近い正方形の画像にし、次に、結果として得られる画像を元のサイズにクロッピングする。 In the present invention, before applying the integration, to fill the image to the nearest square image to a power of 2, then crops the resulting image to the original size. 本発明では、同様の勾配ドメイン技法を用いて、後述のようにいくつかのレンダリング作業を簡略化する。 In the present invention, using the same gradient domain techniques to simplify some rendering operations as described below. 結果として得られる固有の画像輝度I(x,y)は、最大合成画像I max (x,y)の代わりに比画像を計算するための共通の特徴として用いられる。 The resulting specific image intensity I (x, y) is used as a common feature for computing instead ratio image of the maximum composite image I max (x, y). この場合、鏡面反射領域において、比Ik(x,y)/I'(x,y)は1.0よりも大きい。 In this case, the specular reflection area, the ratio Ik (x, y) / I '(x, y) is greater than 1.0. これは、比画像内の負の遷移が鏡面反射部分に位置しないように1.0に設定される。 This negative transition in the ratio image are set to 1.0 so as not located in the specular reflection portion.

背景の欠如 これまで、本発明では、背景に影を投じる深度エッジは有限距離内にあるものと仮定してきた。 The lack of the background thus far, in the present invention, depth edges cast shadows in the background has been assumed to be within a finite distance. しかしながら、これは常にそうであるとは限らない。 However, this is not always the case. この場合、本発明では、最も外側の深度エッジ、すなわち、前景と遠方の背景とによって共有されるエッジのみが見逃される可能性がある。 In this case, in the present invention, the outermost depth edge, i.e., there is a possibility that only the edge shared by the foreground and distant background is missed. これは、前景−背景推定技法を用いて容易に検出することができる。 This foreground - may be easily detected by using the background estimation techniques. 画像I /I maxの比は背景において1に近く、前景の内部において0に近い。 The ratio of the image I 0 / I max is close to 1 in the background, close to zero in the interior of the foreground.

画像の合成 3Dモデルに基づくNPRは既知であるが、写真については既知ではない。 NPR on a synthetic 3D model of the image is known, but is not known for photo. シーンの完全な3D表現がない場合、本発明では、以下の2Dキューを利用して新規のレンダリングアルゴリズムを開発する。 If you do not have a complete 3D representation of the scene, in the present invention, to develop a new rendering algorithm using the following 2D queue. すなわち、深度エッジの符号すなわちエッジにおける前景対背景、影の幅に基づく相対的な深度差、符号付きエッジ付近の色、および遮蔽輪郭における滑らかな表面の法線である。 That is, a foreground to background in the code or edge of the depth edge, relative depth difference based on the width of the shadow, the color of the vicinity signed edges, and a normal of the smooth surface of the shield contour.

本発明の方法は、本来は綿密な手動操作が必要とされる様式化されたレンダリングのための作業、たとえば画像編集やロトスコーピングを自動化する。 The method of the present invention is originally to automate tasks, for example, an image editing and Rotoscoping for stylized rendering meticulous manual operations are required.

エッジのレンダリング 深度エッジピクセルを輪郭につなげ、次に輪郭を平滑化する。 Connecting the edges of the rendered depth edge pixels to the contour, then smooth the contour. T字型接合部において、向きの類似性に基づいて次のエッジ画素を選択する従来の方法とは異なり、本発明では、影からの情報を用いて、接続成分を分解する。 In T-junction, unlike the conventional method of selecting the next edge pixel based on the orientation of the similarity, the present invention uses information from Shadows, degrade the connection component.

符号付き深度エッジ 比画像R 内のエピポーラ光線に沿った負の遷移において、エッジに対して輝度の高い側が前景であり、影のある領域に対応する輝度の低い側が背景である。 In negative transition along the epipolar ray signed depth edges ratio image R k, a foreground side high luminance to the edge, the side low brightness corresponding to a region of shadow is background.

図7に示すように、定性的な深度の関係を用いて、解剖部位の各深度エッジにおける前景−背景の分離を明確に示すことができる。 As shown in FIG. 7, by using the relation of qualitative depth, foreground at each depth edge of anatomy - can show clearly the separation of the background. 本発明では、芸術家が用いたオーバー−アンダー様式をマットでエミュレートする。 In the present invention, the artist is over with - to emulate the under-style in the mat. 深度エッジの前景側は白色であり、背景側は黒色である。 Foreground side of the depth edges are white and the background side is black. 輪郭を面法線701に沿って変位させることによって深度エッジの両側がレンダリングされる。 Both sides of the depth edges are rendered by displacing along a contour surface normal 701.

光方向 図8に示すように、本発明では、ライティング方向に対する深度エッジの向きに応じて深度エッジの幅811〜812を変更することによって、任意の光方向801を解剖部位の出力画像800において伝えることができる。 As shown in the optical direction Figure 8, in the present invention, by changing the width 811 to 812 of the depth edges according to the direction of the depth edges for lighting direction, convey any light direction 801 in the output image 800 of the anatomy be able to. 3Dにおけるエッジの向きは、像平面におけるその投影の向きと略同じであるため、幅は、画像空間の法線と所望の光方向とのドット積に比例することができる。 The orientation of the edges in 3D is substantially the same as the orientation of the projection in the image plane, the width can be proportional to the dot product of the normal of the image space and the desired light direction.

色の変化 図9に示すように、本発明では、選択された色で深度エッジをレンダリングすることによって元の物体の色を示すことができる。 As shown in variation diagram 9 colors, in the present invention can exhibit the color of the original object by rendering the depth edges in a selected color. 符号付き深度エッジから、固定された画素距離における法線に沿って、別の深度または輝度エッジと交差することなく前景の色を選択する。 Signed depth edges, along the normal line at a fixed pixel distance, selects the foreground color without intersecting another depth or intensity edges. 前景の色を付けられた深度エッジは、分割された入力画像、たとえば周囲からの光で取得された入力画像に重ねてもよい。 Depth edges attached foreground colors, divided input image, for example, may be superimposed on the input image acquired by the light from the surroundings.

色の割り当て シーンの3Dモデルはないため、エッジでない画素をレンダリングするには、取り込んだ2D画像の別々な処理方法が必要である。 Since there is no 3D model of the color assignments scene, to render a pixel is not an edge, it is necessary to separate processing method of the 2D image captured.

法線の補間 滑らかな物体について図10Aおよび図10Bに示すように、深度エッジは、面法線が視野方向に垂直である遮蔽輪郭に対応する。 For normal interpolation smooth object as shown in FIGS. 10A and 10B, the depth edges, surface normal corresponding to occluding contour is perpendicular to the viewing direction. したがって、深度エッジにおける法線は像平面に位置し、他の画素における法線を予測することができる。 Therefore, it is possible to the normal line at depth edges located in the image plane, for predicting a normal at other pixels. 本発明では、2Dポアソン微分方程式を解くことによって、この疎な補間問題を解くことができる。 In the present invention, by solving the 2D Poisson differential equations can be solved this sparse interpolation problem. 本発明の方法は、Johnston著「Lumo: illumination for cel animation」(Proceedings of the second international symposium on Non-photorealistic animation and rendering, ACM Press, PP. 45-ff, 2002)によって記載されるようなオーバー−アンダーマットを生成するための手動の方法を自動化する。 The method of the present invention, Johnston et al., "Lumo: illumination for cel animation" (. Proceedings of the second international symposium on Non-photorealistic animation and rendering, ACM Press, PP 45-ff, 2002) over, such as described by - to automate the manual method for generating the under-mat. 本発明の場合、符号付き深度エッジにより法線の補間が可能になり、その一方で、深度エッジにおける法線の不連続点を維持して、ライティング方向から離れた向きにある表面1001を強調する。 For the present invention enables the normal line of the interpolated by signed depth edges, on the other hand, to maintain the discontinuities of normal at depth edges highlight the surface 1001 in the direction away from the lighting direction .

画像の減衰 プロの写真家は、局部光を用いて、形状の境界におけるコントラストを強調することがある。 Attenuation professional photographer of the image, using the local light, it is possible to enhance the contrast at the boundaries of the shape. 本発明では、これを画像減衰マップにより以下のように模倣する。 In the present invention, which mimics as follows by the image attenuation map. 深度エッジは黒色の背景上に白色で存在する。 Depth edge is present in white on a black background. 本発明は、エッジ強調フィルタの勾配であるフィルタを用いてたたみ込みを行う。 The present invention performs a convolution using the filter is the slope of the edge emphasis filter. 本発明のフィルタは、ガウス関数からインパルス関数を引いたものである。 Filter of the present invention is obtained by subtracting the impulse function from a Gaussian function. たたみ込んだ画像に対して2D積分を実行すると、深度エッジにおいて急激な遷移が得られる。 Running the 2D integrated over convolved image, abrupt transitions are obtained at depth edges.

変化の描写 いくつかの静止した図は、前景の動きのある部分を明るくすることによって、活動、たとえば車内の変化する油を示す。 Several stationary FIG depiction of the change, by brightening the portion of the foreground motion activity, for example showing the varying oil vehicle. しかしながら、色が類似しておりテクスチャがない場合、輝度を基にした方式による前景の検出、たとえば図11に示すような、他の皮膚の色をした部分の前面にある手の動作の検出は困難である。 However, if the color is no texture are similar, foreground detection by method based on the brightness, for example, as shown in FIG. 11, the detection operation of the hand on the front of the portion of the color of the other skin Have difficulty.

本発明は、2組の別個のマルチフラッシュ画像、すなわち、手なしの「背景」の組1101、および顔の前面に手がある前景の組1102を取得して、基準シーンと変化したシーンを取り込む。 The present invention, two sets of separate multi-flash image, i.e., to obtain the foreground set 1102 and a manual on the front of the set 1101, and the face of the "background" of no hand, captures the scene change as a reference scene . 本発明では、前景をはっきりと検出せずに、新たな深度エッジに寄与する領域の内部を強調する。 In the present invention, without clearly detected foreground, emphasizing the internal region contributing to a new depth edges. 本発明は勾配フィールドを求め、勾配フィールドでは、基準シーンではなく変化したシーン内で深度エッジとして指示される画素に単位大きさの勾配が割り当てられる。 The present invention obtains a gradient field, the gradient field, the gradient of unit magnitude is assigned in altered the scene to the pixel indicated as depth edges rather than a reference scene. 向きは、深度エッジに対する画像空間の法線と一致する。 Orientation, consistent with the normal of the image space with respect to depth edges. 他の画素における勾配は0である。 The gradient at other pixels is zero. 2D積分から再構成された画像は、ポワソン方程式を解くことによる擬似深度マップ−最小二乗誤差の解である。 The reconstructed image from 2D integration, pseudo depth map by solving the Poisson equation - a solution of the least square error. 本発明は、このマップを1.0において閾値処理して前景マスク1103を得、この前景マスク1103を用いて出力画像1104の対応する部分を明るくする。 The present invention is to obtain a foreground mask 1103 by thresholding in this map 1.0, brightening the corresponding portion of the output image 1104 by using the foreground mask 1103.

エピポーラ光線に沿った影の幅は、エッジの両側の深度値の比に比例することに留意されたい。 The width of the shadow along the epipolar ray, it is noted that proportional to the ratio of the depth values ​​on either side of the edge. したがって、単位大きさ勾配の代わりに、本発明は、エピポーラ光線に沿った影の幅の対数に比例した値を割り当てて、より高品質の擬似深度マップを得る。 Accordingly, instead of unit magnitude gradients, the present invention assigns a value proportional to the logarithm of the width of the shadow along the epipolar ray to obtain a pseudo-depth map of higher quality.

残念ながら、本発明者らは、非点光源の使用および相互反射に起因して、光線に沿った正の遷移は強くないことを発見した。 Unfortunately, the present inventors, due to the use and inter-reflections of the non-point source, positive transition along the ray is found that not strong. 原則として、推定される影の幅は、調整可能な抽象化に用いて、深度差の小さいエッジを除去することができる。 In principle, the width of the shadow to be estimated, using the adjustable abstraction, it is possible to remove the small edges of the depth difference.

抽象化 画像内のビジュアルクラッタを低減し、物体の形状を明確にする1つの方法は、シーンの形状の境界すなわち深度エッジに関係ない細部、たとえばテクスチャおよび照明の変化を簡略化することである。 Reducing the visual clutter in the abstract image, one way to clarify the shape of the object is to simplify the details not related to the boundary i.e. depth edges in the shape of a scene, for example, a change in texture and lighting. 従来の画像分割手法は、閉じた輪郭に厳しい制約を課し、各領域に固定した色を割り当てる。 Conventional image segmentation techniques, impose severe constraints on the closed contour, assign colors fixed to each region. また、分割は、深度エッジを見逃し、前景と背景が単色の物体に統合されてしまう場合がある。 Further, division, miss the depth edges, there is a case where the foreground and background would be integrated to a single color object.

本発明の方法は、テクスチャ画素における勾配を用いずに、勾配から画像を再構成する。 The method of the present invention, without using a gradient of texture pixels to reconstruct an image from the gradient. 従来の画素を基にするシステムの場合に必要とされるような、穴を埋めるためにどの輝度値を用いるべきかについての判定は行われず、フェザリングおよびぼかしを行う必要はない。 As required in the case of systems based on conventional pixel, without the determination of whether to use which luminance values ​​to fill a hole made, there is no need to perform feathering and blurring.

マスク画像γ(x,y)=aであり、ここで、 Mask image γ (x, y) = a a, where
(x,y)はテクスチャエッジ画素であり、 (X, y) is the texture edge pixel,
d(x,y)は特徴のない画素であり、 d (x, y) is a featureless pixel,
(x,y)は1に設定された深度エッジ画素である。 (X, y) is the depth edge pixels set to 1.

因数d(x,y)は、深度エッジ画素の距離フィールドに対するテクスチャ画素の距離フィールドの比である。 Factor d (x, y) is the ratio of the distance field of the texture pixels to the distance field of depth edge pixel. このパラメータaは抽象化の程度を制御し、テクスチャはa=0について抑制される。 The parameter a controls the degree of abstraction, texture is suppressed for a = 0. 手順は以下の通りである。 The procedure is as follows.
マスク画像γ(x,y)を生成する 輝度勾配∇I(x,y)を求める マスクをかけた勾配G(x,y)=∇I(x,y) γ(x,y)を変更する |I'−G|を最小化するように画像I'を再構成する 出力画像I'(x,y)内の色を、入力画像I(x,y)の色に実質的に一致するように正規化する Mask image gamma (x, y) the luminance gradient ∇I for generating (x, y) gradient G (x, y) multiplied by the mask for obtaining the = ∇I (x, y) changes the gamma (x, y) | I'-G | an image I to minimize 'to reconstruct the output image I' (x, y) of the colors in the input image I (x, y) to substantially match the color of the normalized to

画像の再構築に続いて、上述の鏡面反射減衰技法におけるようなマルチグリッド手法によりポワソン方程式を解く。 Following reconstruction of the image, solving the Poisson equation by multigrid method as in specular reflection attenuation techniques described above.

動的なシーン これまでのところ、本発明の方法は、静止シーンの複数の画像を取得して幾何特徴を求める。 Dynamic scenes so far, the method of the present invention determines the geometric features to obtain a plurality of images of a stationary scene. 本発明は、移動物体または移動カメラを有するシーンの取り込みの同時性の欠如を調べる。 The present invention examines the lack of simultaneity of uptake of scenes with moving objects or moving camera. ここでもまた、画像シーケンス中の動きを推定するための多くの著作物が存在し、賢明な手法は、静的アルゴリズムからの結果を用いて、導入されるアーチファクトを補正するために動き補償技法を適用することである。 Again, there are many work for estimating motion in an image sequence, sensible approach, using the results from the static algorithm, motion compensation techniques to correct for artifacts introduced it is to apply.

しかしながら、光学フローおよび動きの境界を見つけることは、特にテクスチャのない領域において困難な問題である。 However, finding the boundary of the optical flow and motion is a difficult problem in the region no particular texture. 静止している場合と同様に、本発明では、豊かな画素毎の動き表現を見つけ、動きの中の不連続点、すなわち深度エッジを見つけることに直接焦点を当てるという難しい問題を迂回する。 As if it were stationary, the present invention finds the motion rendition for each rich pixels, bypassing the difficult problem of applying a discontinuous point in the motion, i.e. directly focused on finding depth edges.

この場合、カメラは、画像組(フレーム)のシーケンスをフレーム毎に1つのフラッシュを用いて取得するビデオカメラである。 In this case, the camera is a video camera to obtain using a single-flash image pair a sequence of (frames) for each frame. 次に、画像組のシーケンスを上述のように時間順に処理する。 Next, it processes the image set of the sequence chronologically as described above.

本発明は、各フレームにおいて深度エッジを見つけ、各フレームにおいて見つけたエッジを接続して完全な深度エッジにする。 The present invention finds the depth edges in each frame, to complete depth edges to connect the edges found in each frame.

動きの中の深度エッジ 取得の同時性の欠如は、元の画像、たとえば最大合成I maxの信頼性が低く、特徴が位置合わせされていないことを意味する。 The lack of simultaneity of depth edges acquisition in movement means that the original image, for example, low reliability of up to synthetic I max, is characterized not aligned. このことが、影領域を確実に見付けることを妨げる。 This is, prevent the find shadow region reliably. 本発明は、シーンの動きが中程度である、特に画像空間において物体の特徴の動きが物体の幅よりも小さいという簡略化の仮定を行う。 The present invention is a moderate movement of the scene, the motion characteristics of the object, particularly in image space make assumptions simplification of less than the width of the object. 高速カメラにより、フレーム間の動き量を低減することができるが、同時性の欠如を仮定することはできない。 The speed camera, can reduce the amount of motion between frames can not be assumed lack of simultaneity. 本発明の新規の照明方法により、このことは、移動する影のある領域を観測することによって比較的簡単に解決されることが分かった。 The novel lighting method of the present invention, this has been found to be relatively easily solved by observing a region of the shadow moves. この説明を簡単にするために、本発明では、レンズの左側および右側にあるフラッシュユニットのみを考えて、垂直方向の深度エッジを求める。 For simplicity of this description, in the present invention, it is given only flash unit to the left and right of the lens to determine the vertical depth edges.

本発明は、そうしたシーケンスにおいて3つのタイプの輝度勾配を特定する。 The present invention identifies three types of intensity gradients in such sequence.
深度エッジに起因する、隣接する影エッジを有する勾配、 Caused by depth edges, gradients having adjacent shadow edges,
静止部分のテクスチャエッジに起因する勾配、および 移動部分のテクスチャエッジに起因する勾配。 Gradient caused by the texture edges of the gradient due to the texture edge of the stationary part, and a moving portion.

上述した、画像比を生成する基本的な方法を用いて、本発明は、静止したテクスチャエッジをわずかに除去することができる。 Described above, by use of the basic method for generating an image ratio, the present invention can be slightly removed stationary texture edges.

本発明は、照明における左から右への切り替えに起因して、影エッジは交互のフレームにおいてなくなり、移動するテクスチャエッジはなくならないという事実を利用する。 The present invention, due to the switching from the left in the illumination to the right, the shadow edge disappears in alternate frames, utilizing the fact that the texture edges not eliminated move.

フレームm−1およびフレームm+1が与えられるとき、フレームm内の深度エッジを求めるための過程は以下の通りである。 When the frame m-1 and frame m + 1 is given, the process for determining the depth edges in a frame m is as follows. ここで、a=フレームI m−1であり、b=フレームI であり、c=フレームI m+1である。 Here, a = frame I m-1, a b = frame I m, and c = frame I m + 1.
画像I abを保存する影を求める。 Seek shade to save the image I ab. ここでI ab =min(a,b,c)である。 Here is I ab = min (a, b , c).
影のない画像I acを求める。 Seek no shadow image I ac. ここでI ac =min(a,c)である。 Here is a I ac = min (a, c ).
比画像R を求める。 Determining the ratio image R m. ここでR Where R m. ab /I acである。 Is I ab / I ac.
からのエピポーラ光線に沿って横断し、負の遷移を指示する。 traverses along the epipolar ray from e m, it instructs a negative transition.

フレームm内の画素がフレームm−1およびm+1内の対応する画素間にあるとき、比R は0に近い。 When the pixel in the frame m is between corresponding pixels in the frame m-1 and m + 1, the ratio R m is close to zero. すなわち、これら両方のフレームの輝度は高い。 That is, the luminance of both of the frame is high. 深度エッジの場合、静止していても移動していても、フレームmに現れる隣接する影はこの条件を生じるが、静止しているかまたは移動しているテクスチャステップエッジの場合には生じない。 For depth edge, also be moved be stationary, shadow adjacent appearing in frame m is causing this condition does not occur in the case of the texture step edge that is or moved stationary.

エッジおよび色 所与のフレームmにおける深度エッジは、限られた向きのみに渡るため、不完全である。 Depth edges in the edge and the color given frame m, since over only a limited orientation is incomplete. 動的なシーンにおいて、4つの連続フレームの深度エッジの結合は、不連続な輪郭を識別するほど整列していない場合がある。 In dynamic scenes, binding the depth edges of four consecutive frames may not aligned enough to identify discontinuous contour. 本発明は、同じフラッシュユニットに対応する符号付き深度エッジ、すなわちmとm+nを照合し、中間フレームの変位を補間する。 The present invention is signed depth edges corresponding to the same flash unit, i.e. collates m and m + n, interpolating the displacement of the intermediate frame. 色を割り当てるために、本発明では、3つの連続フレーム、たとえば前フレーム、現フレーム、および次フレームの最大値をとる。 To assign a color, in the present invention, three consecutive frames, for example the previous frame, the maximum value of the current frame, and the next frame.

深度エッジの抽出方法は、赤外線、ソナー、x線およびレーダーイメージングにおいて「影」を生成する可視光以外のスペクトルにも用いることができることに留意されたい。 Extraction method depth edge is noted infrared, sonar, that can also be used for the spectrum other than visible light to produce a "shadow" in x-rays and radar imaging. 具体的には、不可視の赤外光源をカメラに備え、結果として生じるフラッシュが邪魔にならないようにすることが可能である。 Specifically, with the invisible infrared light source to the camera, the flash the resulting can be in the way.

実際に、周波数分割多重化方式を用いて、単一ショットのマルチフラッシュシステムを生成することができる。 Indeed, it is possible to use the frequency division multiplexing scheme, generating a multi-flash system for a single shot. フラッシュは、別々の波長の別々の4色を同時に発射する。 Flash simultaneously emits a separate 4-color separate wavelengths. カメライメージャ上のフィルタのベイヤーモザイクパターンが、4つの別々の波長を復号化する。 Bayer mosaic pattern filter on the camera imager decodes four separate wavelengths.

深度エッジの応用 深度の不連続点を検出することは、画像を理解するための基本であり、多くの用途において用いることができる。 Detecting a discontinuous point of application depth depth edges are fundamental for understanding the image, it can be used in many applications. 本方法は、主に物体の最外部のシルエットに基づくが、本発明者らは、完全な深度エッジマップは、ビジュアルハル(visual hull)、分割、深度層およびアスペクトグラフの分解の問題に役立つことができると考える。 This method is based primarily on the outermost silhouette of the object, the present inventors have found that full depth edge map, visual hull (visual hull), division, to help the decomposition problem of depth layer and the aspect graph I think that it is. 航空写真技法は、日光の既知の方向から投じられた影の複数の時間差画像を見ることによって建物の検出を改善することができる。 Aerial techniques may improve the detection of the building by looking at multiple time difference images of shadow cast from a known direction of sunlight. さらに、後処理中の被写界深度効果、カメラアレイを用いた合成口径および任意の背景を用いた仮想セットのためのスクリーンマッティング等の効果は、高品質の符号付き深度エッジを必要とする。 Moreover, effects such as screen matting for virtual sets used depth of field effects in post-processing, the synthetic aperture and any background using a camera array requires high quality signed depth edges of .

エッジまたはエリアを基にしたステレオ対応は、符号付き深度エッジを照合し、動的計画法を深度エッジ内に制約し、部分的な遮蔽を扱うように相関フィルタを変更することによって改善することができる。 Stereo correspondence with the edge or area group, be improved by collating signed depth edges to constrain the dynamic programming in depth edge, changing the correlation filter to deal with partial shielding it can. エッジ分類は、低コントラスト画像における色およびテクスチャの分類を助けるための信頼性マップも提供することができる。 Edge classification confidence map to help classify the color and texture in low-contrast image may also be provided.

本発明は好適な実施形態を例示することにより記載されてきたが、本発明の精神および範囲内で、種々の他の適用形態および変更形態が実施され得ることは理解されたい。 The present invention has been described by illustrating preferred embodiments, within the spirit and scope of the present invention, it should be understood that various other applications and modifications may be practiced. それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内に入るような、全てのそのような変形あるいは変更を網羅することである。 It is therefore an object of the appended claims, as come within the true spirit and scope of the invention is to cover all such modifications or changes.

本発明によるノンフォトリアリスティックカメラのブロック図である。 It is a block diagram of a non-photorealistic camera according to the present invention. 別の構成のフラッシュユニットを備える図1Aのカメラのブロック図である。 It is a block diagram of the camera of Figure 1A with a flash unit of another configuration. さらに別の構成のフラッシュユニットを備える図1Aのカメラのブロック図である。 Further is a block diagram of the camera of Figure 1A with a flash unit of another configuration. 本発明による様式化された画像を生成するための方法の流れ図である。 It is a flow diagram of a method for generating a stylized image of the present invention. シルエットエッジを検出するための方法の流れ図である。 It is a flow diagram of a method for detecting a silhouette edge. 本発明によるシルエットエッジを強調した花を生けた花瓶の画像である。 Is an image of a vase alive flowers emphasized silhouette edge according to the invention. 投じられる影に対応するエピポーラ光線のブロック図である。 It is a block diagram of epipolar rays corresponding to a shadow that is cast. 投じられる影に対応するエピポーラ光線のブロック図である。 It is a block diagram of epipolar rays corresponding to a shadow that is cast. カメラのレンズの周囲の様々な距離のところに位置付けられたフラッシュユニットを有するカメラのブロック図である。 It is a block diagram of a camera having a flash unit positioned at a different distance around the camera lens. オーバー−アンダー様式のレンダリングを用いた出力画像である。 Over - which is the output image using the rendering of under style. 様々なエッジ幅を有する出力画像である。 An output image having a different edge widths. デエンファシスしたテクスチャを有する出力画像である。 An output image having a deemphasis textures. 滑らかな物体の出力画像である。 Which is the output image of smooth object. 滑らかな物体の出力画像である。 Which is the output image of smooth object. シーン内の変化する物体の出力画像である。 Which is the output image of an object which changes in the scene.

Claims (44)

  1. 物体を含むシーンの様式化された画像を生成する方法であって、 A method for producing an image stylized scene including an object,
    n枚の入力画像のそれぞれが、カメラのレンズの投影中心から異なる位置の前記カメラの本体に取り付けられたn個の光源の組のうちの1つの光源によって照明され、カメラを用いて前記シーンからn枚の入力画像の組を取得することと、 Each n input images are illuminated by the camera lens one light source of the set of n light sources attached to the body of the camera at different positions the projection center of, from the scene using a camera and to obtain a set of n input images,
    前記n枚の入力画像の組内の、深度エッジ、輝度エッジ、及びテクスチャエッジを含む特徴を検出して、前記深度エッジ、前記輝度エッジ、及び前記テクスチャエッジ間の定性的な深度の関係を求めることと、 In the set of n input images, depth edges, to detect features including luminance edges, and texture edges to determine the relationship between qualitative depth between the depth edges, the intensity edges, and the texture edges and that,
    前記n枚の入力画像の組を1つの出力画像に合成して、前記検出された特徴を前記定性的な関係に従って強調することと を含む、物体を含むシーンの様式化された画像を生成する方法。 By combining the set of n input images into a single output image, and an emphasizing the detected features according to the qualitative relationship wherein, to generate an image which is stylized scene including an object Method.
  2. 前記深度エッジは、前記n枚の入力画像内の深度の不連続点に対応する 請求項1記載の方法。 The depth edges The method of claim 1, wherein corresponding to the discontinuity of the n input images in depth.
  3. 前記深度エッジは、符号付きであり、前記n枚の入力画像内の前景画素が正の値を有し、背景画素が負の値を有するようになっており、 The depth edges are signed, foreground pixels in said n input images have a positive value, and so the background pixel has a negative value,
    前記テクスチャエッジは、前記シーン内の反射率及び物質の不連続点の輪郭を描き、 The texture edges, outlines of discontinuities in the reflectance and material within the scene,
    前記輝度エッジは、実質的に一定の反射率を有する前記シーン内の領域の輪郭を描く 請求項1記載の方法。 The intensity edges The method of claim 1, wherein the outline of a region in the scene having a substantially constant reflectance.
  4. 前記深度エッジは、画像空間の座標に対して前記シーン内の影領域に対応する 請求項1記載の方法。 The depth edges The method of claim 1, wherein corresponding to the shadow area in the scene with respect to the coordinates of the image space.
  5. 前記シーン内の前記物体及び前記影領域は、前記画像空間において連続している 請求項4記載の方法。 Said object and said shadow region in the scene, The method of claim 4 wherein the continuous in the image space.
  6. 前記n枚の入力画像のそれぞれについて、実質的に0に近い前記影領域内の画素輝度から比画像を生成することと、 And said each of the n input images to generate a ratio image from a substantially pixel brightness of the shadow region close to zero,
    前記深度エッジにおいて負のステップエッジを指示するエピポーラ光線に沿って各比画像に対して輝度エッジ検出を実行して、各比画像の深度エッジマップを生成することと、 And the running intensity edge detection, generates a depth edge map of each specific image along the epipolar ray instructing a negative step edge with respect to each ratio image in the depth edges,
    n枚すべての入力画像からの前記エッジマップを合成して、最終的な深度エッジマップを得ることとをさらに含む 請求項4記載の方法。 And combining the edge map from the n sheets all the input image, the ultimate depth method of claim 4, further comprising a obtaining an edge map.
  7. 前記n個の光源の組は、前記カメラのレンズの投影中心から別々の距離の前記カメラの本体に取り付けられて、複数の基線を提供する 請求項1記載の方法。 The set of n light sources, from said projection center of the camera lens mounted to the main body of the camera separate distance method of claim 1 wherein providing a plurality of baseline.
  8. 前記n枚の入力画像は、鏡面反射ハイライトを含み、 The n input images includes a specular highlight,
    前記n枚の入力画像から前記鏡面反射ハイライトを除去することをさらに含む 請求項1記載の方法。 The method of claim 1, further comprising removing the specular highlight from the n input images.
  9. 前記n枚の入力画像内の各画素においてn個の勾配変動を求めることと、 And determining the n-number of gradient varies in each pixel in said n input images,
    前記n個の勾配の中央値を求めて、外れ値を除去することとをさらに含む 請求項8記載の方法。 The seeking of n median gradient method of claim 8, further comprising a removing outliers.
  10. 特定の入力画像I 内の各画素(x,y)における輝度勾配は、G (x,y)=∇I (x,y)であり、 Luminance gradient of each pixel in the particular input image I k (x, y) is G k (x, y) = ∇I k (x, y),
    前記勾配の中央値は、G(x,y)=median (G (x,y))であり、 The median of the gradient is G (x, y) = median k (G k (x, y)),
    再構成される画像I'は、|∇I'−G|を最小化する 請求項9記載の方法。 Image I 'is reconstructed, | ∇I'-G | method of claim 9, wherein the minimizing.
  11. 比I (x,y)/I'(x,y)は、1.0に設定されて、前記鏡面反射ハイライトが除去される 請求項10記載の方法。 The ratio I k (x, y) / I '(x, y) is set to 1.0, The method of claim 10, wherein the specular highlight is removed.
  12. 前記深度エッジ画素を輪郭につなぐことと、 And by connecting the depth edge pixel in the contour,
    前記輪郭を平滑化することとをさらに含む 請求項1記載の方法。 The method of claim 1, further comprising a smoothing said contour.
  13. 前記深度エッジの前景側は、前記正の値を有し、前記深度エッジの背景側は、前記負の値を有し、 Foreground side of the depth edges has the positive value, the background side of the depth edges has the negative value,
    前記前景側を白色としてレンダリングすることと、 And rendering the foreground side as white,
    前記背景側を黒色としてレンダリングすることとをさらに含む 請求項3記載の方法。 The method of claim 3, further comprising a rendering of the background side as black.
  14. 前記輪郭を面法線に沿って変位させることによって前記深度エッジの前記前景側及び前記背景側をレンダリングすることをさらに含む 請求項13記載の方法。 The method of claim 13, further comprising rendering the foreground side and the background side of the depth edges by displacing the contour along the surface normal.
  15. 前記深度エッジの幅を変更して、前記出力画像において任意の光方向を伝えることをさらに含む 請求項14記載の方法。 Wherein by changing the width of the depth edges The method of claim 14, further comprising convey any light direction in the output image.
  16. 前記幅は、画像空間の法線と前記任意の光方向のドット積に比例する 請求項15記載の方法。 The width The method of claim 15, wherein in proportion to the normal line and the dot product of the arbitrary light direction of the image space.
  17. 選択された色で前記深度エッジをレンダリングすることをさらに含む 請求項1記載の方法。 The method of claim 1, further comprising rendering the depth edges in a selected color.
  18. 1つの入力画像は、周囲からの光によって照明され、 One input image is illuminated by light from the environment,
    周囲からの光によって照明される前記1つの入力画像を分割することと、 And dividing the one input image is illuminated by light from the environment,
    分割された入力画像に色を付けた深度エッジを重ねることとをさらに含む 請求項17記載の方法。 Divided method of claim 17, wherein the input image further comprises a superimposing the depth edges colored.
  19. 前記深度エッジを前記出力画像において黒色の背景上に白色でレンダリングすることと、 And rendering in white on a black background in the depth edges the output image,
    エッジ強調フィルタの勾配であるフィルタを用いて前記エッジをたたみ込み、たたみ込まれた画像を得ることと、 Convolution the edge using a filter is the slope of the edge emphasis filter, and to obtain an image convolved,
    前記たたみ込まれた画像を積分して、前記深度エッジにおける急激な遷移を得ることとをさらに含む 請求項1記載の方法。 By integrating the image convolved the method of claim 1, further comprising a to obtain a sharp transition in the depth edges.
  20. 前記フィルタは、ガウス関数からインパルス関数を引いたものである 請求項19記載の方法。 The filter method of claim 19, wherein minus the impulse function from a Gaussian function.
  21. 前記シーンは、背景物体及び前景物体を含み、 The scene includes a background object and the foreground object,
    前記背景物体のみを有する前記シーンから第1のn+1枚の入力画像の組を取得することと、 And obtaining a first set of n + 1 input images from the scene having only the background object,
    前記背景物体及び前記前景物体を有する前記シーンから第2のn+1枚の入力画像の組を取得することと、 And obtaining a set of background objects and a second n + 1 input images from the scene with the foreground object,
    前記第2のn+1枚の入力画像の組の前記前景物体に対応する部分にマスクを適用して、前記出力画像における前記前景物体の外観を強調することとをさらに含む 請求項1記載の方法。 Wherein the set the portion corresponding to the foreground object of the second n + 1 input images by applying the mask, The method of claim 1, further comprising a emphasizing the appearance of the foreground object in the output image.
  22. 前記マスク内の画素輝度値は、1に設定される 請求項21記載の方法。 Pixel luminance values ​​in the mask, The method of claim 21, wherein the set to one.
  23. 前記テクスチャエッジは、前記n+1枚の画像内のテクスチャ領域を定義し、 The texture edges defines the texture region in the n + 1 images,
    マスク画像に従って前記テクスチャ領域にマスクをかけて、前記出力画像においてクラッタを低減することをさらに含む 請求項1記載の方法。 Over a mask to the texture area in accordance with the mask image, The method of claim 1, further comprising reducing the clutter in the output image.
  24. 前記マスク画像内の画素は、γ(x,y)=aであり、 Pixels in the mask image is γ (x, y) = a,
    前記深度エッジの画素(x,y)の輝度値を1に設定することと、 And setting the luminance value of the pixel (x, y) of the depth edges to 1,
    前記テクスチャエッジの画素(x,y)の輝度値を0に設定することと、 And setting the luminance value of the pixel of the texture edges (x, y) to 0,
    画素d(x,y)の輝度エッジの輝度値を、深度エッジ画素の距離フィールドに対するテクスチャエッジ画素の距離フィールドの比に設定することとをさらに含む 請求項23記載の方法。 The method of claim 23, wherein the luminance value of the luminance edges, further comprising a setting to the ratio of the distance field of the texture edge pixel to the distance field of depth edge pixels of the pixel d (x, y).
  25. 初期マスク画像γ(x,y)を生成することと、 And generating an initial mask image γ (x, y),
    輝度勾配∇I(x,y)を求めることと、 And determining the brightness gradient ∇I (x, y),
    マスクをかけられた勾配G(x,y)=∇I(x,y) γ(x,y)を変更することと、 And changing the applied mask gradient G (x, y) = ∇I (x, y) γ (x, y),
    前記出力画像I'を再構成して、|I'−G|を最小化することと、 And minimizing, | reconfigure the output image I ', | I'-G
    前記出力画像I'(x,y)内の色を正規化して、前記入力画像I(x,y)内の色と実質的に一致させることとをさらに含む 請求項24記載の方法。 The output image I '(x, y) is normalized and colors in the input image I (x, y) The method of claim 24, further comprising a that substantially match the color of the.
  26. 前記カメラはビデオカメラであり、前記物体は前記シーン内で動き、 It said camera is a video camera, wherein the object motion within the scene,
    前記ビデオカメラを用いて前記シーンからn+1枚の入力画像の組のシーケンスを取得することと、 And obtaining a sequence of sets of n + 1 input images from the scene using the video camera,
    前記n枚の入力画像の組のシーケンス内の前記特徴を検出することと、 And detecting the feature set of the sequence of the n input images,
    前記n+1枚の入力画像の組のシーケンスを出力画像のシーケンスに合成して、前記定性的な関係に従って前記検出された特徴を強調することとをさらに含む 請求項1記載の方法。 Synthesizes the sequence of sets of the n + 1 input images into a sequence of output image, The method of claim 1, further comprising a emphasizing the detected features according to the qualitative relationship.
  27. 輝度勾配が、前記深度エッジに起因する勾配、静止部分の前記テクスチャエッジに起因する勾配、及び移動部分の前記テクスチャエッジに起因する勾配を含み、 Brightness gradient comprises a gradient due to the depth edges, gradients due to the texture edges of the stationary part, and a slope due to the texture edges of the moving part,
    前記画像の組のシーケンス内の輝度勾配を特定することと、 And identifying the luminance gradient of the set of the sequence of the image,
    前記静止部分を有するテクスチャエッジを除去することとをさらに含む 請求項26記載の方法。 The method of claim 26, further comprising a removing texture edges with said stationary part.
  28. 前記出力画像のシーケンス内で移動する深度エッジの変位を補間することをさらに含む 請求項27記載の方法。 The method of claim 27, further comprising interpolating the displacement of depth edges to move in the sequence of the output image.
  29. 前記出力画像のシーケンスの特定の画像内の画素の色を3つの連続する画像の最大値に従って割り当てることをさらに含む 請求項26記載の方法。 The method of claim 26, further comprising: assigning in accordance with the maximum value of the particular three successive images the color of the pixels in the images of the sequence of the output image.
  30. 前記3つの連続する画像は、前記シーケンス内の特定の画像、前の画像及び次の画像である 請求項29記載の方法。 Image, a particular image in the sequence, The method of claim 29, wherein the previous image and the next successive images of the three.
  31. 前記光源は、可視光を放射する 請求項1記載の方法。 Wherein the light source The method of claim 1, wherein emitting visible light.
  32. 前記光源は、赤外光を放射する 請求項1記載の方法。 Wherein the light source The method of claim 1, wherein emits infrared light.
  33. 前記光源は、ソナー信号を放射する 請求項1記載の方法。 Wherein the light source The method of claim 1, wherein emitting a sonar signal.
  34. 前記光源は、x線を放射する 請求項1記載の方法。 Wherein the light source The method of claim 1, wherein emits x-rays.
  35. 前記光源は、レーダー信号を放射する 請求項1記載の方法。 Wherein the light source The method of claim 1, wherein emitting a radar signal.
  36. 前記光源は、複数の波長の光を同時に放射し、 The light source simultaneously emits light of a plurality of wavelengths,
    前記カメラ内のセンサにおいて複数のフィルタを用いて複数の周波数を復号化することをさらに含む 請求項1記載の方法。 The method of claim 1, further comprising decoding the plurality of frequencies by using a plurality of filters in sensors in the camera.
  37. 前記フィルタは、ベイヤーモザイクパターンを有する 請求項36記載の方法。 The filter method of claim 36, further comprising a Bayer mosaic pattern.
  38. 前記エッジは、前記n枚の入力画像内の全てのエッジを含む 請求項1記載の方法。 The edge method of claim 1, including all edges of said n input images.
  39. 前記エッジからビジュアルハルを求めることをさらに含む 請求項38記載の方法。 The method of claim 38, further comprising: determining a visual hull from the edge.
  40. 前記エッジに従って前記出力画像を分割することをさらに含む 請求項38記載の方法。 The method of claim 38, further comprising dividing the output image according to said edge.
  41. 前記エッジに従って前記出力画像内の深度層を分解することをさらに含む 請求項38記載の方法。 The method of claim 38, further comprising decomposing the depth layer in said output image according to said edge.
  42. 前記エッジに従って前記出力画像のアスペクトグラフを分解することをさらに含む 請求項38記載の方法。 The method of claim 38, further comprising decomposing an aspect graph of the output image according to said edge.
  43. 前記入力画像は、航空写真撮影術によって取得される 請求項1記載の方法。 The input image The method of claim 1 wherein acquired by aerial photography procedure.
  44. 前記光源は、フラッシュユニットである 請求項1記載の方法。 Wherein the light source The method of claim 1 wherein the flash unit.
JP2005143803A 2003-03-19 2005-05-17 Method for generating a stylized image of a scene containing objects Active JP4610411B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/847,068 US7738725B2 (en) 2003-03-19 2004-05-17 Stylized rendering using a multi-flash camera

Publications (2)

Publication Number Publication Date
JP2005341569A true JP2005341569A (en) 2005-12-08
JP4610411B2 JP4610411B2 (en) 2011-01-12

Family

ID=35494557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005143803A Active JP4610411B2 (en) 2003-03-19 2005-05-17 Method for generating a stylized image of a scene containing objects

Country Status (1)

Country Link
JP (1) JP4610411B2 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039767A (en) * 2006-08-01 2008-02-21 Mitsubishi Electric Research Laboratories Inc Method and system for sensing surface shape of reflective object
JP2009177782A (en) * 2007-12-28 2009-08-06 Sanyo Electric Co Ltd Image processing apparatus and photographing apparatus
JP2009212811A (en) * 2008-03-04 2009-09-17 Canon Inc Imaging system, method, and program
US7983487B2 (en) 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
JP2011215099A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Optical position detecting device
JP2011215100A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Optical position detecting device
JP2011215101A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Optical position detecting device
US8325268B2 (en) 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
JP2017163587A (en) * 2011-09-28 2017-09-14 ペリカン イメージング コーポレイション System and method for encoding and decoding light field image file
WO2017154706A1 (en) * 2016-03-09 2017-09-14 株式会社ニコン Detection device, information processing device, detection method, detection program, and detection system
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10380752B2 (en) 2012-08-21 2019-08-13 Fotonation Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10455218B2 (en) 2013-03-15 2019-10-22 Fotonation Limited Systems and methods for estimating depth using stereo array cameras
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101812664B1 (en) 2016-10-28 2017-12-27 한국과학기술원 Method and apparatus for extracting multi-view object with fractional boundaries

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008988A (en) * 2001-04-11 2003-01-10 Hewlett Packard Co <Hp> Method and apparatus for the removal of flash artifacts
JP2003219264A (en) * 2002-01-22 2003-07-31 Fuji Photo Film Co Ltd Imaging apparatus, image picking up method and program
JP2004289829A (en) * 2003-03-19 2004-10-14 Mitsubishi Electric Research Laboratories Inc Method for generating stylized image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008988A (en) * 2001-04-11 2003-01-10 Hewlett Packard Co <Hp> Method and apparatus for the removal of flash artifacts
JP2003219264A (en) * 2002-01-22 2003-07-31 Fuji Photo Film Co Ltd Imaging apparatus, image picking up method and program
JP2004289829A (en) * 2003-03-19 2004-10-14 Mitsubishi Electric Research Laboratories Inc Method for generating stylized image

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039767A (en) * 2006-08-01 2008-02-21 Mitsubishi Electric Research Laboratories Inc Method and system for sensing surface shape of reflective object
US7983487B2 (en) 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
JP2009177782A (en) * 2007-12-28 2009-08-06 Sanyo Electric Co Ltd Image processing apparatus and photographing apparatus
US8325268B2 (en) 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
JP4606486B2 (en) * 2007-12-28 2011-01-05 三洋電機株式会社 Image processing apparatus and photographing apparatus
JP2009212811A (en) * 2008-03-04 2009-09-17 Canon Inc Imaging system, method, and program
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
JP2011215099A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Optical position detecting device
JP2011215100A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Optical position detecting device
JP2011215101A (en) * 2010-04-02 2011-10-27 Seiko Epson Corp Optical position detecting device
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
JP2017163587A (en) * 2011-09-28 2017-09-14 ペリカン イメージング コーポレイション System and method for encoding and decoding light field image file
US10275676B2 (en) 2011-09-28 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US20180197035A1 (en) 2011-09-28 2018-07-12 Fotonation Cayman Limited Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata
US10430682B2 (en) 2011-09-28 2019-10-01 Fotonation Limited Systems and methods for decoding image files containing depth maps stored as metadata
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US10380752B2 (en) 2012-08-21 2019-08-13 Fotonation Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10455218B2 (en) 2013-03-15 2019-10-22 Fotonation Limited Systems and methods for estimating depth using stereo array cameras
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
WO2017154706A1 (en) * 2016-03-09 2017-09-14 株式会社ニコン Detection device, information processing device, detection method, detection program, and detection system

Also Published As

Publication number Publication date
JP4610411B2 (en) 2011-01-12

Similar Documents

Publication Publication Date Title
Shum et al. Image-based rendering
Zhang et al. Projection defocus analysis for scene capture and image display
Ancuti et al. Enhancing underwater images and videos by fusion
US9165405B2 (en) Method and device for illustrating a virtual object in a real environment
US7010158B2 (en) Method and apparatus for three-dimensional scene modeling and reconstruction
US9898856B2 (en) Systems and methods for depth-assisted perspective distortion correction
US8340422B2 (en) Generation of depth map for an image
US7327362B2 (en) Method and system for providing a volumetric representation of a three-dimensional object
US6903738B2 (en) Image-based 3D modeling rendering system
Zach et al. A globally optimal algorithm for robust tv-l 1 range image integration
Callieri et al. Masked photo blending: Mapping dense photographic data set on high-resolution sampled 3D models
Schuon et al. High-quality scanning using time-of-flight depth superresolution
KR101643607B1 (en) Method and apparatus for generating of image data
US6831641B2 (en) Modeling and rendering of surface reflectance fields of 3D objects
KR101277229B1 (en) Apparatus and method for improved foreground/background separation in digitl images
US6792140B2 (en) Image-based 3D digitizer
US6791542B2 (en) Modeling 3D objects with opacity hulls
JP4082714B2 (en) Image high resolution device, image high resolution method, image high resolution program, and image high resolution system
US20120242790A1 (en) Rapid workflow system and method for image sequence depth enhancement
JP2009514103A (en) Split video foreground
KR101928575B1 (en) Piecewise planar reconstruction of three-dimensional scenes
JP2009506688A (en) Image segmentation method and image segmentation system
JP2011504262A (en) System and method for depth map extraction using region-based filtering
US8320666B2 (en) Real-time image and video matting
US6639594B2 (en) View-dependent image synthesis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101012

R150 Certificate of patent or registration of utility model

Ref document number: 4610411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250