JP2017016663A - Image composition method and device - Google Patents
Image composition method and device Download PDFInfo
- Publication number
- JP2017016663A JP2017016663A JP2016131395A JP2016131395A JP2017016663A JP 2017016663 A JP2017016663 A JP 2017016663A JP 2016131395 A JP2016131395 A JP 2016131395A JP 2016131395 A JP2016131395 A JP 2016131395A JP 2017016663 A JP2017016663 A JP 2017016663A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light irradiation
- source image
- source
- optimized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は合成画像を生成する方法及び装置に関するものであり、より具体的には、本発明はソース画像中のオブジェクトをターゲット画像中へ合成する方法及び装置に関するものである。 The present invention relates to a method and apparatus for generating a composite image, and more specifically, the present invention relates to a method and apparatus for compositing an object in a source image into a target image.
画像合成技術の目的は、異なる環境下で撮影した一枚のソース画像と一枚のターゲット画像を合成して一枚の画像とすることにある。しかし光照射条件等の不一致のゆえに、合成した画像は通常人に真実ではない感じを与えてしまう。例えば、ターゲット画像の光照射方向は左から右、ソース画像の光照射方向は右から左として、ターゲット画像の光照射方向、あるいはソース画像の光照射方向に対して処理をせずに直接合成画像を生成した場合、見る人に通常この画像を真実でないと思わせる。 The purpose of the image composition technique is to combine one source image and one target image taken in different environments into one image. However, due to the mismatch of the light irradiation conditions, the synthesized image usually gives the person a feeling that is not true. For example, the light irradiation direction of the target image is from left to right, the light irradiation direction of the source image is from right to left, and the composite image is directly processed without processing the light irradiation direction of the target image or the light irradiation direction of the source image. Would cause the viewer to think that this image is usually not true.
本発明の実施例の目的は、合成画像を生成する方法及び装置を提供することにあり、上述の過度な増強問題を解決する。 An object of an embodiment of the present invention is to provide a method and apparatus for generating a composite image, which solves the excessive enhancement problem described above.
本発明の一つの実施例は画像合成方法を提供し、その方法は、ソース画像、ソース画像の深度情報及びターゲット画像を取得すること；ターゲット画像の光照射情報を確定すること；ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成すること；及び、光照射を最適化したソース画像及びターゲット画像に基づいて合成画像を生成することを含む。 One embodiment of the present invention provides an image composition method, which obtains a source image, depth information of the source image and a target image; determining light irradiation information of the target image; depth of the source image Generating a source image optimized for light irradiation by adjusting the source image based on the information and light irradiation information of the target image; and a composite image based on the source image and target image optimized for light irradiation Generating.
本発明のもう一つの実施例は画像合成装置を提供し、その装置は、ソース画像、ソース画像の深度情報及びターゲット画像を取得するための画像取得ユニット；ターゲット画像の光照射情報を確定するための光照射情報確定ユニット；ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成するための光照射最適化ユニット；及び、光照射を最適化したソース画像及びターゲット画像に基づき合成画像を生成するための画像合成ユニットを含む。 Another embodiment of the present invention provides an image synthesizer that includes a source image, a depth information of the source image, and an image acquisition unit for acquiring the target image; for determining light irradiation information of the target image. A light irradiation optimization unit for generating a source image optimized for light irradiation by adjusting the source image based on the depth information of the source image and the light irradiation information of the target image; and And an image composition unit for generating a composite image based on the source image and the target image with optimized light irradiation.
上述した本発明の実施例が提供する画像合成方法及び装置では、抽出したターゲット画像の光照射情報に基づき、かつソース画像の深度情報及び抽出したターゲット画像の光照射情報を用いてソース画像の光照射成分を調整し、一致した光照射を有する合成画像を生成することで、見る人が受ける印象を改善することができる。 In the image composition method and apparatus provided by the embodiment of the present invention described above, the light of the source image is based on the light irradiation information of the extracted target image and using the depth information of the source image and the light irradiation information of the extracted target image. The impression received by the viewer can be improved by adjusting the irradiation components and generating a composite image having a matched light irradiation.
当業者が本発明をより良く理解するため、図面を参考に本発明の最適な実施例を詳細に説明する。注意すべき点として、本明細書及び図面において、基本的に同じステップ及び要素は同じ図面標記（符号）を用いて示し、かつこれらのステップ及び要素の重複する説明については省略する。 In order that those skilled in the art may better understand the present invention, preferred embodiments of the present invention will be described in detail with reference to the drawings. It should be noted that in the present specification and drawings, basically the same steps and elements are indicated by using the same drawing symbols (reference numerals), and redundant description of these steps and elements is omitted.
本発明の実施例において、例えば、ソース画像は人物、動物等をオブジェクトとした画像でよい。ソース画像はソース画像中から抽出する人物、動物等のオブジェクトが存在する領域の画像でよい。その他に、本発明の実施例において、深度カメラ（二眼カメラ、TOFカメラ等）によってソース画像を撮影し、ソース画像の深度情報を取得できる。 In the embodiment of the present invention, for example, the source image may be an image using a person, an animal, or the like as an object. The source image may be an image of an area where objects such as persons and animals extracted from the source image exist. In addition, in the embodiment of the present invention, the depth information of the source image can be acquired by capturing the source image with a depth camera (such as a twin-lens camera or a TOF camera).
図1は本発明の実施例である画像合成方法のフローチャートである。以下は、図1を参考に本発明の実施例である画像合成方法100を説明する。図1が示すように、ステップS101では、ソース画像、ソース画像の深度情報及びターゲット画像を取得する。取得したソース画像の地平面とターゲット画像の地平面が平行であれば好適である。例えば、ステップS101においてまずソース画像を取得することができる。例えば、カメラ等の装置によってソース画像をキャプチャでき、ネットワーク等によってソース画像を受信することもできる。その後ステップS101においてソース画像の地面領域及びターゲット画像の地面領域を確定し、かつソース画像の地面領域及びターゲット画像の地面領域をアライメントすることができる。最後にステップS101においてアライメントしたソース画像中でオブジェクト検出を行い、ソース画像を取得することができる。
FIG. 1 is a flowchart of an image composition method according to an embodiment of the present invention. Hereinafter, an
ステップS102では、取得したターゲット画像の光照射情報を確定することにより、ターゲット画像中の光照射方向を得ることができる。本発明の一つの例では、ステップS102において、陰影領域と物体領域の対応関係及びレイトレーシング原理に基づき、ターゲット画像の光照射方向を推測することができる。図2は本発明の一つの例である、取得したターゲット画像の光照射情報を確定する方法200のフローチャートである。図2が示すように、ステップS201において、ターゲット画像中の物体及び陰影を検出することができる。例えば、ターゲット画像をHSV色空間へ転換し、その後彩度に基づきターゲット画像を前景領域、陰影領域及び背景領域に分け、かつ前景領域中の物体を認識することができる。ステップS202において認識した物体と陰影領域の対応関係を確定する。例えば、形状に基づいて物体と陰影領域の間の対応関係を確定できる。その後ステップS203において確定した関係に基づき、ターゲット画像中の光線の照射方向（つまり、光照射方向）を推測してターゲット画像の光照射情報とする。
In step S102, the light irradiation direction in the target image can be obtained by determining the light irradiation information of the acquired target image. In one example of the present invention, in step S102, the light irradiation direction of the target image can be estimated based on the correspondence between the shadow area and the object area and the ray tracing principle. FIG. 2 is a flowchart of a
図1に戻り、ステップS103では、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。図3は本発明の一つの例である、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整し、光照射を最適化したソース画像を生成する方法300のフローチャートである。
Returning to FIG. 1, in step S103, the source image is adjusted based on the depth information of the source image and the light irradiation information of the target image, thereby generating a source image with optimized light irradiation. FIG. 3 is a flowchart of a
いくつかの合成画像では、ソース画像は不適切な場所に挿入されるかもしれない。例えば合成画像中、ソース画像中の人はターゲット画像中の車の屋根の上へ挿入されるかもしれず、見る人にこの画像は真実ではないと思わせてしまう。そこで、図3が示すように、ステップS301ではターゲット画像中でソース画像に融合する位置を確定することができる。写真を撮影する際、人は通常展示品の近くの位置に立つので、ターゲット画像中、参考物体（例えば展示品）の周囲の地面領域をソース画像に融合する位置とすることができる。 In some composite images, the source image may be inserted at an inappropriate location. For example, in a composite image, a person in the source image may be inserted over the car roof in the target image, causing the viewer to think that the image is not true. Therefore, as shown in FIG. 3, in step S301, the position to be merged with the source image in the target image can be determined. When a photograph is taken, a person usually stands at a position near the exhibit, so that the ground area around the reference object (for example, the exhibit) in the target image can be a position where the source image is fused.
図4は、本発明の一つの例である、ターゲット画像中でソース画像に融合する位置を確定する方法400のフローチャートである。図4が示すように、ステップS401では、カラーに基づいてターゲット画像を分割する。例えばターゲット画像の三次元モデルを生成し、カラークラスタリング法を用いてターゲット画像の三次元モデルを分割できる。ステップS402において、分割したターゲット画像中で参考物体を確定する。具体的には、カラーに基づいて、分割したターゲット画像中で参考物体を確定することができる。例えば、似たカラーを有する領域が地平面及びその他の平面（例えば地平面に垂直な平面）中に同時に分布している場合、これらの領域は物体領域に属すると確定し、かつ物体領域に基づいて参考物体を確定することができる。その後ステップS403において、地平面中から参考物体周囲の地面領域を抽出する。例えば、カラーに基づいて地平面中から参考物体周囲の地面領域を抽出することができる。具体的には、似たカラーを有した領域が地面平面にしか分布しない場合、これらの領域は地面領域に属すると確定できる。最後にステップS404において、撮影構図原理に基づき参考物体周囲の地面領域中でソース画像の融合する具体的な位置を確定する。
FIG. 4 is a flowchart of a
他の代替方法として、ステップS301においてユーザーとの交互結果に基づきターゲット画像中でソース画像の融合する位置を確定することもできる。 As another alternative method, the position where the source images are merged in the target image can be determined based on the alternating result with the user in step S301.
その他に、ソース画像とターゲット画像の比例関係が常識に合わず、例えば巨大な人が小さな自動車の傍らに立っているならば、見る人もこの画像は真実ではないと考える。そこで、合成されるソース画像のサイズに対してさらに調整を行うことができる。図3に戻り、ステップS302においてターゲット画像中の消失点を確定する。その後ステップS303において確定した消失点、ソース画像に融合する位置に基づいてソース画像のサイズを調整することにより、サイズを最適化したソース画像を生成する。 In addition, if the proportional relationship between the source image and the target image does not match common sense, for example, if a huge person is standing beside a small car, the viewer thinks that the image is not true. Therefore, it is possible to further adjust the size of the source image to be synthesized. Returning to FIG. 3, the vanishing point in the target image is determined in step S302. Thereafter, the size of the source image is adjusted based on the vanishing point determined in step S303 and the position where the source image is fused, thereby generating a source image with an optimized size.
本発明の一つの例では、ステップS302において、上述の参考物体が存在する領域で消失点を確定することができる。その後ステップS303において、消失点に基づきターゲット画像の透視方向を確定し、かつソース画像のサイズと透視方向に沿ったソース画像の消失点までの距離に基づいてソース画像のサイズを調整することができる。その透視方向に沿った、ソース画像のサイズとソース画像の消失点までの距離は反比例する。 In one example of the present invention, in step S302, the vanishing point can be determined in the region where the reference object is present. Thereafter, in step S303, the perspective direction of the target image can be determined based on the vanishing point, and the size of the source image can be adjusted based on the size of the source image and the distance to the vanishing point of the source image along the fluoroscopic direction. . The size of the source image and the distance to the vanishing point of the source image along the perspective direction are inversely proportional.
具体的には、三次元空間において平行する二本の直線は二次元画像において消失点と交差し、この二本の直線に垂直な直線に基づいてカメラまでの距離を確定することができる。具体的に言えば、一本の同じ垂直線上の点のカメラまでの距離は同じである。本発明の実施例では、ソース画像が一本の同じ垂直線上で移動する時、サイズは変わらない。本発明の実施例ではこれらの垂直線を等寸法線と呼ぶ。本発明の一つの例では、ステップS303において、幾何学的推理方法を用いることによって等寸法線を算出し、その後目標物体とソース画像の比例関係に基づいて、等寸法線それぞれに対応するサイズ因子を算出し、かつサイズ因子及びソース画像に融合する位置に基づいてソース画像をスケーリングし、サイズを最適化したソース画像を生成することができる。 Specifically, two parallel lines in the three-dimensional space intersect with the vanishing point in the two-dimensional image, and the distance to the camera can be determined based on a straight line perpendicular to the two lines. Specifically, the distance to the camera of a point on the same vertical line is the same. In an embodiment of the invention, the size does not change when the source image moves on a single vertical line. In the embodiment of the present invention, these vertical lines are called equal dimension lines. In one example of the present invention, in step S303, an isodimension line is calculated by using a geometric reasoning method, and then a size factor corresponding to each isodimension line based on the proportional relationship between the target object and the source image. , And scaling the source image based on the size factor and the location to merge with the source image to generate a size optimized source image.
ステップS304において、サイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。物体表面の明暗関係は物体の深度と異なって作られる。光線が物体に照射される時、一部分は深度の大きい領域に妨げられ、それによって隣接する深度の小さい領域上に陰影を形成する。よって、本発明の一つの例では、ステップS304においてターゲット画像の光照射情報及びソース画像の深度情報に基づいて、ターゲット画像の光照射情報の示す光照射方向上に沿ってサイズを最適化したソース画像の光照射勾配を計算することにより、光照射参考図を生成し、その後サイズを最適化したソース画像及び光照射参考図に基づいて光照射を最適化したソース画像を生成することができる。例えば、光照射方向に沿ってソース画像に対応する深度画像の深度勾配を計算することにより、物体上に形成する表面陰影の位置を取得できる。その後深度画像中の勾配が大きい部分を増強し、勾配が小さい部分は弱めず、光照射参考図となる。 In step S304, a source image with optimized light irradiation is generated by adjusting the source image based on the size-optimized source image, light irradiation information of the target image, and depth information of the source image. The light / dark relationship of the object surface is created differently from the depth of the object. When a light beam strikes an object, a portion is obstructed by a deep region, thereby forming a shadow on the adjacent deep region. Therefore, in one example of the present invention, in step S304, based on the light irradiation information of the target image and the depth information of the source image, the source whose size is optimized along the light irradiation direction indicated by the light irradiation information of the target image By calculating the light irradiation gradient of the image, a light irradiation reference map can be generated, and then a source image with optimized light irradiation can be generated based on the size-optimized source image and the light irradiation reference map. For example, the position of the surface shadow formed on the object can be acquired by calculating the depth gradient of the depth image corresponding to the source image along the light irradiation direction. After that, a portion with a large gradient in the depth image is enhanced, and a portion with a small gradient is not weakened, and becomes a light irradiation reference diagram.
正確にソース画像中の光照射を調節するため、好適には、ステップS304においてサイズを最適化したソース画像の光照射成分及びカラー成分を抽出することができ、例えば固有画像分解によって、最適化したソース画像のカラー画像を光照射成分及びカラー成分に分けることができる。その後ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像の光照射成分を調整することにより、調節後の光照射成分を生成し、かつカラー成分及び調節後の光照射成分に対して再構成を行うことで光照射を最適化したソース画像を生成することができる。 In order to accurately adjust the light irradiation in the source image, it is possible to extract the light irradiation component and the color component of the source image whose size has been optimized in step S304, and for example, optimized by eigenimage decomposition The color image of the source image can be divided into a light irradiation component and a color component. Then, by adjusting the light irradiation component of the source image based on the light irradiation information of the target image and the depth information of the source image, an adjusted light irradiation component is generated, and for the color component and the adjusted light irradiation component Thus, it is possible to generate a source image with optimized light irradiation.
また、処理過程において画像のテクスチャ情報を変更してしまうことを避けるため、ステップS304において加重最小二乗フィルタのようなフィルタ装置をさらに用いることができ、前記光照射成分に対してフィルタリングを行うことにより、密層画像及び粗層画像を生成し、かつ粗層上においてのみ輝度調節を行うことができる。具体的には、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース粗層画像を調整することにより、光照射を最適化した粗層画像を生成し、かつ密層画像及び光照射を最適化した粗層画像に対して再構成を行うことで調節後の光照射成分を生成できる。例えば、上述のように光照射参考図を生成した状況下では、光照射参考図と粗層画像をガウスの重みに基づいて一緒に融合し、光照射を最適化した後の粗層画像を生成できる。 Further, in order to avoid changing the texture information of the image in the processing process, a filter device such as a weighted least square filter can be further used in step S304, and by filtering the light irradiation component, In addition, a dense layer image and a coarse layer image can be generated, and brightness adjustment can be performed only on the coarse layer. Specifically, by adjusting the source coarse layer image based on the light irradiation information of the target image and the depth information of the source image, a coarse layer image with optimized light irradiation is generated, and the dense layer image and the light irradiation are generated. The light irradiation component after adjustment can be generated by performing reconstruction on the coarse layer image in which is optimized. For example, in the situation where the light irradiation reference map is generated as described above, the light irradiation reference map and the coarse layer image are fused together based on the Gaussian weight to generate the coarse layer image after the light irradiation is optimized. it can.
図5は本発明の一つの例である、サイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整し、光照射を最適化したソース画像を生成する処理の説明図である。図5が示すように、サイズを最適化したソース画像500中から光照射成分510及びカラー成分520を抽出する。光照射成分510に対してフィルタリングを行うことで密層画像511及び粗層画像512を生成する。別の面では、ターゲット画像の光照射情報531及びソース画像の深度情報532に基づいて、ターゲット画像の光照射情報が示す光照射方向上に沿って最適化したソース画像の光照射勾配を計算することにより、光照射参考図540を生成する。生成した光照射参考図540を用いて粗層画像512に対し調整を行うことで光照射を最適化した粗層画像512’を生成し、その後密層画像511、光照射を最適化した粗層画像512’及びカラー成分520に対して再構成を行うことで光照射を最適化したソース画像550を生成する。 FIG. 5 shows an example of the present invention. The source image is adjusted based on the source image with the optimized size, the light irradiation information of the target image, and the depth information of the source image, and the light source is optimized. It is explanatory drawing of the process to produce | generate. As shown in FIG. 5, the light irradiation component 510 and the color component 520 are extracted from the source image 500 whose size is optimized. The dense layer image 511 and the coarse layer image 512 are generated by filtering the light irradiation component 510. In another aspect, the light irradiation gradient of the source image optimized along the light irradiation direction indicated by the light irradiation information of the target image is calculated based on the light irradiation information 531 of the target image and the depth information 532 of the source image. Thus, the light irradiation reference diagram 540 is generated. Using the generated light irradiation reference diagram 540, adjustment is performed on the rough layer image 512 to generate a rough layer image 512 ′ optimized for light irradiation, and then a dense layer image 511, a rough layer optimized for light irradiation. By reconstructing the image 512 ′ and the color component 520, a source image 550 with optimized light irradiation is generated.
図1に戻り、ステップS104において、光照射を最適化したソース画像及びターゲット画像に基づいて合成画像を生成することができる。例えば、光照射を最適化したソース画像をステップS301に基づいて確定したソース画像に融合する位置へ挿入することで合成画像を生成することができる。 Returning to FIG. 1, in step S104, a composite image can be generated based on the source image and the target image with optimized light irradiation. For example, a composite image can be generated by inserting a source image with optimized light irradiation into a position where it is fused with the source image determined based on step S301.
また、本発明の一つの例では、さらに光照射状況に基づき、ソース画像の陰影を生成することができる。図6は本発明の一つの例である、ソース画像を生成する方法のフローチャートである。図6が示すように、ステップS601において光照射を最適化したソース画像のシルエットを計算する。その後ステップS602においてターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことでソース画像の陰影を生成する。具体的には、ステップS602において最初に、ターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことにより、オブジェクト画像の陰影が存在する陰影領域を確定できる。その後ターゲット画像中の陰影の強度に基づいて陰影領域の画像の輝度を調整することにより、ソース画像の陰影を生成する。例えば、上述で図2と合わせて説明した方法200中のステップS201で述べたように、ターゲット画像の前景領域及び陰影領域を確定することができる。さらに以下の公式[1]によって陰影の強度βを算出することができる。
式中、Cはターゲット画像中の色値、Sはターゲット画像中に含まれる陰影の色値、Lはターゲット画像中に含まない陰影の色値である。その後、ソース画像の位置に基づいて生成した陰影生成も合成画像中へ挿入することができる。 In the equation, C is a color value in the target image, S is a color value of a shadow included in the target image, and L is a color value of a shadow not included in the target image. Thereafter, the shadow generation generated based on the position of the source image can also be inserted into the composite image.
上述の本発明の実施例で提供する画像合成方法では、抽出したターゲット画像の光照射情報に基づき、かつソース画像の深度情報及び抽出したターゲット画像の光照射情報を用いてソース画像の光照射成分を調整し、一致した光照射を有する合成画像を生成することで、見る人が受ける印象を改善することができる。 In the image composition method provided in the above-described embodiment of the present invention, the light irradiation component of the source image based on the light irradiation information of the extracted target image and using the depth information of the source image and the light irradiation information of the extracted target image. The impression received by the viewer can be improved by generating a composite image having the matched light irradiation.
以下は、図7を参考に本発明の実施例である画像合成装置を説明する。図7は本発明の実施例である画像合成装置700のブロック図を示したものである。図7が示すように、本実施例の画像合成装置700には、画像取得ユニット710、光照射情報確定ユニット720、光照射最適化ユニット730及び画像合成ユニット740が含まれる。画像合成装置700の各ユニットは上述の図1中の画像合成方法100の各ステップ／機能をそれぞれ実行することができる。よって、以下は画像合成装置700の主要部材に対してのみ説明し、上述で図1〜6と合わせて説明済みである詳細な内容は省略する。
Hereinafter, an image composition apparatus according to an embodiment of the present invention will be described with reference to FIG. FIG. 7 shows a block diagram of an image composition apparatus 700 which is an embodiment of the present invention. As shown in FIG. 7, the image composition apparatus 700 of this embodiment includes an image acquisition unit 710, a light irradiation information determination unit 720, a light irradiation optimization unit 730, and an image composition unit 740. Each unit of the image composition apparatus 700 can execute each step / function of the
例えば、画像取得ユニット710は、ソース画像、ソース画像の深度情報及びターゲット画像を取得できる。取得するソース画像の地平面とターゲット画像の地平面は平行であることが好適である。例えば、画像取得ユニット710はまずソース画像を取得することができる。例えば、カメラ等の装置によってソース画像をキャプチャでき、ネットワーク等によってソース画像を受信することもできる。その後画像取得ユニット710はソース画像の地面領域及びターゲット画像の地面領域を確定し、かつソース画像の地面領域及びターゲット画像の地面領域をアライメントすることができる。最後に画像取得ユニット710はアライメントしたソース画像中でオブジェクト検出を行い、ソース画像を取得することができる。 For example, the image acquisition unit 710 can acquire the source image, the depth information of the source image, and the target image. The ground plane of the source image to be acquired and the ground plane of the target image are preferably parallel. For example, the image acquisition unit 710 can first acquire the source image. For example, the source image can be captured by a device such as a camera, and the source image can be received by a network or the like. The image acquisition unit 710 can then determine the ground area of the source image and the ground area of the target image, and can align the ground area of the source image and the ground area of the target image. Finally, the image acquisition unit 710 can detect an object in the aligned source image and acquire the source image.
光照射情報確定ユニット720は、取得したターゲット画像の光照射情報を確定することにより、ターゲット画像中の光照射方向を得ることができる。本発明の一つの例では、光照射情報確定ユニット720は、陰影領域と物体領域の対応関係及びレイトレーシング原理に基づき、ターゲット画像の光照射方向を推測することができる。図8は本発明の一つの例である、光照射情報確定ユニットのブロック図である。図8が示すように、光照射情報確定ユニット720には検出モジュール810、対応確定モジュール820及び光照射情報生成モジュール830が含まれる。
The light irradiation information determination unit 720 can obtain the light irradiation direction in the target image by determining the light irradiation information of the acquired target image. In one example of the present invention, the light irradiation information determination unit 720 can estimate the light irradiation direction of the target image based on the correspondence between the shadow area and the object area and the ray tracing principle. FIG. 8 is a block diagram of a light irradiation information determination unit as an example of the present invention. As shown in FIG. 8, the light irradiation information determination unit 720 includes a
具体的には、検出モジュール810はターゲット画像中の物体及び陰影を検出することができる。例えば、ターゲット画像をHSV色空間へ転換し、その後彩度に基づきターゲット画像を前景領域、陰影領域及び背景領域に分け、かつ前景領域中の物体を認識することができる。対応確定モジュール820は認識した物体と陰影領域の対応関係を確定する。例えば、形状に基づいて物体と陰影領域の間の対応関係を確定できる。その後光照射情報生成モジュール830は確定した関係に基づき、ターゲット画像中の光線の照射方向（つまり、光照射方向）を推測してターゲット画像の光照射情報とする。
Specifically, the
図7に戻り、光照射最適化ユニット730は、ソース画像の深度情報及びターゲット画像の光照射情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。図9は本発明の一つの例である、光照射最適化ユニット730のブロック図である。図9が示すように、光照射最適化ユニット730には融合位置確定モジュール910、消失点確定モジュール920、調整モジュール930と光照射最適化画像生成モジュール940が含まれる。 Returning to FIG. 7, the light irradiation optimization unit 730 generates a source image with optimized light irradiation by adjusting the source image based on the depth information of the source image and the light irradiation information of the target image. FIG. 9 is a block diagram of a light irradiation optimization unit 730, which is an example of the present invention. As shown in FIG. 9, the light irradiation optimization unit 730 includes a fusion position determination module 910, a vanishing point determination module 920, an adjustment module 930, and a light irradiation optimization image generation module 940.
具体的には、融合位置確定モジュール910はターゲット画像中でソース画像に融合する位置を確定することができる。写真を撮影する際、人は通常展示品の近くの位置に立つので、ターゲット画像中、参考物体（例えば展示品）の周囲の地面領域をソース画像に融合する位置とすることができる。 Specifically, the fusion position determination module 910 can determine a position to be merged with the source image in the target image. When a photograph is taken, a person usually stands at a position near the exhibit, so that the ground area around the reference object (for example, the exhibit) in the target image can be a position where the source image is fused.
本発明の一つの例では、融合位置確定モジュール910は色に基づいてターゲット画像を分割することができる。例えばターゲット画像の三次元モデルを生成し、カラークラスタリング法を用いてターゲット画像の三次元モデルを分割できる。その後、融合位置確定モジュール910は分割したターゲット画像中で参考物体を確定する。具体的には、カラーに基づいて、分割したターゲット画像中で参考物体を確定することができる。例えば、似たカラーを有する領域が地平面及びその他の平面（例えば地平面に垂直な平面）中に同時に分布している場合、これらの領域は物体領域に属すると確定し、かつ物体領域に基づいて参考物体を確定することができる。その後融合位置確定モジュール910は地平面中から参考物体周囲の地面領域を抽出する。例えば、カラーに基づいて地平面中から参考物体周囲の地面領域を抽出することができる。具体的には、似たカラーを有した領域が地面平面にしか分布しない場合、これらの領域は地面領域に属すると確定できる。最後に融合位置確定モジュール910は、撮影構図原理に基づき参考物体周囲の地面領域中でソース画像の融合する具体的な位置を確定する。 In one example of the invention, the fusion position determination module 910 can segment the target image based on color. For example, a three-dimensional model of the target image can be generated, and the three-dimensional model of the target image can be divided using a color clustering method. Thereafter, the fusion position determination module 910 determines a reference object in the divided target images. Specifically, the reference object can be determined in the divided target image based on the color. For example, if regions with similar colors are simultaneously distributed in the ground plane and other planes (for example, planes perpendicular to the ground plane), these regions are determined to belong to the object region and based on the object region The reference object can be determined. Thereafter, the fusion position determination module 910 extracts a ground area around the reference object from the ground plane. For example, the ground area around the reference object can be extracted from the ground plane based on the color. Specifically, when regions having similar colors are distributed only on the ground plane, it can be determined that these regions belong to the ground region. Finally, the fusion position determination module 910 determines a specific position where the source images are fused in the ground area around the reference object based on the imaging composition principle.
代替方法として、本発明の別の例では、融合位置確定モジュール910はユーザーとの交互結果に基づきターゲット画像中でソース画像の融合する位置を確定することもできる。 As an alternative, in another example of the present invention, the fusion position determination module 910 may determine the position where the source image will be fused in the target image based on the alternating result with the user.
消失点確定モジュール920はターゲット画像中の消失点を確定することができる。その後調整モジュール930は確定した消失点、ソース画像に融合する位置に基づいてソース画像のサイズを調整し、サイズ最適化したソース画像を生成する。 The vanishing point determination module 920 can determine the vanishing point in the target image. Thereafter, the adjustment module 930 adjusts the size of the source image based on the determined vanishing point and the position where the source image is merged, and generates a size-optimized source image.
本発明の一つの例では、消失点確定モジュール920は上述の参考物体が存在する領域で消失点を確定することができる。その他に、調整モジュール930は消失点に基づきターゲット画像の透視方向を確定し、かつソース画像のサイズと透視方向に沿ったソース画像の消失点までの距離に基づいてソース画像のサイズを調整することができる。その透視方向に沿った、ソース画像のサイズとソース画像の消失点までの距離は反比例する。 In one example of the present invention, the vanishing point determination module 920 can determine the vanishing point in the area where the reference object is present. In addition, the adjustment module 930 determines the perspective direction of the target image based on the vanishing point, and adjusts the size of the source image based on the size of the source image and the distance to the vanishing point of the source image along the fluoroscopic direction. Can do. The size of the source image and the distance to the vanishing point of the source image along the perspective direction are inversely proportional.
具体的には、三次元空間において平行する二本の直線は二次元画像において消失点と交差し、この二本の直線に垂直な直線に基づいてカメラまでの距離を確定することができる。具体的に言えば、一本の同じ垂直線上の点のカメラまでの距離は同じである。本発明の実施例では、ソース画像が一本の同じ垂直線上で移動する時、サイズは変わらない。本発明の実施例ではこれらの垂直線を等寸法線と呼ぶ。本発明の一つの例では、調整モジュール930は幾何学的推理方法を用いることによって等寸法線を算出し、その後目標物体とソース画像の比例関係に基づいて、等寸法線それぞれに対応するサイズ因子を算出し、かつサイズ因子及びソース画像に融合する位置に基づいてソース画像をスケーリングし、サイズを最適化したソース画像を生成することができる。 Specifically, two parallel lines in the three-dimensional space intersect with the vanishing point in the two-dimensional image, and the distance to the camera can be determined based on a straight line perpendicular to the two lines. Specifically, the distance to the camera of a point on the same vertical line is the same. In an embodiment of the invention, the size does not change when the source image moves on a single vertical line. In the embodiment of the present invention, these vertical lines are called equal dimension lines. In one example of the present invention, the adjustment module 930 calculates the isodimension line by using a geometric reasoning method, and then the size factor corresponding to each isodimension line based on the proportional relationship between the target object and the source image. , And scaling the source image based on the size factor and the location to merge with the source image to generate a size optimized source image.
光照射最適化生成モジュール940はサイズを最適化したソース画像、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像を調整することにより、光照射を最適化したソース画像を生成する。物体表面の明暗関係は物体の深度と異なって作られる。光線が物体に照射される時、一部分は深度の大きい領域に妨げられ、それによって隣接する深度の小さい領域上に陰影を形成する。よって、本発明の一つの例では、光照射最適化生成モジュール940はターゲット画像の光照射情報及びソース画像の深度情報に基づいて、ターゲット画像の光照射情報の示す光照射方向上に沿ってサイズを最適化したソース画像の光照射勾配を計算することにより、光照射参考図を生成し、その後サイズを最適化したソース画像及び光照射参考図に基づいて光照射を最適化したソース画像を生成することができる。例えば、光照射方向に沿ってソース画像に対応する深度画像の深度勾配を計算することにより、物体上に形成する表面陰影の位置を取得できる。その後深度画像中の勾配が大きい部分を増強し、勾配が小さい部分は弱めず、光照射参考図となる。 The light irradiation optimization generation module 940 generates a source image with optimized light irradiation by adjusting the source image based on the size-optimized source image, light irradiation information of the target image, and depth information of the source image. . The light / dark relationship of the object surface is created differently from the depth of the object. When a light beam strikes an object, a portion is obstructed by a deep region, thereby forming a shadow on the adjacent deep region. Therefore, in one example of the present invention, the light irradiation optimization generation module 940 is sized along the light irradiation direction indicated by the light irradiation information of the target image based on the light irradiation information of the target image and the depth information of the source image. The light irradiation reference map is generated by calculating the light irradiation gradient of the source image optimized for the source image, and then the source image with the light irradiation optimized based on the size-optimized source image and the light irradiation reference map is generated. can do. For example, the position of the surface shadow formed on the object can be acquired by calculating the depth gradient of the depth image corresponding to the source image along the light irradiation direction. After that, a portion with a large gradient in the depth image is enhanced, and a portion with a small gradient is not weakened, and becomes a light irradiation reference diagram.
正確にソース画像中の光照射を調節するため、好適には、光照射最適化生成モジュール940はサイズを最適化したソース画像の光照射成分及びカラー成分を抽出することができ、例えば固有画像分解によって、最適化したソース画像のカラー画像を光照射成分及びカラー成分に分けることができる。その後ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース画像の光照射成分を調整することにより、調節後の光照射成分を生成し、かつカラー成分及び調節後の光照射成分に対して再構成を行うことで光照射を最適化したソース画像を生成することができる。 In order to accurately adjust the illumination in the source image, the illumination optimization generation module 940 can preferably extract the illumination component and the color component of the size-optimized source image, for example eigenimage decomposition. Thus, the optimized color image of the source image can be divided into a light irradiation component and a color component. Then, by adjusting the light irradiation component of the source image based on the light irradiation information of the target image and the depth information of the source image, an adjusted light irradiation component is generated, and for the color component and the adjusted light irradiation component Thus, it is possible to generate a source image with optimized light irradiation.
この他に、処理過程において画像のテクスチャ情報を変更してしまうことを避けるため、光照射最適化生成モジュール940は加重最小二乗フィルタのようなフィルタ装置をさらに用いることができ、上述の光照射成分に対してフィルタリングを行うことにより、密層画像及び粗層画像を生成し、かつ粗層上においてのみ輝度調節を行うことができる。具体的には、ターゲット画像の光照射情報及びソース画像の深度情報に基づいてソース粗層画像を調整することにより、光照射を最適化した粗層画像を生成し、かつ密層画像及び光照射を最適化した粗層画像に対して再構成を行うことで調節後の光照射成分を生成できる。例えば、上述のように光照射参考図を生成した状況下では、光照射参考図と粗層画像をガウスの重みに基づいて一緒に融合し、光照射を最適化した後の粗層画像を生成できる。 In addition, in order to avoid changing the texture information of the image in the processing process, the light irradiation optimization generation module 940 can further use a filter device such as a weighted least square filter, and the light irradiation component described above can be used. By filtering with respect to, a dense layer image and a coarse layer image can be generated, and brightness adjustment can be performed only on the coarse layer. Specifically, by adjusting the source coarse layer image based on the light irradiation information of the target image and the depth information of the source image, a coarse layer image with optimized light irradiation is generated, and the dense layer image and the light irradiation are generated. The light irradiation component after adjustment can be generated by performing reconstruction on the coarse layer image in which is optimized. For example, in the situation where the light irradiation reference map is generated as described above, the light irradiation reference map and the coarse layer image are fused together based on the Gaussian weight to generate the coarse layer image after the light irradiation is optimized. it can.
図7に戻り、画像合成ユニット740は光照射を最適化したソース画像及びターゲット画像に基づいて合成画像を生成することができる。例えば、光照射を最適化したソース画像を直前に確定したソース画像に融合する位置へ挿入することで合成画像を生成することができる。 Returning to FIG. 7, the image compositing unit 740 can generate a composite image based on the source image and the target image with optimized light irradiation. For example, a composite image can be generated by inserting a source image optimized for light irradiation into a position where the source image is merged with the source image determined immediately before.
この他に、本発明の一つの例では、画像合成装置700には陰影生成ユニットをさらに含めることができ、光照射状況に基づいて、ソース画像の陰影を生成する。具体的には、陰影生成ユニットはまず、光照射を最適化したソース画像のシルエットを計算し、その後ターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことでソース画像の陰影を生成する。例えば、陰影生成ユニットはターゲット画像の光照射情報に基づいてソース画像のシルエットに対して投影を行うことにより、オブジェクト画像の陰影が存在する陰影領域を確定できる。その後、例えば上述の公式[1]によって算出したターゲット画像中の陰影の強度に基づいて陰影領域の画像の輝度を調整することにより、ソース画像の陰影を生成する。画像合成ユニット740はさらに、生成した陰影を合成画像中へ挿入することができる。 In addition, in one example of the present invention, the image synthesizer 700 may further include a shadow generation unit, which generates a shadow of the source image based on the light irradiation situation. Specifically, the shadow generation unit first calculates the silhouette of the source image optimized for light irradiation, and then projects the silhouette of the source image based on the light irradiation information of the target image. Generate shadows. For example, the shadow generation unit can determine the shadow region where the shadow of the object image exists by projecting the silhouette of the source image based on the light irradiation information of the target image. After that, for example, the shadow of the source image is generated by adjusting the brightness of the shadow region image based on the intensity of the shadow in the target image calculated by the above formula [1]. The image composition unit 740 can further insert the generated shadow into the composite image.
上述した本発明の実施例が提供する画像合成装置では、抽出したターゲット画像の光照射情報に基づき、かつソース画像の深度情報及び抽出したターゲット画像の光照射情報を用いてソース画像の光照射成分を調整し、一致した光照射を有する合成画像を生成することで、見る人が受ける印象を改善することができる。 In the image synthesizing apparatus provided by the embodiment of the present invention described above, the light irradiation component of the source image based on the light irradiation information of the extracted target image and using the depth information of the source image and the light irradiation information of the extracted target image The impression received by the viewer can be improved by generating a composite image having the matched light irradiation.
この他に、本発明のもう一つの例として、本発明はさらに画像合成のハードウェアシステムによって実行することができる。図10は本発明の実施例に基づく画像合成のハードウェアシステム1000のハードウェアブロック全体図である。図10が示すように、画像合成のハードウェアシステム1000には、例えばステレオカメラが撮影した画像フレーム、ステレオカメラのパラメータ、または初期視差画像等の、外部から画像または情報を入力するために用い、具体的な形式にはキーボード、マウス、及び通信ネットワークと接続したリモート入力装置等を含むがこれらに限らない入力装置1010、上述の本発明の実施例の画像合成方法を実行するために用い、具体的な形式にはコンピュータの中央処理機またはその他処理能力を有するチップ等を含むがこれらに限らず、またさらにインターネットのようなネットワークへ接続し（図示せず）、処理過程での必要に基づき処理後の画像等をリモートへ伝送する等もできる処理装置1020、外部に上述を実行して生成した合成画像を出力するための、例えばディスプレイ、プリンター及び通信ネットワークと接続するリモート出力装置等を含む出力装置1030、及び揮発性または非揮発性の方法で上述の本発明の実施例の画像合成方法のようなコンピュータコマンド、及び元画像、ソース画像、深度情報、ターゲット画像等を記憶するための、例えばランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、ハードディスク、または半導体メモリ等の各種揮発性または非揮発性メモリを含む記憶装置1040を含むことができる。 In addition, as another example of the present invention, the present invention can be further executed by a hardware system for image synthesis. FIG. 10 is an overall hardware block diagram of an image composition hardware system 1000 according to an embodiment of the present invention. As shown in FIG. 10, the image synthesis hardware system 1000 is used to input an image or information from the outside, such as an image frame captured by a stereo camera, a stereo camera parameter, or an initial parallax image, for example. Specific formats include, but are not limited to, keyboards, mice, and remote input devices connected to a communication network, etc., used to execute the image composition method of the above-described embodiments of the present invention. Typical forms include, but are not limited to, a central processing unit of a computer or other chip having processing capability, and further connected to a network such as the Internet (not shown) and processed based on the needs in the process. Processing device 1020 that can transmit later images etc. to remote, etc., outputs the synthesized image generated by executing the above to the outside For example, a display, a printer and an output device 1030 including a remote output device connected to a communication network, and a computer command such as the image compositing method of the embodiment of the present invention described above in a volatile or non-volatile manner, And various volatile or non-volatile memories such as random access memory (RAM), read-only memory (ROM), hard disk, or semiconductor memory for storing original image, source image, depth information, target image, etc. A storage device 1040 can be included.
技術分野に属する当業者であれば、本発明はシステム、装置、方法またはコンピュータプログラム製品として実現できることを知っている。よって、本発明は以下の形式を具体的に実現することができ、即ち、完全なハードウェアでよく、完全なソフトウェアであってもよく（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、さらにはハードウェアとソフトウェアを組み合わせた形式であってもよく、本文は一般に、「コンポーネント」、「モジュール」、「装置」または「システム」と呼ぶ。この他に、いくつかの実施例では、本発明は一つまたは複数のコンピュータ可読媒体におけるコンピュータのプログラム製品の形式として実現することができ、当該コンピュータ可読媒体中にはコンピュータ可読のプログラムコードを含めることができる。 Those skilled in the art know that the present invention can be implemented as a system, apparatus, method or computer program product. Thus, the present invention can specifically implement the following forms: complete hardware, complete software (including firmware, resident software, microcode, etc.), and The form may be a combination of hardware and software, and the text is generally referred to as “component”, “module”, “device” or “system”. In addition, in some embodiments, the present invention may be implemented as a computer program product in one or more computer-readable media, including computer-readable program code. be able to.
一つまたは複数のコンピュータ可読媒体を任意の組み合わせで採用することができる。コンピュータ可読媒体はコンピュータ可読信号媒体あるいはコンピュータ可読記憶媒体でよい。コンピュータ可読媒体は例えば、電子、磁気、光、電磁気、赤外線、または半導体のシステム、装置または器材でよく、あるいは任意の以上の組み合わせでよいがこれらに限らない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）には、一つまたは複数のケーブル接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、消去可能プログラマブル読み取り専用メモリ（EPROMまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み出し専用メモリ（CD-ROM）、光記憶装置、磁気記憶装置、または上述の任意の適切な組み合わせが含まれる。本書類において、コンピュータ可読記憶媒体は包含するかまたはプログラムを記憶したどんな有形媒体であってもよく、当該プログラムはコマンド実行されて使用するシステム、装置または器材、あるいはそれらを組み合わせて使用できる。 One or more computer readable media may be employed in any combination. The computer readable medium may be a computer readable signal medium or a computer readable storage medium. The computer readable medium can be, for example, but not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any combination of the above. More specific examples (non-exhaustive list) of computer-readable storage media include one or more cable connections, portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable Programmable read only memory (EPROM or flash memory), optical fiber, compact disk read only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above. In this document, a computer-readable storage medium may be any tangible medium that includes or stores a program, and the program can be used by executing a command, a system, an apparatus, or an apparatus, or a combination thereof.
コンピュータ可読の信号媒体はベースバンド中または搬送波の一部として伝播するデータ信号を含むことができ、それにはコンピュータ可読のプログラムコードを搭載する。この伝播するデータ信号は様々な形式を採用でき、電磁信号、光信号または上述の任意の適切な組み合わせを含むがこれらに限らない。コンピュータ可読の信号媒体はさらにコンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、当該コンピュータ可読媒体は、コマンド実行により使用されるシステム、装置または器材、あるいはそれらを組み合わせて使用するプログラムを送信、伝播または伝送することができる。 The computer readable signal medium may include a data signal that propagates in baseband or as part of a carrier wave, which carries computer readable program code. This propagating data signal can take a variety of forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the above. The computer-readable signal medium may be any computer-readable medium other than a computer-readable storage medium, and the computer-readable medium is a system, apparatus, or device used by command execution, or a program using a combination thereof. Can be transmitted, propagated or transmitted.
コンピュータ可読媒体上に包含されるプログラムコードは、いかなる適切な媒体を用いてでも伝送でき、ワイヤレス、ケーブル、光ケーブル、RF等、あるいは上述の任意の適切な組み合わせを含むがこれらに限らない。 Program code included on a computer readable medium can be transmitted using any suitable medium, including but not limited to wireless, cable, optical cable, RF, etc., or any suitable combination of the above.
本発明の諸動作を実行するためのコンピュータプログラムコードは一つまたは複数のプログラミング言語またはその組み合わせにより作成でき、前記プログラミング言語には例えばJava(登録商標)、Smalltalk、C＋＋といったプロジェクト指向のプログラミング言語を含み、さらに「C」言語または同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは完全にユーザーコンピュータ上で実行しても、部分的にユーザーコンピュータ上で実行しても、独立するソフトウェアパッケージとして実行しても、一部をユーザーコンピュータ上、一部をリモートコンピュータ上で実行しても、または完全にリモートコンピュータまたはサーバー上で実行してもよい。リモートコンピュータに関する状況においては、リモートコンピュータは任意の種類のインターネット―ローカルネットワーク（LAN）または広域ネットワーク（WAN）を含む―によってユーザーコンピュータへ接続することができ、あるいは、外部コンピュータ（例えばインターネットサービスプロバイダを利用してインターネット接続する）へ接続することもできる。 The computer program code for executing the operations of the present invention can be created in one or more programming languages or a combination thereof, and the programming languages include project-oriented programming languages such as Java (registered trademark), Smalltalk, and C ++. And also includes conventional procedural programming languages such as "C" language or similar programming languages. The program code can be executed entirely on the user computer, partially on the user computer, or as a separate software package, partly on the user computer and partly on the remote computer It can run or run entirely on a remote computer or server. In the context of a remote computer, the remote computer can be connected to the user computer by any type of Internet, including a local network (LAN) or a wide area network (WAN), or an external computer (eg, an Internet service provider). You can also connect to the Internet).
前記本発明実施例の方法、装置（システム）とコンピュータプログラム製品のフローチャート及び／またはブロック図を参照し本発明を説明した。理解しなければならないことは、フローチャート及び／またはブロック図の各ブロック及びフローチャート及び／またはブロック図における各ブロックの組み合わせ、全てはコンピュータの命令に基づいて実施することができる。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータまたは他のプログラム可能データ処理装置のプロセッサを提供することができ、それに基づいてある機械を作り出す、これらのコンピュータプログラム命令はコンピュータまたは他のプログラム可能データ処理装置の実行によって、フローチャット及び／またはブロック図中のブロック中の指定する機能／操作を実施する装置を作り出した。 The present invention has been described with reference to flowcharts and / or block diagrams of methods, apparatus (systems) and computer program products of the embodiments of the invention. It should be understood that each block of the flowchart and / or block diagram and combinations of blocks in the flowchart and / or block diagram, all of which can be implemented based on computer instructions. These computer program instructions can provide a processor for a general purpose computer, special purpose computer or other programmable data processing device and create a machine based on these computer program instructions for a computer or other programmable data processing Execution of the device created a device that performs the specified function / operation in the block in the flow chat and / or block diagram.
これらのコンピュータプログラム命令をコンピュータまたは他のプログラム可能データ処理装置の特定の方式によって仕事させることができるコンピュータ可読媒体中に記憶することもでき、このように、コンピュータ可読媒体中に命令を記憶するならばフローチャット及び／またはブロック図中のブロック中の指定する機能／操作を実施する命令装置（instruction）を含む製造品（manufacture）を作り出す。 These computer program instructions can also be stored in a computer readable medium that can be worked by a particular scheme of a computer or other programmable data processing device, and thus, if instructions are stored in a computer readable medium For example, a flow chat and / or a manufacture is created that includes instructions that perform the function / operation specified in the block in the block diagram.
コンピュータプログラム命令をコンピュータ、他のプログラム可能データ処理装置、または他の設備上へロードすることもできる、コンピュータ、他のプログラム可能データ処理装置または他の設備上で一連の動作ステップを実行させ、コンピュータ実施プロセスを生成する、それに基づいてコンピュータまたは他のプログラム可能データ処理装置上で実行される命令はフローチャート及び／またはブロック図中のブロック中の指定する機能／動作を実施するためのプロセスを提供することができる。 A computer program instruction can be loaded onto a computer, other programmable data processing device, or other equipment, causing the computer, other programmable data processing device, or other equipment to perform a series of operational steps, and The instructions executed on the computer or other programmable data processing device based on which the implementation process is generated provide a process for performing the specified function / operation in the blocks in the flowcharts and / or block diagrams. be able to.
添付図中のフローチャートとブロック図は本発明の複数の実施例によるシステム、方法とコンピュータプログラム製品の実施可能なシステムアーキテクチャ、機能と動作を示したものである。この点で、フローチャー及び／またはブロック図中の各ブロックはモジュール、セグメント及び／またはコードの一部を代表することができる、前記モジュール、セグメント及び／またはコードの一部は一つまたは複数の実施するために指定する論理機能の実行可能命令を含む。注意しなければならないのは、ブロック図及び／またはフローチャート中の各ブロック、及びブロック図及び／またはフローチャート図中の組み合わせは、指定する機能または動作の専用ハードウェアベースシステムに基づいて実施することができる、または専用ハードウェアとコンピュータ命令の組み合わせに基づいて実装することができる。 The flowcharts and block diagrams in the Figures illustrate the system architecture, functionality, and operation of a system, method and computer program product according to embodiments of the present invention. In this regard, each block in the flowchart and / or block diagram may represent a module, segment, and / or portion of code, where the module, segment, and / or portion of code may be one or more. Contains executable instructions for logical functions that are designated for implementation. It should be noted that each block in the block diagram and / or flowchart, and combinations in the block diagram and / or flowchart diagram, may be implemented based on a dedicated hardware-based system for the specified function or operation. Or can be implemented based on a combination of dedicated hardware and computer instructions.
以上、本発明の各実施例を説明し、前記説明は例示的なものであり、包括的ではなく、かつ開示された各実施例に限定されない。説明する各実施例の範囲と精神を逸脱しない状況下で、当業者には多数の改正と変更は明らかなことである。本文中で使用する用語の選択は、各実施例の原理、実際の応用または市場の技術への進歩を最も良く説明するため、または当業者が本文で開示された各実施例を理解させるためである。 Each embodiment of the present invention has been described above, and the above description is illustrative, not exhaustive, and is not limited to each disclosed embodiment. Numerous modifications and changes will become apparent to those skilled in the art without departing from the scope and spirit of each described embodiment. The selection of terms used herein is intended to best explain the principles of each embodiment, actual application or advancement in market technology, or to allow those skilled in the art to understand each embodiment disclosed herein. is there.
Claims (12)
前記ターゲット画像の光照射情報を確定するステップと、
前記ソース画像の深度情報及び前記ターゲット画像の光照射情報に基づいて前記ソース画像を調整することにより、光照射を最適化したソース画像を生成するステップと、
前記光照射を最適化したソース画像及び前記ターゲット画像に基づいて合成画像を生成するステップとを含む、画像合成方法。 Obtaining a source image, depth information of the source image and a target image;
Determining light irradiation information of the target image;
Generating a source image with optimized light irradiation by adjusting the source image based on depth information of the source image and light irradiation information of the target image;
Generating a composite image based on the source image and the target image optimized for the light irradiation.
前記ターゲット画像中で前記ソース画像に融合する位置を確定するステップと、
前記ターゲット画像中の消失点を確定するステップと、
確定した前記消失点及び前記ソース画像に融合する位置に基づいて前記ソース画像のサイズを調整することにより、サイズを最適化したソース画像を生成するステップと、
前記サイズを最適化したソース画像、前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像を調整し、前記光照射を最適化したソース画像を生成するステップとを含む、請求項1に記載の画像合成方法。 Adjusting the source image based on the depth information of the source image and the light irradiation information of the target image to generate a source image optimized for light irradiation,
Determining a position in the target image to be fused to the source image;
Determining a vanishing point in the target image;
Generating a size-optimized source image by adjusting the size of the source image based on the determined vanishing point and a position to fuse with the source image;
Adjusting the source image based on the size-optimized source image, the light irradiation information of the target image and the depth information of the source image, and generating a source image optimized for the light irradiation. 2. The image composition method according to claim 1.
前記サイズを最適化したソース画像の光照射成分及びカラー成分を抽出するステップと、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像の光照射成分を調整することにより、調節後の光照射成分を生成するステップと、
前記カラー成分及び前記調節後の光照射成分に対して再構成を行うことにより、前記光照射を最適化したソース画像を生成するステップとを含む、請求項2に記載の画像合成方法。 Adjusting the source image based on the source image with the optimized size, the light irradiation information of the target image and the depth information of the source image, and generating the source image with optimized light irradiation,
Extracting a light illumination component and a color component of the size-optimized source image;
Generating an adjusted light irradiation component by adjusting the light irradiation component of the source image based on the light irradiation information of the target image and the depth information of the source image;
3. The image synthesis method according to claim 2, further comprising: generating a source image optimized for the light irradiation by performing reconstruction on the color component and the adjusted light irradiation component.
前記光照射成分に対してフィルタリングを行うことにより、密層画像及び粗層画像を生成するステップを含み、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記ソース画像の光照射成分を調整することにより、調節後の光照射成分を生成するステップは、
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて前記粗層画像を調整することにより、光照射を最適化した粗層画像を生成するステップと、
前記密層画像及び前記光照射を最適化した粗層画像に対して再構成を行うことにより、前記調節後の光照射成分を生成するステップとを含む、請求項3に記載の画像合成方法。 Adjusting the source image based on the source image with the optimized size, the light irradiation information of the target image and the depth information of the source image, and generating the source image with optimized light irradiation,
Generating a dense layer image and a coarse layer image by filtering the light irradiation component;
The step of generating the adjusted light irradiation component by adjusting the light irradiation component of the source image based on the light irradiation information of the target image and the depth information of the source image,
Adjusting the coarse layer image based on the light irradiation information of the target image and the depth information of the source image to generate a coarse layer image with optimized light irradiation;
4. The image synthesizing method according to claim 3, further comprising: generating the adjusted light irradiation component by performing reconstruction on the dense layer image and the coarse layer image optimized for the light irradiation.
前記ターゲット画像の光照射情報及び前記ソース画像の深度情報に基づいて、前記ターゲット画像の光照射方向に沿って前記サイズを最適化したソース画像の光照射勾配を計算することにより、光照射参考図を生成するステップと、
前記サイズを最適化したソース画像及び前記光照射参考図に基づいて前記光照射を最適化したソース画像を生成するステップとを含む、請求項2に記載の画像合成方法。 Adjusting the source image based on the light irradiation component of the source image, the light irradiation information of the target image, and the depth information of the source image to generate a source image optimized for light irradiation,
Based on the light irradiation information of the target image and the depth information of the source image, the light irradiation reference diagram is calculated by calculating the light irradiation gradient of the source image with the size optimized along the light irradiation direction of the target image. A step of generating
3. The image synthesis method according to claim 2, further comprising: generating a source image optimized for the light irradiation based on the source image optimized for the size and the light irradiation reference diagram.
前記ソース画像を取得するステップと、
前記ソース画像の地面領域及び前記ターゲット画像の地面領域を確定するステップと、
前記ソース画像の地面領域及び前記ターゲット画像の地面領域をアライメントするステップと、
アライメントしたソース画像中でオブジェクト検出を行い、前記ソース画像を取得するステップとを含む、請求項1に記載の画像合成方法。 Obtaining the source image comprises:
Obtaining the source image;
Determining a ground area of the source image and a ground area of the target image;
Aligning the ground area of the source image and the ground area of the target image;
2. The image synthesis method according to claim 1, further comprising: performing object detection in the aligned source image and acquiring the source image.
前記ターゲット画像中の参考物体を確定するステップと、
前記ターゲット画像中で、参考物体と隣接する地面領域を融合に適した前記ソース画像の位置とするステップとを含む、請求項2に記載の画像合成方法。 Determining a position in the target image to be fused to the source image,
Determining a reference object in the target image;
3. The image synthesizing method according to claim 2, further comprising: setting a ground area adjacent to the reference object in the target image as a position of the source image suitable for fusion.
前記参考物体が存在する領域において消失点を確定するステップを含み、
前記画像合成方法は、
確定した消失点に基づいて前記ターゲット画像の透視方向を生成するステップと、
前記透視方向に沿った、前記ソース画像のサイズと前記ソース画像の消失点までの距離は反比例するステップとをさらに含む、請求項7に記載の画像合成方法。 Determining a vanishing point in the target image,
Determining a vanishing point in a region where the reference object exists,
The image composition method includes:
Generating a perspective direction of the target image based on the determined vanishing point;
8. The image composition method according to claim 7, further comprising: a step in which a size of the source image and a distance to the vanishing point of the source image along the perspective direction are inversely proportional.
前記ターゲット画像の光照射情報に基づいて前記ソース画像のシルエットに対し投影を行うことにより、前記ソース画像の陰影を生成するステップと、
前記ソース画像の陰影に基づいて前記合成画像を生成するステップとをさらに含む、請求項1に記載の画像合成方法。 Calculating a silhouette of a source image optimized for the light irradiation;
Generating a shadow of the source image by projecting on the silhouette of the source image based on the light irradiation information of the target image;
The image synthesizing method according to claim 1, further comprising: generating the synthesized image based on a shadow of the source image.
前記ターゲット画像の光照射情報を確定するための光照射情報確定ユニットと、
前記ソース画像の深度情報及び前記ターゲット画像の光照射情報に基づいて前記ソース画像を調整することにより、光照射を最適化したソース画像を生成するための光照射最適化ユニットと、
前記光照射を最適化したソース画像及び前記ターゲット画像に基づいて合成画像を生成するための画像合成ユニットを含む、画像合成装置。 An image acquisition unit for acquiring a source image, depth information of the source image and a target image;
A light irradiation information determination unit for determining the light irradiation information of the target image;
A light irradiation optimization unit for generating a source image optimized for light irradiation by adjusting the source image based on the depth information of the source image and the light irradiation information of the target image;
An image composition device including an image composition unit for generating a composite image based on the source image and the target image which optimized the light irradiation.
A computer-readable storage medium storing the program according to claim 11.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510388595.7 | 2015-07-03 | ||
| CN201510388595.7A CN106327454B (en) | 2015-07-03 | 2015-07-03 | The method and apparatus of composograph |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017016663A true JP2017016663A (en) | 2017-01-19 |
| JP6187640B2 JP6187640B2 (en) | 2017-08-30 |
Family
ID=57727232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016131395A Active JP6187640B2 (en) | 2015-07-03 | 2016-07-01 | Image composition method and apparatus |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6187640B2 (en) |
| CN (1) | CN106327454B (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861632A (en) * | 2020-06-05 | 2020-10-30 | 北京旷视科技有限公司 | Virtual makeup trial method and device, electronic equipment and readable storage medium |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107481317A (en) * | 2017-07-31 | 2017-12-15 | 广东欧珀移动通信有限公司 | The facial method of adjustment and its device of face 3D models |
| CN111512624A (en) * | 2017-09-27 | 2020-08-07 | 深圳传音通讯有限公司 | Double cameras and fusion imaging method thereof |
| CN108200334B (en) * | 2017-12-28 | 2020-09-08 | Oppo广东移动通信有限公司 | Image shooting method and device, storage medium and electronic equipment |
| CN108492284B (en) * | 2018-03-12 | 2020-03-03 | 百度在线网络技术（北京）有限公司 | Method and apparatus for determining perspective shape of image |
| CN110276779A (en) * | 2019-06-04 | 2019-09-24 | 华东师范大学 | A kind of dense population image generating method based on the segmentation of front and back scape |
| CN110852172B (en) * | 2019-10-15 | 2020-09-22 | 华东师范大学 | Method for expanding crowd counting data set based on Cycle Gan picture collage and enhancement |
| CN112258622A (en) * | 2020-10-26 | 2021-01-22 | 北京字跳网络技术有限公司 | Image processing method, image processing device, readable medium and electronic equipment |
| JP2024512102A (en) * | 2021-03-31 | 2024-03-18 | センスタイム グループ リミテッド | Image generation method, device, equipment and storage medium |
| CN113658087A (en) * | 2021-08-17 | 2021-11-16 | 广州钛铼文化科技有限公司 | Multi-photo automatic synthesis method and device based on same-machine position |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04205275A (en) * | 1990-11-30 | 1992-07-27 | Hitachi Ltd | Synthesis of image and formation of character font |
| JPH11316853A (en) * | 1998-05-01 | 1999-11-16 | Hitachi Ltd | Device and method for producing virtual reality feeling |
| JP2005196304A (en) * | 2003-12-26 | 2005-07-21 | Toshiba Corp | Image processing method and image compounding device |
| JP2009230431A (en) * | 2008-03-21 | 2009-10-08 | Fujifilm Corp | Method, device and program for outputting image |
| JP2013149219A (en) * | 2012-01-23 | 2013-08-01 | Canon Inc | Video processor and its control method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030202120A1 (en) * | 2002-04-05 | 2003-10-30 | Mack Newton Eliot | Virtual lighting system |
| CN101551904B (en) * | 2009-05-19 | 2011-05-11 | 清华大学 | Image synthesis method and apparatus based on mixed gradient field and mixed boundary condition |
-
2015
- 2015-07-03 CN CN201510388595.7A patent/CN106327454B/en active Active
-
2016
- 2016-07-01 JP JP2016131395A patent/JP6187640B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04205275A (en) * | 1990-11-30 | 1992-07-27 | Hitachi Ltd | Synthesis of image and formation of character font |
| JPH11316853A (en) * | 1998-05-01 | 1999-11-16 | Hitachi Ltd | Device and method for producing virtual reality feeling |
| JP2005196304A (en) * | 2003-12-26 | 2005-07-21 | Toshiba Corp | Image processing method and image compounding device |
| JP2009230431A (en) * | 2008-03-21 | 2009-10-08 | Fujifilm Corp | Method, device and program for outputting image |
| JP2013149219A (en) * | 2012-01-23 | 2013-08-01 | Canon Inc | Video processor and its control method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861632A (en) * | 2020-06-05 | 2020-10-30 | 北京旷视科技有限公司 | Virtual makeup trial method and device, electronic equipment and readable storage medium |
| CN111861632B (en) * | 2020-06-05 | 2023-06-30 | 北京旷视科技有限公司 | Virtual makeup testing method and device, electronic equipment and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6187640B2 (en) | 2017-08-30 |
| CN106327454B (en) | 2019-06-07 |
| CN106327454A (en) | 2017-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6187640B2 (en) | Image composition method and apparatus | |
| US10679361B2 (en) | Multi-view rotoscope contour propagation | |
| US8718356B2 (en) | Method and apparatus for 2D to 3D conversion using scene classification and face detection | |
| US9129435B2 (en) | Method for creating 3-D models by stitching multiple partial 3-D models | |
| KR102097016B1 (en) | Apparatus and methdo for analayzing motion | |
| KR101815407B1 (en) | Parallax operation system, information processing apparatus, information processing method, and recording medium | |
| US8441518B2 (en) | Imaging apparatus, imaging control method, and recording medium | |
| CN107924571A (en) | Three-dimensional reconstruction is carried out to human ear from a cloud | |
| EP3308323B1 (en) | Method for reconstructing 3d scene as 3d model | |
| KR20190112894A (en) | Method and apparatus for 3d rendering | |
| US20170272724A1 (en) | Apparatus and method for multi-view stereo | |
| CN108495113B (en) | Control method and device for binocular vision system | |
| KR101495299B1 (en) | Device for acquiring 3d shape, and method for acquiring 3d shape | |
| KR20120078949A (en) | Stereoscopic image generation method of background terrain scenes, system using the same and recording medium for the same | |
| KR20120018915A (en) | Apparatus and method for generating depth image that have same viewpoint and same resolution with color image | |
| KR102076494B1 (en) | 3-Dimensional Data Processing Apparatus and Method | |
| WO2014108976A1 (en) | Object detecting device | |
| JPWO2015098222A1 (en) | Information processing apparatus, information processing method, and program | |
| US20230245396A1 (en) | System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications | |
| US10354399B2 (en) | Multi-view back-projection to a light-field | |
| EP3756164B1 (en) | Methods of modeling a 3d object, and related devices and computer program products | |
| CN111047678A (en) | Three-dimensional face acquisition device and method | |
| KR20170073937A (en) | Method and apparatus for transmitting image data, and method and apparatus for generating 3dimension image | |
| JP2016114445A (en) | Three-dimensional position calculation device, program for the same, and cg composition apparatus | |
| WO2023250091A1 (en) | Method, apparatus, and computer-readable medium for room layout extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170717 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6187640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |