JP2018009858A - Processor, processing system, imaging apparatus, processing method, program, and record medium - Google Patents
Processor, processing system, imaging apparatus, processing method, program, and record medium Download PDFInfo
- Publication number
- JP2018009858A JP2018009858A JP2016138302A JP2016138302A JP2018009858A JP 2018009858 A JP2018009858 A JP 2018009858A JP 2016138302 A JP2016138302 A JP 2016138302A JP 2016138302 A JP2016138302 A JP 2016138302A JP 2018009858 A JP2018009858 A JP 2018009858A
- Authority
- JP
- Japan
- Prior art keywords
- light
- light source
- light emission
- imaging
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体に関する。 The present invention relates to a processing device, a processing system, an imaging device, a processing method, a program, and a recording medium.
被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、または光源情報などの情報で決定される。光源から射出され被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく面法線情報を用いることが特に有効である。 By acquiring more physical information about the subject, image generation based on the physical model can be performed in the image processing after imaging. For example, it is possible to generate an image in which the appearance of the subject is changed. The appearance of the subject is determined by information such as subject shape information, subject reflectance information, or light source information. Since the physical behavior of the reflected light emitted from the light source and reflected by the subject depends on the local surface normal, it is particularly effective to use the surface normal information instead of the three-dimensional shape as the shape information.
従来、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する照度差ステレオ法が知られている（例えば、非特許文献１参照）。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。 Conventionally, an illuminance difference stereo method is known in which reflection characteristics based on a surface normal of a subject and a light source direction are assumed, and surface normal is determined from the luminance information of the subject at a plurality of light source positions and the assumed reflection characteristics. (For example, refer nonpatent literature 1). A Lambertian reflection model that follows Lambert's cosine law is often used as the reflection characteristic of the subject.
一般的に、物体の反射光は、鏡面反射光と拡散反射光の各成分を有する。鏡面反射光とは、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射を指す。拡散反射光とは、被写体の表面を透過した後に物体内部で散乱されて返ってくる光を指す。鏡面反射成分はランバートの余弦則では表せないため、撮像装置で観測される被写体からの反射光に鏡面反射成分が含まれていると、照度差ステレオ法を用いて面法線を正確に算出することができない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献１では、４つ以上の光源を使用して得られた複数の面法線候補から、真の面法線を求める方法が開示されている。 Generally, the reflected light of an object has each component of specular reflection light and diffuse reflection light. The specular reflection light is regular reflection on the object surface and refers to Fresnel reflection according to the Fresnel equation on the object surface (interface). Diffuse reflected light refers to light that is scattered inside the object and then returned after passing through the surface of the subject. Since the specular reflection component cannot be expressed by Lambert's cosine law, if the reflected light from the subject observed by the imaging device contains a specular reflection component, the surface normal is accurately calculated using the photometric stereo method. I can't. Even in a shaded portion where light from the light source does not strike, a deviation from the assumed reflection model occurs, and the surface normal information of the subject cannot be acquired accurately. For example, Patent Document 1 discloses a method for obtaining a true surface normal from a plurality of surface normal candidates obtained by using four or more light sources.
また、低照度の被写体を撮影する際の光量確保のために、閃光装置を光源として備える撮像装置が知られている。例えば、特許文献２では、反射光量の測光値と被写体までの距離情報に基づいて閃光装置の発光量を制御する撮像装置が開示されている。 In addition, an imaging apparatus including a flash device as a light source is known for securing a light amount when photographing a low-illuminance subject. For example, Patent Document 2 discloses an imaging device that controls the light emission amount of a flash device based on a photometric value of a reflected light amount and distance information to a subject.
デジタルカメラなどの撮像装置において照度差ステレオ法を用いて被写体の面法線を取得するためには、照射光源位置ごとの輝度情報の異なる複数の画像が必要となる。照度差ステレオ法では、複数の画像間での輝度の差異に基づいて面法線を算出する。光源の発光量が適切でない場合、画像内に含まれる面法線算出対象の被写体部分に白飛びや黒潰れといった現象が生じ、複数の画像間での輝度の差異が正確に算出できない。複数の画像間での輝度の差異が正確に算出できない部分では、算出された面法線は真の面法線から大きくずれてしまう。非特許文献１、特許文献１、および特許文献２では、照度差ステレオ法に使用する画像取得時の各光源の発光量の制御については開示されておらず、発光量が適切でない場合、面法線の算出精度が劣化してしまう。 In order to acquire a surface normal of a subject using an illuminance difference stereo method in an imaging apparatus such as a digital camera, a plurality of images having different luminance information for each irradiation light source position are required. In the illuminance difference stereo method, a surface normal is calculated based on a difference in luminance between a plurality of images. When the amount of light emitted from the light source is not appropriate, a phenomenon such as overexposure or blackout occurs in the subject portion of the surface normal calculation target included in the image, and the difference in luminance between the plurality of images cannot be accurately calculated. In a portion where the difference in luminance between a plurality of images cannot be accurately calculated, the calculated surface normal greatly deviates from the true surface normal. Non-Patent Document 1, Patent Document 1, and Patent Document 2 do not disclose the control of the light emission amount of each light source at the time of image acquisition used in the illuminance difference stereo method. The calculation accuracy of the line is degraded.
このような課題に鑑みて、本発明は、照度差ステレオ法に適するように光源の発光量を制御可能であり、高精度に面法線を算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。 In view of such a problem, the present invention can control the light emission amount of a light source so as to be suitable for the illuminance difference stereo method, and can calculate a surface normal with high accuracy, a processing system, an imaging device, and a processing It is an object to provide a method, a program, and a recording medium.
本発明の一側面としての処理装置は、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得させる処理装置であって、前記３つ以上の光源を個別に予備発光させて取得される前記被写体からの反射光の測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御する制御部を有することを特徴とする。 A processing apparatus according to one aspect of the present invention is a processing apparatus that sequentially irradiates a subject with light from three or more light sources having different positions, and acquires three or more images. The three or more light sources And a control unit that controls the light emission amount of each light source when acquiring the three or more images based on the photometric value of the reflected light from the subject acquired by separately performing preliminary light emission. To do.
また、本発明の他の側面としての処理システムは、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得させる処理システムであって、前記３つ以上の光源を個別に予備発光させた際の前記被写体からの反射光の測光値を取得する測光部と、前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部と、を有することを特徴とする。 A processing system according to another aspect of the present invention is a processing system for acquiring three or more images by sequentially irradiating light from three or more light sources having different positions to a subject. A photometric unit that obtains a photometric value of reflected light from the subject when each of the above light sources is preliminarily emitted, and light emission of each light source when the three or more images are captured based on the photometric value And a control unit for controlling the amount.
また、本発明の他の側面としての撮像装置は、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得する撮像部と、前記３つ以上の光源を個別に予備発光させた際の前記被写体からの反射光の測光値を取得する測光部と、前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部と、前記３つ以上の画像の輝度情報に基づいて、前記面法線情報を算出する法線算出部と、を有することを特徴とする。 An imaging device according to another aspect of the present invention includes an imaging unit that sequentially irradiates a subject with light from three or more light sources having different positions to acquire three or more images, and the three or more imaging devices. A photometric unit that obtains a photometric value of the reflected light from the subject when the light source is individually preliminarily emitted, and a light emission amount of each light source when the three or more images are captured based on the photometric value It has a control part to control, and a normal line calculation part which calculates the surface normal line information based on luminance information on the three or more images.
また、本発明の他の側面としての処理方法は、互いに位置の異なる３つ以上の光源からの光を被写体に順次照射して３つ以上の画像を取得させる処理方法であって、前記３つ以上の光源を個別に予備発光させた際の前記被写体からの反射光の測光値を取得するステップと、前記測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御するステップと、を有することを特徴とする。 A processing method according to another aspect of the present invention is a processing method for acquiring three or more images by sequentially irradiating a subject with light from three or more light sources having different positions. A step of obtaining a photometric value of reflected light from the subject when each of the light sources is separately pre-emitted, and a light emission amount of each light source when obtaining the three or more images based on the photometric value And a step of controlling.
本発明によれば、照度差ステレオ法に適するように光源の発光量を制御可能であり、高精度に面法線を算出可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。 According to the present invention, a processing device, a processing system, an imaging device, a processing method, a program, and a recording capable of controlling the light emission amount of a light source so as to be suitable for the illuminance difference stereo method and capable of calculating a surface normal with high accuracy A medium can be provided.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.
照度差ステレオ法は、被写体の面法線と被写体から光源への方向（光源方向）に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線情報を算出する方法である。所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、反射特性はランバートの余弦則に従うランバート反射モデルで近似すればよい。鏡面反射成分は、図７に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。 The illuminance-difference stereo method assumes the reflection characteristics of the subject based on the surface normal of the subject and the direction from the subject to the light source (light source direction), and the surface method from the reflection characteristics assumed as the luminance information of the subject at multiple light source positions. This is a method for calculating line information. If the reflectance is not uniquely determined when a predetermined surface normal and the position of the light source are given, the reflection characteristic may be approximated by a Lambert reflection model according to Lambert's cosine law. As shown in FIG. 7, the specular reflection component depends on the angle α formed by the bisector of the light source vector s and the line-of-sight direction vector v and the surface normal n. Therefore, the reflection characteristic may be a characteristic based on the line-of-sight direction. In addition, the luminance information may be obtained by imaging each subject when the light source is turned on and when the light source is turned off, and taking the difference between them to eliminate the influence of light sources other than the light source such as ambient light.
以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度ｉはランバートの余弦則から以下の式（１）で表される。
Hereinafter, the case where the reflection characteristic is assumed in the Lambertian reflection model will be described. The luminance value of the reflected light is i, the Lambertian diffuse reflectance of the object is ρd, the intensity of the incident light is E, the unit vector (light source direction vector) indicating the direction from the object to the light source is s, and the unit surface normal vector of the object When n is n, the luminance i is expressed by the following formula (1) from Lambert's cosine law.
異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ１、ｓ２、・・・、ｓＭ、光源ベクトルの成分ごとの輝度値をｉ１、ｉ２、・・・ｉＭとすると、式（１）は以下の式（２）で表される。
M different (M ≧ 3) s 1 the components of the light source vector in, s 2, ···, s M , the luminance value of each component of the light source vector i 1, i 2, When · · · i M The equation (1) is expressed by the following equation (2).
式（２）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ１ Ｔ、・・・ｓＭ Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ−１を用いて、Ｅρｄｎは以下の式（３）で示される。
The left side of Equation (2) is the luminance vector of M rows and 1 column, the right side [s 1 T ,... S M T ] is the incident light matrix S indicating the light source direction of M rows and 3 columns, and n is 3 rows and 1 column. Is the unit surface normal vector. In the case of M = 3, Eρ dn is expressed by the following formula (3) using the inverse matrix S −1 of the incident light matrix S.
式（３）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρｄは積の形でのみ条件式に現れるので、Ｅρｄを１つの変数とみなすと、式（３）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ１〜ｓ３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１，ｓ２に対して線形独立に選択することが望ましい。 The norm of the vector on the left side of Equation (3) is the product of the incident light intensity E and the Lambertian diffuse reflectance ρ d , and the normalized vector is calculated as the surface normal vector of the object. That is, since the intensity E of incident light and the Lambertian diffuse reflectance ρ d appear in the conditional expression only in the form of a product, when Eρ d is regarded as one variable, the expression (3) is expressed as 2 of the unit surface normal vector n. Together with the degree of freedom, it can be regarded as a simultaneous equation that determines three unknown variables. Therefore, each variable can be determined by acquiring luminance information using at least three light sources. Note that when the incident light matrix S is not a regular matrix, there is no inverse matrix, so it is necessary to select the components s 1 to s 3 of the incident light matrix S so that the incident light matrix S becomes a regular matrix. That is, it is desirable to select the component s3 linearly independent of the components s1 and s2.
また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出してもよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。 Further, when M> 3, more conditional expressions are obtained than the unknown variable to be obtained. Therefore, the unit plane normal vector n may be calculated from the arbitrarily selected three conditional expressions in the same manner as in the case of M = 3. . When four or more conditional expressions are used, the incident light matrix S is not a regular matrix. For example, an approximate solution may be calculated using a Moore-Penrose pseudo inverse matrix. Further, the unit surface normal vector n may be calculated by a fitting method or an optimization method.
被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。 If the reflection characteristics of the object are assumed to be a model different from the Lambertian reflection model, the conditional expression may be different from the linear equation for each component of the unit surface normal vector n. In that case, if a conditional expression greater than the unknown variable is obtained, a fitting method or an optimization method can be used.
また、Ｍ＞３の場合には３以上Ｍ−１以下の複数の条件式が得られるため、単位面法線ベクトルｎの複数の解の候補を求めることができる。この場合、さらに別の条件を用いて複数の解の候補から解を選択すればよい。例えば、単位面法線ベクトルｎの連続性を条件として用いることができる。単位面法線ｎを撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線をｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば以下の式（４）で示される評価関数が最小となる解を選択すればよい。
Further, when M> 3, a plurality of conditional expressions of 3 or more and M−1 or less are obtained, so that a plurality of solution candidates for the unit surface normal vector n can be obtained. In this case, a solution may be selected from a plurality of solution candidates using yet another condition. For example, the continuity of the unit surface normal vector n can be used as a condition. When the unit surface normal n is calculated for each pixel of the imaging device, if the surface normal at the pixel (x, y) is n (x, y) and n (x−1, y) is known What is necessary is just to select the solution with which the evaluation function shown by the following formula | equation (4) becomes the minimum.
また、ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、以下の式（５）が最小となる解を選択すればよい。
If n (x + 1, y) and n (x, y ± 1) are also known, a solution that minimizes the following equation (5) may be selected.
既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、以下の式（６）で示される式（５）の全画素での総和が最小となるように解を選択してもよい。
If there is no known surface normal and there is an indefiniteness of the surface normal at all pixel positions, the solution is such that the sum of all the pixels in equation (5) shown in equation (6) below is minimized. May be selected.
なお、最近傍以外の画素での面法線を用いてもよいし、注目する画素位置からの距離に応じて重みづけした評価関数を用いてもよい。 Note that a surface normal at a pixel other than the nearest pixel may be used, or an evaluation function weighted according to the distance from the pixel position of interest may be used.
また、別の条件として、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、単位面法線ベクトルと光源方向ベクトルが近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値のうち最も輝度値が大きくなる光源方向ベクトルに近い解を選択することで、単位面法線ベクトルを決定することができる。 Further, as another condition, luminance information at an arbitrary light source position may be used. In the diffuse reflection model typified by the Lambert reflection model, the brightness of the reflected light increases as the unit surface normal vector and the light source direction vector are closer. Therefore, the unit surface normal vector can be determined by selecting a solution close to the light source direction vector having the largest luminance value among the luminance values in the plurality of light source directions.
また、鏡面反射モデルでは、光源ベクトルをｓ、物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をｖとすると、以下の式（７）が成り立つ。
In the specular reflection model, when the light source vector is s and the unit vector in the direction from the object to the camera (camera line-of-sight vector) is v, the following equation (7) is established.
式（７）に示されるように、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば単位面法線ベクトルｎを算出することができる。表面に粗さがある場合、鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解の候補うち最も平滑面に対する解に近い候補を選択すればよい。また、複数の解の候補の平均によって真の解を決定してもよい。 As shown in Expression (7), if the light source direction vector s and the camera line-of-sight vector v are known, the unit surface normal vector n can be calculated. When the surface is rough, the specular reflection also has a broad emission angle, but spreads in the vicinity of the solution obtained as a smooth surface, so it is only necessary to select a candidate closest to the solution for the smooth surface among a plurality of solution candidates. . Further, the true solution may be determined by the average of a plurality of solution candidates.
照度差ステレオ法では、入射光の強さＥは各光源方向の条件において一定であり、被写体からの反射光の輝度値が正確に検出されることを前提としている。また、閃光装置を備える撮像装置では、発光量が大き過ぎる場合、被写体部分の露光量が多くなりすぎる。そのため、被写体部分に白飛びと言われる階調性が失われる現象が生じ、正確な輝度値を取得できない。逆に、発光量が小さ過ぎる場合、被写体部分の露光量が少なくなりすぎる。そのため、被写体部分に黒潰れと言われる階調性が失われる現象が生じ、正確な輝度値が取得できない。すなわち、位置の異なる複数の光源の発光量（各光源方向の入射光の強さ）が適切でない場合、被写体部分に白飛びや黒潰れが発生し、正確な輝度値が取得できない。したがって、算出される面法線が真の面法線から大きくずれてしまう。 In the illuminance difference stereo method, the intensity E of incident light is constant under the conditions of each light source direction, and it is assumed that the luminance value of reflected light from the subject is accurately detected. In addition, in an imaging apparatus including a flash device, when the amount of light emission is too large, the exposure amount of the subject portion is too large. For this reason, a phenomenon occurs in which the gradation property called whitening is lost in the subject portion, and an accurate luminance value cannot be acquired. On the contrary, when the light emission amount is too small, the exposure amount of the subject portion becomes too small. For this reason, a phenomenon that the gradation property called blackout is lost occurs in the subject portion, and an accurate luminance value cannot be acquired. That is, when the light emission amounts of the light sources having different positions (incident light intensity in the direction of each light source) are not appropriate, overexposure or blackout occurs in the subject portion, and an accurate luminance value cannot be acquired. Therefore, the calculated surface normal greatly deviates from the true surface normal.
図１は本実施例の撮像装置１０００Ａの外観図であり、図２は本実施例の撮像装置１０００Ａのブロック図である。撮像装置１０００Ａは、被写体を撮像する撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１および撮像素子１０２を備える。本実施例では、光源部２００は、撮像光学系１０１の光軸を中心とする同心円状に等間隔で配置される８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００の各光源としてＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いているが、キセノンランプ等の他の光源を用いてもよい。また、本実施例では、光源部２００は、撮像装置１０００Ａに内蔵されているが、着脱可能に取り付けられる構成としてもよい。レリーズボタン３００は、撮影やオートフォーカスを作動させるためのボタンである。 FIG. 1 is an external view of an imaging apparatus 1000A of the present embodiment, and FIG. 2 is a block diagram of the imaging apparatus 1000A of the present embodiment. The imaging apparatus 1000A includes an imaging unit 100 and a light source unit 200 that image a subject. The imaging unit 100 includes an imaging optical system 101 and an imaging element 102. In the present embodiment, the light source unit 200 includes eight light sources that are arranged at equal intervals in a concentric circle centered on the optical axis of the imaging optical system 101. In addition, since at least three light sources are required when the illuminance difference stereo method is performed, the light source unit 200 only needs to include three or more light sources. In the present embodiment, the light source unit 200 has a plurality of light sources arranged concentrically around the optical axis of the imaging optical system 101 at equal intervals, but the present invention is not limited to this. In this embodiment, an LED (Light Emitting Diode) is used as each light source of the light source unit 200, but other light sources such as a xenon lamp may be used. In the present embodiment, the light source unit 200 is built in the imaging apparatus 1000A, but may be configured to be detachably attached. The release button 300 is a button for operating shooting and autofocus.
撮像光学系１０１は、絞り１０１ａを備え、被写体から射出される光を撮像素子１０２上に結像させる。また、撮像光学系１０１は、各レンズ群を移動させるで、撮像倍率を変えることができる変倍光学系であってもよい。本実施例では、撮像光学系１０１は、撮像装置１０００Ａに内蔵されているが、一眼レフカメラのように撮像装置１０００Ａに着脱可能に取り付けられる構成であってもよい。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されるアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。 The imaging optical system 101 includes a stop 101 a and forms an image of light emitted from a subject on the imaging element 102. The imaging optical system 101 may be a variable magnification optical system that can change the imaging magnification by moving each lens group. In this embodiment, the imaging optical system 101 is built in the imaging apparatus 1000A, but may be configured to be detachably attached to the imaging apparatus 1000A like a single-lens reflex camera. The imaging element 102 is configured by a photoelectric conversion element such as a CCD sensor or a CMOS sensor, and images a subject. An analog electrical signal generated by photoelectric conversion of the image sensor 102 is converted into a digital signal by the A / D converter 103 and input to the image processing unit 104.
画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理と併せて、被写体の面法線情報を取得する。面法線情報とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報、および求めた面法線の妥当性に関する情報である。画像処理部１０４は、被写体からの反射光を測光する測光部１０４ａ、および測光部１０４ａの測光値に基づいて各光源の適正発光量を制御する発光量制御部１０４ｂを備える。また、画像処理部１０４は、面法線情報を算出する法線算出部１０４ｃ、および面法線情報を算出する際の輝度情報を補正する輝度情報補正部１０４ｄを備える。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を表示部１０５に表示してもよい。本実施例では、測光部１０４ａ、発光量制御部１０４ｂ、法線算出部１０４ｃ、および輝度情報補正部１０４ｄは、撮像装置１０００Ａに内蔵されているが、後述するように撮像装置１０００Ａとは別に構成されてもよい。 The image processing unit 104 acquires surface normal information of the subject together with image processing generally performed on the digital signal. The surface normal information is information for determining at least one candidate for one degree of freedom of surface normal, information for selecting a true solution from a plurality of surface normal candidates, and the obtained surface normal Information on the validity of The image processing unit 104 includes a photometry unit 104a that measures reflected light from a subject, and a light emission amount control unit 104b that controls an appropriate light emission amount of each light source based on a photometric value of the photometry unit 104a. In addition, the image processing unit 104 includes a normal calculation unit 104c that calculates surface normal information and a luminance information correction unit 104d that corrects luminance information when calculating surface normal information. The output image processed by the image processing unit 104 is stored in an image recording unit 109 such as a semiconductor memory or an optical disk. Further, the output image may be displayed on the display unit 105. In this embodiment, the photometry unit 104a, the light emission amount control unit 104b, the normal calculation unit 104c, and the luminance information correction unit 104d are built in the imaging apparatus 1000A, but are configured separately from the imaging apparatus 1000A as described later. May be.
情報入力部１０８は、ユーザーによって選択された撮像条件（絞り値、露出時間、ＩＳＯ感度または撮影枚数など）をシステムコントローラ１１０に供給する。照射光源制御部１０６は、システムコントローラ１１０から出力される指示に応じて光源部２００の発光状態を制御する。撮像制御部１０７は、システムコントローラ１１０から出力される情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。ＲＯＭ１１１は、システムコントローラ１１０によって実行される各種のプログラムやそれに必要となるデータを格納している。発光量情報取得部１１２は、照射光源制御部１０６によって制御される各光源の発光量の情報を取得する。撮像条件情報取得部１１３は、撮像制御部１０７によって制御される撮像条件の情報を取得する。 The information input unit 108 supplies the imaging condition (aperture value, exposure time, ISO sensitivity, number of shots, etc.) selected by the user to the system controller 110. The irradiation light source control unit 106 controls the light emission state of the light source unit 200 in accordance with an instruction output from the system controller 110. The imaging control unit 107 acquires an image under desired imaging conditions selected by the user based on information output from the system controller 110. The ROM 111 stores various programs executed by the system controller 110 and data necessary for the programs. The light emission amount information acquisition unit 112 acquires information on the light emission amount of each light source controlled by the irradiation light source control unit 106. The imaging condition information acquisition unit 113 acquires information on imaging conditions controlled by the imaging control unit 107.
本実施例の面法線情報の算出処理について、図３のフローチャートを参照して説明する。図３は、本実施例の面法線情報の算出処理を示すフローチャートである。本実施例の面法線情報の算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。 The surface normal information calculation process of the present embodiment will be described with reference to the flowchart of FIG. FIG. 3 is a flowchart showing the calculation processing of the surface normal information according to this embodiment. The surface normal information calculation processing of the present embodiment is executed by the system controller 110 and the image processing unit 104 in accordance with a processing program for causing a computer to function as a processing device. The processing program may be recorded on a computer-readable recording medium, for example.
ステップＳ１０１では、システムコントローラ１１０は、情報入力部１０８からユーザーによって設定される第１撮像条件（絞り値、露出時間、ＩＳＯ感度または撮影枚数など）を撮像条件として設定する。 In step S101, the system controller 110 sets a first imaging condition (aperture value, exposure time, ISO sensitivity, number of shots, etc.) set by the user from the information input unit 108 as an imaging condition.
ステップＳ１０２では、システムコントローラ１１０は、レリーズボタン３００の半押し動作に連動し、光源が予備発光（プリ発光）していない状態で被写体からの反射光を撮像素子１０２で受光する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換によって生成されたアナログ電気信号をデジタル信号に変換し、画像処理部１０４に出力する。測光部１０４ａは、画像処理部１０４に入力されたデジタル信号に基づいて第２測光値を取得する。第２測光値は、光源が予備発光していない状態の測光値、すなわち環境光のみが照射された被写体の反射光の測光値である。また、本実施例では測光部１０４ａが撮像素子１０２によって得られた画像信号に基づいて測光値を取得しているが、別途設けられた測光用のセンサーが取得してもよい。 In step S <b> 102, the system controller 110 receives the reflected light from the subject by the image sensor 102 in a state where the light source is not pre-emission (pre-emission) in conjunction with the half-pressing operation of the release button 300. The A / D converter 103 converts an analog electric signal generated by photoelectric conversion of the image sensor 102 into a digital signal and outputs the digital signal to the image processing unit 104. The photometric unit 104 a acquires the second photometric value based on the digital signal input to the image processing unit 104. The second photometric value is a photometric value in a state where the light source is not preliminarily emitting light, that is, a photometric value of reflected light of a subject irradiated with only ambient light. In the present embodiment, the photometric unit 104a acquires the photometric value based on the image signal obtained by the image sensor 102, but a photometric sensor provided separately may be acquired.
ステップＳ１０３では、システムコントローラ１１０は、照射光源制御部１０６に、本撮影に使用する光源をあらかじめ設定された光量で個別に予備発光させる。予備発光の光量は、白飛び発生による測光値の検出精度の劣化を低減させるため、本撮像時に対して低く設定することが好ましい。照度差ステレオ方式では位置の異なる複数の光源を個別に発光させて複数の画像を取得するため、本実施例では測光値検出のための予備発光を光源ごとに行う。 In step S <b> 103, the system controller 110 causes the irradiation light source control unit 106 to separately perform preliminary light emission of a light source used for actual photographing with a preset light amount. The amount of preliminary light emission is preferably set to be lower than that at the time of actual imaging in order to reduce deterioration in photometric value detection accuracy due to occurrence of whiteout. In the illuminance difference stereo method, a plurality of light sources having different positions are individually emitted to obtain a plurality of images. In this embodiment, preliminary light emission for photometric value detection is performed for each light source.
ステップＳ１０４では、システムコントローラ１１０は、ステップＳ１０３の予備発光に同期して、被写体からの反射光を撮像素子１０２で受光する。Ａ／Ｄコンバータ１０３は、撮像素子１０２の光電変換によって生成されたアナログ電気信号をデジタル信号に変換し、画像処理部１０４に出力する。測光部１０４ａは、画像処理部１０４に入力されたデジタル信号に基づいて第１測光値を取得する。第１測光値は、光源が予備発光している状態の測光値、すなわち環境光および光源の予備発光光が照射された被写体の反射光の測光値である。また、発光量制御部１０４ｂは、ステップＳ１０１で設定された第１撮像条件、ならびに第１および第２測光値に基づいて光源ごとの適正発光量を算出する。 In step S104, the system controller 110 receives reflected light from the subject with the image sensor 102 in synchronization with the preliminary light emission in step S103. The A / D converter 103 converts an analog electric signal generated by photoelectric conversion of the image sensor 102 into a digital signal and outputs the digital signal to the image processing unit 104. The photometric unit 104 a acquires the first photometric value based on the digital signal input to the image processing unit 104. The first photometric value is a photometric value in a state where the light source is preliminarily emitting light, that is, a photometric value of reflected light of a subject irradiated with the ambient light and the preliminary light emitted from the light source. Further, the light emission amount control unit 104b calculates an appropriate light emission amount for each light source based on the first imaging condition set in step S101 and the first and second photometric values.
ここで、図４を参照して、本実施例の適正発光量の算出時の動作について説明する。図４は、撮像装置１０００Ａが被写体２０００の面法線情報を取得する場合の撮像状態を示す図である。まず、測光部１０４ａは、光源を予備発光させずに環境光（太陽光）のみが照射された被写体の反射光を測光し、第２測光値を取得する。次に、撮像装置１０００Ａが光源２００Ａを予備発光させると、被写体２０００に照射された光源２００Ａからの光Ａは、被写体２０００で反射された後、撮像部１００に入射する。測光部１０４ａは、被写体２０００を撮像した画像信号の輝度値情報に基づいて第１測光値を取得する。発光量制御部１０４ｂは、第１撮像条件、ならびに第１および第２測光値に基づいて、光源２００Ａの適正発光量を算出する。撮像装置１０００Ａが光源２００Ｂを予備発光させる場合も同様に、発光量制御部１０４ｂは光源２００Ｂの適正発光量を算出する。 Here, with reference to FIG. 4, the operation | movement at the time of calculation of the appropriate light emission amount of a present Example is demonstrated. FIG. 4 is a diagram illustrating an imaging state when the imaging apparatus 1000 </ b> A acquires the surface normal information of the subject 2000. First, the photometric unit 104a measures the reflected light of the subject irradiated with only ambient light (sunlight) without preliminarily emitting the light source, and acquires the second photometric value. Next, when the imaging device 1000A causes the light source 200A to preliminarily emit light, the light A from the light source 200A irradiated on the subject 2000 is reflected by the subject 2000 and then enters the imaging unit 100. The photometric unit 104a acquires the first photometric value based on the luminance value information of the image signal obtained by imaging the subject 2000. The light emission amount control unit 104b calculates an appropriate light emission amount of the light source 200A based on the first imaging condition and the first and second photometric values. Similarly, when the imaging apparatus 1000A causes the light source 200B to perform preliminary light emission, the light emission amount control unit 104b calculates the appropriate light emission amount of the light source 200B.
照度差ステレオ方式では、同一の被写体に位置の異なる光源からの光を照射し、その輝度変化によって面法線情報を算出するため、光源からの発光光のみに基づく輝度情報が重要であり、環境光（太陽光）に基づく輝度情報は面法線の算出時には不要である。そのため、環境光の強度が強い場合、光源からの発光光のみに基づく輝度情報の階調性を保つように発光量を調整することが重要となる。上述したように、第１測光値は環境光および光源の予備発光光が照射された被写体の反射光の測光値であり、第２測光値は環境光のみが照射された被写体の反射光の測光値である。本実施例では、発光量制御部１０４ｂは、第１および第２測光値との差分に基づいて、光源の発光光のみによる輝度情報の階調性を保つように最小発光量を算出する。このように、第１および第２測光値との差分に基づいて最小発光量を算出することで、特に光源からの発光光のみに基づく輝度情報の低輝度領域の階調性の低下（黒潰れ）を抑制することが可能となる。また、環境光および光源の発光光による被写体の反射光に基づく画像信号に白飛びが発生した場合も、光源からの発光光のみに基づく輝度情報の高輝度領域の階調性の低下が生じる。本実施例では、環境光および光源の予備発光光が照射された被写体の反射光の測光値である第１測光値に基づいて、光源の発光光のみに基づく輝度情報の階調性を保つように最大発光量を算出する。発光量制御部１０４ｂは、最小発光量と最大発光量の間で最も輝度情報の階調性を確保できる発光量を適正発光量として設定する。最大発光量が最小発光量より大きい場合、発光量制御部１０４ｂは最大発光量を適正発光量として設定することが好ましい。最大発光量を適正発光量として設定することで、白飛びを回避しつつ、輝度情報の階調性を高く保つことができる。また、本実施例では、環境光の強度が強い場合について説明したが、暗室撮影などの環境光の強度が弱い場合、ステップＳ１０２を省略してもよい。 In the illuminance difference stereo method, the same subject is irradiated with light from a light source with a different position, and surface normal information is calculated based on the change in luminance. Therefore, luminance information based only on the light emitted from the light source is important. Luminance information based on light (sunlight) is not necessary when calculating the surface normal. Therefore, when the intensity of the ambient light is strong, it is important to adjust the light emission amount so as to maintain the gradation property of the luminance information based only on the light emitted from the light source. As described above, the first photometric value is the photometric value of the reflected light of the subject irradiated with the ambient light and the preliminary light emission of the light source, and the second photometric value is the photometric value of the reflected light of the subject irradiated with only the environmental light. Value. In the present embodiment, the light emission amount control unit 104b calculates the minimum light emission amount based on the difference between the first and second photometric values so as to maintain the gradation of the luminance information only by the light emitted from the light source. In this way, by calculating the minimum light emission amount based on the difference between the first and second photometric values, the gradation of the low-luminance area of the luminance information based on only the light emitted from the light source, in particular, is reduced (black crushing). ) Can be suppressed. In addition, when whiteout occurs in the image signal based on the reflected light of the subject due to the ambient light and the light emitted from the light source, the gradation of the high-brightness region of the luminance information based only on the light emitted from the light source is reduced. In this embodiment, the gradation of luminance information based only on the light emitted from the light source is maintained based on the first photometric value that is the photometric value of the reflected light of the subject irradiated with the ambient light and the preliminary light emitted from the light source. The maximum light emission amount is calculated. The light emission amount control unit 104b sets, as the appropriate light emission amount, a light emission amount that can ensure the gradation of luminance information most between the minimum light emission amount and the maximum light emission amount. When the maximum light emission amount is larger than the minimum light emission amount, the light emission amount control unit 104b preferably sets the maximum light emission amount as the appropriate light emission amount. By setting the maximum light emission amount as an appropriate light emission amount, it is possible to keep the gradation property of the luminance information high while avoiding whiteout. In the present embodiment, the case where the intensity of ambient light is high has been described. However, when the intensity of ambient light such as dark room photography is weak, step S102 may be omitted.
ステップＳ１０５では、システムコントローラ１１０は、照度差ステレオ方式の撮像に使用する全光源の予備発光が完了したかどうかを判定する。全光源の予備発光が完了している場合はステップＳ１０６に進み、完了していない場合はステップＳ１０３に戻る。 In step S105, the system controller 110 determines whether preliminary light emission of all light sources used for illuminance-difference stereo imaging has been completed. When the preliminary light emission of all the light sources is completed, the process proceeds to step S106, and when not completed, the process returns to step S103.
ステップＳ１０６では、システムコントローラ１１０は、発光量制御部１０４ｂが照射光源制御部１０６を介して照度差ステレオ方式の撮像に使用する全光源をステップＳ１０４で算出された適正発光量で制御可能かどうかを判定する。制御できない光源が存在する場合はステップＳ１０７に進み、存在しない場合はステップＳ１０８に進む。 In step S106, the system controller 110 determines whether or not the light emission amount control unit 104b can control all light sources used for illuminance difference stereo imaging via the irradiation light source control unit 106 with the appropriate light emission amount calculated in step S104. judge. If there is a light source that cannot be controlled, the process proceeds to step S107, and if not, the process proceeds to step S108.
ステップＳ１０７では、システムコントローラ１１０は、撮像制御部１０７に、撮像部１００の撮像条件を第１撮像条件から第２撮像条件に変更させる。具体的には、ステップＳ１０４で算出された適正発光量が制御可能な発光量より小さい場合、例えば、絞り１０１ａの絞り値を大きく（暗く）設定したり、露出時間を短く設定したり、またはＩＳＯ感度を低く設定したりすればよい。上記設定を組み合わせて、撮像条件を変更してもよい。また、ステップＳ１０４で算出された適正発光量が制御可能な発光量より大きい場合、例えば、絞り値を小さく（明るく）設定したり、露出時間を長く設定したり、またはＩＳＯ感度を高く設定したりすればよい。上記設定を組み合わせて、撮像条件を変更してもよい。さらに、ステップＳ１０４で算出された最小発光量が最大発光量より大きい場合、撮像素子１０２のダイナミックレンジが不足していることとなるため、本撮影時にＨＤＲ（ハイダイナミックレンジ）撮影を行う設定を行う。ＨＤＲ撮影としては、一般的に知られている露出条件を異ならせた複数枚の画像を取得して合成する手法を用いればよい。照度差ステレオ方式におけるＨＤＲ撮影では、１つの光源発光に対して露出条件を異ならせた複数枚の画像を取得すればよい。すなわち、１つの光源に対して何枚の画像を取得するかといった撮像枚数の設定を行う。また、発光量制御部１０４ｂは、変更された撮像条件に基づいて発光量を補正してもよい。また、撮像条件は、１つの光源発光に対応した撮像ごとに変更してもよいし、全ての撮像において同一条件としてもよい。 In step S107, the system controller 110 causes the imaging control unit 107 to change the imaging condition of the imaging unit 100 from the first imaging condition to the second imaging condition. Specifically, when the appropriate light emission amount calculated in step S104 is smaller than the controllable light emission amount, for example, the aperture value of the aperture 101a is set large (darker), the exposure time is set short, or ISO is set. The sensitivity may be set low. The imaging conditions may be changed by combining the above settings. Further, when the appropriate light emission amount calculated in step S104 is larger than the controllable light emission amount, for example, the aperture value is set small (bright), the exposure time is set long, or the ISO sensitivity is set high. do it. The imaging conditions may be changed by combining the above settings. Further, when the minimum light emission amount calculated in step S104 is larger than the maximum light emission amount, the dynamic range of the image sensor 102 is insufficient, so that setting for performing HDR (high dynamic range) shooting during the main shooting is performed. . For HDR photography, a method of acquiring and combining a plurality of generally known exposure conditions may be used. In HDR photography in the illuminance difference stereo method, a plurality of images with different exposure conditions may be acquired for one light source emission. That is, the number of images to be captured such as how many images are acquired for one light source is set. Further, the light emission amount control unit 104b may correct the light emission amount based on the changed imaging condition. The imaging conditions may be changed for each imaging corresponding to one light source emission, or the same conditions may be used for all imaging.
ステップＳ１０８では、システムコントローラ１１０は、発光量制御部１０４ｂに、照射光源制御部１０６を介して各光源の発光量を設定させる。 In step S108, the system controller 110 causes the light emission amount control unit 104b to set the light emission amount of each light source via the irradiation light source control unit 106.
ステップＳ１０９では、システムコントローラ１１０は、レリーズボタン３００の全押し動作に連動し、複数光源位置での被写体の撮像を行う。具体的には、システムコントローラ１１０は、照射光源制御部１０６を介して光源部２００の互いに位置の異なる少なくとも３つ以上の光源からの光を被写体に順次照射させ、撮像制御部１０７を介して撮像部１００に被写体を撮像させる。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ信号をＡ／Ｄ変換することで撮影画像（輝度情報）を形成し、画像処理部１０４に出力する。なお、画像処理部１０４は、画像生成のために、通常の現像処理や各種の画像補正処理を実行してもよい。 In step S109, the system controller 110 performs imaging of the subject at a plurality of light source positions in conjunction with the full-pressing operation of the release button 300. Specifically, the system controller 110 sequentially irradiates the subject with light from at least three light sources having different positions from the light source unit 200 via the irradiation light source control unit 106 and performs imaging via the imaging control unit 107. The unit 100 is caused to image the subject. The A / D converter 103 performs A / D conversion on the analog signal output from the image sensor 102 to form a captured image (luminance information) and outputs the captured image to the image processing unit 104. Note that the image processing unit 104 may execute normal development processing and various image correction processing for image generation.
ステップＳ１１０では、システムコントローラ１１０は、撮像条件情報取得部１１３に、撮像制御部１０７によって制御された撮像部１００の最終的な撮像条件の情報を取得させる。また、発光量情報取得部１１２に、照射光源制御部１０６を介して発光量制御部１０４ｂによって制御された各光源の最終的な発光量の情報を取得させる。さらに、輝度情報補正部１０４ｄに、撮像条件および発光量の情報に基づいて、各光源位置での被写体の撮像によって得られた輝度情報を補正させる。照度差ステレオ法では、各光源の発光量は一定であることを前提としているため、位置の異なる複数の光源間で発光量に違いが生じた場合、算出された面法線は真の面法線から大きくずれてしまう。そこで、本ステップでは、撮像条件および発光量の情報に基づいて、各光源位置での被写体の撮像によって得られた輝度情報を各光源部の発光量と撮像条件が仮想的に等しくなるように補正する。 In step S110, the system controller 110 causes the imaging condition information acquisition unit 113 to acquire information on the final imaging conditions of the imaging unit 100 controlled by the imaging control unit 107. Further, the light emission amount information acquisition unit 112 is caused to acquire information on the final light emission amount of each light source controlled by the light emission amount control unit 104 b via the irradiation light source control unit 106. Further, the luminance information correction unit 104d corrects the luminance information obtained by imaging the subject at each light source position based on the imaging condition and the light emission amount information. The illuminance difference stereo method assumes that the amount of light emitted from each light source is constant, so if there is a difference in the amount of light emitted from multiple light sources at different positions, the calculated surface normal is the true surface method. It will deviate greatly from the line. Therefore, in this step, the luminance information obtained by imaging the subject at each light source position is corrected based on the imaging condition and light emission amount information so that the light emission amount of each light source unit and the imaging condition are virtually equal. To do.
以下、８個の光源のうち第１の光源の発光量のみ異なる場合を例として、本ステップの補正について説明する。なお、第２から第８の光源は正常に発光し、発光量は等しく補正する必要はない。また、第１の光源の発光量は、他の光源の発光量の５０％に設定されている。 Hereinafter, the correction of this step will be described by taking as an example a case where only the light emission amount of the first light source among the eight light sources is different. The second to eighth light sources normally emit light, and the light emission amounts do not need to be corrected equally. Further, the light emission amount of the first light source is set to 50% of the light emission amount of the other light sources.
システムコントローラ１１０は、上記結果を取得すると、ＲＯＭ１１１に保存された輝度情報の補正値が記録されたテーブルに基づく補正信号を輝度情報補正部１０４ｄに出力する。ここでは、第１の光源の発光量が他の光源の発光量に比べて半分の量であるため、システムコントローラ１１０は、第１の光源の光を照射して取得された輝度情報の輝度値を２倍に補正することを指示する補正信号を輝度情報補正部１０４ｄに出力する。このような補正により、発光量が異なる第１の光源の光を照射して取得された輝度情報を、正常に発光している他の光源の発光量を照射して取得された輝度情報と仮想的に等しくすることができる。そのため、仮想的に全ての光源が同一の発光量である輝度情報を取得することができ、光源ごとに異なる発光量が設定された場合においても面法線の算出精度の低下を防ぐことができる。 When acquiring the above result, the system controller 110 outputs a correction signal based on a table in which correction values of luminance information stored in the ROM 111 are recorded to the luminance information correction unit 104d. Here, since the light emission amount of the first light source is half the light emission amount of the other light sources, the system controller 110 obtains the luminance value of the luminance information obtained by irradiating the light of the first light source. Is output to the luminance information correction unit 104d. By such correction, the luminance information acquired by irradiating the light of the first light source having a different light emission amount is used as the luminance information acquired by irradiating the light emission amounts of the other light sources that normally emit light and the virtual information. Can be made equal. For this reason, it is possible to virtually acquire luminance information in which all the light sources have the same light emission amount, and even when different light emission amounts are set for each light source, it is possible to prevent a decrease in surface normal calculation accuracy. .
上記例では、第１の光源の光を照射して取得される輝度値を他の光源の光を照射して取得される輝度値と同等となるように補正したが、他の光源の光を照射して取得される輝度値を第１の光源の光を照射して取得される輝度値と同等となるように補正してもよい。また、複数の光源間で発光量に違いがある場合、輝度情報補正部１０４ｄは、基準となる光源の光を照射して取得された輝度情報の輝度値に合わせて他の光源を照射して取得された輝度情報の輝度値を補正してもよい。例えば、基準となる輝度値は、最大発光量の光源の光を照射して取得された輝度値であってもよいし、最小発光量の光源の光を照射して取得された輝度値であってもよいし、中間の発光量の光源の光を照射して取得された輝度値であってもよい。 In the above example, the luminance value acquired by irradiating the light of the first light source is corrected to be equivalent to the luminance value acquired by irradiating the light of the other light source. You may correct | amend the luminance value acquired by irradiating so that it may become equivalent to the luminance value acquired by irradiating the light of a 1st light source. In addition, when there is a difference in light emission amount among the plurality of light sources, the luminance information correction unit 104d irradiates other light sources in accordance with the luminance value of the luminance information acquired by irradiating the light of the reference light source. The brightness value of the acquired brightness information may be corrected. For example, the reference luminance value may be a luminance value acquired by irradiating light from the light source with the maximum light emission amount, or a luminance value acquired by irradiating light from the light source with the minimum light emission amount. Alternatively, it may be a luminance value obtained by irradiating light from a light source having an intermediate light emission amount.
撮像条件についても、それぞれの撮像時の撮像条件が輝度値に関して仮想的に同一条件となるように輝度補正を行うことができる。例えば、第１の光源の光を照射して撮像する際の露出時間が他の光源と比べて半分になっている場合、第１の光源の光を照射して取得された輝度情報の輝度値を２倍にするように補正すればよい。 As for the imaging conditions, the luminance correction can be performed so that the imaging conditions at the time of each imaging are virtually the same with respect to the luminance value. For example, when the exposure time when imaging by irradiating light from the first light source is half that of other light sources, the luminance value of the luminance information acquired by irradiating the light from the first light source May be corrected so as to be doubled.
ステップＳ１１１では、システムコントローラ１１０は、法線算出部１０４ｃに、ステップＳ１１０で補正された輝度情報に基づいて面法線情報を算出させる。法線算出部１０４ｃは、上述した照度差ステレオ法を用いて面法線情報を算出する。画像記録部１０９が面法線情報や画像情報を保存し、フローは完了する。なお、画像記録部１０９は、発光量の情報や撮像条件の情報を画像情報に付加した情報を保存してもよい。発光量の情報や撮像条件の情報を画像情報に付加して保存することで、輝度情報の補正処理や面法線の算出処理を後から実行することが可能となる。 In step S111, the system controller 110 causes the normal calculation unit 104c to calculate surface normal information based on the luminance information corrected in step S110. The normal calculation unit 104c calculates surface normal information using the illuminance difference stereo method described above. The image recording unit 109 stores the surface normal information and the image information, and the flow is completed. Note that the image recording unit 109 may store information obtained by adding light emission amount information or imaging condition information to image information. By adding the light emission amount information and the imaging condition information to the image information and storing it, the luminance information correction processing and the surface normal calculation processing can be executed later.
以上説明したように、本実施例では、各光源を個別に予備発光させ、その測光値に基づいて各光源の発光量を適正発光量に設定することで、輝度情報を高精度に取得できるため、面法線の算出精度を保つことが可能となる。 As described above, in this embodiment, since each light source is individually preliminarily emitted, and the light emission amount of each light source is set to an appropriate light emission amount based on the photometric value, luminance information can be obtained with high accuracy. Thus, it is possible to maintain the calculation accuracy of the surface normal.
なお、本実施例では撮像装置１０００Ａ内で被写体の面法線情報を算出しているが、図２Ｂに示されるように、撮像装置１０００Ａとは異なる処理システム５００を用いて被写体の面法線情報を算出してもよい。図２Ｂに示される処理システム５００は、処理装置５０１、法線算出部５０２、撮像部５０３、光源部５０４、および測光部５０５を備える。処理装置５０１は、発光量制御部５０１ａ、および輝度情報補正部５０１ｂを備える。処理システム５００を用いて面法線情報を算出する場合、まず、測光部５０５は処理装置５０１の指示により光源が予備発光していない状態で被写体からの反射光を測光する。次に、光源部５０４が処理装置５０１の指示により少なくとも３つ以上の光源を個別に予備発光させ、測光部５０５が被写体からの反射光を測光する。なお、光源位置は、光源部５０４が１つの光源から構成される場合、撮影ごとに光源部５０４を移動させればよいし、光源部５０４が少なくとも３つ以上の光源を備える場合、撮影ごとに光を照射する光源を変更すればよい。次に、発光量制御部５０１ａが撮像条件、および測光部５０５の測光値に基づいて光源ごとの適正発光量を算出する。続いて、発光量制御部５０１ａは被写体に少なくとも３つ以上の光源位置から適正発光量の光を照射させるように光源部５０４を制御し、撮像部５０３が各光源位置の画像を取得する。なお、発光量制御部５０１ａは各光源の発光量を制御できればよく、光源部２００の点灯等の他の処理は処理装置５０１の他の部分が実行してもよい。最後に、法線算出部５０２が輝度情報補正部５０１ｂにより補正された輝度情報に基づいて面法線情報を算出する。なお、処理システム５００は、少なくとも処理装置５０１を備えていればよい。また、処理装置５０１は、少なくとも発光量制御部５０１ａを備えていればよい。また、処理装置５０１は、法線算出部５０２を備えてもよい。また、撮像部５０３および光源部５０４はそれぞれ、個別の装置であってもよいし、光源部５０４が撮像部５０３に内蔵されていてもよい。 In this embodiment, the surface normal information of the subject is calculated in the imaging apparatus 1000A. However, as shown in FIG. 2B, the surface normal information of the subject is obtained using a processing system 500 different from the imaging apparatus 1000A. May be calculated. A processing system 500 illustrated in FIG. 2B includes a processing device 501, a normal calculation unit 502, an imaging unit 503, a light source unit 504, and a photometry unit 505. The processing device 501 includes a light emission amount control unit 501a and a luminance information correction unit 501b. When calculating the surface normal information using the processing system 500, first, the photometry unit 505 measures the reflected light from the subject in a state where the light source is not pre-lighted according to an instruction from the processing device 501. Next, the light source unit 504 performs preliminary light emission of at least three or more light sources individually according to instructions from the processing device 501, and the photometric unit 505 measures the reflected light from the subject. It should be noted that the light source position is determined by moving the light source unit 504 for each shooting when the light source unit 504 is composed of one light source, and for each shooting when the light source unit 504 includes at least three or more light sources. What is necessary is just to change the light source which irradiates light. Next, the light emission amount control unit 501a calculates an appropriate light emission amount for each light source based on the imaging conditions and the photometric value of the photometric unit 505. Subsequently, the light emission amount control unit 501a controls the light source unit 504 so that the subject is irradiated with light of an appropriate light emission amount from at least three or more light source positions, and the imaging unit 503 acquires an image of each light source position. Note that the light emission amount control unit 501a only needs to be able to control the light emission amount of each light source, and other processing such as lighting of the light source unit 200 may be performed by another part of the processing device 501. Finally, the normal calculation unit 502 calculates surface normal information based on the luminance information corrected by the luminance information correction unit 501b. Note that the processing system 500 only needs to include at least the processing device 501. Moreover, the processing apparatus 501 should just be provided with the light emission amount control part 501a at least. In addition, the processing apparatus 501 may include a normal calculation unit 502. In addition, each of the imaging unit 503 and the light source unit 504 may be a separate device, or the light source unit 504 may be built in the imaging unit 503.
図５は、本実施例の撮像装置１０００Ｂのブロック図である。撮像装置１０００Ｂの外観構成は、実施例１の撮像装置１０００Ａの外観の構成と同様であるため詳細な説明は省略する。また、撮像装置１０００Ｂの内部の構成は、輝度情報補正部１０４ｃ、発光量情報取得部１１２、および撮像条件情報取得部１１３を備えていないことを除き、撮像装置１０００Ａの内部の構成と同様である。そのため、内部構成の詳細な説明は省略し、撮像装置１０００Ａと異なる部分についてのみ説明する。 FIG. 5 is a block diagram of the imaging apparatus 1000B of the present embodiment. Since the external configuration of the imaging apparatus 1000B is the same as the external configuration of the imaging apparatus 1000A of the first embodiment, detailed description thereof is omitted. The internal configuration of the imaging apparatus 1000B is the same as the internal configuration of the imaging apparatus 1000A except that the luminance information correction unit 104c, the light emission amount information acquisition unit 112, and the imaging condition information acquisition unit 113 are not provided. . Therefore, a detailed description of the internal configuration is omitted, and only the parts different from the imaging apparatus 1000A are described.
本実施例の面法線情報算出処理について、図６のフローチャートを参照して説明する。図６は、本実施例の面法線情報の算出処理を示すフローチャートである。本実施例の面法線情報の算出処理は、システムコントローラ１１０および画像処理部１０４により、コンピュータを処理装置として機能させるための処理プログラムにしたがって実行される。なお、処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。 The surface normal information calculation processing of the present embodiment will be described with reference to the flowchart of FIG. FIG. 6 is a flowchart showing the processing for calculating surface normal information according to the present embodiment. The surface normal information calculation processing of the present embodiment is executed by the system controller 110 and the image processing unit 104 in accordance with a processing program for causing a computer to function as a processing device. The processing program may be recorded on a computer-readable recording medium, for example.
ステップＳ２０１からステップＳ２０５までのステップはそれぞれ、実施例１のステップＳ１０１からステップＳ１０５までのステップと同様であるため、説明は省略する。 Since the steps from step S201 to step S205 are the same as the steps from step S101 to step S105 of the first embodiment, description thereof will be omitted.
ステップＳ２０６では、システムコントローラ１１０は、発光量制御部１０４ｂが照射光源制御部１０６を介して照度差ステレオ方式の撮像に使用する全光源を算出されたステップＳ１０４で算出された適正発光量で制御可能かどうかを判定する。制御できない光源が存在する場合はステップＳ２０７に進み、存在しない場合はステップＳ２０８に進む。 In step S206, the system controller 110 can control the light emission amount control unit 104b with the appropriate light emission amount calculated in step S104 in which all light sources used for illuminance difference stereo imaging are calculated via the irradiation light source control unit 106. Determine whether or not. If there is a light source that cannot be controlled, the process proceeds to step S207; otherwise, the process proceeds to step S208.
ステップＳ２０７では、システムコントローラ１１０は、撮像制御部１０７に、撮像部１００の撮像条件を第１撮像条件から第２撮像条件に変更させる。具体的には、ステップＳ２０４で算出された適正発光量が制御可能な発光量より小さい場合、例えば、絞り１０１ａの絞り値を大きく（暗く）設定したり、露出時間を短く設定したり、またはＩＳＯ感度を低く設定したりすればよい。上記設定を組み合わせて、撮像条件を変更してもよい。また、ステップＳ２０４で算出された適正発光量が制御可能な発光量より大きい場合、例えば、絞り値を小さく（明るく）設定したり、露出時間を長く設定したり、またはＩＳＯ感度を高く設定したりすればよい。上記設定を組み合わせて、撮像条件を変更してもよい。さらに、ステップＳ２０４で算出された最小発光量が最大発光量より大きい場合、撮像素子１０２のダイナミックレンジが不足していることとなるため、本撮影時にＨＤＲ（ハイダイナミックレンジ）撮影を行う設定を行う。ＨＤＲ撮影としては、一般的に知られている露出条件を異ならせた複数枚の画像を取得して合成する手法を用いればよい。照度差ステレオ方式におけるＨＤＲ撮影では、１つの光源発光に対して露出条件を異ならせた複数枚の画像を取得すればよい。すなわち、１つの光源に対して何枚の画像を取得するかといった撮像枚数の設定を行う。また、発光量制御部１０４ｂは、変更された撮像条件に基づいて発光量を補正してもよい。また、本実施例では、撮像条件は、全ての撮像において同一条件とする。そのため、撮像条件の違いによる輝度情報の補正処理を省略することが可能となり、法線算出時の処理負荷を低減することができる。 In step S207, the system controller 110 causes the imaging control unit 107 to change the imaging condition of the imaging unit 100 from the first imaging condition to the second imaging condition. Specifically, when the appropriate light emission amount calculated in step S204 is smaller than the controllable light emission amount, for example, the aperture value of the aperture 101a is set to be large (darker), the exposure time is set to be short, or ISO is set. The sensitivity may be set low. The imaging conditions may be changed by combining the above settings. In addition, when the appropriate light emission amount calculated in step S204 is larger than the controllable light emission amount, for example, the aperture value is set to be small (bright), the exposure time is set to be long, or the ISO sensitivity is set to be high. do it. The imaging conditions may be changed by combining the above settings. Furthermore, when the minimum light emission amount calculated in step S204 is larger than the maximum light emission amount, the dynamic range of the image sensor 102 is insufficient, so that settings for performing HDR (high dynamic range) shooting are performed during main shooting. . For HDR photography, a method of acquiring and combining a plurality of generally known exposure conditions may be used. In HDR photography in the illuminance difference stereo method, a plurality of images with different exposure conditions may be acquired for one light source emission. That is, the number of images to be captured such as how many images are acquired for one light source is set. Further, the light emission amount control unit 104b may correct the light emission amount based on the changed imaging condition. In this embodiment, the imaging conditions are the same for all imaging. Therefore, it is possible to omit the luminance information correction process due to the difference in the imaging conditions, and the processing load at the time of normal calculation can be reduced.
ステップＳ２０８では、システムコントローラ１１０は、発光量制御部１０４ｂに、照射光源制御部１０６を介して各光源の発光量が同等となるように設定させる。本実施例では、算出された各光源の適正発光量に基づいて、最も適正発光量が小さい光源を基準光源とし、全ての光源の発光量を基準光源と同一光量に設定する。最も適正発光量が小さい光源に発光量を揃えることで、各光源を発光させて取得された撮影画像（輝度情報）に白飛びが発生することを防ぐことができる。さらに、全ての撮像において同一発光量として設定することで、実施例１で必要であった発光量の違いによる輝度情報の補正処理を省略することが可能となり、法線算出時の処理負荷低減が可能となる。 In step S208, the system controller 110 causes the light emission amount control unit 104b to set the light emission amounts of the respective light sources to be equal via the irradiation light source control unit 106. In the present embodiment, based on the calculated appropriate light emission amount of each light source, the light source having the smallest appropriate light emission amount is set as the reference light source, and the light emission amounts of all the light sources are set to the same light amount as the reference light source. By aligning the light emission amounts to the light sources having the smallest appropriate light emission amount, it is possible to prevent whiteout from occurring in a captured image (luminance information) acquired by causing each light source to emit light. Furthermore, by setting the same amount of light emission for all imaging, it becomes possible to omit the luminance information correction processing due to the difference in the amount of light emission required in the first embodiment, and the processing load during normal calculation can be reduced. It becomes possible.
ステップＳ２０９では、システムコントローラ１１０は、レリーズボタン３００の全押し動作に連動し、複数光源位置での被写体の撮像を行う。具体的には、システムコントローラ１１０は、照射光源制御部１０６を介して光源部２００の互いに位置の異なる少なくとも３つ以上の光源からの光を被写体に順次照射させ、撮像制御部１０７を介して撮像部１００に被写体を撮像させる。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されたアナログ信号をＡ／Ｄ変換することで撮影画像（輝度情報）を形成し、画像処理部１０４に出力する。なお、画像処理部１０４は、画像生成のために、通常の現像処理や各種の画像補正処理を実行してもよい。 In step S209, the system controller 110 performs imaging of the subject at a plurality of light source positions in conjunction with the full pressing operation of the release button 300. Specifically, the system controller 110 sequentially irradiates the subject with light from at least three light sources having different positions from the light source unit 200 via the irradiation light source control unit 106 and performs imaging via the imaging control unit 107. The unit 100 is caused to image the subject. The A / D converter 103 performs A / D conversion on the analog signal output from the image sensor 102 to form a captured image (luminance information) and outputs the captured image to the image processing unit 104. Note that the image processing unit 104 may execute normal development processing and various image correction processing for image generation.
ステップＳ２１０では、システムコントローラ１１０は、法線算出部１０４ｃに、ステップＳ２０９で取得した輝度情報に基づいて面法線情報を算出させる。法線算出部１０４ｃは、上述した照度差ステレオ法を用いて面法線情報を算出する。画像記録部１０９が面法線情報や画像情報を保存し、フローは完了する。 In step S210, the system controller 110 causes the normal calculation unit 104c to calculate surface normal information based on the luminance information acquired in step S209. The normal calculation unit 104c calculates surface normal information using the illuminance difference stereo method described above. The image recording unit 109 stores the surface normal information and the image information, and the flow is completed.
以上説明したように、本実施例では、各光源を予備発光させ、その測光値に基づいて各光源の発光量を適正な同一発光量に設定することで、輝度情報の補正処理を実行せずに輝度情報を高精度に取得できるため、面法線の算出精度を保つことが可能となる。 As described above, in this embodiment, each light source is preliminarily emitted, and the light emission amount of each light source is set to an appropriate same light emission amount based on the photometric value, so that the luminance information correction process is not executed. In addition, since the luminance information can be acquired with high accuracy, the surface normal calculation accuracy can be maintained.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１０４ 画像処理部（処理装置）
１０４ｂ 適正発光量算出部（制御部）
104 Image processing unit (processing device)
104b Appropriate light emission amount calculation unit (control unit)
Claims (17)
前記３つ以上の光源を個別に予備発光させて取得される前記被写体からの反射光の測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御する制御部を有することを特徴とする処理装置。 A processing device that sequentially irradiates a subject with light from three or more light sources having different positions to obtain three or more images,
A control unit that controls a light emission amount of each light source when acquiring the three or more images based on a photometric value of reflected light from the subject acquired by separately performing preliminary light emission of the three or more light sources. A processing apparatus comprising:
前記３つ以上の光源を個別に予備発光させた際の前記被写体からの反射光の測光値を取得する測光部と、
前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部と、を有することを特徴とする処理システム。 A processing system for acquiring three or more images by sequentially irradiating a subject with light from three or more light sources having different positions,
A photometric unit that obtains a photometric value of reflected light from the subject when the three or more light sources are individually pre-flashed; and
And a control unit that controls a light emission amount of each light source when the three or more images are captured based on the photometric value.
前記３つ以上の光源を個別に予備発光させた際の前記被写体からの反射光の測光値を取得する測光部と、
前記測光値に基づいて、前記３つ以上の画像を撮像する際の各光源の発光量を制御する制御部と、
前記３つ以上の画像の輝度情報に基づいて、前記面法線情報を算出する法線算出部と、を有することを特徴とする撮像装置。 An imaging unit that sequentially irradiates light from three or more light sources having different positions to obtain three or more images;
A photometric unit that obtains a photometric value of reflected light from the subject when the three or more light sources are individually pre-flashed; and
A control unit for controlling the light emission amount of each light source when capturing the three or more images based on the photometric value;
An imaging device, comprising: a normal calculation unit that calculates the surface normal information based on luminance information of the three or more images.
前記３つ以上の光源を個別に予備発光させた際の前記被写体からの反射光の測光値を取得するステップと、
前記測光値に基づいて、前記３つ以上の画像を取得する際の各光源の発光量を制御するステップと、を有することを特徴とする処理方法。 A processing method for acquiring three or more images by sequentially irradiating a subject with light from three or more light sources having different positions,
Obtaining a photometric value of reflected light from the subject when the three or more light sources are individually pre-lighted; and
And a step of controlling a light emission amount of each light source when acquiring the three or more images based on the photometric value.
A computer-readable recording medium on which the program according to claim 16 is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016138302A JP6862114B2 (en) | 2016-07-13 | 2016-07-13 | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016138302A JP6862114B2 (en) | 2016-07-13 | 2016-07-13 | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018009858A true JP2018009858A (en) | 2018-01-18 |
| JP6862114B2 JP6862114B2 (en) | 2021-04-21 |
Family
ID=60995322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016138302A Expired - Fee Related JP6862114B2 (en) | 2016-07-13 | 2016-07-13 | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6862114B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020127190A (en) * | 2019-02-06 | 2020-08-20 | キヤノン株式会社 | Control apparatus, illumination apparatus, imaging apparatus, image processing apparatus, image processing method, program, and storage medium |
| US10939090B2 (en) | 2019-02-06 | 2021-03-02 | Canon Kabushiki Kaisha | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000315257A (en) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | Method for generating three-dimensional image of skin state |
| JP3880148B2 (en) * | 1997-09-19 | 2007-02-14 | キヤノン株式会社 | Imaging device |
| JP2010122158A (en) * | 2008-11-21 | 2010-06-03 | Juki Corp | Method for preparing body surface normal vector map |
| JP2013044996A (en) * | 2011-08-25 | 2013-03-04 | Nikon Corp | Imaging device |
-
2016
- 2016-07-13 JP JP2016138302A patent/JP6862114B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3880148B2 (en) * | 1997-09-19 | 2007-02-14 | キヤノン株式会社 | Imaging device |
| JP2000315257A (en) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | Method for generating three-dimensional image of skin state |
| JP2010122158A (en) * | 2008-11-21 | 2010-06-03 | Juki Corp | Method for preparing body surface normal vector map |
| JP2013044996A (en) * | 2011-08-25 | 2013-03-04 | Nikon Corp | Imaging device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020127190A (en) * | 2019-02-06 | 2020-08-20 | キヤノン株式会社 | Control apparatus, illumination apparatus, imaging apparatus, image processing apparatus, image processing method, program, and storage medium |
| US10939090B2 (en) | 2019-02-06 | 2021-03-02 | Canon Kabushiki Kaisha | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6862114B2 (en) | 2021-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20180019606A (en) | Methods and apparatus for performing exposure estimation using a time-of-flight sensor | |
| US10965853B2 (en) | Control apparatus, accessory, imaging apparatus, and imaging system capable of switching light emission modes for imaging | |
| TW202021340A (en) | Infrared pre-flash for camera | |
| JP2019168862A (en) | Processing equipment, processing system, imaging device, processing method, program, and recording medium | |
| JP2017102637A (en) | Processing apparatus, processing system, imaging device, processing method, program, and recording medium | |
| JP6910763B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| US10939090B2 (en) | Control apparatus, imaging apparatus, illumination apparatus, image processing apparatus, image processing method, and storage medium | |
| US11025829B2 (en) | Imaging apparatus, accessory, processing apparatus, processing method, and storage medium | |
| CN106817543B (en) | Processing apparatus, processing system, image pickup apparatus, and processing method | |
| JP6862114B2 (en) | Processing equipment, processing systems, imaging equipment, processing methods, programs, and recording media | |
| US10346959B2 (en) | Processing apparatus, processing system, image pickup apparatus, processing method, and non-transitory computer-readable storage medium | |
| JP6671915B2 (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| US10986282B2 (en) | Image pickup apparatus that performs flash shooting suitable for both main subject and background, control method therefor, and light emission control apparatus | |
| JP7118776B2 (en) | IMAGING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM AND RECORDING MEDIUM | |
| JP6336337B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2012085093A (en) | Imaging device and acquisition method | |
| JP7520586B2 (en) | Image processing device, image processing method, and program | |
| JP2020095454A (en) | Processing device, imaging device, processing system, processing method, program, and storage medium | |
| JP2018054413A (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP7309425B2 (en) | Processing device, processing system, imaging device, processing method, and program | |
| JP7594413B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, INFORMATION PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP2020129313A (en) | Processing device, processing system, imaging device, processing method, program, and recording medium | |
| JP2018022937A (en) | Imaging system, method for controlling the same, and computer program | |
| JP2020173591A (en) | Processing device, processing system, imaging apparatus, processing method, and program | |
| CN102778804A (en) | Light emission control device and light emission control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210331 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6862114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |