JP2019022147A - Light source direction estimation device - Google Patents

Light source direction estimation device Download PDF

Info

Publication number
JP2019022147A
JP2019022147A JP2017140981A JP2017140981A JP2019022147A JP 2019022147 A JP2019022147 A JP 2019022147A JP 2017140981 A JP2017140981 A JP 2017140981A JP 2017140981 A JP2017140981 A JP 2017140981A JP 2019022147 A JP2019022147 A JP 2019022147A
Authority
JP
Japan
Prior art keywords
light source
polarization
incident
estimation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017140981A
Other languages
Japanese (ja)
Other versions
JP6550102B2 (en
Inventor
鮎子 太田
Ayuko Ota
鮎子 太田
清水 信昭
Nobuaki Shimizu
信昭 清水
全史 大津
Masafumi Otsu
全史 大津
Original Assignee
セコム株式会社
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セコム株式会社, Secom Co Ltd filed Critical セコム株式会社
Priority to JP2017140981A priority Critical patent/JP6550102B2/en
Publication of JP2019022147A publication Critical patent/JP2019022147A/en
Application granted granted Critical
Publication of JP6550102B2 publication Critical patent/JP6550102B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To facilitate estimation of the light source direction of a space, even if the three-dimensional shape of an object existing in the space is unknown.SOLUTION: A polarization information acquisition part 20 acquires the polarization information of an image captured by a photographing unit 10. Measurement point selection means 44 specularly reflects the light from a light source, and selects first and second points on an image corresponding to multiple reflection positions where the incidence planes of light intersect each other. A light source direction estimation means 50 calculates the light source direction in the space, based on a line of intersection formed by intersection of the first incidence plane at the first point and a second incidence plane at the second point.SELECTED DRAWING: Figure 1

Description

本発明は、光源方向を推定する光源方向推定装置に関する。   The present invention relates to a light source direction estimation device that estimates a light source direction.
所定の空間を撮影した可視光画像を解析して、その空間における光源方向を推定する技術がある。   There is a technique for analyzing a visible light image obtained by photographing a predetermined space and estimating a light source direction in the space.
例えば、特許文献1には、可視光画像に映っている物体上に複数の測定点を設定し、各測定点における反射光に基づいて、光源方向を推定する技術が開示されている。具体的には、可視光画像に映っている人物の顔の部分に、顔の3次元形状モデルを位置合わせする。その後、位置合わせした3次元形状モデル上に、複数の測定点を設定する。そして、複数パターンの仮想光源を設定し、その各仮想光源について、各測定点に向かう方向ベクトルと、各測定点における法線ベクトルとの余弦を求める。余弦と各測定点における輝度値との関係をプロットし、それらが比例関係(直線)になるときの仮想光源の方向を、撮影時における光源方向として推定する。   For example, Patent Document 1 discloses a technique in which a plurality of measurement points are set on an object shown in a visible light image, and a light source direction is estimated based on reflected light at each measurement point. Specifically, the three-dimensional shape model of the face is aligned with the face portion of the person shown in the visible light image. Thereafter, a plurality of measurement points are set on the aligned three-dimensional shape model. Then, a plurality of patterns of virtual light sources are set, and for each virtual light source, the cosine of the direction vector toward each measurement point and the normal vector at each measurement point is obtained. The relationship between the cosine and the luminance value at each measurement point is plotted, and the direction of the virtual light source when they are in a proportional relationship (straight line) is estimated as the light source direction at the time of photographing.
特開2001−084380号公報JP 2001-084380 A
しかし、特許文献1では、光源方向を推定するために、測定点が設定される物体の立体形状情報(3次元形状モデルなど)を予め用意しておく必要があった。すなわち、立体形状情報が既知の物体が空間に存在しない場合には、光源方向を推定することができなかった。   However, in Patent Document 1, it is necessary to prepare in advance three-dimensional shape information (such as a three-dimensional shape model) of an object for which a measurement point is set in order to estimate the light source direction. That is, the direction of the light source cannot be estimated when there is no object with known solid shape information in the space.
本発明は、上記課題を鑑みてなされたものであり、空間に存在する物体の立体形状が未知であっても、当該空間の光源方向を容易に推定できる光源方向推定装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a light source direction estimation device that can easily estimate the light source direction of a space even if the three-dimensional shape of the object existing in the space is unknown. And
上記の目的を達成するために本発明に係る光源方向推定装置は、光源からの光が照射された空間を撮影する撮影部が撮影した画像から偏光情報を取得する偏光情報取得部と、前記撮影部の設置情報および前記偏光情報に基づいて、前記光源からの光を鏡面反射し、かつ光の入射面が互いに交差する複数の反射位置のうちの何れかの反射位置に対応する前記画像上の第1の点、及び前記複数の反射位置のうちの他の反射位置に対応する前記画像上の第2の点を選択する測定点選択部と、前記第1の点における第1入射面と前記第2の点における第2入射面とが交差して形成される交線に基づいて、前記空間の光源方向を推定する光源方向推定部と、を含んで構成されている。   In order to achieve the above object, a light source direction estimation apparatus according to the present invention includes a polarization information acquisition unit that acquires polarization information from an image captured by an imaging unit that captures a space irradiated with light from a light source, and the imaging On the image corresponding to one of the reflection positions of the plurality of reflection positions where the light from the light source is specularly reflected and the light incident surfaces intersect with each other based on the installation information of the unit and the polarization information A first point and a measurement point selection unit that selects a second point on the image corresponding to another reflection position among the plurality of reflection positions; a first incident surface at the first point; and A light source direction estimating unit configured to estimate a light source direction of the space based on an intersection line formed by intersecting the second incident surface at the second point.
本発明に係る光源方向推定装置は、前記画像の偏光情報に基づいて、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域を検出する鏡面反射領域検出部を更に含み、前記測定点選択部は、前記鏡面反射領域から前記第1の点及び前記第2の点を選択する。   The light source direction estimation apparatus according to the present invention further includes a specular reflection region detection unit that detects a specular reflection region on the image representing a region that specularly reflects light from the light source based on polarization information of the image, The measurement point selection unit selects the first point and the second point from the specular reflection region.
本発明に係る光源方向推定装置は、ユーザーによる前記画像上の領域の選択を受け付け、前記選択された領域を、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域として設定する鏡面反射領域設定部を更に含み、前記測定点選択部は、前記鏡面反射領域から前記第1の点及び前記第2の点を選択する。   The light source direction estimation apparatus according to the present invention accepts selection of a region on the image by a user, and sets the selected region as a specular reflection region on the image that represents a region that specularly reflects light from the light source. And a specular reflection region setting unit that selects the first point and the second point from the specular reflection region.
本発明に係る偏光情報は、偏光方向を含み、光源方向推定装置は、前記設置情報および前記偏光情報に基づいて、前記第1入射面及び前記第2入射面の各々の法線方向を算出する入射面算出部と、前記第1入射面及び前記第2入射面の各々の法線方向に基づいて、前記入射面が交差するか否かを判定する推定可否判定部と、を更に含み、前記測定点選択部は、前記推定可否判定部によって前記入射面が交差すると判定されるまで、前記第1の点及び前記第2の点を選択することを繰り返す。   The polarization information according to the present invention includes a polarization direction, and the light source direction estimation device calculates a normal direction of each of the first incident surface and the second incident surface based on the installation information and the polarization information. An entrance plane calculation unit; and an estimation availability determination unit that determines whether or not the entrance surfaces intersect based on the normal directions of the first entrance surface and the second entrance surface, and The measurement point selection unit repeats selecting the first point and the second point until it is determined by the estimation possibility determination unit that the incident surfaces intersect.
本発明に係る偏光情報は、偏光方向を含み、前記光源方向推定部は、前記偏光方向に直交する方向と前記撮影部への入射光とを含む平面を、前記入射面として前記交線を求める。   The polarization information according to the present invention includes a polarization direction, and the light source direction estimation unit obtains the intersection line by using a plane including a direction orthogonal to the polarization direction and incident light to the imaging unit as the incident surface. .
本発明に係る偏光情報は、偏光面又は偏光方向を含み、前記光源方向推定部は、前記偏光面又は前記偏光方向から得られる偏光面に直交し、かつ前記撮影部への入射光を含む平面を、前記入射面として前記交線を求める。   The polarization information according to the present invention includes a polarization plane or a polarization direction, and the light source direction estimation unit is a plane that is orthogonal to the polarization plane or the polarization plane obtained from the polarization direction and includes incident light to the imaging unit. Is determined as the incident surface.
以上説明したように、本発明の光源方向推定装置によれば、被写体の立体形状が未知であっても、光源方向を容易に推定できる、という効果が得られる。   As described above, according to the light source direction estimation device of the present invention, there is an effect that the light source direction can be easily estimated even if the three-dimensional shape of the subject is unknown.
本発明を適用した光源方向推定装置100の概略構成を示した図である。It is the figure which showed schematic structure of the light source direction estimation apparatus 100 to which this invention is applied. 偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。It is the figure which showed the relationship between the polarization direction of a polarizing filter, and the luminance value of a polarization image. (a)平面における鏡面反射の様子を示した図、(b)、(c)、(d)微細な凹凸のある物体面における鏡面反射の様子を示した図である。(A) The figure which showed the mode of the specular reflection in a plane, (b), (c), (d) The figure which showed the mode of the specular reflection in the object surface with a fine unevenness | corrugation. 入射面の算出方法を説明するための図である。It is a figure for demonstrating the calculation method of an entrance plane. 入射面の交線を説明するための図であるIt is a figure for demonstrating the intersection line of an entrance plane レンズ焦点位置を中心として、実際の光源位置と対称な方向も光源方向として求まることを説明するための図である。It is a figure for demonstrating that a direction symmetrical with an actual light source position centering on a lens focal position is also obtained as a light source direction. 本発明の実施の形態に係る光源方向推定装置による全体処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the whole process by the light source direction estimation apparatus which concerns on embodiment of this invention.
以下、図面を参照して本発明の実施の形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<本発明の実施の形態の原理>
本発明の実施の形態では、カメラに入射した物体面からの鏡面反射光の偏光方向が分かれば、光源が存在する平面(入射面)が求まることを利用して、光源方向を推定する。
<Principle of Embodiment of the Present Invention>
In the embodiment of the present invention, if the polarization direction of the specular reflected light from the object plane incident on the camera is known, the light source direction is estimated using the fact that the plane (incident surface) on which the light source exists is obtained.
具体的には、空間を撮影した画像と当該空間の偏光情報を取得し、空間を撮影した画像から鏡面反射光がカメラに入射している点(測定点)を少なくとも2点選択し、偏光情報を用いて、各測定点に対して入射面(カメラから測定点までを結んだ直線と、測定点から光源までを結んだ直線を含んだ平面)をそれぞれ算出する。そして、これら2つの入射面同士の交線に基づいて、光源方向を推定する。   Specifically, an image of a space and polarization information of the space are acquired, and at least two points (measurement points) where specular reflected light is incident on the camera are selected from the image of the space, and polarization information is obtained. Are used to calculate the incident plane (a straight line connecting the camera to the measurement point and a plane including the straight line connecting the measurement point to the light source) for each measurement point. Then, the light source direction is estimated based on the intersection line between these two incident surfaces.
なお、2つの入射面が平行になってしまう場合(面の法線方向が一致する場合)には、入射面同士の交線が求まらないため、別の2点を再度選択する。   If the two incident surfaces are parallel (when the normal directions of the surfaces coincide), the intersecting line between the incident surfaces cannot be obtained, so another two points are selected again.
これにより、特定の物体の立体形状情報を予め用意することなく、容易に光源方向の推定を行うことができる。また、空間に存在する物体の立体形状が未知であっても、当該空間の光源方向を推定することができる。   Thereby, the light source direction can be easily estimated without preparing solid shape information of a specific object in advance. Even if the three-dimensional shape of an object existing in the space is unknown, the direction of the light source in the space can be estimated.
ここで、測定点の選択方法として、以下の2つの方法がある。   Here, there are the following two methods for selecting the measurement points.
1つ目の方法では、偏光度が高い領域から任意の2点を選択する。これは、鏡面反射光が拡散反射光に対して偏光度が高くなることを利用したものである。   In the first method, two arbitrary points are selected from a region having a high degree of polarization. This utilizes the fact that specular reflection light has a higher degree of polarization than diffuse reflection light.
2つ目の方法では、表面に微細な凹凸がある領域(アスファルトなどの領域)を予め画像上に設定しておき、その領域内から任意の2点を選択する。これは、アスファルトなどの微細な凹凸がある面は、面の傾きや光源の位置によらずに、カメラに鏡面反射光が入射するという性質があることを利用したものである。   In the second method, an area (area such as asphalt) having fine irregularities on the surface is set in advance on the image, and two arbitrary points are selected from the area. This utilizes the fact that a surface with fine irregularities such as asphalt has the property that specular reflection light is incident on the camera regardless of the inclination of the surface and the position of the light source.
また、入射面を算出する際には、カメラの視線方向(図5の点線)と、鏡面反射光の偏光方向に垂直な方向とで定まる、入射面の法線方向を求める。なお、カメラの視線方向は、カメラと測定点に撮影されている物体の実空間上の位置(鏡面反射光の反射位置)を結ぶ直線である。   Further, when calculating the incident surface, the normal direction of the incident surface determined by the viewing direction of the camera (dotted line in FIG. 5) and the direction perpendicular to the polarization direction of the specular reflected light is obtained. The line-of-sight direction of the camera is a straight line that connects the camera and the position of the object photographed at the measurement point in real space (reflection position of specular reflection light).
<光源方向推定装置100の構成>
以下、本発明を適用した光源方向推定装置100の概略構成を示した図1を参照し、本発明の実施の形態の構成を説明する。
<Configuration of Light Source Direction Estimation Device 100>
Hereinafter, a configuration of an embodiment of the present invention will be described with reference to FIG. 1 showing a schematic configuration of a light source direction estimation apparatus 100 to which the present invention is applied.
(光源方向推定装置100)
光源方向推定装置100は、所定の空間を撮影した画像から取得した偏光情報を用いて、当該空間における光源方向を推定する。
(Light source direction estimation apparatus 100)
The light source direction estimation apparatus 100 estimates the light source direction in the space using polarization information acquired from an image obtained by photographing a predetermined space.
ここで、物体面からの反射光は、鏡面反射光と拡散反射光に大別される。拡散反射光は、光源方向や観測位置によらず観測される光である。   Here, the reflected light from the object surface is roughly classified into specular reflection light and diffuse reflection light. The diffuse reflected light is light that is observed regardless of the light source direction and the observation position.
一方、鏡面反射光は、入射角(光源方向と反射面の法線方向がなす角)と、反射角(観測位置と反射面の法線方向がなす角)とが等しい場合に観測される光である。本発明の実施の形態に係る光源方向推定装置100は、このような鏡面反射光の特性を利用して、光源方向を推定する。   On the other hand, specular reflection light is light that is observed when the incident angle (the angle between the light source direction and the normal direction of the reflection surface) is equal to the reflection angle (the angle between the observation position and the normal direction of the reflection surface). It is. The light source direction estimating apparatus 100 according to the embodiment of the present invention estimates the light source direction using such characteristics of specular reflection light.
光源方向推定装置100で推定された光源方向に関する情報(推定結果)は、外部の装置などに出力される。   Information (estimation result) on the light source direction estimated by the light source direction estimation device 100 is output to an external device or the like.
光源方向の推定結果は、外部の装置において、様々な目的に利用することができる。例えば、光源方向は、外部の画像処理装置に入力され、画像に映っている影の領域を検出する用途に用いられる。また、夜間の車両のヘッドライトが映っている画像から、車両が存在する方向や車両の進行方向を推定することにも用いられる。   The estimation result of the light source direction can be used for various purposes in an external device. For example, the light source direction is input to an external image processing apparatus, and is used for detecting a shadow area reflected in the image. It is also used to estimate the direction in which the vehicle exists and the traveling direction of the vehicle from an image in which the headlight of the vehicle at night is reflected.
なお、本発明の実施の形態に係る光源方向推定装置100は、空間における光源方向を推定するものであり、その推定結果の用途については特に限定しない。   In addition, the light source direction estimation apparatus 100 according to the embodiment of the present invention estimates the light source direction in space, and the use of the estimation result is not particularly limited.
図1は、本実施の形態における光源方向推定装置100の構成を示した図である。   FIG. 1 is a diagram showing a configuration of a light source direction estimation apparatus 100 in the present embodiment.
図1に示すように、本実施の形態における光源方向推定装置100は、撮影部10、偏光情報取得部20、記憶部30、情報処理部40、及び出力部52から構成される。   As shown in FIG. 1, the light source direction estimation apparatus 100 in the present embodiment includes an imaging unit 10, a polarization information acquisition unit 20, a storage unit 30, an information processing unit 40, and an output unit 52.
(撮影部10)
撮影部10は、カメラなどの撮影装置であり、所定の空間を撮影する。
(Shooting unit 10)
The photographing unit 10 is a photographing device such as a camera and photographs a predetermined space.
撮影部10は、光学系、CCD素子またはCMOS素子から構成される。   The photographing unit 10 includes an optical system, a CCD element, or a CMOS element.
本実施の形態における撮影部10は、空間を撮影したデータをA/D変換し、そのデジタル画像を、偏光情報取得部20に出力する。   The imaging unit 10 in the present embodiment performs A / D conversion on data obtained by imaging a space, and outputs the digital image to the polarization information acquisition unit 20.
撮影部10は、特定の偏光方向の光のみを透過する偏光フィルタを備え、偏光フィルタが透過する偏光方向が少なくとも3種類以上になるように、空間を撮影する。   The imaging unit 10 includes a polarization filter that transmits only light in a specific polarization direction, and images the space so that there are at least three types of polarization directions that the polarization filter transmits.
具体的には、撮影部10は、偏光フィルタを回転させて、透過させる光の偏光方向を切換えながら、都度、撮影を行うことで、異なる3種類以上の偏光方向の画像(以下、偏光画像)を撮影する。   Specifically, the imaging unit 10 rotates the polarization filter to change the polarization direction of the light to be transmitted and perform imaging every time, so that images with three or more different polarization directions (hereinafter, polarization images) are taken. Shoot.
本実施の形態における撮影部10は、偏光フィルタを備え、それを回転させることで、4種類の偏光方向(0deg、45deg、90deg、135deg)の偏光画像を撮影する。すなわち、撮影部は、1シーン毎に4枚の偏光画像を撮影し、それらの偏光画像をシーン毎に対応付けて偏光情報取得部20に出力する。   The imaging unit 10 according to the present embodiment includes a polarizing filter, and rotates it to capture polarized images of four types of polarization directions (0 deg, 45 deg, 90 deg, 135 deg). That is, the imaging unit captures four polarized images for each scene, and outputs the polarized images to the polarization information acquisition unit 20 in association with each scene.
なお、偏光画像の撮影方法はこれに限らない。例えば、画素毎に異なる偏光方向の偏光フィルタをモザイク状に配置した偏光カメラを用いて、偏光方向が互いに異なる3種類以上の偏光画像を撮影してもよい。このように、撮影部10の構成や撮影方法は特に限定されず、偏光方向が互いに異なる3種類以上の偏光画像を撮影できるものであればよい。   Note that the polarization image capturing method is not limited to this. For example, three or more types of polarized images having different polarization directions may be taken using a polarization camera in which polarization filters having different polarization directions are arranged in a mosaic pattern for each pixel. As described above, the configuration and the imaging method of the imaging unit 10 are not particularly limited as long as they can capture three or more types of polarized images having different polarization directions.
また、本実施の形態における光源方向推定装置100は、偏光フィルタを備えた撮影部10のみを用いているが、これに限らない。例えば、偏光フィルタを備えた撮影装置に加えて、偏光フィルタを備えない撮影装置を設け、当該撮影装置を用いて、監視空間を、偏光フィルタを備えた撮影装置と略同じ画角・略同時に撮影するようにしてもよい。   Moreover, although the light source direction estimation apparatus 100 in this Embodiment uses only the imaging | photography part 10 provided with the polarizing filter, it is not restricted to this. For example, in addition to an imaging device provided with a polarizing filter, an imaging device not provided with a polarizing filter is provided, and using the imaging device, a monitoring space is imaged at substantially the same angle of view and substantially simultaneously as an imaging device provided with a polarizing filter. You may make it do.
(偏光情報取得部20)
偏光情報取得部20は、撮影部10から受け取った、同じシーンを撮影した3種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する。具体的には、本実施の形態における偏光情報取得部20は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部20は、各偏光画像の輝度値の平均値(平均輝度値)から、そのシーンにおける平均輝度値画像を生成する。以下、この画像を入力画像とする。
(Polarization information acquisition unit 20)
The polarization information acquisition unit 20 acquires polarization information in the scene for each pixel, using three or more types of polarization images obtained by capturing the same scene received from the imaging unit 10. Specifically, the polarization information acquisition unit 20 in the present embodiment calculates the degree of polarization and the polarization direction as the polarization information. Further, the polarization information acquisition unit 20 generates an average luminance value image in the scene from the average value (average luminance value) of the luminance values of the respective polarization images. Hereinafter, this image is set as an input image.
本実施の形態における偏光情報取得部20は、画素毎に算出した偏光情報を、入力画像の各画素に対応付けて、後述する情報処理部40に出力する。   The polarization information acquisition unit 20 in the present embodiment outputs the polarization information calculated for each pixel to the information processing unit 40 described later in association with each pixel of the input image.
また、本実施の形態では、光源方向推定装置100の撮影部10で撮影した偏光画像を用いて、偏光情報取得部20にて偏光情報の算出と入力画像の生成を行ったが、これに限らない。例えば、予め、光源方向推定装置100の外部で入力画像の画素毎に偏光情報を予め対応付けておき、それを光源方向推定装置100の記憶部30に記憶しておく。そして、後述する情報処理部40は、記憶部30からそれらの情報を取得して各種の処理を行うようにしてもよい。   In the present embodiment, the polarization information acquisition unit 20 calculates the polarization information and generates the input image using the polarization image captured by the imaging unit 10 of the light source direction estimation apparatus 100. However, the present invention is not limited thereto. Absent. For example, polarization information is previously associated with each pixel of the input image outside the light source direction estimation device 100 and stored in the storage unit 30 of the light source direction estimation device 100. And the information processing part 40 mentioned later may acquire such information from the memory | storage part 30, and may be made to perform various processes.
また、平均輝度値画像を入力画像とするのではなく、前述したように、偏光フィルタを備えない撮影装置で撮影した画像について、当該画像の画素毎に、同一のシーンを撮影した偏光画像から算出した偏光情報を対応付けて、情報処理部40に出力するようにしてもよい。   Also, instead of using the average luminance value image as the input image, as described above, for the image captured by the image capturing apparatus that does not include the polarization filter, the image is calculated from the polarized image obtained by capturing the same scene for each pixel of the image. The polarization information may be associated and output to the information processing unit 40.
(偏光度・偏光方向・平均輝度値の算出)
次に、偏光度・偏光方向・平均輝度値の算出について説明する。図2は、偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。
(Calculation of polarization degree, polarization direction, and average luminance value)
Next, calculation of the degree of polarization, the polarization direction, and the average luminance value will be described. FIG. 2 is a diagram showing the relationship between the polarization direction of the polarization filter and the luminance value of the polarization image.
偏光した光の輝度値は、偏光方向に対して正弦波として変化する。すなわち、偏光方向m[deg]の光が透過する偏光フィルタを介して撮影した場合の輝度値Imは、以下の式で表される。 The luminance value of the polarized light changes as a sine wave with respect to the polarization direction. That is, the luminance value I m when the light polarization direction m [deg] is taken through a polarizing filter that transmits is expressed by the following equation.
偏光情報取得部20は、入力画像の画素毎に、最も強い輝度値を示す偏光方向の角度ρ(偏光角度ρ)を求め、それを当該画素の偏光方向とする。また、平均輝度値Mに対する正弦波の振幅Aの比率Dを偏光度とする。   The polarization information acquisition unit 20 obtains an angle ρ (polarization angle ρ) of the polarization direction that indicates the strongest luminance value for each pixel of the input image, and sets this as the polarization direction of the pixel. The ratio D of the amplitude A of the sine wave with respect to the average luminance value M is defined as the degree of polarization.
本実施の形態のように、4種類の偏光方向(0deg、45deg、90deg、135deg)の偏光画像から偏光情報を算出する場合、ある画素における偏光画像の輝度値をそれぞれI0、I45、I90、I135とすると、偏光角度ρ、偏光度D、平均輝度値Mは、以下の式で求められる。 When calculating polarization information from polarization images of four types of polarization directions (0 deg, 45 deg, 90 deg, 135 deg) as in the present embodiment, the luminance values of the polarization image at a certain pixel are respectively represented by I 0 , I 45 , I Assuming 90 and I 135 , the polarization angle ρ, the polarization degree D, and the average luminance value M are obtained by the following equations.
(記憶部30)
記憶部30は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。
(Storage unit 30)
The storage unit 30 includes a semiconductor device such as a ROM (Read Only Memory) and a RAM (Random Access Memory), and a memory device such as a hard disk.
記憶部30は、光源方向推定装置100において、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。また、記憶部30は、光源方向推定装置100を構成する各部などからアクセス可能である。   The storage unit 30 stores various types of information such as programs and parameters necessary for executing each process in the light source direction estimation apparatus 100. Further, the storage unit 30 is accessible from each unit constituting the light source direction estimation device 100.
本実施の形態における記憶部30は、撮影部10の設置情報30Aを記憶する。設置情報30Aは、例えば、レンズ焦点距離、画角、解像度、俯角、設置高、などである。これらの設置情報30Aは、後述する情報処理部40の入射面算出手段46にて、入射面を算出する際に用いられる。   The storage unit 30 in the present embodiment stores installation information 30 </ b> A of the imaging unit 10. The installation information 30A includes, for example, a lens focal length, a field angle, a resolution, a depression angle, an installation height, and the like. These pieces of installation information 30A are used when the incident surface is calculated by the incident surface calculation means 46 of the information processing unit 40 described later.
(情報処理部40)
情報処理部40は、取得した入力画像に対応付けられた偏光情報に基づいて、空間における光源方向を推定する。
(Information Processing Unit 40)
The information processing unit 40 estimates the light source direction in the space based on the polarization information associated with the acquired input image.
本実施の形態における情報処理部40は、鏡面反射領域設定手段42、測定点選択手段44、入射面算出手段46、推定可否判定手段48、及び光源方向推定手段50から構成される。なお、鏡面反射領域設定手段42は、鏡面反射領域検出部及び鏡面反射領域設定部の一例である。   The information processing unit 40 in the present embodiment includes a specular reflection area setting unit 42, a measurement point selection unit 44, an incident surface calculation unit 46, an estimation availability determination unit 48, and a light source direction estimation unit 50. The specular reflection area setting unit 42 is an example of a specular reflection area detection unit and a specular reflection area setting unit.
(鏡面反射領域設定手段42)
鏡面反射領域設定手段42は、入力画像において、鏡面反射成分が優位に返ってきている領域を鏡面反射領域として設定する。
(Specular reflection area setting means 42)
The specular reflection area setting means 42 sets an area in which the specular reflection component is dominant in the input image as the specular reflection area.
本実施の形態における鏡面反射領域設定手段42は、入力画像の偏光情報を参照し、偏光度が所定値以上となる領域を鏡面反射領域として検出し、その鏡面反射領域を特定可能な情報を記憶部30に記憶する。   The specular reflection area setting means 42 in the present embodiment refers to the polarization information of the input image, detects an area where the degree of polarization is a predetermined value or more as a specular reflection area, and stores information that can identify the specular reflection area Store in unit 30.
この鏡面反射領域の検出方法は、「拡散反射光に対して偏光度が高くなる」という鏡面反射光の特性を利用したものである。このため、検出に用いる所定値は、一般的な拡散反射光の偏光度の最大値よりも大きい値が設定されていればよい。   This method of detecting a specular reflection region utilizes the characteristic of specular reflection light that “the degree of polarization is higher than that of diffuse reflection light”. For this reason, the predetermined value used for detection should just be set to a value larger than the maximum value of the polarization degree of general diffuse reflected light.
なお、一般的に、拡散反射光の偏光度は、「物体面の屈折率がほぼ一定である」と仮定すると、撮影部の視線方向と物体面の法線がなす天頂角が90degのときに最大値を取る。このため、予め、一般的な物体の屈折率を用いて、天頂角が90degのときの偏光度を算出しておき、その値を所定値として設定すればよい。例えば、物体面の屈折率を1.5とした場合は、所定値(拡散反射光の偏光度の最大値)は、約0.4となる。   In general, assuming that the degree of polarization of diffusely reflected light is “the refractive index of the object surface is substantially constant”, when the zenith angle formed by the normal direction of the object surface and the line-of-sight direction of the imaging unit is 90 deg. Take the maximum value. For this reason, the degree of polarization when the zenith angle is 90 deg is calculated in advance using the refractive index of a general object, and the value may be set as a predetermined value. For example, when the refractive index of the object surface is 1.5, the predetermined value (the maximum value of the degree of polarization of diffusely reflected light) is about 0.4.
また、これに限らず、鏡面反射領域設定手段42は、以下のように、ユーザーの入力に基づいて、入力画像から鏡面反射領域を設定するようにしてもよい。   Not limited to this, the specular reflection area setting means 42 may set the specular reflection area from the input image based on the user input as follows.
具体的には、ユーザーが操作する端末(ユーザー端末)の表示装置(図示しない)に入力画像を表示し、ユーザーがその入力画像から、アスファルトなどの表面に微細な凹凸のある領域を、入力装置(図示しない)を用いて選択する。そして、鏡面反射領域設定手段42は、ユーザーによって選択された領域を、鏡面反射領域として記憶部30に記憶する。   Specifically, an input image is displayed on a display device (not shown) of a terminal (user terminal) operated by a user, and the user inputs an area having fine irregularities on the surface of asphalt or the like from the input image. Select using (not shown). Then, the specular reflection area setting unit 42 stores the area selected by the user in the storage unit 30 as a specular reflection area.
ここで、物体面からの鏡面反射光について説明する。図3は、物体面からの鏡面反射光について説明する図である。   Here, the specular reflection light from the object plane will be described. FIG. 3 is a diagram for explaining the specular reflected light from the object plane.
図3(a)は、平面62における鏡面反射の様子を示した図である。平面62においては、光源60の位置と撮影部10の位置が図3(a)に示すような位置関係(入射角=反射角)であるときに、撮影部10に鏡面反射光64が入射する。ただし、入射角は、平面62の法線方向と光源60からの光の入射方向とのなす角であり、反射角は、平面62の法線方向と鏡面反射光64の反射方向とのなす角である。   FIG. 3A is a diagram showing a state of specular reflection on the plane 62. On the plane 62, when the position of the light source 60 and the position of the photographing unit 10 are in a positional relationship as shown in FIG. 3A (incident angle = reflection angle), the specular reflection light 64 is incident on the photographing unit 10. . However, the incident angle is an angle formed by the normal direction of the plane 62 and the incident direction of light from the light source 60, and the reflection angle is an angle formed by the normal direction of the plane 62 and the reflection direction of the specular reflected light 64. It is.
図3(b)、(c)、(d)は、微細な凹凸のある物体面66における鏡面反射の様子を示した図である。図3(b)、(c)、(d)に示すように、光源60の位置によらず、微細な凹凸のある物体面66で反射した鏡面反射光64が撮影部10に入射している。   FIGS. 3B, 3C, and 3D are views showing the state of specular reflection on the object surface 66 having fine irregularities. As shown in FIGS. 3B, 3 </ b> C, and 3 </ b> D, regardless of the position of the light source 60, the specular reflected light 64 reflected by the object surface 66 having fine irregularities is incident on the imaging unit 10. .
このように、アスファルトなどの表面に微細な凹凸のある物体面66は、撮影部10に鏡面反射光64が入射する面が必ず存在する。微細な凹凸のある物体面66では、ある面からの鏡面反射光64だけでなく、その周辺の面からの拡散反射光も撮影部10に入射するが、鏡面反射光は拡散反射光に対して偏光度が高い傾向があるため、鏡面反射光成分の方が優位となり、当該物体面66の偏光方向として測定される。したがって、アスファルトなどの表面に微細な凹凸のある面は、光源方向によらず常に鏡面反射光が測定できる面であるため、この面が撮影されている入力画像の領域を鏡面反射領域として設定する。   As described above, the object surface 66 having fine unevenness on the surface of asphalt or the like always has a surface on which the specular reflection light 64 is incident on the imaging unit 10. On the object surface 66 with fine irregularities, not only the specular reflection light 64 from a certain surface but also diffuse reflection light from the surrounding surface is incident on the photographing unit 10, but the specular reflection light is in contrast to the diffuse reflection light. Since the degree of polarization tends to be high, the specular reflection component is more dominant and is measured as the polarization direction of the object plane 66. Therefore, a surface with fine irregularities on the surface, such as asphalt, is a surface that can always measure specular reflected light regardless of the light source direction, so the area of the input image in which this surface is photographed is set as the specular reflection area. .
なお、上記例においては、入力画像(平均輝度値画像)上でアスファルトなどの表面に微細な凹凸のある領域を選択したが、これに限らず、前述した偏光フィルタを備えない撮影装置で撮影した画像上で選択するようにしてもよい。   In the above example, an area having fine irregularities on the surface of asphalt or the like is selected on the input image (average luminance value image), but the present invention is not limited to this, and the image is taken with an imaging apparatus that does not include the polarizing filter described above. You may make it select on an image.
(測定点選択手段44)
測定点選択手段44は、記憶部30を参照し、入力画像における鏡面反射領域内から、少なくとも2点以上を選択し、それらを測定点として設定する。
(Measurement point selection means 44)
The measurement point selection means 44 refers to the storage unit 30, selects at least two points from the specular reflection area in the input image, and sets them as measurement points.
本実施の形態では、測定点選択手段44は、入力画像の鏡面反射領域内からランダムに2点を選択する。   In the present embodiment, the measurement point selection unit 44 randomly selects two points from the specular reflection region of the input image.
また、測定点選択手段44は、推定可否判定手段48から、「推定不可」の信号を受け取ると、再度、入力画像の鏡面反射領域内からランダムに2点を選択する。   In addition, when the measurement point selection unit 44 receives the “estimation impossible” signal from the estimation possibility determination unit 48, the measurement point selection unit 44 again selects two points at random from the specular reflection region of the input image.
なお、本実施の形態では、測定点選択手段44が自動で測定点を選択したが、これに限らない。例えば、測定点選択手段44は、ユーザー端末の表示部(図示省略)に、鏡面反射領域を重畳させた入力画像を表示し、ユーザーにその鏡面反射領域から2点を選択させてもよい。そして、測定点選択手段44は、その選択結果を受け取って、それらを測定点として設定するようにしてもよい。この際、ユーザーが鏡面反射領域外の2点を選択できないようにしたり、そのような選択結果を測定点として設定できないようにしてもよい。   In the present embodiment, the measurement point selection unit 44 automatically selects a measurement point, but the present invention is not limited to this. For example, the measurement point selection unit 44 may display an input image in which the specular reflection area is superimposed on a display unit (not shown) of the user terminal, and allow the user to select two points from the specular reflection area. Then, the measurement point selection means 44 may receive the selection results and set them as measurement points. At this time, the user may be prevented from selecting two points outside the specular reflection area, or such a selection result may not be set as a measurement point.
また、本実施の形態では、測定点を画素単位で設定したが、これに限らない。例えば、鏡面反射領域から複数の画素の集合(領域)を少なくとも2ヶ所選択し、それらを測定領域として設定してもよい。   In the present embodiment, the measurement points are set in units of pixels, but the present invention is not limited to this. For example, at least two sets (areas) of a plurality of pixels may be selected from the specular reflection area and set as measurement areas.
また、本実施の形態では、測定点選択手段44は、推定可否判定手段48から、「推定不可」の信号を受け取った場合に、自動的に別の2点を選択するようにしたが、これに限らず、ユーザー端末などに対して、「測定点を再選択する旨」を通知するようにしてもよい。   Further, in the present embodiment, the measurement point selection unit 44 automatically selects two other points when receiving an “estimation impossible” signal from the estimation possibility determination unit 48. Not limited to this, the user terminal or the like may be notified of “to reselect a measurement point”.
(入射面算出手段46)
入射面算出手段46は、測定点選択手段44によって選択された少なくとも2点の測定点について、当該測定点(画素)に対応する偏光方向や画素位置、および、記憶部30から取得した撮影部10の設置情報30Aを用いて、入射面をそれぞれ算出する。
(Incident surface calculation means 46)
The incident surface calculation unit 46 has, for at least two measurement points selected by the measurement point selection unit 44, the polarization direction and pixel position corresponding to the measurement points (pixels), and the imaging unit 10 acquired from the storage unit 30. The incident surface is calculated using the installation information 30A.
具体的には、入射面算出手段46は、以下のように入射面の法線方向を算出する。図4は、入射面の算出方法を説明するための図である。   Specifically, the incident surface calculation means 46 calculates the normal direction of the incident surface as follows. FIG. 4 is a diagram for explaining a method of calculating the incident surface.
各測定点の画素位置の座標を(xI,yI)、当該測定点の偏光角度をρとする。 The coordinates of the pixel position of each measurement point are (x I , y I ), and the polarization angle of the measurement point is ρ.
入射面は、撮像面70上における測定点の画素位置から、当該測定点に撮影されている物体の実空間上の位置(物体位置)までを結んだ直線と、当該物体位置における反射面の法線とを含む平面のことであり、鏡面反射光の偏光方向は入射面に垂直となる性質がある。そこで、撮像面70上における測定点の画素位置(xI,yI)を、鏡面反射光の測定点とし、当該測定点の画素位置から実空間上の物体位置までを結んだ直線方向1と、鏡面反射光の偏光方向に垂直な方向2を求め、12の両方を含む面を入射面とする。なお、当該測定点の画素位置から実空間上の物体位置までを結んだ直線は、当該測定点の画素位置へ入射した入射光を表す直線である。 The incident surface is a straight line connecting the pixel position of the measurement point on the imaging surface 70 to the position (object position) of the object photographed at the measurement point and the method of the reflection surface at the object position. A plane including a line, and the polarization direction of the specular reflected light is perpendicular to the incident plane. Therefore, the pixel position (x I , y I ) of the measurement point on the imaging surface 70 is set as the measurement point of the specular reflection light, and the linear direction connecting the pixel position of the measurement point to the object position in the real space p 1 and a direction perpendicular to the polarization direction of the specular reflected light p 2 is obtained, and a plane including both p 1 and p 2 is defined as an incident surface. A straight line connecting the pixel position of the measurement point to the object position in the real space is a straight line representing incident light incident on the pixel position of the measurement point.
レンズ焦点から撮像素子のある画素位置(xI,yI)へ向かうベクトル1が、以下の式で求められる。なお、fはレンズ焦点距離である。 A vector p 1 from the lens focus toward the pixel position (x I , y I ) where the image sensor is located is obtained by the following equation. Note that f is a lens focal length.
この1は、画素(xI,yI)に撮影されている実空間上の物体位置から撮影部10へ入射した入射光の方向に一致する。 This p 1 coincides with the direction of the incident light incident on the imaging unit 10 from the object position in the real space captured by the pixel (x I , y I ).
次に、偏光角度ρである反射光が鏡面反射光である場合、入射面は鏡面反射光の偏光方向に垂直になる。鏡面反射光の偏光方向に垂直なベクトル2は以下の式で表すことができる。 Next, when the reflected light having the polarization angle ρ is specular reflected light, the incident surface is perpendicular to the polarization direction of the specular reflected light. The vector perpendicular to the polarization direction of the specular reflection light p 2 can be expressed by the following equation.
入射面は「実空間上の物体位置から撮影部10へ向かう方向ベクトル1」と「偏光方向に垂直なベクトル2」の両方を含むため、入射面の法線方向1は、12の両方に垂直になる。すなわち、12の外積を求めれば、入射面の法線方向1が以下の式によって得られる。 Since the incident surface includes both “a direction vector from the object position in real space to the imaging unit 10 p 1 ” and “a vector perpendicular to the polarization direction p 2 ”, the normal direction of the incident surface n 1 is , p 1 and p 2 are perpendicular to each other. That is, if the outer product of p 1 and p 2 is obtained, the normal direction of the incident surface n 1 can be obtained by the following equation.
なお、前述したように、本発明の実施の形態においては、測定点を点ではなく領域(測定領域)で設定してもよい。この場合、測定領域の重心座標を(xI,yI)とし、測定領域内の平均偏光角度をρとして、前述した式により、入射面の法線方向を算出すればよい。 Note that, as described above, in the embodiment of the present invention, the measurement point may be set by a region (measurement region) instead of a point. In this case, the normal direction of the incident surface may be calculated by the above-described equation, where the center of gravity coordinates of the measurement region is (x I , y I ) and the average polarization angle in the measurement region is ρ.
(推定可否判定手段48)
推定可否判定手段48は、入射面算出手段46が算出した複数の入射面について、交線が求められるか否かを判定する。
(Estimability determination means 48)
The estimation possibility determination unit 48 determines whether or not intersection lines are obtained for the plurality of incident surfaces calculated by the incident surface calculation unit 46.
具体的には、推定可否判定手段48は、算出した入射面のそれぞれの法線方向が異なるか否かを判定する。   Specifically, the estimation possibility determination unit 48 determines whether or not the calculated normal directions of the incident surfaces are different.
法線方向が一致する場合は、入射面の交線を算出することができない。すなわち、後述する光源方向推定手段50によって光源方向が推定できない。   If the normal directions match, the intersection line of the incident plane cannot be calculated. That is, the light source direction cannot be estimated by the light source direction estimating means 50 described later.
推定可否判定手段48は、法線方向が一致すると判定すると、「推定不可」の信号を測定点選択手段44に出力し、測定点選択手段44にて再度、測定点を選択させる。   If it is determined that the normal directions match, the estimation availability determination unit 48 outputs a signal “not estimation possible” to the measurement point selection unit 44 and causes the measurement point selection unit 44 to select the measurement point again.
また、推定可否判定手段48は、法線方向が異なると判定すると、「推定可能」の信号を光源方向推定手段50に出力し、光源方向の推定処理を実行させる。   Further, if the estimability determination unit 48 determines that the normal directions are different, the estimability determination unit 48 outputs a “estimable” signal to the light source direction estimation unit 50 to execute a light source direction estimation process.
(光源方向推定手段50)
光源方向推定手段50は、推定可否判定手段48から「推定可能」の信号を受けとると、その2つの入射面の交線方向を算出し、その方向を光源方向と推定する。
(Light source direction estimation means 50)
When the light source direction estimation unit 50 receives the “estimable” signal from the estimation possibility determination unit 48, the light source direction estimation unit 50 calculates the intersection direction of the two incident surfaces and estimates the direction as the light source direction.
図5は、入射面の交線を説明するための図である。   FIG. 5 is a diagram for explaining the intersection line of the incident surface.
具体的には、光源方向推定手段50は、以下のように光源方向を推定する。まず、光源の位置をlightとし、2つの入射面の法線方向をそれぞれ1112とする。光源はどちらの入射面上にも存在するため、lightは法線方向1112と直交する。このため、以下の式が成立する。なお、法線方向1112が、第1入射面及び第2入射面の法線方向の一例である。 Specifically, the light source direction estimating means 50 estimates the light source direction as follows. First, the position of the light source and x light, a normal direction of the two incident surfaces respectively n 11, and n 12. Since the light source exists on both incident surfaces, x light is orthogonal to the normal direction n 11 , n 12 . For this reason, the following expression is established. The normal direction n 11 , n 12 is an example of the normal direction of the first incident surface and the second incident surface.
これらを連立させて解いて、光源の位置とレンズ焦点位置を結ぶ直線の式を光源方向として推定する。なお、このように光源方向を推定すると、レンズ焦点位置を中心として、実際の光源位置と対称な方向も光源方向として求まるため、光源方向の候補が2つ存在する(図6)。この場合、以下のような前提条件を用いて正しい光源方向に絞り込む。例えば、太陽などの環境光となる光源方向を推定する場合、光源は撮影部10よりも空間的に高い位置に存在するという前提条件を用いることで、撮影部10の下方向に向かう光源方向の候補を除外する。   These are solved simultaneously, and a straight line connecting the light source position and the lens focal point position is estimated as the light source direction. If the light source direction is estimated in this way, a direction symmetric to the actual light source position is obtained as the light source direction with the lens focal point position as the center, so there are two light source direction candidates (FIG. 6). In this case, the light source direction is narrowed down using the following preconditions. For example, when estimating the light source direction that becomes ambient light such as the sun, the light source direction toward the lower direction of the image capturing unit 10 is used by using a precondition that the light source exists at a spatially higher position than the image capturing unit 10. Exclude candidates.
光源方向の推定方法は前述した方法に限らない。例えば、測定点を3つ以上選択し、それぞれの入射面の法線方向を求め、それらのすべての法線方向に対して垂直な直線を最小二乗法などによって求めてもよい。この場合も、前述の前提条件を用いて正しい光源方向に絞り込めばよい。   The light source direction estimation method is not limited to the method described above. For example, three or more measurement points may be selected, the normal directions of the respective incident surfaces may be obtained, and straight lines perpendicular to all the normal directions may be obtained by the least square method or the like. In this case as well, it is only necessary to narrow down to the correct light source direction using the above-mentioned preconditions.
(出力部52)
出力部52は、情報処理部40にて推定した光源方向の推定結果を外部の装置に出力する。外部の装置では、光源方向の推定結果を用いて、様々な処理を行う。例えば、光源方向の推定結果を、人物を検出する画像監視装置に出力した場合は、以下のような用途がある。
(Output unit 52)
The output unit 52 outputs the estimation result of the light source direction estimated by the information processing unit 40 to an external device. The external device performs various processes using the estimation result of the light source direction. For example, when the estimation result of the light source direction is output to an image monitoring apparatus that detects a person, there are the following uses.
画像監視装置は、背景差分処理等によって、変化領域を抽出する。このとき、人物とその影が1つの変化領域として抽出されてしまうことがあり、人物が黒い服を着用していた場合は、低輝度であるという特徴だけでは、人物と影を分離できない。このままでは変化領域が人の標準的な大きさや形状でないため、人物を精度良く検出することができない。   The image monitoring apparatus extracts a change area by background difference processing or the like. At this time, the person and its shadow may be extracted as one change area. If the person is wearing black clothes, the person and the shadow cannot be separated only by the feature of low brightness. If this is the case, since the change area is not the standard size or shape of a person, the person cannot be detected with high accuracy.
しかし、本発明の実施の形態に係る光源方向推定装置100にて推定した光源方向に基づいて、光源方向と反対方向に出現するという影の特徴を利用すれば、変化領域から影を精度良く除去して、人物を精度良く検出することが可能となる。   However, if a shadow feature that appears in a direction opposite to the light source direction is used based on the light source direction estimated by the light source direction estimation apparatus 100 according to the embodiment of the present invention, the shadow is accurately removed from the change region. Thus, it becomes possible to detect a person with high accuracy.
<光源方向推定装置100の動作>
以下、図7に示したフローチャートを参照しつつ、本発明を適用した光源方向推定装置100による全体処理の動作を説明する。
<Operation of Light Source Direction Estimation Device 100>
Hereinafter, the operation of the entire process performed by the light source direction estimation apparatus 100 to which the present invention is applied will be described with reference to the flowchart shown in FIG.
図7に示すフローチャートは、ユーザーの指示等によって開始される。   The flowchart shown in FIG. 7 is started by a user instruction or the like.
最初に、撮影部10は、偏光フィルタが透過する偏光方向が少なくとも3種類以上になるように、空間を撮影し、同じシーンを撮影した3種類以上の偏光画像を取得する(ステップS1)。   First, the image capturing unit 10 captures a space so that there are at least three types of polarization directions transmitted by the polarization filter, and acquires three or more types of polarized images in which the same scene is captured (step S1).
そして、偏光情報取得部20は、撮影部10から受け取った、同じシーンを撮影した3種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する(ステップS2)。具体的には、本実施の形態における偏光情報取得部20は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部20は、各偏光画像の輝度値の平均値(平均輝度値)から、そのシーンにおける平均輝度値画像を生成し、入力画像とする。   And the polarization information acquisition part 20 acquires the polarization information in the said scene for every pixel using the 3 or more types of polarization image which image | photographed the same scene received from the imaging | photography part 10 (step S2). Specifically, the polarization information acquisition unit 20 in the present embodiment calculates the degree of polarization and the polarization direction as the polarization information. In addition, the polarization information acquisition unit 20 generates an average luminance value image in the scene from the average value (average luminance value) of the luminance values of each polarization image, and sets it as an input image.
そして、鏡面反射領域設定手段42は、入力画像において、鏡面反射成分が優位に返ってきている領域を鏡面反射領域として設定する(ステップS3)。そして、測定点選択手段44は、入力画像における鏡面反射領域内から、少なくとも2点以上を選択し、それらを測定点として設定する(ステップS4)。   Then, the specular reflection area setting means 42 sets an area where the specular reflection component has returned to be dominant in the input image as a specular reflection area (step S3). Then, the measurement point selection unit 44 selects at least two points from the specular reflection region in the input image and sets them as measurement points (step S4).
次に、入射面算出手段46は、測定点選択手段44によって選択された少なくとも2点の測定点について、当該測定点(画素)に対応する偏光方向や画素位置、および、記憶部30から取得した撮影部10の設置情報30Aを用いて、入射面をそれぞれ算出する(ステップS5)。   Next, the incident surface calculation unit 46 obtains at least two measurement points selected by the measurement point selection unit 44 from the polarization direction and the pixel position corresponding to the measurement points (pixels) and the storage unit 30. The entrance plane is calculated using the installation information 30A of the imaging unit 10 (step S5).
そして、推定可否判定手段48は、入射面算出手段46が算出した複数の入射面について、交線が求められるか否かを判定する(ステップS6)。具体的には、推定可否判定手段48は、算出した入射面のそれぞれの法線方向が異なるか否かを判定する。   Then, the estimation possibility determination unit 48 determines whether or not intersection lines are obtained for the plurality of incident surfaces calculated by the incident surface calculation unit 46 (step S6). Specifically, the estimation possibility determination unit 48 determines whether or not the calculated normal directions of the incident surfaces are different.
光源方向推定手段50は、推定可否判定手段48から「推定可能」の信号を受けとったか否かを判定する(ステップS7)。推定可否判定手段48から「推定不可」の信号を受けとった場合には、上記ステップS4へ戻る。一方、推定可否判定手段48から「推定可能」の信号を受けとった場合には、上記ステップS5で算出された2つの入射面の交線方向を算出し、その方向を光源方向と推定する(ステップS8)。   The light source direction estimating means 50 determines whether or not the “estimable” signal has been received from the estimation possibility determination means 48 (step S7). When the “estimation impossible” signal is received from the estimation possibility determination unit 48, the process returns to step S4. On the other hand, when the “estimable” signal is received from the estimability determining means 48, the intersecting direction of the two incident surfaces calculated in step S5 is calculated, and the direction is estimated as the light source direction (step S8).
出力部52は、上記ステップS8にて推定した光源方向の推定結果を外部の装置に出力し(ステップS9)、上記ステップS1へ戻る。   The output unit 52 outputs the estimation result of the light source direction estimated in step S8 to an external device (step S9), and returns to step S1.
以上説明してきたように、本発明の実施の形態に係る光源方向推定装置は、撮影部の設置情報および撮影した画像の偏光情報に基づいて、光源からの光による鏡面反射の反射位置に対応する、画像上の複数の点を選択し、複数の点の各々についての入射面と入射面との交線に基づいて、光源方向を推定することにより、空間に存在する物体の立体形状が未知であっても、当該空間の光源方向を容易に推定できる。すなわち、特定の物体の立体形状情報を予め用意することなく、容易に光源方向の推定を行うことができる。   As described above, the light source direction estimation device according to the embodiment of the present invention corresponds to the reflection position of the specular reflection by the light from the light source based on the installation information of the imaging unit and the polarization information of the captured image. By selecting a plurality of points on the image and estimating the light source direction based on the intersection line between the incident surface and the incident surface for each of the plurality of points, the three-dimensional shape of the object existing in the space is unknown. Even if it exists, the light source direction of the said space can be estimated easily. That is, it is possible to easily estimate the light source direction without preparing solid shape information of a specific object in advance.
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。   The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. Those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
例えば、上記の実施の形態では、偏光方向に直交する方向と撮影部への入射光とを含む平面を、入射面として、入射面の法線方向を求め、入射面同士の交線を求める場合を例に説明したが、これに限定されるものではない。偏光方向と撮影部への入射光とを含む平面を、偏光面として求め、偏光面に直交し、かつ撮影部への入射光を含む平面を、入射面として求め、入射面同士の交線を求めるようにしてもよい。この場合には、偏光情報として、偏光面に関する情報を取得するようにしてもよい。   For example, in the above-described embodiment, when a plane including the direction orthogonal to the polarization direction and the incident light to the imaging unit is defined as the incident surface, the normal direction of the incident surface is obtained, and the intersection line between the incident surfaces is obtained. However, the present invention is not limited to this. A plane including the polarization direction and the incident light to the imaging unit is obtained as a polarization plane, and a plane orthogonal to the polarization plane and including the incident light to the imaging unit is obtained as an incidence plane, and an intersection line between the incident surfaces is obtained. You may make it ask. In this case, information regarding the polarization plane may be acquired as the polarization information.
10 撮影部
20 偏光情報取得部
30 記憶部
30A 設置情報
40 情報処理部
42 鏡面反射領域設定手段
44 測定点選択手段
46 入射面算出手段
48 推定可否判定手段
50 光源方向推定手段
52 出力部
100 光源方向推定装置
DESCRIPTION OF SYMBOLS 10 Image | photographing part 20 Polarization information acquisition part 30 Storage part 30A Installation information 40 Information processing part 42 Specular reflection area setting means 44 Measurement point selection means 46 Incidence surface calculation means 48 Estimate availability determination means 50 Light source direction estimation means 52 Output part 100 Light source direction Estimator

Claims (6)

  1. 光源からの光が照射された空間を撮影する撮影部が撮影した画像から偏光情報を取得する偏光情報取得部と、
    前記撮影部の設置情報および前記偏光情報に基づいて、前記光源からの光を鏡面反射し、かつ光の入射面が互いに交差する複数の反射位置のうちの何れかの反射位置に対応する前記画像上の第1の点、及び前記複数の反射位置のうちの他の反射位置に対応する前記画像上の第2の点を選択する測定点選択部と、
    前記第1の点における第1入射面と前記第2の点における第2入射面とが交差して形成される交線に基づいて、前記空間の光源方向を推定する光源方向推定部と、
    を含む光源方向推定装置。
    A polarization information acquisition unit that acquires polarization information from an image captured by an imaging unit that captures a space irradiated with light from a light source;
    The image corresponding to any one of a plurality of reflection positions where the light from the light source is specularly reflected and the light incident surfaces intersect each other based on the installation information of the photographing unit and the polarization information. A measurement point selection unit that selects a first point on the image and a second point on the image corresponding to another reflection position among the plurality of reflection positions;
    A light source direction estimating unit that estimates a light source direction of the space based on an intersection line formed by intersecting a first incident surface at the first point and a second incident surface at the second point;
    A light source direction estimation apparatus including:
  2. 前記画像の偏光情報に基づいて、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域を検出する鏡面反射領域検出部を更に含み、
    前記測定点選択部は、前記鏡面反射領域から前記第1の点及び前記第2の点を選択する請求項1記載の光源方向推定装置。
    Further comprising a specular reflection region detection unit for detecting a specular reflection region on the image representing a region that specularly reflects light from the light source based on polarization information of the image;
    The light source direction estimation apparatus according to claim 1, wherein the measurement point selection unit selects the first point and the second point from the specular reflection region.
  3. ユーザーによる前記画像上の領域の選択を受け付け、前記選択された領域を、前記光源からの光を鏡面反射する領域を表す前記画像上の鏡面反射領域として設定する鏡面反射領域設定部を更に含み、
    前記測定点選択部は、前記鏡面反射領域から前記第1の点及び前記第2の点を選択する請求項1記載の光源方向推定装置。
    A specular reflection region setting unit that accepts selection of a region on the image by a user and sets the selected region as a specular reflection region on the image that represents a region that specularly reflects light from the light source;
    The light source direction estimation apparatus according to claim 1, wherein the measurement point selection unit selects the first point and the second point from the specular reflection region.
  4. 前記偏光情報は、偏光方向を含み、
    前記設置情報および前記偏光情報に基づいて、前記第1入射面及び前記第2入射面の各々の法線方向を算出する入射面算出部と、
    前記第1入射面及び前記第2入射面の各々の法線方向に基づいて、前記入射面が交差するか否かを判定する推定可否判定部と、を更に含み、
    前記測定点選択部は、前記推定可否判定部によって前記入射面が交差すると判定されるまで、前記第1の点及び前記第2の点を選択することを繰り返す請求項1〜請求項3の何れか1項記載の光源方向推定装置。
    The polarization information includes a polarization direction,
    An incident surface calculation unit that calculates a normal direction of each of the first incident surface and the second incident surface based on the installation information and the polarization information;
    An estimation availability determination unit that determines whether or not the incident surfaces intersect based on the normal direction of each of the first incident surface and the second incident surface;
    The measurement point selection unit repeats selecting the first point and the second point until it is determined by the estimation availability determination unit that the incident surfaces intersect each other. The light source direction estimation apparatus according to claim 1.
  5. 前記偏光情報は、偏光方向を含み、
    前記光源方向推定部は、前記偏光方向に直交する方向と前記撮影部への入射光とを含む平面を、前記入射面として前記交線を求める請求項1〜請求項4の何れか1項記載の光源方向推定装置。
    The polarization information includes a polarization direction,
    The said light source direction estimation part calculates | requires the said intersection line by using the plane containing the direction orthogonal to the said polarization direction, and the incident light to the said imaging | photography part as the said incident surface. Light source direction estimation device.
  6. 前記偏光情報は、偏光面又は偏光方向を含み、
    前記光源方向推定部は、前記偏光面又は前記偏光方向から得られる偏光面に直交し、かつ前記撮影部への入射光を含む平面を、前記入射面として前記交線を求める請求項1〜請求項4の何れか1項記載の光源方向推定装置。
    The polarization information includes a polarization plane or a polarization direction,
    The said light source direction estimation part calculates | requires the said intersection line by making the plane orthogonal to the said polarization plane or the polarization plane obtained from the said polarization direction, and including the incident light into the said imaging | photography part into the said entrance plane. Item 5. The light source direction estimation device according to any one of Items4.
JP2017140981A 2017-07-20 2017-07-20 Light source direction estimation device Active JP6550102B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017140981A JP6550102B2 (en) 2017-07-20 2017-07-20 Light source direction estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017140981A JP6550102B2 (en) 2017-07-20 2017-07-20 Light source direction estimation device

Publications (2)

Publication Number Publication Date
JP2019022147A true JP2019022147A (en) 2019-02-07
JP6550102B2 JP6550102B2 (en) 2019-07-24

Family

ID=65355888

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017140981A Active JP6550102B2 (en) 2017-07-20 2017-07-20 Light source direction estimation device

Country Status (1)

Country Link
JP (1) JP6550102B2 (en)

Also Published As

Publication number Publication date
JP6550102B2 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
JP6456156B2 (en) Normal line information generating apparatus, imaging apparatus, normal line information generating method, and normal line information generating program
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
EP2071280B1 (en) Normal information generating device and normal information generating method
JP4308319B2 (en) Image processing apparatus and image processing method
JP2010071782A (en) Three-dimensional measurement apparatus and method thereof
JP6304244B2 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
JP2015021862A (en) Three-dimensional measurement instrument and three-dimensional measurement method
JP4193342B2 (en) 3D data generator
JPH1069543A (en) Method and device for reconstituting curved surface of object
JP2019022147A (en) Light source direction estimation device
JP6566768B2 (en) Information processing apparatus, information processing method, and program
JP2017072499A (en) Processor, processing system, imaging apparatus, processing method, program, and recording medium
WO2008075632A1 (en) Test method for compound-eye distance measuring device, its test device and chart used for same
JP4423347B2 (en) Inspection method and inspection apparatus for compound eye distance measuring apparatus and chart used therefor
JP2016072924A (en) Image processing system and image processing method
JP2009236696A (en) Three-dimensional image measurement method, measurement system, and measurement program for subject
JP2019020330A (en) Object detector
JPH11223516A (en) Three dimensional image pickup device
KR102156998B1 (en) A method for detecting motion in a video sequence
JP2019021189A (en) Object detection device
JP2020197511A (en) Measurement device, imaging device, measurement system, and program
WO2020090358A1 (en) Ranging camera
JP2018166308A (en) Camera calibration device
Ma et al. An inverse problem approach to computational active depth from defocus
JP2020193820A (en) Measurement device, imaging device, control method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190628

R150 Certificate of patent or registration of utility model

Ref document number: 6550102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150