JP2016157999A - Light field acquiring device and light field acquiring method - Google Patents
Light field acquiring device and light field acquiring method Download PDFInfo
- Publication number
- JP2016157999A JP2016157999A JP2015032506A JP2015032506A JP2016157999A JP 2016157999 A JP2016157999 A JP 2016157999A JP 2015032506 A JP2015032506 A JP 2015032506A JP 2015032506 A JP2015032506 A JP 2015032506A JP 2016157999 A JP2016157999 A JP 2016157999A
- Authority
- JP
- Japan
- Prior art keywords
- light field
- light
- image signal
- field data
- aperture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、ライトフィールド取得装置及びライトフィールド取得方法に関する。 The present invention relates to a light field acquisition apparatus and a light field acquisition method.
通常の２次元画像を取得するとき、光線はレンズにより集光されることで、その角度情報が失われてしまうため、撮像後に焦点を変えたり撮像視点を移動したりすることはできない。しかし、光線の位置と向きを４次元で表現するライトフィールドデータとしてシーンを記録することができれば、撮像後のリフォーカスや視点移動といったアプリケーションが可能となる。ライトフィールドデータを取得する代表的な手法として、マイクロレンズアレイを利用したプレノプティックカメラ（例えば、非特許文献１参照）と、符号化開口を取り付けたカメラ（例えば、非特許文献２参照）を利用する２つの方法が提案されている。これらのカメラを使用すれば、撮像後のリフォーカスや視点移動を行うことが可能なライトフィールドデータを取得することが可能となる。 When a normal two-dimensional image is acquired, the light beam is collected by the lens and the angle information is lost. Therefore, it is impossible to change the focus or move the imaging viewpoint after imaging. However, if the scene can be recorded as light field data that expresses the position and direction of the light beam in four dimensions, an application such as refocusing or moving the viewpoint after imaging becomes possible. As typical techniques for acquiring light field data, a plenoptic camera using a microlens array (see, for example, Non-Patent Document 1) and a camera with a coded aperture (see, for example, Non-Patent Document 2). Two methods of using are proposed. If these cameras are used, it is possible to acquire light field data capable of performing refocusing and viewpoint movement after imaging.
しかしながら、非特許文献１、２に記載のカメラにあっては、いずれの手法においても、シーンを記録するデータ量は、カメラが備える画像素子の素子数に依存してしまうため、あるシーンのライトフィールドを記録するデータを高解像度で記録することが難しいという問題がある。 However, with the cameras described in Non-Patent Documents 1 and 2, the amount of data for recording a scene depends on the number of image elements included in the camera in any of the methods. There is a problem that it is difficult to record field recording data at a high resolution.
本発明は、このような事情に鑑みてなされたもので、画像素子の画素数よりも少ないデータ量のシーンであっても高解像度のライトフィールドデータを取得することができるライトフィールド取得装置及びライトフィールド取得方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a light field acquisition device and a light that can acquire high-resolution light field data even in a scene having a data amount smaller than the number of pixels of an image element. An object is to provide a field acquisition method.
本発明は、光学系を透過した光の光路を制御する符号化開口部を透過した光を受光する撮像部で撮像した画像信号からライトフィールドデータを取得するライトフィールド取得装置であって、前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定部と、符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得部と、前記信号取得部により取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元部とを備えることを特徴とする。 The present invention is a light field acquisition device that acquires light field data from an image signal captured by an imaging unit that receives light transmitted through an encoding aperture that controls an optical path of light transmitted through an optical system, Based on an evaluation value obtained by comparing restored light field data restored from a signal with reference light field data, an encoded aperture setting unit that controls setting of an encoded aperture shape of the encoded aperture, and an encoded aperture shape is controlled A signal acquisition unit for acquiring an image signal obtained by summing pixel values of light partially transmitted through the optical system, and a light field recovery unit for recovering the light field data from the image signal acquired by the signal acquisition unit It is characterized by providing.
本発明は、前記符号化開口設定部を制御して、前記参照ライトフィールドデータを取得する参照ライトフィールドデータ取得部をさらに備えることを特徴とする。 The present invention is characterized by further comprising a reference light field data acquisition unit that controls the coded aperture setting unit to acquire the reference light field data.
本発明は、前記参照ライトフィールドデータ取得部は、前記参照ライトフィールドを取得するために所定の符号化開口形状に前記符号化開口部を制御することを特徴とする。 The present invention is characterized in that the reference light field data acquisition unit controls the encoded aperture to have a predetermined encoded aperture shape in order to acquire the reference light field.
本発明は、前記画像信号を記録する画像信号記録部をさらに備えることを特徴とする。 The present invention further includes an image signal recording unit that records the image signal.
本発明は、光学系を透過した光の光路を制御する符号化開口部を透過した光を受光する撮像部で撮像した画像信号からライトフィールドデータを取得するライトフィールド取得装置が行うライトフィールド取得方法であって、前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定ステップと、符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得ステップと、前記信号取得ステップにより取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元ステップとを有することを特徴とする。 The present invention relates to a light field acquisition method performed by a light field acquisition apparatus that acquires light field data from an image signal captured by an imaging unit that receives light transmitted through an encoding aperture that controls the optical path of light transmitted through an optical system. A coded aperture setting step for controlling the setting of the coded aperture shape of the coded aperture based on an evaluation value obtained by comparing the restored light field data restored from the image signal with reference light field data; A signal acquisition step of acquiring an image signal obtained by summing pixel values of light partially transmitted through the optical system by controlling the aperture shape, and the light field data from the image signal acquired by the signal acquisition step. And a light field restoring step for restoring.
本発明によれば、画像素子の画素数よりも少ないデータ量のシーンであっても高解像度のライトフィールドデータを取得することができるという効果が得られる。 According to the present invention, it is possible to obtain light field data with high resolution even in a scene having a data amount smaller than the number of pixels of the image element.
以下、図面を参照して、本発明の一実施形態によるライトフィールド取得装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、画像を結像するレンズで構成する光学系であり、複数のレンズで構成されていてもよい。光学系１に接するように配置され、格子状の複数の窓の透過率を変化させることができる符号化開口部である。 Hereinafter, a light field acquisition apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure, reference numeral 1 denotes an optical system composed of a lens that forms an image, and may be composed of a plurality of lenses. It is an encoded opening that is arranged in contact with the optical system 1 and can change the transmittance of a plurality of lattice-like windows.
符号３は、光学系１、符号化開口部２を透過した光を撮像する撮像部であり、２次元アレイの画像素子を備えている。符号４は、コンピュータ装置等で構成するライトフィールド取得装置であり、符号化開口部２、撮像部３と接続されている。符号５は、符号化開口部２の窓の開口状態を設定する符号化開口設定部である。符号６は、撮像部３において得られた画像信号を取得する信号取得部である。 Reference numeral 3 denotes an imaging unit that captures an image of light transmitted through the optical system 1 and the encoding aperture 2 and includes a two-dimensional array of image elements. Reference numeral 4 denotes a light field acquisition device configured by a computer device or the like, and is connected to the encoding aperture 2 and the imaging unit 3. Reference numeral 5 denotes a coded aperture setting unit that sets the opening state of the window of the coded aperture 2. Reference numeral 6 denotes a signal acquisition unit that acquires an image signal obtained in the imaging unit 3.
次に、図２を参照して、図１に示すライトフィールド取得装置４の処理動作を説明する。図２は、図１に示すライトフィールド取得装置４の処理動作を示すフローチャートである。図１に示すライトフィールド取得装置４では、符号化開口により光学系１を構成するメインレンズの一部を通過する光線の一部を足し合せた信号を観測する。 Next, the processing operation of the light field acquisition apparatus 4 shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a flowchart showing the processing operation of the light field acquisition apparatus 4 shown in FIG. In the light field acquisition device 4 shown in FIG. 1, a signal obtained by adding a part of a light beam passing through a part of a main lens constituting the optical system 1 is observed by a coded aperture.
まず、符号化開口設定部５は、符号化開口部２の符号化開口の形状を設定する（ステップＳ１）。これを受けて、信号取得部６は、撮像部３における加算画素の設定を行う（ステップＳ２）。 First, the encoded aperture setting unit 5 sets the shape of the encoded aperture of the encoded aperture 2 (step S1). In response to this, the signal acquisition unit 6 sets an addition pixel in the imaging unit 3 (step S2).
次に、符号化開口を通過した複数の光線を撮像部に集光し、撮像部３は、その集光した光の画素値を出力する。信号取得部６は、その画素値を取得する（ステップＳ３）。そして、信号取得部６は、設定画素値の加算を行い（ステップＳ４）、その加算値を記録する（ステップＳ５）。 Next, the plurality of light beams that have passed through the encoding aperture are collected on the imaging unit, and the imaging unit 3 outputs pixel values of the collected light. The signal acquisition unit 6 acquires the pixel value (step S3). Then, the signal acquisition unit 6 adds the set pixel values (step S4) and records the added values (step S5).
ここで、図３を参照して、光線の透過の状態について説明する。図３は、光線の透過の状態を示す説明図である。光学系１を構成するメインレンズ１１を透過した光は、符号化開口部２を構成するマスク２０に到達する。マスク２０は、平面形状をしており、格子状の窓毎に透過率を制御することが可能である。図３に示す窓２１、２４は透過率が最大（ほぼ１００％）であり、メインレンズから到達した光は全て撮像部３内に備える画像素子３１に到達する。また、窓２２は、透過率が最小（０％）であり、メインレンズ１１から到達した光を透過しない。さらに、窓２３は、透過率が半分程度（５０％）になっており、メインレンズから到達した光を弱めて画像素子３１に到達する。マスク２０の各窓（開口）は、透過率を０〜１００％まで任意の値に制御可能である。 Here, with reference to FIG. 3, the state of light transmission will be described. FIG. 3 is an explanatory diagram showing the state of light transmission. The light transmitted through the main lens 11 constituting the optical system 1 reaches the mask 20 constituting the encoding aperture 2. The mask 20 has a planar shape, and the transmittance can be controlled for each lattice-like window. The windows 21 and 24 shown in FIG. 3 have the maximum transmittance (almost 100%), and all the light reaching the main lens reaches the image element 31 provided in the imaging unit 3. Further, the window 22 has the minimum transmittance (0%), and does not transmit the light reaching from the main lens 11. Further, the transmittance of the window 23 is about half (50%), and the light reaching from the main lens is weakened and reaches the image element 31. Each window (opening) of the mask 20 can control the transmittance to an arbitrary value from 0 to 100%.
次に、信号取得部６は、複数の符号化開口形状での撮像を行うため、規定回数以上記録したかを判定する（ステップＳ６）。この判定の結果、さらに撮像が必要である場合にはステップＳ１へ戻り処理を繰り返す。そして、十分な撮像が完了し別の符号化開口形状に変更する必要が無ければ、次に進む。 Next, the signal acquisition unit 6 determines whether or not recording has been performed a specified number of times or more in order to perform imaging with a plurality of encoded aperture shapes (step S6). As a result of this determination, if further imaging is required, the process returns to step S1 and the process is repeated. If sufficient imaging is completed and there is no need to change to another encoded aperture shape, the process proceeds to the next step.
次に、符号化開口設定部５は、取得した複数の画素値からライトフィールドの復元を行う（ステップＳ７）。この際、参照となる符号化開口形状を用いて取得した画素値から参照ライトフィールドを併せて復元する。 Next, the coded aperture setting unit 5 restores the light field from the acquired plurality of pixel values (step S7). At this time, the reference light field is also restored from the pixel values acquired using the encoded aperture shape to be a reference.
次に、符号化開口設定部５は、復元したライトフィールドと、参照ライトフィールドを比較し、復元ライトフィードの評価値を算出する（ステップＳ８）。そして、符号化開口設定部５は、復元ライトフィールドの評価値は十分か否かを判定する（ステップＳ９）。この判定の結果、評価値が十分であれば、処理を終了し、不十分であれば符号化開口データセットを更新し（ステップＳ１０）、ステップＳ１へ戻る。 Next, the coded aperture setting unit 5 compares the restored light field with the reference light field, and calculates an evaluation value of the restored light feed (step S8). Then, the encoded aperture setting unit 5 determines whether or not the evaluation value of the restored light field is sufficient (step S9). As a result of this determination, if the evaluation value is sufficient, the process is terminated. If the evaluation value is insufficient, the encoded aperture data set is updated (step S10), and the process returns to step S1.
次に、図３等を参照して、図２に示す主要なステップについて詳細に説明する。始めに、図１に示す符号化開口設定部５が行う符号化開口の設定（ステップＳ１）について説明する。 Next, the main steps shown in FIG. 2 will be described in detail with reference to FIG. First, the setting of the coded aperture (step S1) performed by the coded aperture setting unit 5 shown in FIG. 1 will be described.
メインレンズ１１に接する位置にマスク２０を設置することで、符号化開口を実現する。マスクパタンを変えながら撮像を複数回行うため、電子的にマスクパタンの形状を変化させることのできる液晶パネルを用いるか、または、電子的に制御できない紙やプラスチック等のマスクを複数種類用意して差し替えることで、符号化開口を変化させてもよい。また、マスクの値は１ｂｉｔではなくとも、連続値を持たせてもよい。 By installing the mask 20 at a position in contact with the main lens 11, a coded aperture is realized. Since imaging is performed multiple times while changing the mask pattern, use a liquid crystal panel that can electronically change the shape of the mask pattern, or prepare multiple types of masks such as paper and plastic that cannot be controlled electronically The coding aperture may be changed by replacement. Further, the value of the mask may not be 1 bit but may have a continuous value.
また、複数の符号化開口形状をあらかじめ用意しておき、その形状を格納した符号化開口形状データセットを設けておき、このデータセットから読みだすことで符号化開口の設定を行うようにしてもよい。データセットに含まれる符号化開口形状は、ランダムに設定したもの、任意に設定したもの、もしくは自動的に生成される形状であってもよい。 A plurality of coded aperture shapes are prepared in advance, a coded aperture shape data set storing the shapes is provided, and the coded aperture is set by reading from this data set. Good. The encoded aperture shape included in the data set may be a randomly set shape, an arbitrarily set shape, or a shape that is automatically generated.
本実施形態の特徴として、このデータセットの中に、いくつかの参照ライトフィールドを取得するための符号化開口形状を含ませておくことが望ましい。参照ライトフィールドをとるための符号化開口形状とは、マスク２０の中の任意の１点（１つの窓）のみが開いている形状を指す。これを符号化開口形状データセットに含ませておくことで、最終的な復元ライトフィールドの復元精度を評価するために用いられる参照ライトフィールドを取得することが可能となる。 As a feature of the present embodiment, it is desirable to include a coded aperture shape for acquiring several reference light fields in this data set. The coded aperture shape for taking the reference light field refers to a shape in which only one arbitrary point (one window) in the mask 20 is open. By including this in the encoded aperture shape data set, a reference light field used for evaluating the restoration accuracy of the final restoration light field can be acquired.
次に、図１に示す信号取得部６が行う複数の光線を加算した信号値の観測方法について説明する。まず、どの画素値を加算するのかを決定する。どの画素値を加算するかは、符号化開口形状に従い任意に定めてもよいし、ランダムに定めてもよい。続いて、画像素子３１により撮像を行う。この撮像自体は通常の撮像と変わりがないので、詳細動作の説明は省略する。次に、先に決定した足し合せる画素の画素値を、合算し、記録する。ここで、合算した値のみを記録し、それ以外の画素値は破棄することにより記録されるデータ量を削減することができる。 Next, a method for observing a signal value obtained by adding a plurality of rays performed by the signal acquisition unit 6 shown in FIG. 1 will be described. First, it is determined which pixel value is to be added. Which pixel value is added may be arbitrarily determined according to the encoded aperture shape, or may be determined randomly. Subsequently, imaging is performed by the image element 31. Since this imaging itself is the same as normal imaging, description of detailed operation is omitted. Next, the pixel values of the pixels to be added previously determined are added and recorded. Here, it is possible to reduce the amount of data recorded by recording only the summed values and discarding the other pixel values.
選択された画素の信号値のみを有効にする方法として、図４および図５に示す二つの方法が適用できる。図４のＬＣＤ方式では、画像素子３１の前（マスク２０と画像素子３１の間）にＬＣＤ（Liquid Crystal Display）を設置することにより、選択された画素の前だけの光を透過させ、それ以外の画素に入射する光線を遮断することができる。図４に示すＬＣＤ３２においては、黒い部分が光線を遮断する部分であり、白い部分が光線を透過させる部分である。 As a method of validating only the signal value of the selected pixel, two methods shown in FIGS. 4 and 5 can be applied. In the LCD system of FIG. 4, an LCD (Liquid Crystal Display) is installed in front of the image element 31 (between the mask 20 and the image element 31) to transmit light only in front of the selected pixel. It is possible to block light rays incident on the pixels. In the LCD 32 shown in FIG. 4, the black portion is a portion that blocks light, and the white portion is a portion that transmits light.
一方、図５に示すスイッチ方式では、画像素子３１のすべての画素と接続したスイッチ３３を用意し、選択された画素の信号値のみを通過させ、それ以外の画素値を無効にすることで、実現することができる。 On the other hand, in the switch system shown in FIG. 5, a switch 33 connected to all the pixels of the image element 31 is prepared, only the signal value of the selected pixel is passed, and other pixel values are invalidated. Can be realized.
実際に加算した信号値を取得するためには、画素値を一旦観測してからソフトウェア上で加算する方法の他にも、図６のようにデジタル回路を用いて、ハードウェア的に加算された画素値を直接観測してもよい。図６は、デジタル回路を用いて、ハードウェア的に加算された画素値を直接観測例を示す図である。 In order to obtain the actually added signal value, in addition to the method in which the pixel value is observed once and then added on the software, it is added by hardware using a digital circuit as shown in FIG. The pixel value may be observed directly. FIG. 6 is a diagram showing an example of directly observing pixel values added in hardware using a digital circuit.
例えば、画像素子と接続したマルチプレクサ３４を用いる方法が適用できる。具体的には、画像素子３１の各画素からの出力値が、マルチプレクサ３４への入力となり、マルチプレクサ３４内ではすべての画素値を加算し、出力することで実現することができる。 For example, a method using a multiplexer 34 connected to an image element can be applied. Specifically, the output value from each pixel of the image element 31 becomes an input to the multiplexer 34, and all the pixel values are added and output in the multiplexer 34.
この方法は、画素値を加算するために、一旦全ての画素値を読み込む必要が無く、処理を大幅に短縮でき、処理の高速化を図ることが可能となる。 In this method, it is not necessary to read all pixel values once in order to add pixel values, so that the processing can be greatly shortened and the processing speed can be increased.
次に、図２に示すステップＳ６については、規定回数を定めておくことで、規定回数以上取得したら終了することで実現できる。 Next, step S6 shown in FIG. 2 can be realized by determining the prescribed number of times, and ending if the prescribed number of times is acquired.
次に、図２に示すステップＳ７においてライトフィールドを復元する動作について説明する。前述した動作によって取得された複合光線の画素値を用いて、ライトフィールドを復元することができる。その復元方法について、詳細に説明する。 Next, the operation for restoring the light field in step S7 shown in FIG. 2 will be described. The light field can be restored by using the pixel value of the composite ray acquired by the above-described operation. The restoration method will be described in detail.
復号されるライトフィールド信号（理想信号）は、光学系１と符号化開口部２を透過し合算される光線の観測行列と、複数種類の符号化開口パターンにより観測された合算の信号値である観測信号から求めることができる。理想信号、観測行列、観測信号の関係は図７に示す通りである。図７において、各□（四角形）は、行列の値を示している。例えば、黒は透過（値＝１）を表し、白は遮断（値＝０）、灰は中間の任意の値（０より大きく１より小さい値）を示している。Ｎは、撮像した符号化開口形状の数、Ｗは角度解像度、Ｐは空間解像度である。図８は、角度解像度、空間解像度を示す説明図である。ここでは通常の画像ではなくライトフィールド画像であるので、図８に示すような画像が理想信号として定義されている。理想信号と、観測信号は、図８に示す画像をスパース行列（縦×横の画素列を、縦１列に並べ替えて表現する）で表現している。 The light field signal (ideal signal) to be decoded is an observation matrix of light rays that are transmitted through the optical system 1 and the encoded aperture 2 and combined, and a combined signal value observed by a plurality of types of encoded aperture patterns. It can be obtained from the observation signal. The relationship between the ideal signal, the observation matrix, and the observation signal is as shown in FIG. In FIG. 7, each square (square) indicates a matrix value. For example, black represents transmission (value = 1), white represents blocking (value = 0), and ash represents an intermediate arbitrary value (value greater than 0 and less than 1). N is the number of imaged encoded aperture shapes, W is the angular resolution, and P is the spatial resolution. FIG. 8 is an explanatory diagram showing angular resolution and spatial resolution. Here, since it is not a normal image but a light field image, an image as shown in FIG. 8 is defined as an ideal signal. The ideal signal and the observation signal represent the image shown in FIG. 8 as a sparse matrix (represented by rearranging vertical × horizontal pixel columns into one vertical column).
観測行列は、ある観測信号を観測した際に用いた符号化開口の形状と、合算した光線の組み合わせにより一意に決定されるものである。この式を解くことにより、理想信号を求めることができる。解き方として、Ｌ１ノルム最小化法等が適用できる。 The observation matrix is uniquely determined by the combination of the shape of the coded aperture used when observing a certain observation signal and the combined light rays. By solving this equation, an ideal signal can be obtained. As a solving method, the L1 norm minimization method or the like can be applied.
次に、図２に示すステップＳ８において復元ライトフィールドの評価について説明する。復元したライトフィールドと、参照ライトフィールドの、各光線の輝度もしくは画素値を、すべて比較して得られる差分値を、全て積算することで、復元したライトフィールドの精度を測定することができる。単純な差分値の加算でなくとも、これに類する信号値の比較手法を用いてもよい。 Next, the evaluation of the restored light field in step S8 shown in FIG. 2 will be described. The accuracy of the restored light field can be measured by integrating all the difference values obtained by comparing all the luminances or pixel values of the light rays of the restored light field and the reference light field. Instead of simple addition of difference values, a similar signal value comparison method may be used.
次に、図２に示すステップＳ９において復元ライトフィールドの評価値が十分であるか否かを判定する動作について説明する。復元ライトフィールドの評価値を、あらかじめ定めておいた閾値と比較し、閾値以上の評価値であるか否かを判断することで、本処理は実現することができる。閾値による判断以外にも、これに類する手法を用いてもよい。 Next, the operation for determining whether or not the evaluation value of the restored light field is sufficient in step S9 shown in FIG. This process can be realized by comparing the evaluation value of the restored light field with a predetermined threshold value and determining whether the evaluation value is equal to or higher than the threshold value. In addition to the determination based on the threshold value, a similar method may be used.
以上説明したように、光学系を構成するメインレンズの配下の符号化開口を変化させながら、開口を通過した光線の画素値の合算値を計測し記録することにより、画像素子の画素数よりも少ないデータ量であるシーンの高解像度のライトフィールドを取得することができる。 As described above, by measuring and recording the sum of the pixel values of the light rays that have passed through the aperture while changing the encoding aperture under the main lens that constitutes the optical system, the number of pixels of the image element can be recorded. A high-resolution light field of a scene having a small amount of data can be acquired.
前述した実施形態におけるライトフィールド取得装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。 The light field acquisition apparatus according to the above-described embodiment may be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be realized using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.
画像素子の画素数よりも少ないデータ量であるシーンのライトフィールドを高解像度で取得することが不可欠な用途にも適用できる。 The present invention can also be applied to applications where it is indispensable to acquire a light field of a scene having a data amount smaller than the number of pixels of an image element at a high resolution.
１・・・光学系、２・・・符号化開口部、３・・・撮像部、４・・・ライトフィールド取得装置、５・・・符号化開口設定部、６・・・信号取得部 DESCRIPTION OF SYMBOLS 1 ... Optical system, 2 ... Encoding aperture part, 3 ... Imaging part, 4 ... Light field acquisition apparatus, 5 ... Encoding aperture setting part, 6 ... Signal acquisition part
Claims (5)
前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定部と、
符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得部と、
前記信号取得部により取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元部と
を備えることを特徴とするライトフィールド取得装置。 A light field acquisition device that acquires light field data from an image signal captured by an imaging unit that receives light transmitted through an encoding aperture that controls an optical path of light transmitted through an optical system,
Based on an evaluation value obtained by comparing restored light field data restored from the image signal with reference light field data, an encoded aperture setting unit that controls setting of an encoded aperture shape of the encoded aperture,
A signal acquisition unit for acquiring an image signal obtained by summing pixel values of light partially transmitted through the optical system by controlling an encoded aperture shape;
A light field acquisition device comprising: a light field restoration unit that restores the light field data from the image signal acquired by the signal acquisition unit.
前記画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、前記符号化開口部の符号化開口形状を設定を制御する符号化開口設定ステップと、
符号化開口形状を制御することにより部分的に前記光学系を透過した光の画素値を合算した画像信号を取得する信号取得ステップと、
前記信号取得ステップにより取得した前記画像信号から前記ライトフィールドデータを復元するライトフィールド復元ステップと
を有することを特徴とするライトフィールド取得方法。 A light field acquisition method performed by a light field acquisition device that acquires light field data from an image signal captured by an imaging unit that receives light transmitted through an encoding aperture that controls an optical path of light transmitted through an optical system,
An encoded aperture setting step for controlling the setting of the encoded aperture shape of the encoded aperture based on an evaluation value obtained by comparing the restored light field data restored from the image signal with reference light field data;
A signal acquisition step of acquiring an image signal obtained by summing pixel values of light partially transmitted through the optical system by controlling a coded aperture shape;
A light field acquisition method comprising: a light field recovery step of recovering the light field data from the image signal acquired in the signal acquisition step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015032506A JP6230161B2 (en) | 2015-02-23 | 2015-02-23 | Light field acquisition apparatus and light field acquisition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015032506A JP6230161B2 (en) | 2015-02-23 | 2015-02-23 | Light field acquisition apparatus and light field acquisition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016157999A true JP2016157999A (en) | 2016-09-01 |
| JP6230161B2 JP6230161B2 (en) | 2017-11-15 |
Family
ID=56826755
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015032506A Active JP6230161B2 (en) | 2015-02-23 | 2015-02-23 | Light field acquisition apparatus and light field acquisition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6230161B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018123318A1 (en) * | 2016-12-27 | 2019-10-31 | 富士フイルム株式会社 | Imaging device and imaging module |
| WO2020161799A1 (en) | 2019-02-05 | 2020-08-13 | 日本電気株式会社 | Learning device, learning method, non-transitory computer-readable medium having control program stored thereon, and estimation device |
| WO2024004121A1 (en) * | 2022-06-30 | 2024-01-04 | 日本電信電話株式会社 | Imaging device, imaging method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066875A (en) * | 2009-09-18 | 2011-03-31 | Mitsubishi Electric Research Laboratories Inc | Method and apparatus for acquiring input image of scene |
| JP2011530848A (en) * | 2008-08-08 | 2011-12-22 | キネテイツク・リミテツド | Processing for coded aperture imaging |
| WO2014050699A1 (en) * | 2012-09-25 | 2014-04-03 | 富士フイルム株式会社 | Image-processing device and method, and image pickup device |
| JP2014216974A (en) * | 2013-04-30 | 2014-11-17 | 大日本スクリーン製造株式会社 | Method of designing opening pattern, method of restoring image, and image restoration device |
-
2015
- 2015-02-23 JP JP2015032506A patent/JP6230161B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011530848A (en) * | 2008-08-08 | 2011-12-22 | キネテイツク・リミテツド | Processing for coded aperture imaging |
| JP2011066875A (en) * | 2009-09-18 | 2011-03-31 | Mitsubishi Electric Research Laboratories Inc | Method and apparatus for acquiring input image of scene |
| WO2014050699A1 (en) * | 2012-09-25 | 2014-04-03 | 富士フイルム株式会社 | Image-processing device and method, and image pickup device |
| JP2014216974A (en) * | 2013-04-30 | 2014-11-17 | 大日本スクリーン製造株式会社 | Method of designing opening pattern, method of restoring image, and image restoration device |
Non-Patent Citations (1)
| Title |
|---|
| CHIA-KAI LIANG, TAI-HSU LIN, BING-YI WONG, CHI LIU, HOMER H. CHEN: "Programmable Aperture Photography: Mutiplexed Light Field Acquisition", ACM TRANSACTION ON GRAPHICS, vol. 27, no. 3, JPN7017003176, August 2008 (2008-08-01), pages 1 - 55, ISSN: 0003656571 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018123318A1 (en) * | 2016-12-27 | 2019-10-31 | 富士フイルム株式会社 | Imaging device and imaging module |
| WO2020161799A1 (en) | 2019-02-05 | 2020-08-13 | 日本電気株式会社 | Learning device, learning method, non-transitory computer-readable medium having control program stored thereon, and estimation device |
| US11825185B2 (en) | 2019-02-05 | 2023-11-21 | Nec Corporation | Learning device, learning method, and non transitory computer-readable medium having control program stored thereon, and estimation device |
| WO2024004121A1 (en) * | 2022-06-30 | 2024-01-04 | 日本電信電話株式会社 | Imaging device, imaging method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6230161B2 (en) | 2017-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102538164B1 (en) | Image processing method and device, electronic device and storage medium | |
| US20210063963A1 (en) | Holographic light field imaging device and method of using the same | |
| US10410061B2 (en) | Image capturing apparatus and method of operating the same | |
| US20150382000A1 (en) | Systems And Methods For Compressive Sense Imaging | |
| US20130201297A1 (en) | Lensless compressive image acquisition | |
| JP6230161B2 (en) | Light field acquisition apparatus and light field acquisition method | |
| CN108111768B (en) | Method and device for controlling focusing, electronic equipment and computer readable storage medium | |
| EP2678740B1 (en) | Systems, methods, and media for reconstructing a space-time volume from a coded image | |
| TW201500773A (en) | Apparatus and method for capturing still images and video using diffraction coded imaging techniques | |
| WO2023138629A1 (en) | Encrypted image information obtaining device and method | |
| US20210203886A1 (en) | Digital image inference system with enhanced privacy protection | |
| US9958259B2 (en) | Depth value measurement | |
| JP2015188251A (en) | Image processing system, imaging apparatus, image processing method, and program | |
| CN107211095B (en) | Method and apparatus for processing image | |
| US9449234B2 (en) | Displaying relative motion of objects in an image | |
| WO2015200038A1 (en) | Systems and methods for compressive sense imaging | |
| JP6162971B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and control method thereof | |
| EP2912837B1 (en) | Resolution and focus enhancement | |
| JP2017103756A (en) | Image data processing apparatus and method | |
| JP6353415B2 (en) | Dictionary generation method, dictionary generation device, image processing method, image processing device, and image processing program | |
| JP6310418B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP6294751B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6353414B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| Diaz et al. | High-dynamic range compressive spectral imaging by adaptive filtering | |
| Fortunato et al. | Coding depth through mask structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171013 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6230161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |