JP2009290268A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2009290268A JP2009290268A JP2008137711A JP2008137711A JP2009290268A JP 2009290268 A JP2009290268 A JP 2009290268A JP 2008137711 A JP2008137711 A JP 2008137711A JP 2008137711 A JP2008137711 A JP 2008137711A JP 2009290268 A JP2009290268 A JP 2009290268A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- processing unit
- cylindrical lens
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 178
- 238000000034 method Methods 0.000 claims description 15
- 230000008707 rearrangement Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000007547 defect Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像レンズおよび撮像素子を用いた撮像装置に関する。 The present invention relates to an imaging device using an imaging lens and an imaging element.
従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。 Conventionally, various imaging devices have been proposed and developed. There has also been proposed an imaging apparatus that performs predetermined image processing on imaging data obtained by imaging and outputs the data.
例えば、特許文献1および非特許文献1には、「Light Field Photography」と呼ばれ
る手法を用いた撮像装置が提案されている。ここで、図18に、この手法を用いた従来の撮像装置100の概略構成について示す。この撮像装置100は、撮像レンズ110と、マイクロレンズアレイ120と、複数の画素が2次元配列した撮像素子130とを備えており、撮像レンズ110には、円形状の開口部101Aを有する開口絞り101が設けられている。また、一つのマイクロレンズに対して複数の画素が割り当てられ、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。これにより、画像処理部において、任意の視点や方向(以下、単に視野という)、任意のフォーカスからの観察画像を再構築できるようになっている。
For example,
このような撮像装置100では、開口絞り101の開口部101Aを通る全ての光線がマイクロレンズアレイ120を介して撮像素子130上に受光されるため、撮像素子130上に受光される像(イメージ)は、開口部101Aの形状の相似形となる。したがって、例えば図19(A)に示したような、複数の円形状の受光イメージが撮像素子130上にマトリクス状に形成された撮像データが得られる。なお、図19(A)における領域Sについて、図19(B)に拡大して示す。
In such an
ところが、例えば図19(B)に示したように、円形状の開口部101Aを有する開口絞り101を用いた場合、撮像素子130上では、円形状の受光イメージ130D−1同士の間に、受光されない画素領域(非受光領域130D−2)が生じてしまうという問題があった。このため、撮像画素を十分に利用することができなかった。
However, for example, as shown in FIG. 19B, when an
本発明はかかる問題点に鑑みてなされたもので、その目的は、撮像画素の受光領域を増加させることが可能な撮像装置を提供することにある。 The present invention has been made in view of such problems, and an object thereof is to provide an imaging apparatus capable of increasing a light receiving area of an imaging pixel.
本発明の撮像装置は、開口絞りを有する撮像レンズ部と、受光した光に基づいて撮像データを取得する撮像素子と、撮像レンズ部と撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、撮像素子の複数の画素に対して1つのシリンドリカルレンズを有するシリンドリカルレンズアレイ部とを備えたものである。また、上記開口絞りが、長方形状の開口部を有するようになっている。 An imaging device according to the present invention is arranged on a focal plane of an imaging lens unit between an imaging lens unit having an aperture stop, an imaging device that acquires imaging data based on received light, and the imaging lens unit. And a cylindrical lens array unit having one cylindrical lens for a plurality of pixels of the image sensor. The aperture stop has a rectangular opening.
本発明の撮像装置では、撮像レンズ部における開口絞りが長方形状の開口部を有することにより、シリンドリカルレンズアレイ部を介して撮像素子上に受光されるイメージは、開口部の形状の相似形、すなわち長方形状となる。したがって、円形の開口部を有する従来の開口絞りを用いた場合に比べ、撮像素子において、複数のイメージが隙間なく密に形成され易くなる。 In the imaging apparatus of the present invention, the aperture stop in the imaging lens unit has a rectangular opening, so that an image received on the imaging element via the cylindrical lens array unit is similar to the shape of the opening, It becomes a rectangular shape. Therefore, compared with the case where a conventional aperture stop having a circular opening is used, a plurality of images are easily formed densely in the imaging device without a gap.
本発明の撮像装置によれば、撮像レンズ部における開口絞りが長方形状の開口部を有するようにしたので、撮像素子上に受光されるイメージが長方形状となるため、円形の開口部を有する従来の開口絞りを用いた場合と比べ、撮像素子において、複数のイメージが隙間なく密に形成され易くなる。よって、撮像画素の受光領域を増加させることが可能となる。 According to the imaging apparatus of the present invention, since the aperture stop in the imaging lens unit has a rectangular opening, the image received on the imaging element is rectangular, and thus has a conventional circular opening. As compared with the case where the aperture stop is used, a plurality of images are easily formed densely in the imaging device without gaps. Therefore, the light receiving area of the imaging pixel can be increased.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る撮像装置(撮像装置1)の全体構成を表したものである。この撮像装置1は、撮像対象物(被写体)2を撮像して撮像データDoutを出力するものであり、被写体2の側からY軸の正方向に沿って、開口絞り10と、撮像レンズ11と、シリンドリカルレンズアレイ12と、撮像素子13とを備えている。また、撮像装置1はこの他に、画像処理部14と、撮像素子駆動部15と、制御部16とを備えている。
[First Embodiment]
FIG. 1 shows the overall configuration of an imaging apparatus (imaging apparatus 1) according to a first embodiment of the present invention. The
開口絞り10は、撮像レンズ11の光学的な開口絞りである。この開口絞り10の詳細な構成については、後述する(図2)。
The
撮像レンズ11は、被写体2を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成される。
The
シリンドリカルレンズアレイ(レンチキュラレンズ)12は、後述する複数のシリンドリカルレンズが1次元配列(具体的には、X軸方向に沿って配列)したものであり、撮像レンズ11の焦点面(図中の符号f1は、撮像レンズ11の焦点距離を表している)に配置されている。なお、このシリンドリカルレンズアレイ12の具体的な構成については、後述する(図3)。
The cylindrical lens array (lenticular lens) 12 is a one-dimensional array (specifically, arrayed along the X-axis direction) of a plurality of cylindrical lenses, which will be described later. f1 represents the focal length of the imaging lens 11). The specific configuration of the
撮像素子13は、シリンドリカルレンズアレイ12からの光を受光して撮像データD0を取得するものであり、シリンドリカルレンズアレイ12の焦点面(図中の符号f2は、シリンドリカルレンズアレイ12の焦点距離を表している)に配置されている。この撮像素子13は、複数の画素(後述する画素P)をマトリクス状に2次元配列したものであり、各画素は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などにより構成されている。
The
このような撮像素子13の受光面(シリンドリカルレンズアレイ12側の面)には、M×N(M,N:整数)個の画素がマトリクス状に配置され、複数の画素に対してシリンドリカルレンズアレイ12内の1つのシリンドリカルレンズが割り当てられるようになっている。この受光面上の画素の個数は、例えば、M×N=3720×2520=9374400個である。ここで、各シリンドリカルレンズに割り当てられる画素数(m×n)は、後述する再構築画像の任意の視野での分解能となる。このため、これらm,nの値が大きくなるにしたがって、再構築画像の任意の視野、任意のフォーカスでの分解能が高くなる。一方、(M/m),(N/n)は、再構築画像の画素数(解像度)となる。このため、これら(M/m),(N/n)の値が大きくなるに従って、再構築画像の画素数が増加する。したがって、再構築画像の任意の視野での分解能と画素数とは、トレードオフの関係となっている。
M × N (M, N: integer) pixels are arranged in a matrix on the light receiving surface (surface on the
画像処理部14は、後述する制御部16から供給される制御信号Soutに従って、撮像素子13で得られた撮像データD0に対して所定の画像処理を施すことにより、撮像データDoutを生成・出力するものである。具体的には、例えば「Light Field Photography」と呼ばれる手法を用いた演算処理(所定の並び替え処理)を行うことにより、任意の視野や任意の焦点に設定した観察画像(再構築画像)を生成するようになっている。
The
撮像素子駆動部15は、撮像素子13を駆動してその受光動作の制御を行うものである。
The image
制御部16は、画像処理部14および撮像素子駆動部15の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
The
次に、図2を参照して、開口絞り10の具体的な構成について説明する。図2は、開口絞り10の概略構成を平面図で表したものである。
Next, a specific configuration of the
開口絞り10は、その開口部10Aの形状が、開口部10Aの中心点(Y軸方向に沿った光軸L0)に対して点対称となる図形である、長方形となっている。また、この開口部10Aでは、長手方向(長軸方向)がX軸方向であると共に、短手方向(短軸方向)がY軸方向となっている。
The
なお、詳細は後述するが、撮像レンズ11における開口部10Aの長手方向(X軸方向)に沿ったFナンバーは、シリンドリカルレンズアレイ12の配列方向(X軸方向)のFナンバーと、概ね等しくなるように構成されている。なお、本発明においては、これらのFナンバーが完全に同一である場合に限定されず、誤差等を含んでいてもよいものとする。
Although details will be described later, the F number along the longitudinal direction (X-axis direction) of the
次に、図3を参照して、シリンドリカルレンズアレイ12の具体的な構成について説明する。図3は、シリンドリカルレンズアレイ12の概略構成を斜視図で表したものである。
Next, a specific configuration of the
シリンドリカルレンズアレイ12は、複数のシリンドリカルレンズ12−1を、開口絞り10における開口部10Aの長手方向(X軸方向)に沿って1次元配列したものである。各シリンドリカルレンズ12−1は、Y軸方向に沿って延在すると共に撮像レンズ11側に突き出した半円柱状(シリンダー状)となっている。また、各シリンドリカルレンズ12−1は、通常のレンズにより構成される他、例えば液晶レンズ、液体レンズまたは回折レンズなどにより構成され得る。
The
次に、本実施の形態の撮像装置1の作用および効果について、図1〜図7を参照して説明する。ここで、図4は、開口絞り10、シリンドリカルレンズアレイ12および撮像素子13における位置関係および作用について説明するための斜視図であり、図5は、撮像素子13で受光される光線情報を説明するための図である。また、図6は、撮像素子13における受光領域を平面図で表したものであり、図7はFナンバーの設定について説明するための図である。
Next, operations and effects of the
まず、図1〜図5を参照して、撮像装置1の基本的な作用について説明する。
First, the basic operation of the
この撮像装置1では、図4に示したように、撮像レンズ11による被写体2の像は、開口絞り10によってその光束が絞られ、シリンドリカルレンズアレイ12上に結像する。そしてシリンドリカルレンズアレイ12への入射光線が、このシリンドリカルレンズアレイ12を介して撮像素子13で受光される。このとき、図4に示したように、シリンドリカルレンズアレイ12内の各シリンドリカルレンズ12−1への入射光線は、その入射方向に応じて、撮像素子13の異なる位置(異なる画素P)で受光される。
In the
ここで、図5を参照して、撮像素子13で受光される光線について説明する。撮像レンズ11の撮像レンズ面上において1次元座標系(u)を、撮像素子13の撮像面上において直交座標系(x,y)をそれぞれ考え、撮像レンズ11の撮像レンズ面と撮像素子13の撮像面との距離をFとすると、撮像レンズ11および撮像素子13を通る光線L1は、3次元関数LF(x,y,u)で表される。これにより、この光線L1は、光線の位置情報に加え、光線の進行方向が保持された状態で、撮像素子13に記録される。すなわち、各シリンドリカルレンズ12−1に割り当てられた複数の画素Pの配置によって、光線の入射方向が決定されることになる。
Here, with reference to FIG. 5, the light rays received by the
このようにして撮像素子13において受光がなされると、撮像素子駆動部15による駆動動作に従って撮像素子13から撮像データD0が得られ、この撮像データD0が画像処理部14へ入力される。画像処理部14では、制御部16の制御に従って、撮像データD0に対し、所定の画像処理(並び替え処理)が施される。例えば、任意の視野の画像を再構築する際には、シリンドリカルレンズ12−1ごとに同一の列にある画素データが抽出され、これらを合成する処理がなされる。また、任意の焦点(フォーカス)での画像を再構築する際には、画素データの並び替え処理と、積分処理とが施される。このような画像処理により、撮像データDoutとして、任意の視野や任意の焦点での再構築画像が出力される。
When the
次に、図6および図7を参照して、本実施の形態の撮像装置1における特徴的な作用について説明する。
Next, with reference to FIG. 6 and FIG. 7, the characteristic operation in the
この撮像装置1では、開口絞り10の開口部10Aの形状が、図2に示したような長方形となっていることにより、開口部10Aの長手方向(X軸方向)に沿った面内を進行する光線は、大きな有効径で集光される一方、開口部10Aの短手方向(Y軸方向)に沿った面内を進行する光線は、小さな有効径で集光されることとなる。これにより、撮像素子13上では、光軸L0に対する回転角の大きさに応じて有効径が変化した像(受光イメージ)が取得される。
In this
よって、例えば図6に示したように、シリンドリカルレンズアレイ12を介して撮像素子13上に入射する光線がつくる受光イメージ(再構築画素領域)13D−1は、開口部10Aの形状の相似形、すなわち、X軸方向を長手方向(長軸方向)とする長方形状となる。この際、シリンドリカルレンズアレイ12を介することにより、X軸方向の光線は入射方向別に分解され、開口部10Aの長手方向(X軸方向)の大きな有効径で集光された光線も、割り当て画素数分の一に分けられることになる。ただし、開口部10Aにおける長手方向(X軸方向)と短手方向(Y軸方向)との長さの比を調整することにより、X軸方向およびY軸方向に同じ有効径にあたる集光で得られた像を取得することが可能である。
Therefore, for example, as shown in FIG. 6, a light receiving image (reconstructed pixel region) 13D-1 formed by a light ray incident on the
また、シリンドリカルレンズアレイ12において、複数のシリンドリカルレンズ12−1が1次元アレイ状(X軸方向に沿ったアレイ状)に配置されていることにより、受光イメージ13D−1は、撮像素子13上にマトリクス状に形成される。これにより、長方形の受光イメージ13D−1が、撮像素子13上にマトリクス状に配置されることとなり、撮像素子13のほぼ全域が受光領域13Dとなる。
Further, in the
ここで、図18および図19に示した従来の円形の開口絞り(以下、円形絞りという)を用いた撮像装置100では、撮像素子130上において、円形状の受光イメージ130D−1同士の間に非受光領域130D−2が生じてしまうため、撮像画素(画素P)を十分に利用することができなかった。これに対し、本実施の形態の撮像装置1では、上記のように、撮像素子13のほぼ全域が受光領域130となるため、従来の撮像装置100と比べて受光イメージが隙間なく密に形成され易くなり、受光領域が増加する。
Here, in the
なお、本実施の形態の撮像装置1において、例えば図6に示したように、4×1画素の再構築画素領域13D−1が設定されている場合、画像処理部14において任意視点画像を再構築する際には、例えば図7に示した抽出画素P10のようにして、各再構築画素領域13D−1内の同じ位置の画素が抽出される。
In the
以上のように本実施の形態では、撮像レンズ11の開口絞り10が長方形状の開口部10Aを有するようにしたので、撮像素子13上に受光されるイメージ(受光イメージ13D−1)が長方形状となるため、円形の開口部を有する従来の開口絞りを用いた場合と比べ、撮像素子13において、各受光イメージ13D−1が隙間なく密に形成され易くなる。よって、撮像画素の受光領域を増加させることが可能となる。
As described above, in the present embodiment, since the
また、シリンドリカルレンズアレイ12において、複数のシリンドリカルレンズ12−1を、開口絞り10における開口部10Aの長手方向(X軸方向)に沿って1次元配列するようにしたので、観察者が水平方向(X軸方向)に沿って再構築画像を見る場合に、右目および左目による観察に際して、より適合した再構築画像とすることができる。
Further, in the
また、シリンドリカルレンズアレイ12におけるシリンドリカルレンズ12−1の数を一定とした場合には、各シリンドリカルレンズ12−1に対して割り当てられる画素領域(画素Pの数)が増加することとなるため、再構築画像における任意の視野や任意の焦点の分解能を向上させることができる。あるいは、各シリンドリカルレンズ12−1に対して割り当てられる画素数を一定した場合には、シリンドリカルレンズ12−1の数が増加することとなるため、再構築画像の2次元画素数(解像度)を増加させることができる。したがって、前述したようにトレードオフの関係にある、再構築画像の任意の視野や任意の焦点での分解能と、再構築画像の2次元画素数との両者を、できるだけ高い値で両立させることが可能となる。
Further, when the number of cylindrical lenses 12-1 in the
また、撮像レンズ11における開口部10Aの長手方向(X軸方向)に沿ったFナンバーFMLと、シリンドリカルレンズアレイ12の配列方向(X軸方向)のFナンバーFSLAとが、概ね等しくなっているようにしたので、図8に示したような現象を回避することが可能となる。具体的には、例えば図8(A)に示したように、撮像レンズ11のFナンバーFMLがシリンドリカルレンズアレイ12のFナンバーFSLAよりも小さい場合(FML<FSLAの場合)には、隣接するシリンドリカルレンズ12−1による撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構築画像の画質が劣化してしまうことになる。また一方で、図8(B)に示したように、撮像レンズ11のFナンバーFMLがシリンドリカルレンズアレイ12のFナンバーFSLAよりも大きい場合(FML>FSLAの場合)には、シリンドリカルレンズ12−1による撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構成画像の画素数が低下してしまうことになる。
In addition, the F number F ML along the longitudinal direction (X axis direction) of the
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the same thing as the component in 1st Embodiment, and description is abbreviate | omitted suitably.
図9は、本実施の形態に係る画像処理部(画像処理部14A)の機能ブロック構成を表したものである。この画像処理部14Aは、欠陥補正部140と、クランプ処理部141と、並べ替え処理部142と、ノイズ低減処理部143と、ホワイトバランス処理部144と、輪郭強調処理部145と、位相差検出部146と、補間画像合成部147と、再構築画像合成部148と、ガンマ補正処理部149とから構成されている。
FIG. 9 illustrates a functional block configuration of the image processing unit (
欠陥補正部140は、撮像素子13から得られる撮像データD0に含まれる黒とび等の欠陥(撮像素子13の素子自体の異常に起因した欠陥)を補正するものである。
The
クランプ処理部141は、欠陥補正部140による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理(クランプ処理)を行うものである。
The
並べ替え処理部142は、クランプ処理部142から供給される撮像データに対して所定の並べ替え処理を施すことにより、例えば各任意視点画像を生成するものである。
The
ノイズ低減処理部143は、並べ替え処理部142から供給される撮像データに含まれるノイズ(例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ)を低減する処理を行うものである。
The noise
ホワイトバランス処理部144は、ノイズ低減処理部143から供給される撮像データに対し、カラーフィルタの通過特性や撮像素子13の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理(ホワイトバランス調整処理)を行うものである。なお、ホワイトバランス処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。
The white
輪郭強調処理部145は、ホワイトバランス処理部144から供給される撮像データD1に対し、映像の輪郭を強調する輪郭強調処理を行うものである。
The contour
位相差検出部146は、輪郭強調処理部145により供給される撮像データに基づいて、互いに視差の異なる複数の視差画像(異なる視点による任意視点画像)を生成すると共に、これら複数の視差画像のうち少なくとも2枚の視差画像間の位相差DM(例えば、後述するDisparity Map)を検出するものである。このような視差画像は、撮像素子13上で受光したユニット像(再構築画素領域13D−1における像)同士の間で、同一の位置に配置された画素Pで取得された画素データ(抽出画素P10の画素データ)を抽出して合成することにより、生成することができる。このため、生成される視差画像の数は、1つのシリンドリカルレンズ12−1に割り当てられた画素と同数となる。なお、この位相差検出部146の動作の詳細は、後述する(図10および図11)。
The phase
補間画像合成部147は、位相差検出部146によって検出された位相差DMを利用して、補間合成画像データD2を生成するものである。具体的には、位相差DMを利用して補間画像を生成すると共に、ホワイトバランス処理部144から供給される視差画像(撮像データD1)と、生成した補間画像とを合成することにより、それらの合成画像(補間合成画像データD2)を生成するようになっている。なお、この補間画像合成部147の動作の詳細は、後述する(図13および図14)。
The interpolated
再構築画像合成部148は、補間画像合成部147から供給される合成画像(補間合成画像データD2)に対して所定の合成処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すことにより、再構築画像(撮像データD3)を生成するものである。
The reconstructed
ガンマ補正処理部149は、再構築画像合成部148から供給される撮像データD3に対して所定のガンマ補正(明暗やコントラストの補正)を行うことにより、撮像データDoutを生成するものである。
The gamma
次に、図9〜図14を参照して、本実施の形態の撮像装置の動作(主に画像処理部14Aの動作)について、比較例と比較しつつ詳細に説明する。ここで、図10は、2つの視差画像に基づく位相差検出動作について説明するための模式図であり、図11は、2つの視差画像による画素相関演算について説明するための模式図である。また、図12は、図18および図19に示した比較例に係る従来の撮像装置100における受光領域を平面図で表したものである。また、図13は、本実施の形態の画像補間合成前の撮像データ(撮像データD0,D1)について説明するための平面図であり、図14は、本実施の形態の画像補間合成後の撮像データ(撮像データD2)について説明するための平面図である。
Next, with reference to FIGS. 9 to 14, the operation of the imaging apparatus according to the present embodiment (mainly the operation of the
本実施の形態の撮像装置では、撮像データD0が画像処理部14Aへ入力されると、欠陥補正部140により欠陥補正がなされたのち、クランプ処理部142によりクランプ処理が施される。そして並べ替え処理部142により並べ替え処理が施され、ノイズ低減処理部143によりノイズ低減処理が施され、ホワイトバランス処理部144によりホワイトバランス処理が施されることにより、撮像データD1が、輪郭強調処理部145および補間画像合成部147へそれぞれ入力される。
In the imaging apparatus of the present embodiment, when the imaging data D0 is input to the
位相差検出部146では、互いに異なる少なくとも2つの任意視点画像間の位相差DMが検出される。具体的には、例えば図10に示したような、2つの視差による光線LRによる視点画像と光線LLによる視点画像との間の位相差Δφ(光線LRによる視点画像の位相φRと、光線LLによる視点画像の位相φLとの間の位相差)が検出される。
The phase
より具体的には、光線LRによる視点画像VRと光線LLによる視点画像VLとの位相差は、例えば以下のようなDisparityとして算出される。例えば、図11(A)に示したように、視点画像VR内の小領域の部分画像A1(中心座標:(x1,y1))を取り出すと共に、図11(B)に示したように、部分画像A1と同じ小領域の部分画像B1(中心座標:(x1,y1)を視点画像VLの中から取り出し、この部分画像B1の位置を移動させつつ、以下の(1)式による画素相関値が逐次計算される。そしてこの画素相関値が最大となる位置の部分画像B1の中心点が、部分画像A1の中心点に対応する点として検出される。このときのPixelずれが、上記したDisparityに対応する。また、このような演算処理が、小領域の部分画像A1の取り出し位置を変化させつつ、視点画像VRの全面についてなされることにより、位相差DMを表すDisparity Map(Disparityの集合)が得られる。 More specifically, the phase difference between the viewpoint image VR by the light beam LR and the viewpoint image VL by the light beam LL is calculated as, for example, the following Disparity. For example, as shown in FIG. 11A, a partial image A1 (center coordinate: (x1, y1)) of a small area in the viewpoint image VR is taken out, and a partial image as shown in FIG. A partial image B1 (center coordinates: (x1, y1)) of the same small area as the image A1 is taken out from the viewpoint image VL, and the position of the partial image B1 is moved, and the pixel correlation value by the following equation (1) is Then, the center point of the partial image B1 at the position where the pixel correlation value is maximized is detected as a point corresponding to the center point of the partial image A1. Further, such a calculation process is performed on the entire viewpoint image VR while changing the extraction position of the partial image A1 of the small region, whereby a Disparity Map (set of Disparity) representing the phase difference DM is obtained. can get.
次に、補間画像合成部147では、位相差検出部146によって検出された位相差DMを利用して、補間合成画像データD2が生成される。具体的には、位相差DMを利用して補間画像が生成されると共に、ホワイトバランス処理部144から供給される視差画像(撮像データD1)と生成した補間画像とが合成されることにより、それらの合成画像(補間合成画像データD2)が生成される。
Next, the interpolated
次に、再構築画像合成部148では、補間画像合成部147から供給される合成画像(補間合成画像データD2)に対し、所定の並べ替え処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理が施されることにより、再構築画像(撮像データD3)が生成される。
Next, the reconstructed
そして、この再構築画像のデータ(撮像データD3)に対して、ガンマ補正処理部149によってガンマ補正がなされることにより、撮像データDoutが生成され、画像処理部14Aから出力される。
The gamma
ここで、比較例に係る従来の撮像装置100において、従来の円形状の開口部101Aを有する開口絞り101を用いて、例えば図12に示したようにマイクロレンズの数を増やすことにより、各マイクロレンズに割り当てられる画素数を2×2=4つに設定した場合について考える。この場合、各画素Pでは、その受光領域が扇形状となる。このとき、その円弧付近の領域と頂角付近の領域とでは、受光される光線の進行方向が異なるものとなる。このように、一つの画素Pの受光領域130−1では、受光される光線の進行方向の分散が大きくなり、所望の進行方向の光線情報を得にくくなる。よって、単に各マイクロレンズに割り当てられる画素数を少なくするだけでは、画素Pを抽出および合成して画像を再構築した場合、再構築画像の画素数を増やすことはできるものの、画質そのものが低下してしまうことになる。
Here, in the
そこで、光線空間情報を補間生成する(画像補間を行う)ことが考えられるが、これには、本実施の形態の撮像装置のように、光線空間情報から視差情報(位相差)を検出する必要がある。ところが、従来の撮像装置100では、例えば図12に示したように、マイクロレンズの数を増やしていった場合、再構築画素領域131D−1の四隅の画素Pにおいて入射方向の情報が欠落してしまい、適切な画像補間を行うのが困難である。
Therefore, it is conceivable to generate and interpolate ray space information (perform image interpolation). For this purpose, it is necessary to detect parallax information (phase difference) from ray space information as in the imaging apparatus of the present embodiment. There is. However, in the
これに対し、本実施の形態の撮像装置では、第1の実施の形態と同様に、撮像レンズ11の開口絞り10が長方形状の開口部10Aであることにより、従来の撮像装置100とは異なり、撮像素子13のほぼ全域が受光領域130となる。したがって、構築画素領域の四隅の画素Pにおいても、入射方向の情報の欠落が回避され、必要な情報が確実に取得される。したがって、画像処理部14Aにおいて、上記したような適切な画像補間が実行可能となる。
On the other hand, in the imaging apparatus of the present embodiment, unlike the
具体的には、位相差検出部146および補間画像合成部147に対し、例えば図13に示したような撮像データD1(2×1=2つの画素Pからなる再構築画素領域13D−2を有するもの)が供給された場合、位相差検出部146において上記したような位相差DMが検出されると共に、補間画像合成部147において、この位相差DMを利用して、補間合成画像データD2が生成される。
Specifically, for the phase
これにより、例えば図14に示した補間合成画像データD2のように、視点画像(撮像データD1)と、補間画像(補間画素P11によるもの)とが合成され、合成画像(補間合成画像データD2)が生成される。よって、必要最低限の入射方向の情報を得るのに最小限の画素Pを各シリンドリカルレンズ12−1に割り当てれば良いことになり、再構成画像の解像度が向上する。 Thus, for example, as in the interpolated composite image data D2 shown in FIG. 14, the viewpoint image (imaging data D1) and the interpolated image (by the interpolated pixel P11) are combined, and the composite image (interpolated composite image data D2). Is generated. Therefore, in order to obtain information on the minimum necessary incident direction, it is sufficient to allocate the minimum number of pixels P to each cylindrical lens 12-1, and the resolution of the reconstructed image is improved.
以上のように本実施の形態では、各シリンドリカルレンズ12−1に割り当てる画素Pの数を必要最低限にまで減らして行った場合でも、位相差DMを利用して光線空間情報を補間生成することが可能となる。したがって、再構築画像の解像度(空間分解能)の向上が可能であると同時に、補間により視点数(角度分解能)を上げることも可能になり、リフォーカス分解能の向上や視域の広い立体視などを実現することが可能となる。 As described above, in the present embodiment, even when the number of pixels P assigned to each cylindrical lens 12-1 is reduced to the minimum necessary, ray space information is generated by interpolation using the phase difference DM. Is possible. Therefore, the resolution (spatial resolution) of the reconstructed image can be improved, and at the same time, the number of viewpoints (angular resolution) can be increased by interpolation, thereby improving refocus resolution and wide-viewing stereoscopic vision. It can be realized.
本発明の撮像装置は、例えば、以下説明するようなデジタルカメラ3(適用例1)や立体表示装置4(適用例2)の他、カムコーダや位置センサ、生体センサ、光学顕微鏡、FTV(Free viewpoint TV)などの用途の撮像装置に適用することができる。 The imaging apparatus of the present invention includes, for example, a digital camera 3 (Application Example 1) and a stereoscopic display apparatus 4 (Application Example 2) as described below, as well as a camcorder, a position sensor, a biological sensor, an optical microscope, and an FTV (Free viewpoint). It can be applied to an imaging device for uses such as TV).
(適用例1)
図15(A)および図15(B)は、撮像装置1を搭載したデジタルカメラ3の概略構成を表すものであり、(A)は正面図、(B)は側面図である。このデジタルカメラ3は、筐体300の内部に撮像装置1(長方形状の開口部10Aを有する開口絞り10が設けられている)を備えており、筐体300の上部には、シャッタ17、フラッシュ18およびファインダ光学系19などが設けられている。
(Application example 1)
FIGS. 15A and 15B illustrate a schematic configuration of the
(適用例2)
図16は、撮像装置1を搭載した立体表示装置4のブロック構成を表したものである。この立体表示装置4は、被写体2の立体像(3D映像)を表示するものであり、撮像装置1と、この撮像装置1から出力される撮像データDoutに基づく画像表示を行う表示パネル41と、この表示パネル41の前面(表示パネル4と視聴者5との間)に配置されたシリンドリカルレンズアレイ42(複数のシリンドリカルレンズが、X軸方向に沿って1次元配列したもの)とを備えている。なお、表示パネル41としては、例えば液晶パネルや有機EL(Electro Luminescence)パネルなどが用いられる。
(Application example 2)
FIG. 16 illustrates a block configuration of the stereoscopic display device 4 on which the
この立体表示装置4では、被写体2の各点からあらゆる方向に発せられる光線を記録しておくことにより、表示の際に、被写体2が発する光線と同じ光線場が再現される。これにより、視聴者5には、実際に被写体2を見ている時と同じ光線が目に入るため、立体映像として視聴可能となる。なお、この立体表示装置4では、撮影時と表示時とでは、レンズアレイ(シリンドリカルレンズアレイ12,42)が逆側となるため、要素画像ごとに、左右の位置を反転する処理が必要となる。
In this stereoscopic display device 4, by recording light rays emitted from each point of the subject 2 in all directions, the same light field as the light rays emitted from the
以上、第1および第2の実施の形態、ならびに適用例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。 While the present invention has been described with reference to the first and second embodiments and application examples, the present invention is not limited to these embodiments and the like, and various modifications are possible.
例えば、上記実施の形態等では、画像処理部14を撮像装置1の構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、画像処理部を、撮像装置とは別の装置、例えばPC(Personal Computer:パーソナルコンピュータ)などに設けておき、撮像装置で得られた撮像データをPCへ転送し、PCにおいて画像処理を施すようにすることも可能である。
For example, in the above-described embodiment and the like, the
また、上記実施の形態等では、位相差検出部146において、互いに視差の異なる2つの視差画像に基づいてその間の位相差を検出するようにしたが、これに限定されず、3つ以上の視差画像に基づいて位相差を検出するようにしてもよい。
In the above-described embodiment and the like, the phase
また、上記実施の形態等では、開口絞り10の位置を、撮像レンズ11の撮像対象物2側(入射側)に配置した構成としているが、これに限定されず、撮像レンズ11の像側(出射側)あるいは、撮像レンズ11内部に設けられた構成であってもよい。
Moreover, in the said embodiment etc., it is set as the structure which has arrange | positioned the position of the
また、上記実施の形態等では、開口絞り10の開口部10Aにおいて、長手方向(長軸方向)がX軸方向であると共に、短手方向(短軸方向)がY軸方向となっていたが、開口部の形状はこれには限られない。すなわち、例えば図17に示した開口絞り10−1における開口部10A−1のように、長手方向(長軸方向)がY軸方向であると共に、短手方向(短軸方向)がX軸方向となっていてもよい。このように構成した場合、被写体2の一点から出た光は、撮像レンズ11の広い開口領域全体を通り、シリンドリカルレンズアレイ12上に集光される、この際、シリンドリカルレンズ12によって、X軸方向の光線は入射角度別に分解されることになるが、Y軸方向の光線は重なったまま積分されて撮像素子13に取得されるため、より明るい撮像データを得ることが可能となる。
In the above-described embodiment and the like, in the
また、上記実施の形態等では、シリンドリカルレンズアレイ12において、複数のシリンドリカルレンズ12−1をX軸方向に沿って1次元配列する場合について説明したが、シリンドリカルレンズの形状および配列は、これには限られない。具体的には、例えば複数のシリンドリカルレンズを、Y軸方向に沿って1次元配列するようにしてもよい。
In the above-described embodiment and the like, the case where the plurality of cylindrical lenses 12-1 are arranged one-dimensionally along the X-axis direction in the
また、撮像素子13の受光面上には、例えば図示しないカラーフィルタを画素Pごとに色分けして、2次元配置するようにしてもよい。このようなカラーフィルタとしては、例えば、赤(R)、緑(G)および青(B)の3原色のカラーフィルタがR:G:B=1:2:1の比率で市松状に配置されたBayer配列のカラーフィルタ(原色フィルタ)を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子13により得られた撮像データD0を、カラーフィルタの色に対応した複数の色(この場合、3原色)の画素データとすることができ、再構築画像をカラー画像とすることが可能となる。またその際に、従来の撮像装置100とは異なり、撮像素子13のほぼ全域が受光領域130となるため、図19中の130D−2のような非受光領域がないことから、カラー補間処理を正しく行うことができ、偽色の発生も抑えることが可能となる。また、各シリンドリカルレンズ12−1に対応する画素領域ごとに色分けしたカラーフィルタを用いるようにすれれば、シリンドリカルレンズ12−1ごとに同一の位置に配置された画素を抽出した場合、抽出後も同一のカラー配列とすることができる。よって、例えば色補間などの処理を施し易くなり、偽色の発生も抑えることが可能となる。
Further, on the light receiving surface of the
1…撮像装置、10,10−1…開口絞り、10A,10A−1…開口部、11…撮像レンズ、12…シリンドリカルレンズアレイ、12−1…シリンドリカルレンズ、13…撮像素子、13D…受光領域、13D−1…受光イメージ(再構築画素領域)、13D−2,13D−3…再構築画素領域、14,14A…画像処理部、140…欠陥補正部、141…クランプ処理部、142…並び替え処理部、143…ノイズ低減処理部、144…ホワイトバランス処理部、145…輪郭強調処理部、146…位相差検出部、147…補間画像合成部、148…再構築画像合成部、149…ガンマ補正処理部、15…撮像素子駆動部、16…制御部、17…シャッタ、18…フラッシュ、19…ファインダ光学系、2…撮像対象物(被写体)、3…デジタルカメラ、300…筐体、4…立体表示装置、41…表示パネル、42…シリンドリカルレンズアレイ、5…視聴者、f1,f2…焦点距離、Sout…制御信号、D0,D1〜D3,Dout…撮像データ(画像データ)、DM…位相差情報(Disparity Map)、P…画素、P10…抽出画素、P11…補間画素、FML,FSLA…Fナンバー(F値)、VR,VL…視差画像(任意視点画像)、A1,B1…部分画像、L0…光軸、L1…光線、LR,LL…視差画像の光線、φR,φL…視差画像の位相、Δφ…位相差。
DESCRIPTION OF
Claims (7)
受光した光に基づいて撮像データを取得する撮像素子と、
前記撮像レンズ部と前記撮像素子との間で撮像レンズ部の焦点面上に配置されると共に、前記撮像素子の複数の画素に対して1つのシリンドリカルレンズを有するシリンドリカルレンズアレイ部と
を備え、
前記開口絞りが、長方形状の開口部を有する
撮像装置。 An imaging lens unit having an aperture stop;
An image sensor that acquires imaging data based on the received light;
A cylindrical lens array unit disposed on a focal plane of the imaging lens unit between the imaging lens unit and the imaging device, and having a cylindrical lens for a plurality of pixels of the imaging device;
An imaging apparatus in which the aperture stop has a rectangular opening.
請求項1に記載の撮像装置。 The imaging device according to claim 1, wherein a plurality of cylindrical lenses are arranged along a longitudinal direction of the opening.
請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, wherein an F number of the imaging lens unit is equal to an F number of the cylindrical lens array.
請求項1ないし請求項3のいずれか1項に記載の撮像装置。 The imaging apparatus according to any one of claims 1 to 3, further comprising an image processing unit that performs a predetermined rearrangement process based on imaging data obtained from the imaging element and generates a reconstructed image.
請求項4に記載の撮像装置。 The image processing unit generates a plurality of parallax images having different parallax from each other based on the imaging data, detects a phase difference between at least two parallax images among the plurality of parallax images, and detects the detected phase difference. The imaging apparatus according to claim 4, wherein the reconstructed image is generated using the imaging apparatus.
請求項5に記載の撮像装置。 The image processing unit generates an interpolated image using the phase difference, and generates the reconstructed image by performing the rearrangement process on a composite image of the parallax image and the interpolated image. Item 6. The imaging device according to Item 5.
請求項1に記載の撮像装置。 The imaging device according to claim 1, further comprising a color filter that is color-coded for each pixel on a light receiving surface side of the light receiving element.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008137711A JP2009290268A (en) | 2008-05-27 | 2008-05-27 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008137711A JP2009290268A (en) | 2008-05-27 | 2008-05-27 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009290268A true JP2009290268A (en) | 2009-12-10 |
Family
ID=41459100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008137711A Pending JP2009290268A (en) | 2008-05-27 | 2008-05-27 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009290268A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011066875A (en) * | 2009-09-18 | 2011-03-31 | Mitsubishi Electric Research Laboratories Inc | Method and apparatus for acquiring input image of scene |
JP2012100204A (en) * | 2010-11-05 | 2012-05-24 | Sony Corp | Imaging apparatus |
JP2012177756A (en) * | 2011-02-25 | 2012-09-13 | National Institute Of Information & Communication Technology | Stereoscopic image acquisition device |
JP2014161014A (en) * | 2011-03-07 | 2014-09-04 | Panasonic Corp | Imaging apparatus and range finder |
KR20160124421A (en) * | 2013-12-23 | 2016-10-27 | 유니버시티 오브 델라웨어 | 3-d light field camera and photography method |
JPWO2014083836A1 (en) * | 2012-11-30 | 2017-01-05 | パナソニックIpマネジメント株式会社 | Condensing device, solid-state imaging device, and imaging device |
EP3157244A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Plenoptic camera and method of controlling the opening of the diaphragm |
JP2017120327A (en) * | 2015-12-28 | 2017-07-06 | 大日本印刷株式会社 | Lens sheet, imaging module, and imaging apparatus |
JP2021064000A (en) * | 2021-01-04 | 2021-04-22 | 株式会社日立製作所 | Imaging device |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042314A (en) * | 1996-07-22 | 1998-02-13 | Fuji Photo Film Co Ltd | Parallax image input device |
JPH10221794A (en) * | 1997-01-31 | 1998-08-21 | Victor Co Of Japan Ltd | Stereoscopic image recorder |
JP2004085965A (en) * | 2002-08-28 | 2004-03-18 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image pickup device and stereoscopic display device |
JP2004239932A (en) * | 2003-02-03 | 2004-08-26 | Noriji Ooishi | Stereoscopic image photographing device |
JP2005050034A (en) * | 2003-07-31 | 2005-02-24 | Canon Inc | Image processing method and device |
JP2005110010A (en) * | 2003-09-30 | 2005-04-21 | Toshiba Corp | Method for generating stereoscopic image and device for displaying stereoscopic image |
WO2007115281A1 (en) * | 2006-04-04 | 2007-10-11 | Adobe Systems, Incorporated | Improved plenoptic camera |
JP2008015754A (en) * | 2006-07-05 | 2008-01-24 | Nikon Corp | Image pickup device, image processor and image processing method |
JP2008028538A (en) * | 2006-07-19 | 2008-02-07 | Nippon Hoso Kyokai <Nhk> | Element image group correction apparatus, element image group acquisition system, element image group correction method, and element image group correction program |
JP2008515110A (en) * | 2004-10-01 | 2008-05-08 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | Imaging apparatus and method |
JP2009069704A (en) * | 2007-09-14 | 2009-04-02 | Ricoh Co Ltd | Imaging apparatus, focusing information acquisition device, focusing device, imaging method, focusing information acquisition method, and focusing method |
-
2008
- 2008-05-27 JP JP2008137711A patent/JP2009290268A/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042314A (en) * | 1996-07-22 | 1998-02-13 | Fuji Photo Film Co Ltd | Parallax image input device |
JPH10221794A (en) * | 1997-01-31 | 1998-08-21 | Victor Co Of Japan Ltd | Stereoscopic image recorder |
JP2004085965A (en) * | 2002-08-28 | 2004-03-18 | Nippon Hoso Kyokai <Nhk> | Stereoscopic image pickup device and stereoscopic display device |
JP2004239932A (en) * | 2003-02-03 | 2004-08-26 | Noriji Ooishi | Stereoscopic image photographing device |
JP2005050034A (en) * | 2003-07-31 | 2005-02-24 | Canon Inc | Image processing method and device |
JP2005110010A (en) * | 2003-09-30 | 2005-04-21 | Toshiba Corp | Method for generating stereoscopic image and device for displaying stereoscopic image |
JP2008515110A (en) * | 2004-10-01 | 2008-05-08 | ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー | Imaging apparatus and method |
WO2007115281A1 (en) * | 2006-04-04 | 2007-10-11 | Adobe Systems, Incorporated | Improved plenoptic camera |
JP2008015754A (en) * | 2006-07-05 | 2008-01-24 | Nikon Corp | Image pickup device, image processor and image processing method |
JP2008028538A (en) * | 2006-07-19 | 2008-02-07 | Nippon Hoso Kyokai <Nhk> | Element image group correction apparatus, element image group acquisition system, element image group correction method, and element image group correction program |
JP2009069704A (en) * | 2007-09-14 | 2009-04-02 | Ricoh Co Ltd | Imaging apparatus, focusing information acquisition device, focusing device, imaging method, focusing information acquisition method, and focusing method |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011066875A (en) * | 2009-09-18 | 2011-03-31 | Mitsubishi Electric Research Laboratories Inc | Method and apparatus for acquiring input image of scene |
JP2012100204A (en) * | 2010-11-05 | 2012-05-24 | Sony Corp | Imaging apparatus |
JP2012177756A (en) * | 2011-02-25 | 2012-09-13 | National Institute Of Information & Communication Technology | Stereoscopic image acquisition device |
JP2014161014A (en) * | 2011-03-07 | 2014-09-04 | Panasonic Corp | Imaging apparatus and range finder |
US9182602B2 (en) | 2011-03-07 | 2015-11-10 | Panasonic Intellectual Property Management Co., Ltd. | Image pickup device and rangefinder device |
US9673241B2 (en) | 2012-11-30 | 2017-06-06 | Panasonic Intellectual Property Management Co., Ltd. | Light-condensing unit, solid-state image sensor, and image capture device |
JPWO2014083836A1 (en) * | 2012-11-30 | 2017-01-05 | パナソニックIpマネジメント株式会社 | Condensing device, solid-state imaging device, and imaging device |
JP2020126245A (en) * | 2013-12-23 | 2020-08-20 | ユニバーシティー オブ デラウェア | 3d light field camera and image capturing method |
JP2017510831A (en) * | 2013-12-23 | 2017-04-13 | ユニバーシティー オブ デラウェア | 3D light field camera and photographing method |
US10397545B2 (en) | 2013-12-23 | 2019-08-27 | University Of Deleware | 3-D light field camera and photography method |
KR20160124421A (en) * | 2013-12-23 | 2016-10-27 | 유니버시티 오브 델라웨어 | 3-d light field camera and photography method |
KR102303389B1 (en) * | 2013-12-23 | 2021-09-16 | 유니버시티 오브 델라웨어 | 3-d light field camera and photography method |
JP7048995B2 (en) | 2013-12-23 | 2022-04-06 | ユニバーシティー オブ デラウェア | 3D light field camera and shooting method |
EP3157244A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Plenoptic camera and method of controlling the opening of the diaphragm |
JP2017120327A (en) * | 2015-12-28 | 2017-07-06 | 大日本印刷株式会社 | Lens sheet, imaging module, and imaging apparatus |
JP2021064000A (en) * | 2021-01-04 | 2021-04-22 | 株式会社日立製作所 | Imaging device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4706882B2 (en) | Imaging device | |
JP4900723B2 (en) | Image processing apparatus, image processing program, and display apparatus | |
JP4941332B2 (en) | Imaging device | |
JP5224124B2 (en) | Imaging device | |
JP4905326B2 (en) | Imaging device | |
JP5463718B2 (en) | Imaging device | |
JP5515396B2 (en) | Imaging device | |
JP5472584B2 (en) | Imaging device | |
JP4483951B2 (en) | Imaging device | |
JP2009290268A (en) | Imaging apparatus | |
JP2010057067A (en) | Image pickup apparatus and image processing apparatus | |
JP4967873B2 (en) | Imaging device | |
JP4538766B2 (en) | Imaging device, display device, and image processing device | |
US9826139B2 (en) | Image processing apparatus, image processing method, program, and image pickup apparatus having the image processing apparatus | |
JP5224046B2 (en) | Image processing apparatus, imaging apparatus, and display apparatus | |
CN103688536B (en) | Image processing apparatus, image processing method | |
CN105872525A (en) | Image processing apparatus and image processing method | |
JP2012191351A (en) | Image pickup apparatus and image processing method | |
JP2015169722A (en) | Imaging apparatus | |
JP6671130B2 (en) | Imaging device, imaging device, focus detection device, image processing device, and control method therefor | |
JP2015185943A (en) | Microlens with filter array and solid state image sensor | |
JP6190119B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP2006165601A (en) | Imaging apparatus and imaging element | |
JP5874334B2 (en) | Image processing apparatus, imaging apparatus, image processing program, and imaging apparatus control program | |
JP2011182325A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130130 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130530 |