JP2019521599A - 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング - Google Patents

改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング Download PDF

Info

Publication number
JP2019521599A
JP2019521599A JP2018567102A JP2018567102A JP2019521599A JP 2019521599 A JP2019521599 A JP 2019521599A JP 2018567102 A JP2018567102 A JP 2018567102A JP 2018567102 A JP2018567102 A JP 2018567102A JP 2019521599 A JP2019521599 A JP 2019521599A
Authority
JP
Japan
Prior art keywords
images
rays
pixel
image
excited state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018567102A
Other languages
English (en)
Other versions
JP2019521599A5 (ja
JP6998898B2 (ja
Inventor
スクアルネック,ニコラ ル
スクアルネック,ニコラ ル
シューベルト,アルノー
ドラジック,ヴァルター
Original Assignee
インターデジタル シーイー パテント ホールディングス
インターデジタル シーイー パテント ホールディングス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル シーイー パテント ホールディングス, インターデジタル シーイー パテント ホールディングス filed Critical インターデジタル シーイー パテント ホールディングス
Publication of JP2019521599A publication Critical patent/JP2019521599A/ja
Publication of JP2019521599A5 publication Critical patent/JP2019521599A5/ja
Priority to JP2021207302A priority Critical patent/JP2022046601A/ja
Application granted granted Critical
Publication of JP6998898B2 publication Critical patent/JP6998898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/957Light-field or plenoptic cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)

Abstract

マイクロレンズアレイの前のメインレンズと画像センサとを有するプレノプティックカメラを用いて高解像度画像を生成するシステム及び方法であって、前記メインレンズと前記マイクロレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第1の非励起状態において第1の画像セットを捕捉することであって、前記複屈折媒体の前記非励起状態が、各画素に常光線を提供することと、前記複屈折媒体の両端にわたって電圧を印加することによって、第1の非励起状態が第2の励起状態になるようにすることと、第2の励起状態において第2の画像セットを捕捉することであって、前記複屈折媒体の前記励起状態が、前記メインレンズからの光を常光線及び異常光線に分割し、前記異常光線が、前記画像センサにおいて常光線から一半画素の距離だけシフトされることと、前記第2の画像セットに関連する画素値から前記第1の画像セットに関連する画素値を少なくとも2回減算することと、前記減算及び前記第1の画像セットから、高解像度を備えた最終画像セットを生成することと、を含むことを特徴とするシステム及び方法。

Description

技術分野
本開示は、一般にデジタル画像処理に関し、特にデモザイキングを用いるプレノプティック撮像技術に関する。
背景
このセクションは、読者に技術の様々な態様を紹介するように意図されており、技術の様々な態様は、以下で説明及び/又は請求される本発明の様々な態様と関係し得る。この論考は、よりよい理解を促進するために、読者に背景情報を提供する際に役立つと考えられる。従って、これらの文言が、この観点で読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。
写真術は、光又は他の電磁放射を記録することによって、耐久性のある画像を作成する。画像は、画像センサによって電子的に、又は感光性材料によって化学的に捕捉される。通常のカメラにおいて、時間の決まった露光中にカメラの内部で、対象から反射又は放射された光を感光性表面上で実画像に合焦させるために、レンズが用いられる。電子画像センサを用いると、電荷が、各画素において生成され、次にそれが、処理されて、更なる使用のためにデジタル画像ファイルに格納される。従来の写真術において、焦点面は、ほぼ平面又は焦平面である。焦点面は、カメラの光学軸に垂直であり、被写界深度は、平面に沿って一定である。対照的に、プレノプティックカメラにおいて、各マイクロ画像は、捕捉されたシーンのエリアを描写し、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定の領域を示す。次に、シーンの生画像が、全てのマイクロ画像の和の結果として取得され、生画像は、明視野の角度情報を含む。従って、生画像における隣接画素は、各画素が、相異なるビューに対応するので、相異なる角度情報を含む。
プレノプティックカメラは、マイクロレンズアレイを用いるが、マイクロレンズアレイは、メインレンズの画像平面に、且つ1つのマイクロ画像(サブ画像とも呼ばれる)が投影される光センサアレイの前に配置される。メインレンズとセンサとの間にマイクロレンズアレイを配置することによって、プレノプティックカメラは、カメラに入る光束の位置、強度及び色に加えて、カメラに入る光束の方向を捕捉する。次に、捕捉されたデータは、シーンにわたるわずかに相異なる視点からの水平及び垂直に整列されたビューのマトリックスを提供するために、逆多重化される。従って、各マイクロ画像は、捕捉されたシーンのエリアを描き、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定のエリアを示す。次に、シーンの生画像は、光センサアレイのそれぞれの部分から取得された全てのマイクロ画像の和の結果として取得される。
手持ち式プレノプティックカメラの最近の公開は、明視野撮像の可能性を大衆市場に導入した。この新しい能力は、多数の明視野用途の導入における興味を急に増加させた。幾つかの人気のある用途には、奥行き推定又は捕捉後再合焦に集中することが含まれる。生データ変換は、複雑であり、且つ解決される必要のある幾つかの問題を含む。1つのかかる問題は、優れた解像度を提供することに関する問題を伴う。従って、捕捉された生データを用いて、よりよい画像解像度を提供できる改善された技術の必要がある。
概要
追加の特徴及び利点は、本開示の技術を通して実現される。本発明の他の実施形態及び態様は、本明細書で詳細に説明され、且つ請求される本発明の一部と考えられる。利点及び特徴と共に本発明のよりよい理解のために、説明及び図面を参照する。
プレノプティックカメラを用いて高解像度画像を生成するシステム及び方法が提供される。一実施形態において、メインレンズと複数のアパーチャを有するレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第1の非励起状態において第1の画像セットを捕捉することを含む。次に、第1の画像セットの各画素は、第1のアパーチャセットにマップされる。次に、第1の非励起状態は、前記複屈折媒体の両端にわたって電圧を印加することによって、第2の励起状態になるようにされる。第2の画像セットが、第2の励起状態において捕捉され、第2の画像の第2の画素セットが、第2のアパーチャセットにマップされる。各第1及び第2の画像セット用の値が計算され、前記第1の画像セットに関連する値は、前記第2の画像セットから計算された値から少なくとも2回減算される。
図面の簡単な説明
本開示は、添付の図を参照し、決して限定的ではない以下の実施形態及び実行例によって、よりよく理解され例示されよう。
図1〜4において、表現された図は、純粋に機能エンティティである例を提供し、必ずしも物理的に別個のエンティティに対応するわけではない。即ち、それらは、ソフトウェアかハードウェアの形で開発され得、又は1つ又は複数のプロセッサを含む1つ又は幾つかの集積回路において実現され得る。
可能な限り、同じ参照数字は、図の全体にわたって、同じ又は同様の部分を指すために用いられる。
デモザイキングプロセスにおいて用いられるカラーフィルタアレイ(CFA)を示すブロック図である。 カラーフィルタアレイ(CFA)パターンで捕捉されたプレノプティックマイクロ画像の描写である。 カラーフィルタ及びマイクロレンズアレイを用いて捕捉された逆多重化画像の実例である。 一実施形態に従って、通常及び異常状態の両方の画素マッピングに対するサブアパーチャ用の図の描写である。 図3Aに示されている実施形態によって提供されるような通常状態のより詳細な画素マッピングを提供するズーム画像の実例である。 図3Aに示されている実施形態によって提供されるような通常状態のより詳細な画素マッピングを提供するズーム画像の実例である。 一実施形態による、図3におけるプロセスの流れ図描写である。
説明
本発明の図及び説明が、本発明の明確な理解に適した要素を示すために簡略化され、一方で明確にするために、典型的なデジタルマルチメディアコンテンツ送出方法及びシステムにおいて見出される多くの他の要素を削除することを理解されたい。しかしながら、かかる要素が、当該技術分野においてよく知られているので、かかる要素の詳細な説明は、本明細書では提供されない。本明細書における開示は、全てのかかる変形及び修正に向けられている。
図1は、デモザイキングプロセスにおいて使用されるカラーフィルタアレイ(CFA)を用いたプレノプティックマイクロ画像マトリックスの先行技術の描写である。デモザイキングは、当業者には周知のように、図1で用いられるCFAなどのフィルタで覆われた画像センサから出力された不完全なカラーサンプルを再構成することによって、画像を処理するための技術である。カラーフィルタアレイは、不完全なカラーサンプルからフルカラー画像を再構成するために、カラーフィルタアレイを使用するデモザイキングプロセス及びデジタル画像処理技術において用いられる。カラーサンプルは、CFAで覆われた1つ又は複数の画像センサの出力であることが多い。カラーフィルタアレイは、1つ又は複数の画像センサの前におけるカラーフィルタモザイクである。商業的に最も一般的に用いられるCFA構成は、ベイヤーフィルタである。図1の先行技術の例は、かかるフィルタの例を提供する。図示のように、奇数行用の交互の赤色(R)及び緑色(G)フィルタは、点在された緑色(G)及び青色(B)フィルタを含む介在行と偶数行で更に交互にされる。これは、ベイヤーパターンが、各次元(垂直及び水平)において2つの相異なる色画素の周期を備えた周期パターンであるからである。水平全方向において、単一の周期は、緑色画素及び赤色画素、又は青色画素及び緑色画素のどちらかを含む。垂直方向において、単一の周期は、緑色画素及び青色画素、又は赤色画素及び緑色画素のどちらかを含む。
この例におけるように最終結果として、赤色又は青色フィルタの二倍の緑色フィルタが存在して、緑色光に対する人間の目のより高い感度に応える。CFAのカラーサブサンプリングは、その性質上、エイリアシングに帰着し、従って光学アンチエイリアシングフィルタが、補間によって導入された偽色アーチファクト(色エイリアス)を低減するために、画像センサとレンズとの間の光路に配置される。センサの各画素が、カラーフィルタの背後にあるので、出力は、画素値のアレイであり、各画素値は、3つのフィルタカラーの1つにおける生の強度を表す。ベイヤーフィルタは、均一なグリッド上で多変量補間を用いるCFAの例である。従って、単一の成分ではなく、全ての色成分用の色レベルを各画素用に評価するために、アルゴリズムが必要とされる。従来のデモザイキングアルゴリズムは、CFA又は他のフィルタから出力された、かかる空間的にアンダーサンプリングされたカラーチャンネルからのフルカラー画像を再構成する。
かかるアルゴリズムに含まれる数学的演算は、それが、同じ色成分の近くの例に基づくので単純である。かかる補間アルゴリズムの最も単純な方法は、同じカラーチャネルの隣接画素を単にコピーする最近傍補間に依存する。しかしながら、かかるフィルタは、画像の詳細及び質が重要ないかなる用途にも適していない。加えて、これらの方法は、均質な画像領域において優れた結果を得ることができるが、それらは、純色CFAと共に用いられた場合に、エッジ及び詳細を備えた領域において激しいデモザイキングアーチファクトを被りやすい。より洗練されたデモザイキングアルゴリズムは、カラー画像内の画素の空間及び/又はスペクトル相関を活用するが、しかしそれらは、図2Bを参照することによって一層詳細に分かるように、やはり問題となる。図2Aは、プレノプティックカメラによって捕捉されたマイクロ画像を図示する例示的な実施形態である。各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。複数のレンズを通したサンプリング故に、ひとたびサブアパーチャビューが逆多重化されると、最終画像は、従来の撮像システムと比較した場合に、低解像度を有する可能性がある。これらの技術は、図3及び4に関連して、より詳細に説明される。この解像度は、いかなる追加センサも要求せずに、大いに向上させることができる。図2Aにおいて、より明るい陰は、緑色(G)を表し、一方で最も暗い陰は、青色(B)を表し、中間モノクロ階調は、赤色(R)を表す。この例において、各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。
六角サンプリング、レンズと画素グリッドとの間の残留回転、及びCFA故に、ひとたびサブアパーチャビューが逆多重化されると、後続のビューは、幾つかのエリアにおいて、ビューから情報又は色が欠ける可能性がある。シーンにおけるビュー又は対象の欠けた部分を回復するために、プレノプティックカメラによって取得された生データをデモザイクし、次にビューを回復するように逆多重化することが可能である。問題は、ほとんどの例において、これが、ビュー上の色アーチファクトにつながるということである。隣接画素構成が、相異なる角度情報を含むプレノプティック生画像上で用いられる事例を検討する(マイクロレンズ下の各画素は、相異なるビューに対応する)。この場合における生プレノプティック画像のデモザイキングは、角度情報を潜在的に誤って混合する。いわゆるビュークロストークアーチファクトを生成する隣接色値を補間する従来のアルゴリズムにおいて、これは、誤った結果をもたらす。
更に、デモザイクされた生画像から取得されたビューからの視差推定が、更に大きな誤差を被りやすいことが示された。図2Bは、説明されるような逆多重化画像の実例である。図2Bの図示された例において、シーンは、1つ又は複数の対象のビュー又は画像を提供される。画像は、プレノプティックカメラによって捕捉された。図2Bのビューを見ると、提示されているシーンの画像を認識するのは困難である。対象の全体的な輪郭は、図2Bにおいて見えるが、しかし詳細な対象認識を可能にするためには、十分な情報が画像には提供されていない。陰、強度、及び色が完全に欠けたわけではない例においてさえ、補色情報は、ほとんどの例において問題となる離れた画素から補間される必要がある。これは、解像度に大きく影響する。図2Bにおいて、デモザイクされた画像は、やはり情報を欠いているが、しかし画像は、適切な手法で逆多重化される。デモザイキングなしでは、生データは、デモザイクされずにシーンのビューへと逆多重化されることを要求する。解像度の向上は、低い光及びより高いノイズにおける一層貧弱な性能に結びつくより小さな「セル」を用いる一層高解像度のセンサの使用を要求する。しかしながら、かかる質の追加センサセルが用いられる場合でさえ、この技術は、すぐに限界に遭遇する。図3及び4に関連して説明されるような本技術は、優れた性能に適したオリジナルセンサのどれもが、改善された最終解像度品質でやはり使用され得るように、光学解像度を向上させる手法を提供する。
一実施形態において、電圧の印加で複屈折媒体に変わる媒体が用いられる。複屈折は、光線が当たった場合に、2つの屈折光線の生成を引き起こす結晶材料の特性である。この特性は、媒体における原子の非等方性分布故であり、且つ結晶メッシュ構造が強く非等方性である結晶媒体において生じる。石英及び方解石は、複屈折を示す天然素材である。それらの媒体を用いると、非偏光光線が、特定の方位にあるそれらの媒体表面の1つに当たった場合に、2つの光線が屈折で生成される。これらの光線の1つは、1つの偏光特性を有し、もう一方は、わずかに異なる偏光特性を有する。スネル−デカルトの法則:nsinθ=nsinθに従うと、この式でn及びnは、入射及び屈折媒体のそれぞれの(且つ相異なる)屈折率であり、θ及びθは、入射角度及び屈折角度である。
複屈折材料は、スネルの法則に従って光線を屈折させるが、しかし媒体における有効屈折率は、入力偏光状態、及び屈折光線が結晶軸に対して作る角度に依存する。複屈折材料において、2つのタイプの光線が、通常及び異常として定義され得る。常光線は、スネルの原理、即ちn sinθ=n sinθ’に従って屈折され、この式で「0」は、常光線屈折率を表す。
複屈折媒体において、スネル−デカルトの法則に従う光線は、常光線と呼ばれ、媒体は、1つの常光線屈折率nを有する。生成される第2の光線は、別の屈折nを経験し、それは、異常光線屈折率nを有する、且つ常光線に垂直に偏光される材料内の或る方向に伝搬する。複屈折媒体において、2つの光線が、相異なる伝搬方向を備えて生成される。
異常光線用に、複屈折の事例において、屈折の法則は、n sinθ=n(θ)sinθ’を提供し、この式で、複屈折材料における有効屈折率は、角度θの関数である。角度θは、結晶軸ベクトル「a」と屈折波ベクトル「k」との間の角度である。加えて、光線ベクトル「s」は、エネルギ伝搬の方向を指し示すベクトルであるが、波ベクトル「k」には従わず、ベクトル「k」に対して小さな角度を作る。等方性媒体において、ベクトル「k」及び「s」は、同じである。従って、ほとんどの光学設計用に、ベクトル「k」は、考慮されなければならない。これらの事例において、角度θは、次のように定義される。
Figure 2019521599
有効屈折率は、
Figure 2019521599
によって定義される。
この式で、nは、常光線屈折率であり、nは、異常光線屈折率である。
Figure 2019521599

間の角度αは、
Figure 2019521599
によって定義され、この場合に
Figure 2019521599
であり、及びベクトル
Figure 2019521599
は、両方とも結晶軸ベクトル
Figure 2019521599
と共面である。波ベクトル
Figure 2019521599
は、法線に沿って波面を指し示し、一方で、
Figure 2019521599
は、エネルギ伝搬の方向に沿って指し示す。
図3Aは、通常状態及び異常状態両方の画素マッピングに対するサブアパーチャ用の図を図示する。示されているように、複数の光線(一般に320として示されている)が、参照数字325によって示されている媒体を通過する。図の右側に、一般に参照数字327によって示されているメインレンズの射出瞳がある。このメインレンズ出口は、参照数字352によって集合的に示されているように、サブアパーチャV1〜V12に更に分割される。この実施形態において、媒体330は、電気的に制御可能である。一実施形態において、複屈折材料が用いられるが、しかし当業者によって認識され得るように、様々な類似の媒体が利用可能である。一例において、複屈折媒体を提供するために、ツイストネマティック液晶(TN)を組み込む媒体が用いられる。TN液晶は、一実施形態において、透明酸化インジウムスズ(ITO)電極を有する2つのガラスプレート間に挟むことができる。一例では、セルの接地状態で、TNセルに電圧が印加されない状態において、サブアパーチャは、常光線を表現する緑色ラインに従って、マイクロ画像当たり1つの単独の画素上にそれぞれ撮像される。
図3Aは、1つのマイクロレンズを示し、1つの画素列は、常光線が、2つのサブアパーチャ画素(常光線に対応する1つ、異常光線に対応する1つ)に各センサ画素をどのようにマップするかを示す。物事が、異常光線に関してどのように働くかを理解するために、画素からサブアパーチャへと逆に青色光線(より暗い陰で示されている)に従うのがよりよい。1つの画素を去ると、異常光線は、青色経路(図における暗い灰色)に従う。それは、そのマイクロレンズの光学中心と交差し、次に複屈折セル325に当たる。セルは、印加電圧でその「異常」状態にあり、従ってこの時、2つの光線、即ち、常光線として屈折する緑色及び異常光線として屈折する青色が生成される。両方が、メインレンズの射出瞳に当たると、常光線は、1つのサブアパーチャ上で終わり、一方で異常光線は、別のサブアパーチャへとマップする。これは、1つが、正常状態において射出瞳から始まる場合に、メインサブアパーチャ(緑色v2〜v12、v13〜v23)の常光線が、センサ画素に当たり、二次サブアパーチャが、落とされて無視されることを意味する。「異常」状態において、光の一部は、メインサブアパーチャ(図における緑色又は明るい灰色−常光線として)から来て、光の別の部分は、二次サブアパーチャ(青色v1〜v11〜v14〜v24)から来る。これは、通常状態で一度、且つ異常状態で一度、変調器でセンサを読み出すことによって、解像度を2回捕捉できるようにする。後の処理は、より高い解像度の画像を回復する。
図3B及び3Cは、それぞれ、図3Aのエリア310のより詳細な実例を提供する。より具体的には、図3Bは、常(緑色−明るい灰色)光線をより詳細に示し、一方で図3Cは、異常(青又は暗い灰色)光線をより詳細に示す。このように、図3Aの通常状態(緑色)及び異常状態(青色)の画素マッピングに対するサブアパーチャは、図3B及び3Cにおいて提供される詳細を見ることによってより明白になる。
通常状態において、画素v1〜v11は読み出され、間の画素(例えばv1/2+v2/2...v11/2+v12/2)(示されていない光線)は、サブアパーチャ間に落ち込む。プレノプティック画像に解像度情報を追加するには、2つの画像が連続して撮られることを必要とする。第1の画像は、通常状態におけるセルでt0に撮られる。センサ上の画素は、次の状態を記録する。
P(t0,v2),P(t0,v4),P(t0,v6),...,P(t0,v12),P(t0,v13),P(t0,v15),P(t0,v17),...,P(t0,v23)
第2の画像は、異常状態におけるセルでt1に撮られる。シーンに偏光現象が存在しない場合に、等しい強度の2つの光線が生成される。
P(t,v1)/2+P(t,v2)/2,P(t,v3)/2+P(t,v4)/2
従って、
第1の画像が、2つの時間から減算された場合に、画素用の第2のショットは、境界線でない。一実施形態ごとに、v1、v24を回復すること、従って単に12の画素を有するセンサで24の値を読み出すことが可能である。
画素の残りにこの概念を適用すると、2つのシーンショットが、t0及びt1で生成される場合に、これらから、従来の方法を用いて通常提供されるより二倍多くの解像度情報を可能にする画素値の線形結合が取得され得る。一例において、このシステムにおいて用いられる追加コンポーネントは、ツイストネマティック(TN)セルである。
このシステムにおいて用いられる追加コンポーネントは、TNセルである。液晶は、常光線屈折率nと異常屈折率nとの間の値に大きな差を有し得る。幾つかの事例において、例えば当業者に周知のようなMLC−9200−100と名付けられたLC混合物は、非常に大きな差であるn−n>0.2を有し得る。しかしながら、幾つかの実施形態において、これは、セルの厚さを低減するために必要とされる。この厚さは、マイクロレンズアレイとセンサとの間のセルの配置と適合するように調整される必要があり、従って、いかなるサイズ低減も、ある用途において有用になり得る(たとえ数mmであっても)。
図4は、一実施形態に従って上記で説明したプロセスの流れ図表現である。図4は、複数のアパーチャを有するレンズアレイの前にメインレンズを配置したプレノプティックカメラを用いて、相異なる色強度及び特性の複数の画像を生成する方法用のステップを図示する。図4においてステップ410に示されているように、第1の画像セットが、電気光学偏光変調器の第1の状態を用いて捕捉される。一実施形態において、変調器は、前記メインレンズと複数のアパーチャを備えたレンズアレイとの間に配置される。ステップ420において、第2の画像セットが、電気光学偏光変調器の第2の状態を用いて捕捉される。ステップ430において、第2の画像セットに関する情報は、例えば構成されたプロセッサなどを用いて、第1のセットに関する情報から減算される。ステップ440において、最終画像セットが減算後に生成され、前記最終画像セットが、解像度を向上させるようにする。一実施形態において、相異なる色強度及び特性の複数の画像を生成するためのシステムは、図4の方法ステップ並びに図3A及び3Bの配置を行うために用いることができる。この実施形態において、メインレンズ(310)は、複数のアパーチャに関連するレンズアレイ(352)の前に配置される。図3Aに示されているような電気的に制御される電気光学変調器(325)は、示されているマイクロレンズとレンズアレイとの間に配置することができる。電気光学変調器は、電圧が印加されると、2つの状態(図3Aの330及び340)の間で機能する。次に、図4に関連して説明されているように、第1の画像セットは、電気光学偏光変調器の第1の状態を用いて捕捉され、第2の画像セットも又、電気光学偏光変調器の第2の状態を用いて捕捉される。続いて、向上された色強度及び特性を備えた最終画像セットを生成する(図4の440)ために、捕捉された画像の第1のセットに関する情報から前記第2の画像セットに関する情報を減算するように構成されるプロセッサが、システムに組み込まれ得る。このようにして、プレノプティックカメラが非常に乏しい色情報を伝える非常に複雑な状況においてさえ、豊富な色情報が、取得され得る。

Claims (15)

  1. プレノプティックカメラを用いて高解像度画像を生成する方法であって、
    メインレンズと、複数のアパーチャを有するレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第1の非励起状態において第1の画像セットを捕捉すること(410)と、
    前記第1の画像セットの各画素を第1のアパーチャセットにマップすること(410)と、
    前記複屈折媒体の両端にわたって電圧を印加することによって、前記第1の非励起状態を第2の励起状態(415)にさせること(410)と、
    第2の光線セットが生成されるように、第2の励起状態において第2の画像セットを捕捉すること(420)と、
    前記第2の画素セットの各画素を第2のサブアパーチャセットにマップすること(420)と、
    前記第1の画像セット及び第2の画像セット用の値を計算すること(430)と、
    前記第2の画像セットに関連する計算された値から前記第1の画像セットに関連する値を少なくとも2回減算すること(430)と、
    を含む方法。
  2. 前記減算ステップ後に、最終画像セットを生成すること(440)を更に含む、請求項1に記載の方法。
  3. 前記複屈折媒体の両端にわたる電圧の前記印加が、相異なるアパーチャセットにマップされる2つの同期光線セットを生成させる、請求項1に記載の方法。
  4. 前記2つの光線セットが、それぞれ緑色及び青色であり、前記マップされたアパーチャの幾つかが共有される、請求項3に記載の方法。
  5. 前記第2の励起状態が、電圧のない状態で前記第1の状態に戻る、請求項1又は4に記載の方法。
  6. 第1のセットが、第1の下部アパーチャにマップされ、第2のセットが、第2の上部アパーチャにマップされるように、電圧の前記印加が、2つの同期光線セットを生成する、請求項1に記載の方法。
  7. 前記第2の光線セットが、前記第1の光線セットと相異なる第2の屈折角を有する、請求項1、4又は6に記載の方法。
  8. 前記第1及び前記第2の光線セットが、相異なる方向に伝搬する、請求項1、4又は6に記載の方法。
  9. 前記第1及び第2のセット光線が、相異なる屈折率を有する、請求項7に記載の方法。
  10. 前記第1及び第2のセット光線が、相異なる伝搬距離で生成される、請求項1〜9のいずれか一項に記載の方法。
  11. 相異なる色強度及び特性の多数の画像を生成するシステムであって、
    複数のアパーチャに関連するレンズアレイ(352)の前に配置されたメインレンズ(310)と、
    前記メインレンズと前記レンズアレイとの間に配置された電気的に制御される複屈折媒体(325)であって、電圧の印加で、第1の非励起状態(340)と第2の励起状態(330)との間で動作する複屈折媒体(325)と、
    第1の画像セットの各画素が、第1のアパーチャセットに対応するように、前記第1の非励起状態中に、前記第1の画像セットを捕捉しマップする(420)手段と、
    第2の画像セットの各画素が、第2のアパーチャセットに対応するように、前記第2の励起状態中に、前記第2の画像セットを捕捉しマップする(430)手段と、
    前記異常状態において第2の画像セットを捕捉する手段と、
    前記第1の画像セット及び第2の画像セットに関連する画素用の値を計算する(430)ように構成されたプロセッサ(440)であって、前記第2の画像セットに関連する画素から計算された値から前記第1の画像セットに関連する値を少なくとも2回減算する(430)ように同様に構成されたプロセッサ(440)と、
    を含むシステム。
  12. 更に、電圧の前記印加が、2つの同期光線セットを生成し、第1のセットが、第1の下部アパーチャにマップされ、第2のセットが、第2の上部アパーチャにマップされるようにする、請求項11に記載のシステム。
  13. 前記第1の光線が、前記第1の非励起状態に関連するものとして屈折する緑色であり、前記第2の光線が、前記励起された第2の励起状態に関連するものとして屈折する青色である、請求項12に記載のシステム。
  14. 前記第1及び光線の第2のセットが、相異なる伝搬距離で生成される、請求項11、12又は13に記載のシステム。
  15. 前記第1及び前記第2の光線セットが、相異なる方向に伝搬する、請求項14に記載のシステム。
JP2018567102A 2016-06-30 2017-06-27 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング Active JP6998898B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021207302A JP2022046601A (ja) 2016-06-30 2021-12-21 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305821.7A EP3264741A1 (en) 2016-06-30 2016-06-30 Plenoptic sub aperture view shuffling with improved resolution
EP16305821.7 2016-06-30
PCT/EP2017/065914 WO2018002089A1 (en) 2016-06-30 2017-06-27 Plenoptic sub aperture view shuffling with improved resolution

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021207302A Division JP2022046601A (ja) 2016-06-30 2021-12-21 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング

Publications (3)

Publication Number Publication Date
JP2019521599A true JP2019521599A (ja) 2019-07-25
JP2019521599A5 JP2019521599A5 (ja) 2021-09-24
JP6998898B2 JP6998898B2 (ja) 2022-01-18

Family

ID=56411558

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018567102A Active JP6998898B2 (ja) 2016-06-30 2017-06-27 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング
JP2021207302A Pending JP2022046601A (ja) 2016-06-30 2021-12-21 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021207302A Pending JP2022046601A (ja) 2016-06-30 2021-12-21 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング

Country Status (10)

Country Link
US (2) US10834313B2 (ja)
EP (3) EP3264741A1 (ja)
JP (2) JP6998898B2 (ja)
KR (2) KR102314719B1 (ja)
CN (2) CN109417590B (ja)
BR (1) BR112018077493A2 (ja)
CA (1) CA3029463A1 (ja)
MX (1) MX2018016308A (ja)
RU (1) RU2019102372A (ja)
WO (1) WO2018002089A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921801B (zh) * 2018-06-26 2020-01-07 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
CN108776954B (zh) * 2018-06-26 2020-04-28 北京字节跳动网络技术有限公司 用于生成图像的方法和装置
DE102019133642A1 (de) * 2018-12-12 2020-06-18 Magna Closures Inc. Digitales bildgebungssystem einschliesslich optischer plenoptik-vorrichtung und bilddaten-verarbeitungsverfahren zur erfassung von fahrzeughindernissen und gesten

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08250692A (ja) * 1995-03-10 1996-09-27 Sharp Corp 光学装置
JP2008167154A (ja) * 2006-12-28 2008-07-17 Sony Corp 撮像装置
JP2010239290A (ja) * 2009-03-30 2010-10-21 Sharp Corp 撮像装置
JP2012042859A (ja) * 2010-08-23 2012-03-01 Olympus Corp 撮像装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4394069A (en) * 1979-06-05 1983-07-19 Beckman Instruments, Inc. Liquid crystal tuned birefringent filter
JP3380913B2 (ja) * 1992-06-11 2003-02-24 ソニー株式会社 固体撮像装置
JPH09130818A (ja) * 1995-08-29 1997-05-16 Casio Comput Co Ltd 撮像装置と撮像方法
KR100533611B1 (ko) * 2000-06-16 2005-12-05 샤프 가부시키가이샤 투영형 화상표시장치
JP2004151139A (ja) * 2002-10-28 2004-05-27 Sharp Corp 光学シフト素子および投影型画像表示装置
KR100657695B1 (ko) * 2004-12-15 2006-12-14 주식회사 대우일렉트로닉스 홀로그래픽 롬 디스크의 기준광 서보 제어방법 및 그 장치
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7923801B2 (en) * 2007-04-18 2011-04-12 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
KR20110059686A (ko) 2008-10-02 2011-06-03 파나소닉 주식회사 화소 시프트형 촬상 장치
JP5453958B2 (ja) * 2009-07-01 2014-03-26 ソニー株式会社 撮像装置
EP2488860A4 (en) * 2009-10-12 2015-12-16 Ventana Med Syst Inc MULTIMODALITY CONTRAST AND WIDE-FIELD CONTEXTING FOR IMPROVED PATHOLOGY ASSESSMENT AND MULTANALYTE DETECTION IN TISSUE
US8502909B2 (en) * 2009-10-19 2013-08-06 Pixar Super light-field lens
JP5568945B2 (ja) * 2009-10-20 2014-08-13 株式会社リコー 画像形成装置
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8504328B2 (en) * 2010-05-21 2013-08-06 Eastman Kodak Company Designing lenses using stress birefringence performance criterion
US8542288B2 (en) 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
JP5764747B2 (ja) * 2011-09-02 2015-08-19 パナソニックIpマネジメント株式会社 偏光撮像素子および内視鏡
JP5913934B2 (ja) 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US9462254B2 (en) 2012-02-08 2016-10-04 Panasonic Intellectual Property Management Co., Ltd. Light field image capture device and image sensor
KR20140061234A (ko) * 2012-11-13 2014-05-21 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
US9137524B2 (en) * 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
US20140354777A1 (en) * 2013-05-29 2014-12-04 Electronics And Telecommunications Research Institute Apparatus and method for obtaining spatial information using active array lens
JP5805153B2 (ja) * 2013-08-08 2015-11-04 キヤノン株式会社 レンズ装置及びその制御方法
JP6403776B2 (ja) * 2013-08-19 2018-10-10 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 光学検出器
BR112016004827A8 (pt) * 2013-09-04 2020-02-11 Lumenco Llc mapeamento de pixel e impressão para conjuntos de microlente para alcançar ativação de eixo geométrico duplo de imagens
CN103673961B (zh) * 2013-12-12 2016-05-11 广州广电运通金融电子股份有限公司 一种薄片介质厚度检测装置及方法
JP6183207B2 (ja) 2013-12-26 2017-08-23 アイシン・エィ・ダブリュ株式会社 自動変速機の制御装置
US9525819B2 (en) 2014-03-07 2016-12-20 Ricoh Company, Ltd. Enhancing spatial resolution of images from light field imaging systems using sub-pixel disparity
JP5881777B2 (ja) * 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡
US10746600B2 (en) * 2015-01-09 2020-08-18 California Institute Of Technology Dual wavelength context imaging Raman and fluorescence spectrometer
US10048130B2 (en) * 2015-01-09 2018-08-14 California Institute Of Technology Context imaging raman spectrometer
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10085005B2 (en) * 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
WO2017147528A1 (en) * 2016-02-26 2017-08-31 University Of Southern California Optimized volumetric imaging with selective volume illumination and light field detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08250692A (ja) * 1995-03-10 1996-09-27 Sharp Corp 光学装置
JP2008167154A (ja) * 2006-12-28 2008-07-17 Sony Corp 撮像装置
JP2010239290A (ja) * 2009-03-30 2010-10-21 Sharp Corp 撮像装置
JP2012042859A (ja) * 2010-08-23 2012-03-01 Olympus Corp 撮像装置

Also Published As

Publication number Publication date
US11438503B2 (en) 2022-09-06
EP4243435A2 (en) 2023-09-13
EP3264741A1 (en) 2018-01-03
EP3479561A1 (en) 2019-05-08
JP2022046601A (ja) 2022-03-23
US20210021758A1 (en) 2021-01-21
CN113766107B (zh) 2024-06-04
JP6998898B2 (ja) 2022-01-18
US20190158736A1 (en) 2019-05-23
BR112018077493A2 (pt) 2019-04-09
KR102461778B1 (ko) 2022-11-01
MX2018016308A (es) 2019-10-07
CN109417590A (zh) 2019-03-01
KR20210127809A (ko) 2021-10-22
EP3479561B1 (en) 2023-09-06
KR20190022770A (ko) 2019-03-06
EP4243435A3 (en) 2023-10-25
CA3029463A1 (en) 2018-01-04
KR102314719B1 (ko) 2021-10-20
CN109417590B (zh) 2021-09-10
RU2019102372A3 (ja) 2020-10-22
CN113766107A (zh) 2021-12-07
WO2018002089A1 (en) 2018-01-04
RU2019102372A (ru) 2020-07-30
US10834313B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
Huang et al. Lensless imaging by compressive sensing
US9036048B2 (en) Compound camera sensor and related method of processing digital images
US11438503B2 (en) Plenoptic sub aperture view shuffling with improved resolution
Nagahara et al. Programmable aperture camera using LCoS
CN102917235A (zh) 图像处理装置、图像处理方法和程序
CN111201780B (zh) 成像装置和方法以及图像处理装置和方法
KR102437510B1 (ko) 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링
CN105445952A (zh) 高感光实时偏振成像的微偏阵列及其成像装置
JP6600217B2 (ja) 画像処理装置および画像処理方法、撮像装置およびその制御方法
US9338435B2 (en) Grid modulated single lens 3-D camera
Cho et al. Improvement on Demosaicking in Plenoptic Cameras by Use of Masking Information

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210510

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20210812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211221

R150 Certificate of patent or registration of utility model

Ref document number: 6998898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150