JP2018531448A - 光学的捕捉システムを校正する装置及び方法 - Google Patents

光学的捕捉システムを校正する装置及び方法 Download PDF

Info

Publication number
JP2018531448A
JP2018531448A JP2018514263A JP2018514263A JP2018531448A JP 2018531448 A JP2018531448 A JP 2018531448A JP 2018514263 A JP2018514263 A JP 2018514263A JP 2018514263 A JP2018514263 A JP 2018514263A JP 2018531448 A JP2018531448 A JP 2018531448A
Authority
JP
Japan
Prior art keywords
ray
acquisition system
optical
optical acquisition
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018514263A
Other languages
English (en)
Other versions
JP2018531448A6 (ja
JP6902529B2 (ja
JP2018531448A5 (ja
Inventor
ブロンデ，ローラン
ドラジ，ヴァルテ
セイフィ，モズデフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2018531448A publication Critical patent/JP2018531448A/ja
Publication of JP2018531448A6 publication Critical patent/JP2018531448A6/ja
Publication of JP2018531448A5 publication Critical patent/JP2018531448A5/ja
Application granted granted Critical
Publication of JP6902529B2 publication Critical patent/JP6902529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Focusing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Input (AREA)

Abstract

市場で入手可能な何種類ものプレノプティック・カメラ及びカメラ・アレイが存在し、これら全てのライト・フィールド捕捉装置は各自専用のファイル・フォーマットを有する。しかしながら多次元情報の捕捉及び伝送を支える規格は存在しない。光学的捕捉システムのセンサのピクセルと光学的捕捉システムの対物空間との間の対応関係の情報を得ることは興味深いことである。実際、光学的捕捉システムの対物空間のうち、光学的捕捉システムのセンサに属するピクセルが感知しているのは何れの部分であるかを知ることは、信号処理オペレーションの改善を可能にする。そこで、コンパクトなフォーマットでそのような情報を保存するために、カメラの光学系の対物空間における光線群により占められるボリュームを表現するピクセル・ビームという概念が導入される。
【選択図】図2

Description

本発明はライト・フィールドを表現するデータの生成に関連する。
4Dライト・フィールドのサンプリング(即ち、光線の記録)として見ることが可能な4つの次元又は4Dのライト・フィールド・データの捕捉は、例えば、ECCV2008の議事録で公開されている「Anat Levin et al.，“Understanding camera trade-offs through a Bayesian analysis of light field projections”」という記事で説明されており、活気のある研究対象である。
カメラから取得される古典的な2つの次元又は2Dの画像と比較して、4Dライト・フィールド・データは、画像のレンダリング及びユーザーとの対話を増進する多くの事後的な処理機能に、ユーザーがアクセスすることを可能にする。例えば、自由に選択される焦点距離で画像をフォーカスし直すことが可能であり、焦点面の位置が後に指定/選択されることが可能であるだけでなく、画像のシーン中の視野を僅かに変化させることも可能である。4Dライト・フィールド・データを捕捉するために、幾つかの技術を利用することが可能である。例えば、プレノプティック・カメラは4Dライト・フィールド・データを捕捉することが可能である。プレノプティック・カメラのアーキテクチャの詳細は図1Aにおいて提供される。図1Aはプレノプティック・カメラ100を概略的に表現する図である。プレノプティック・カメラ100は、メイン・レンズ101と、二次元アレイに配置される複数のマイクロ・レンズ103を含むマイクロレンズ・アレイ102と、画像センサ104とを有する。
4Dライト・フィールド・データを捕捉する別の方法は、図1Bに示されるようなカメラ・アレイを利用するものである。図1Bは、マルチ・アレイ・カメラ110を表現する。マルチ・アレイ・カメラ110は、レンズ・アレイ112と、画像センサ114とを有する。
図1Aに示されるようなプレノプティック・カメラ100の例では、メイン・レンズ101は、メイン・レンズ101の物体視野における(図示されていない)物体からの光を受信し、メイン・レンズ101の像視野を経て光を通す。
最後に、4Dライト・フィールドを捕捉する別の方法は、異なる焦点面において、同じシーンの2D画像のシーケンスを捕捉するように構成される従来のカメラを利用することである。例えば、2014年10月に「OPTICS EXPRESS, Vol.22, No.21」で公開されている「J.-H. Park et al.，“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”」という文書で説明されている技術が、従来のカメラを利用して4Dライト・フィールド・データの捕捉を達成するために利用されて良い。
4Dライト・フィールド・データを表現する方法は幾つかある。実際、200年6月に公表された「Ren Ng，“Digital Light Field Photography”」というPh.D学位論文の第3.3章には、4Dライト・フィールド・データを表現するための3つの異なる方法が記述されている。第1に、4Dライト・フィールド・データは、マイクロ・レンズ画像の集まりによりプレノプティック・カメラが記録すると、表現されることが可能である。この表現における4Dライト・フィールド・データは、ロー画像又はロー4Dライト・フィールド・データ(raw images or raw 4D light-field data)と命名されている。第2に、4Dライト・フィールド・データは、プレノプティック・カメラ又はカメラ・アレイで一群のサブ・アパーチャ画像(a set of sub-aperture images)により記録されると、表現されることが可能である。サブ・アパーチャ画像は視点から捕捉されたシーン画像に対応し、視点(the point of view)は2つのサブ・アパーチャ画像の間で僅かに異なる。これらのサブ・アパーチャ画像は、撮像されるシーンの視差及び深度に関する情報を与える。第3に、4Dライト・フィールド・データは一群のエピポーラ画像(a set of epipolar images)により表現されることが可能であり、この点については、ISVC2011の議事録で公開されている「S．Wanner et al.，“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”」という記事を参照されたい。
市場で入手可能な幾つものタイプのプレノプティック・カメラ及びカメラ・アレイが存在し、これら全てのライト・フィールド捕捉装置は、それら専用のファイル・フォーマットを有する。即ち、多次元情報の捕捉及び伝送を支える規格は存在しないので、標準的な2D又は3Dイメージングを除いては生存できないように思われる。本発明は上記の考察により為されている。
本発明の第1形態によれば、光学的捕捉システムを校正するための装置が提供され、本装置は、光学的捕捉システムの像空間(an image space)におけるパラメータを算出するように構成されるプロセッサを有し、パラメータは：
・ 光学的捕捉システムのセンサのピクセルの中心と光学的捕捉システムの瞳の中心とを通る第1光線、及び
・ 光学的捕捉システムの瞳と光学的捕捉システムのセンサのピクセルとを通る光線群により占められるボリュームの表面に属する2点を通る第2光線であって、第2光線の第1点は光学的捕捉システムのセンサ面に属し、第2光線の第2点は瞳面に属する、第2光線を規定し、
プロセッサは、光学的捕捉システムの対物空間(an object space)における第1光線及び第2光線のコンジュゲート又は共役(conjugate)のパラメータを算出するように構成され、第2光線のコンジュゲートは、集団的に、光学的捕捉システムの瞳とピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、第1光線のコンジュゲートの周りの回転により生成し、光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる。
本発明の実施形態によれば、光線を規定するパラメータは、光線が通る点の座標と、3つの座標軸を有する座標系で光線を規定する方向ベクトルの一群の方向余弦とを含む。
本発明の実施形態によれば、第1光線を規定するパラメータは、ピクセルの中心の座標(xp，yp，zp)、及び
Figure 2018531448
 という一群の方向余弦であり、座標系の原点は前記瞳の中心である。
本発明の実施形態によれば、第2光線を規定するパラメータは、センサ面に位置付けられ且つピクセルを中心とする半径aの円に属する第1点の座標、及び
Figure 2018531448
 という一群の方向余弦であり、座標系の原点は瞳の中心である。
本発明の実施形態によれば、プロセッサが、光学的捕捉システムの対物空間における第1光線及び第2光線のコンジュゲートのパラメータを算出するように構成されることは、像空間において第1光線及び第2光線を規定するパラメータと光学系の設計パラメータとに基づいて、対物空間における第1光線及び第2光線をトレースすることから成る。
本発明の他の実施形態は、光学的捕捉システムを校正する方法に関連し、本方法は、
光学的捕捉システムの像空間においてパラメータを算出するステップであって、パラメータは
・ 光学的捕捉システムのセンサのピクセルの中心と光学的捕捉システムの瞳の中心とを通る第1光線、及び
・ 光学的捕捉システムの瞳と光学的捕捉システムのセンサのピクセルとを通る光線群により占められるボリュームの表面に属する2点を通る第2光線であって、第2光線の第1点は光学的捕捉システムのセンサ面に属し、第2光線の第2点は瞳面に属する、第2光線を規定する、ステップ；
光学的捕捉システムの対物空間における第1光線及び第2光線のコンジュゲートのパラメータを算出するステップであって、第2光線のコンジュゲートは、集団的に、光学的捕捉システムの瞳とピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、第1光線のコンジュゲートの周りの回転により生成し、光線群により占められるボリュームはピクセル・ビームと呼ばれる、ステップ；
を有する方法である。
本発明の実施形態によれば、光線を規定するパラメータは、光線が通る点の座標と、3つの座標軸を有する座標系で光線を規定する方向ベクトルの一群の方向余弦とを含む。
本発明の実施形態によれば、第1光線を規定するパラメータは、ピクセルの中心の座標(xp，yp，zp)、及び
Figure 2018531448
 という一群の方向余弦であり、座標系の原点は瞳の中心である。
本発明の実施形態によれば、第2光線を規定するパラメータは、センサ面に位置付けられ且つピクセルを中心とする半径aの円に属する第1点の座標、及び
Figure 2018531448
 という一群の方向余弦であり、座標系の原点は瞳の中心である。
本発明の実施形態によれば、光学的捕捉システムの対物空間における第1光線及び第2光線のコンジュゲートのパラメータを算出することは、像空間において第1光線及び第2光線を規定するパラメータと光学系の設計パラメータとに基づいて、対物空間における第1光線及び第2光線をトレースすることから成る。
本発明の別の対象はライト・フィールド・イメージング・デバイスであり、本デバイスは：
規則的な格子構造で構成されるマイクロ・レンズのアレイ；
マイクロ・レンズのアレイからフォトセンサに投影される光を捕捉するように構成され、一群のピクセルを有するフォトセンサであって、一群のピクセルの各々は、マイクロ・レンズのアレイの個々のマイクロ・レンズに光学的に関連付けられている、フォトセンサ；及び
ライト・フィールド・イメージング・デバイスを校正するための本発明による装置を有する。
本発明の別の対象は、光学的捕捉システムの校正データを有するディジタル・ファイルであり、校正データは：
光学的捕捉システムの対物空間における第1光線のコンジュゲートのパラメータであって、第1光線は、光学的捕捉システムのセンサのピクセルの中心と光学的捕捉システムの瞳の中心とを通る、パラメータ；
光学的捕捉システムの対物空間における第2光線のコンジュゲートのパラメータであって、第2光線は、光学的捕捉システムのセンサ面に属する第2光線の第1点と、瞳面に属する第2光線の第2点とを含み；
第2光線のコンジュゲートは、集団的に、光学的捕捉システムの瞳とピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、第1光線のコンジュゲートの周りの回転により生成し、光線群により占められるボリュームはピクセル・ビームと呼ばれる。
本発明の要素により実現される幾つかのプロセスはコンピュータで実現されるものであっても良い。従って、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む)、又はソフトウェア及びハードウェアの形態を組み合わせる実施形態の形式を採用しても良く、それらは全て一般的に「回路」、「モジュール」又は「システム」のように本願では言及されて良い。更に、そのような要素は、媒体に組み込まれるコンピュータ利用可能なプログラム・コードを有する、任意の有形の媒体表現で実現されるコンピュータ・プログラム・プロダクトの形式を採用しても良い。
本発明の要素はソフトウェアで実現されることが可能であるので、本発明は、任意の適切な搬送媒体におけるプログラム可能な装置に提供するためのコンピュータ読み取り可能なコードとして具現化されることが可能である。有形の搬送媒体は、フロッピ・ディスク、CD-ROM、ハード・ディスク・ドライブ、磁気テープ・デバイス、ソリッド・ステート・メモリ・デバイス等のような記憶媒体を含んでも良い。一時的な搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、電磁信号(例えば、マイクロ波又はRF信号)のような信号を含んでも良い。
本発明の実施形態は、単なる例示により及び以下の図面を参照しながら説明される：
プレノプティック・カメラを概略的に表現する図。 マルチ・アレイ・カメラを表現する図。 カメラの光学系又は光学的捕捉システムの対物空間における光線群により占められるボリュームを表現する図。 一葉双曲面を表現する図。 一葉双曲面の別の眺めを表現する図。 本開示の実施形態による光学的捕捉システムを校正する装置例を示す概略ブロック図。 本発明の実施形態による光学的捕捉システムを校正するプロセス例を説明するためのフロー・チャート。 本発明の実施形態によるピクセル・ビームを規定する生成光線(a generating ray)及び主光線(a chief ray)を表現する図。 本発明の実施形態によるピクセル・ビームを規定する生成光線を表現する図。 ガウシアン・ビームの幾何学的形状を表現する図。
当業者に認められるように、本原理の各側面は、システム、方法及びコンピュータ読み取り可能な媒体として実施されることが可能である。従って、本原理の側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロ・コード等を含む)、或いは、ソフトウェア及びハードウェアの側面を含む実施形態の形式を採用することが可能であり、本願においてそれらは全て一般的に「回路」、「モジュール」又は「システム」として言及されることが可能である。更に、本原理の側面は、コンピュータ読み取り可能な記憶媒体の形式を採用することが可能である。1つ以上のコンピュータ読み取り可能な記憶媒体の任意の組み合わせが使用されても良い。
プレノプティック式であってもなくても良い何らかの光学的捕捉システムに加えて、光学的捕捉システムで捕捉される4Dライト・フィールド・データを表現するロー画像又はエピポーラ画像に関し、光学的捕捉システムのセンサのピクセルと光学的捕捉システムの対物空間との間の対応関係の情報を得ることは興味深い。光学的捕捉システムのセンサに属するピクセルが、光学的捕捉システムの対物空間の何れの部分をセンシングしているかを知ることは、非多重化、非モザイク化、再フォーカシング、及び、様々な特徴を有する様々な光学系で捕捉された画像のミキシング等のような信号処理オペレーションの改善を可能にする。更に、光学的捕捉システムのセンサのピクセルと、光学的捕捉システムの対物空間との間の対応関係の情報は、光学的捕捉システムとは独立している。
本開示は、図2に示されるようなピクセル・ビーム10という表記を導入し、ピクセル・ビーム10は、(図2では不図示の)カメラ又は光学的捕捉システムの光学系11の対物空間における光線群により占められる体積又はボリューム(a volume)を表現する。光線群は、光学系21の瞳24を介して、カメラのセンサ23のピクセル22により感知される。光学系21は、写真用カメラ又はビデオ・カメラ用に合わせられたレンズの組み合わせであっても良い。光学系の入射瞳(An entrance pupil of an optical system)は、光学系の所定のレンズを通じて見えるような開口絞り(an aperture stop)の像として定義され、所定のレンズは、光学的捕捉システムのうち、開口絞りの前に在るレンズである。開口絞りは、光学的捕捉システムの光学系を通過する光量を制限する開口である。
例えば、カメラ・レンズの前方付近に配置される調節可能なダイヤフラムは、そのレンズの開口絞りである。ダイヤフラムを通過するように許可される光の量は、カメラのユーザーが許可しようとする光量に依存して適合させられて良いダイヤフラム開口の直径により制御される。例えば、開口を小さくすることは、ダイヤフラムを通るように許容される光の量を減らすが、焦点の深度を増やす。絞りの実効サイズは、レンズの屈折作用に起因して、絞りの物理的なサイズより大きくても小さくても良い。形式的に、瞳は、光学的捕捉システムの光学系の先行するレンズを通る開口絞りの像である。
ピクセル・ビーム10は、入射瞳24を通って光学系21を介して伝搬する場合に所与のピクセル22に到達する光線束(a pencil of rays of light)として定義される。光は自由空間内で直線的に進むので、そのようなピクセル・ビーム20の形状は2つのセクションによって規定されることが可能であり、一方はピクセル22のコンジュゲート25であり、他方は入射瞳24である。ピクセル22は、その非ヌル表面(its non-null surface)及びその感度マップにより規定される。
かくて、図3に示されるように、ピクセル・ビーム30は、一葉双曲面によって表現され、対物空間におけるピクセル22のコンジュゲート35及び瞳34という2つの要素によって支持される。
一葉双曲面は、光線束の表記を支持することが可能な線織面(a ruled surface)であり、物理的な光ビームの「エテンデュ(etendue)」の表記、即ち、物理的な光ビーム断面に対するエネルギの保存と矛盾しない。
一葉双曲面は、ガウシアン・ビームの形状に対応する。実際、光学において、ガウシアン・ビームは単色性の電磁放射ビーム(a beam of monochromatic electromagnetic radiation)であり、そのトラバース電磁場振幅特性はガウシアン関数により与えられ；これはガウシアン強度特性を示す。この基本トラバース・ガウシアン・モードは、ほとんどのレーザーの意図される出力を説明するが、その理由は、そのような光ビームは最も集中したスポットに焦点を合わせることが可能だからである。
以下の数式は、zの全ての値において円形断面を有するビームを仮定しており；これは、1つの横断する次元(r)が登場することを記述することよって理解されることが可能である。
(焦点から測定される)ビームに沿った位置zにおいて、スポット・サイズ・パラメータwは次式により与えられる。
Figure 2018531448
ここで、w0はウエスト(又はくびれ)のサイズである。
図9に示されるように、ウエストからzRに等しい距離において、ビームの幅wは√2w0である。
ガウシアン関数のテール(the tail)は、実際上、決してゼロには達しない。しかし、ウエストから離れたビームの「エッジ(edge)」は円錐形状になる。その円錐に沿うライン(円錐の半径はr=w(z)である)と、ビームの中心軸(r=0)との間の角度は、ビームの発散(the divergence)と呼ばれる。
従って、ウエストから遠くにあるビームの角度広がり全体は、Θ=2θにより与えられる。
図4に示されるように、一葉双曲面40は、対物空間においてピクセル22に対応するウエスト45と呼ばれる最小セクションの基本領域を除いて、漸近的な円錐41，42に概ね一致する。ライト・フィールド・カメラのようなプレノプティック・システムの場合、これは、複数の経路光線による空間サンプリングが実行される領域である。ピクセル22の感度は、その表面上の何十平方ミクロンに関してかなり大きく、また、円錐の先端であるような無限に小さな面積の数学上の点によって表現されることは可能でないので、この領域で円錐により空間をサンプリングすることは適切ではない。
図5は、本開示の実施形態による光学的捕捉システムを校正する装置例を示す概略ブロック図である。
装置500は、プロセッサ501と、ストレージ・ユニット502と、入力デバイス503と、ディスプレイ・デバイス504と、インターフェース・ユニット505とを有し、これらはバス506により接続されている。当然に、コンピュータ装置500の構成要素は、バス接続以外の接続によって接続されても良い。
プロセッサ501は装置500の動作を制御する。ストレージ・ユニット502は、プロセッサ501により実行される、光学的捕捉イステムを構成することが可能な少なくとも1つのプログラム及び様々なデータを保存し、そのデータは、光学的捕捉システムのピクセル・ビーム10，20，30，40を規定する光線に関連するパラメータ、光学的捕捉システムの光学系21に関連するパラメータ、プロセッサ501により実行される演算で使用されるパラメータ、或いは、プロセッサ501により実行される演算の中間的なデータ等を含む。プロセッサ501は、任意の既知の適切なハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせにより形成されても良い。例えば、プロセッサ501は、処理回路のような専用ハードウェアにより、或いは、メモリに保存されたプログラムを実行するCPU(中央処理ユニット)のようなプログラム可能な処理ユニットにより形成されても良い。
ストレージ・ユニット502は、コンピュータ読み取り可能な形式でプログラム又はデータ等を保存することが可能な適切な任意の手段又はストレージにより形成されても良い。ストレージ・ユニット502の具体例は、半導体メモリ・デバイス、及び、読み込み及び書き込みユニット内に搭載される磁気的、光学的又は磁気光学的な記録媒体のような非一時的なコンピュータ読み取り可能な記憶媒体を含む。プログラムは、図6に関連して後述されるような本開示の実施形態による光学的捕捉システムを校正するプロセスを、プロセッサ501に実行させる。
コマンドを入力するため、及び、光学系の対物空間内の光線群により占められるボリュームのパラメータ表現を生成するために使用されるパラメータのユーザーによる選択のためにユーザーが使用するように、入力デバイス503は、キーボード、マウスのようなポインティング・デバイス等により形成されても良い。出力デバイス504は、本開示の実施形態に従う光学的捕捉システムの校正の最中に、例えばグラフィカル・ユーザー・インターフェース(GUI)のような表示を行うディスプレイ・デバイス、或いは、プロセッサ501により算出される様々なピクセル・ビームのパラメータを含むファイルによって形成されても良い。入力デバイス504及び出力デバイス504は、例えば、タッチスクリーン・パネルにより一体的に形成されても良い。
インターフェース・ユニット505は、装置500と外部の装置との間でインターフェースを提供する。インターフェース・ユニット505は、ケーブル又は無線通信により、外部の装置と通信可能であっても良い。一実施形態において、外部の装置は、光学的捕捉システムであっても良い。
図6は、本発明の実施形態による光学的捕捉システムを校正するプロセスを説明するためのフロー・チャートである。
そのような校正方法は、光学的捕捉システムのセンサ23のピクセルに関連する様々なピクセル・ビームを規定するパラメータを取得することを可能にする。
ピクセル・ビーム10，20，30，40は一葉双曲面として表現される。座標軸x，y，zを有する座標系のz軸に関する一葉双曲面の一般式は、次のとおりである：
Figure 2018531448
ここで、zpはz軸上におけるピクセル・ビームのウエスト35の位置であり、a，a及びcはそれぞれx，y及びz軸に沿う双曲面の半軸(the semi-axes)の長さであり、それぞれ0x，0y，0zに沿う半軸の長さに対応し、ここで、aは0x軸に沿うウエスト半径を表し；bは0y軸に沿うウエスト半径を表し；cはピクセル・ビームの角度開口(an angular aperture)を規定する。本発明の実施形態では、a及びbは同じ値であり、この場合、ウエストは円形状を有する。座標系の原点は、座標が(0，0，0)である瞳の中心である。
図7に示されるように、光学的捕捉システムの像空間において、即ち、光学系21と光学的捕捉システムのセンサ23との間に位置する空間の部分において、ピクセル・ビームは、主光線70及び生成光線71という2つの光線により表現される。主光線70は、その座標系での座標(x，y，z)が(xp，yp，zp)であるピクセル72の中心と、座標が(0，0，0)である瞳73の中心とを通る直線である。
線織面である双曲面は、生成光線71により生成されることが可能である。生成光線は、双曲面の表面を記述する直線である。生成光線71は、双曲面の表面に属する2点を通る直線であり、第1の点は光学的捕捉システムのセンサ23の面と双曲面の表面とに所属し、第2の点は瞳の面と双曲面の表面とに所属する。双曲面の主光線とその表面を記述する生成光線とは互いに平行ではなく、それらは互いに決して交わらない。
直線は次の6つのパラメータにより規定されることが可能である：直線が通る点の座標(x，y，z)(3つの値)及びその座標系で直線を規定する方向ベクトルの方向余弦(l，m，n)(3つのコサイン)。
ステップ601において、プロセッサ601は、光学的捕捉システムの像空間における主光線70を規定するパラメータを算出する。
主光線が方向(θx，θy)に向けられている双曲面は、以下の数式により規定される：
Figure 2018531448
ここで、tx=tanθx 及びty=tanθy である。
この場合、主光線70は次のように規定される：
Figure 2018531448
ここで、(xp，yp，zp)はその座標系でのピクセル22の中心座標である。
従って、主光線を規定する方向ベクトルの方向余弦は、次のように表現される：
Figure 2018531448
ここで、座標系の原点は瞳の中心である。
その後、ステップ602において、プロセッサ501は、ピクセル22の中心の座標の値と、ピクセル22に関連するピクセル・ビームの主光線を規定する数式(4)に基づく方向余弦の値と、ピクセル・ビームを規定する瞳及びピクセル22の間の距離のような光学的捕捉システムの光学系21のパラメータとを算出する。
ステップ602において算出されるピクセル・ビームの主光線を規定するパラメータは、装置500のストレージ・ユニット502に保存される。
ステップ603において、プロセッサ501は主光線70の「ずれ」の補正(a correction of the shear of the chief ray 70)を算出する。主光線のずれ補正(The unshearing of the chief)は次のように書ける：(5)：
Figure 2018531448
ステップ604において、プロセッサは、光学的捕捉システムの像空間における生成光線71を規定するパラメータを算出する。
次の数式を考察する：
Figure 2018531448
ここで、rは瞳の半径である。
図8を参照し、平面yOzに平行な直線gを考察する。直線gは、その座標系での座標が(a，0，zp)である点Gを通る。
即ち、直線gは2点G及びIにより規定され：Gの座標は(a，0，zp)であり、Iの座標は次のとおりである：
Figure 2018531448
直線gを規定するベクトル(→IG)の成分は、次のように書ける：
Figure 2018531448
従って、ベクトル(→IG)の方向余弦は、次のように書ける：
Figure 2018531448
ピクセル面が(+xp’，+yp’)=(zp.tx，zp.ty)だけシフトされた場合、直線gは、座標が(xp’+a，yp’，zp)である点Gと座標が(a，√(r2-a2)，0)である点Iとを通る。
直線gを規定するベクトル(→IG)の成分は、次のように書ける：
Figure 2018531448
従って、ベクトル(→IG)の方向余弦は、次のように書ける：
Figure 2018531448
生成光線71は、点Gの座標(xp’+a，yp’，zp)及び以下の方向余弦により規定される：
Figure 2018531448
その後、ステップ605において、プロセッサ501は、座標Gの値と、ピクセル22に関連するピクセル・ビームの生成光線を規定する数式(6)に基づく方向余弦の値と、ピクセル・ビームを規定する瞳及びピクセル22の間の距離のような光学的捕捉システムの光学系21のパラメータとを算出する。
ステップ605において算出されるピクセル・ビームの生成光線を規定するパラメータは、装置500のストレージ・ユニット502に保存される。
ステップ606の際に、像空間における主光線70及び生成光線を表現するパラメータを知っており、プロセッサ501は、対物空間におけるパラメータの値を算出し、ピクセル・ビームのパラメータを求める。
この計算は、例えば、光学系11を介する光線の伝搬をモデル化することが可能なプログラムを実行する装置500のプロセッサ501により実現される。そのようなプログラムは、例えば、Zemax(登録商標)、ASAP(登録商標)又はCode V(登録商標)のような光学設計プログラムである。光学設計プログラムは、光学系11を設計及び分析するために使用される。光学設計プログラムは、光学系11を介する光線の伝搬をモデル化し；及び 単レンズ、非球面レンズ、グラジエント・インデックス・レンズ、ミラー及び回折光学要素などのような光学要素の影響をモデル化することが可能である。市販のレンズのライブラリは、装置500のストレージ・ユニット502に保存され、そして、プロセッサが光学設計プログラムを実行する場合にプロセッサ501にとってアクセス可能である。
以上、本発明は特定の実施形態に関連して説明されてきたが、本発明は特定の実施形態に限定されず、本発明の範囲内にある変形は、当業者に明らかであろう。
多くの更なる修正及び変形も上記の例示的な実施形態を参照する当業者に示唆され、その例示的な実施形態は、具体例としてしか与えられておらず、添付の特許請求の範囲によってのみ決定される本発明の範囲を限定するようには意図されていない。特に、様々な実施形態からの様々な特徴は、適切であれば相互に置換されて良い。

Claims (17)

  1. 光学的捕捉システムを校正する装置であって、プロセッサを有し、前記プロセッサは：
    前記光学的捕捉システムの像空間におけるパラメータを算出するように構成され、前記パラメータは
    ・ 前記光学的捕捉システムのセンサのピクセルの中心と前記光学的捕捉システムの瞳の中心とを通る第１光線、及び
    ・ 前記光学的捕捉システムの瞳と前記光学的捕捉システムの前記センサの前記ピクセルとを通る光線群により占められるボリュームの表面に属する２点を通る第２光線であって、前記第２光線の第１点は前記光学的捕捉システムのセンサ面に属し、前記第２光線の第２点は瞳面に属する、第２光線を規定し、
    前記プロセッサは、前記光学的捕捉システムの対物空間における前記第１光線及び前記第２光線のコンジュゲートのパラメータを算出するように構成され、前記第２光線のコンジュゲートは、集団的に、前記光学的捕捉システムの瞳と前記ピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、前記第１光線のコンジュゲートの周りの回転により生成し、前記光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる、装置。
  2. 光線を規定する前記パラメータは、光線が通る点の座標と、３つの座標軸を有する座標系で前記光線を規定する方向ベクトルの一群の方向余弦とを含む、請求項１に記載の装置。
  3. 前記第１光線を規定する前記パラメータは、前記ピクセルの中心の座標（ｘｐ，ｙｐ，ｚｐ）、及び
    Figure 2018531448
    という一群の方向余弦であり、前記座標系の原点は前記瞳の中心である、請求項２に記載の装置。
  4. 前記第２光線を規定する前記パラメータは、前記センサ面に位置付けられ且つ前記ピクセルを中心とする半径ａの円に属する前記第１点の座標、及び
    Figure 2018531448
    という一群の方向余弦であり、前記座標系の原点は前記瞳の中心である、請求項２に記載の装置。
  5. 前記プロセッサが、前記光学的捕捉システムの対物空間における前記第１光線及び前記第２光線のコンジュゲートのパラメータを算出するように構成されることは、前記像空間において前記第１光線及び前記第２光線を規定する前記パラメータと光学系の設計パラメータとに基づいて、前記対物空間における前記第１光線及び前記第２光線をトレースすることから成る、請求項１ないし４のうちの何れか一項に記載の装置。
  6. 光学的捕捉システムを校正する方法であって：
    前記光学的捕捉システムの像空間におけるパラメータを算出するステップであって、前記パラメータは
    ・ 前記光学的捕捉システムのセンサのピクセルの中心と前記光学的捕捉システムの瞳の中心とを通る第１光線、及び
    ・ 前記光学的捕捉システムの瞳と前記光学的捕捉システムの前記センサの前記ピクセルとを通る光線群により占められるボリュームの表面に属する２点を通る第２光線であって、前記第２光線の第１点は前記光学的捕捉システムのセンサ面に属し、前記第２光線の第２点は瞳面に属する、第２光線を規定する、ステップ；
    前記光学的捕捉システムの対物空間における前記第１光線及び前記第２光線のコンジュゲートのパラメータを算出するステップであって、前記第２光線のコンジュゲートは、集団的に、前記光学的捕捉システムの瞳と前記ピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、前記第１光線のコンジュゲートの周りの回転により生成し、前記光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる、ステップ；
    を有する方法。
  7. 光線を規定する前記パラメータは、光線が通る点の座標と、３つの座標軸を有する座標系で前記光線を規定する方向ベクトルの一群の方向余弦とを含む、請求項６に記載の方法。
  8. 前記第１光線を規定する前記パラメータは、前記ピクセルの中心の座標（ｘｐ，ｙｐ，ｚｐ）、及び
    Figure 2018531448
    という一群の方向余弦であり、座標系の原点は前記瞳の中心である、請求項６に記載の方法。
  9. 前記第２光線を規定する前記パラメータは、前記センサ面に位置付けられ且つ前記ピクセルを中心とする半径ａの円に属する前記第１点の座標、及び
    Figure 2018531448
    という一群の方向余弦であり、座標系の原点は前記瞳の中心である、請求項６に記載の方法。
  10. 前記光学的捕捉システムの対物空間における前記第１光線及び前記第２光線のコンジュゲートのパラメータを算出することは、前記像空間において前記第１光線及び前記第２光線を規定する前記パラメータと光学系の設計パラメータとに基づいて、前記対物空間における前記第１光線及び前記第２光線をトレースすることから成る、請求項６ないし９のうちの何れか一項に記載の方法。
  11. 規則的な格子構造で構成されるマイクロ・レンズのアレイ；
    フォトセンサであって、前記マイクロ・レンズのアレイから前記フォトセンサに投影される光を捕捉するように構成され、一群のピクセルを有し、前記一群のピクセルの各々は、前記マイクロ・レンズのアレイの個々のマイクロ・レンズに光学的に関連付けられている、フォトセンサ；及び
    ライト・フィールド・イメージング・デバイスを校正するための請求項１に記載の装置；
    を有するライト・フィールド・イメージング・デバイス。
  12. 請求項６ないし１０のうちの何れか一項に記載の方法に従って校正された、光学的捕捉装置により捕捉されたライト・フィールド・データから、画像をレンダリングする装置。
  13. 光学的捕捉システムの校正データを有するディジタル・ファイルであって、前記校正データは：
    前記光学的捕捉システムの対物空間における第１光線のコンジュゲートのパラメータであって、前記第１光線は、前記光学的捕捉システムのセンサのピクセルの中心と前記光学的捕捉システムの瞳の中心とを通る、パラメータ；
    前記光学的捕捉システムの対物空間における第２光線のコンジュゲートのパラメータであって、前記第２光線は、前記光学的捕捉システムのセンサ面に属する第２光線の第１点と、瞳面に属する前記第２光線の第２点とを含み；
    前記第２光線のコンジュゲートは、集団的に、前記光学的捕捉システムの瞳と前記ピクセルのコンジュゲートとを通る光線群により占められるボリュームの表面を、前記第１光線のコンジュゲートの周りの回転により生成し、前記光線群により占められる前記ボリュームはピクセル・ビームと呼ばれる、ディジタル・ファイル。
  14. 請求項６ないし１０のうち何れか一項に記載の方法により得られる、請求項１３に記載のディジタル・ファイル。
  15. プロセッサにより実行される場合に、光学的捕捉システムを校正するための請求項６ないし１０のうちの何れか一項に記載の方法を実現するプログラム・コード命令を有することを特徴とするコンピュータ・プログラム。
  16. 光学的捕捉システムを校正するための請求項６ないし１０のうち何れか一項に記載の方法をプロセッサに実行させる命令を保存したプロセッサ読み取り可能な媒体。
  17. コンピューティング・デバイスでプログラムが実行される場合に、光学的捕捉システムを校正するための請求項６ないし１０のうち何れか一項に記載の方法を実行するプログラム・コードの命令を担う非一時的な記憶媒体。
JP2018514263A 2015-09-17 2016-09-16 光学的捕捉システムを校正する装置及び方法 Active JP6902529B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306447.2 2015-09-17
EP15306447.2A EP3144890A1 (en) 2015-09-17 2015-09-17 An apparatus and a method for calibrating an optical acquisition system
PCT/EP2016/072072 WO2017046397A1 (en) 2015-09-17 2016-09-16 An apparatus and a method for calibrating an optical acquisition system

Publications (4)

Publication Number Publication Date
JP2018531448A true JP2018531448A (ja) 2018-10-25
JP2018531448A6 JP2018531448A6 (ja) 2018-12-13
JP2018531448A5 JP2018531448A5 (ja) 2019-10-24
JP6902529B2 JP6902529B2 (ja) 2021-07-14

Family

ID=54293193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018514263A Active JP6902529B2 (ja) 2015-09-17 2016-09-16 光学的捕捉システムを校正する装置及び方法

Country Status (10)

Country Link
US (1) US10613338B2 (ja)
EP (2) EP3144890A1 (ja)
JP (1) JP6902529B2 (ja)
KR (1) KR20180054622A (ja)
CN (1) CN108780574A (ja)
BR (1) BR112018005413A2 (ja)
CA (1) CA2998676A1 (ja)
MX (1) MX2018003268A (ja)
RU (1) RU2018113710A (ja)
WO (1) WO2017046397A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3279864B1 (en) * 2016-08-05 2019-03-06 Thomson Licensing A method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device
WO2018173551A1 (ja) * 2017-03-21 2018-09-27 オリンパス株式会社 較正装置、較正方法、光学装置、撮影装置および投影装置
WO2019157571A1 (en) * 2018-02-19 2019-08-22 Integral Scopes Pty Ltd Method and system for calibrating a plenoptic camera system
KR20200067020A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524467A (ja) * 2009-04-18 2012-10-11 リフォーカス イマジング，インコーポレイテッド ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
US20140263963A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Volume imaging with aliased views

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4248536B2 (ja) * 2005-07-29 2009-04-02 京立電機株式会社 一眼レフデジタルカメラにおけるピクセル面とマット面の取付位置の測定方法とそのための装置
US7528932B2 (en) * 2005-12-21 2009-05-05 Micronic Laser Systems Ab SLM direct writer
US8243157B2 (en) 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US8358354B2 (en) 2009-01-26 2013-01-22 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical abberations
DE102008044522A1 (de) * 2008-09-12 2010-03-18 Degudent Gmbh Verfahren und Vorrichtung zur Erfassung von Konturdaten und/oder optischen Eigenschaften eines dreidimensionalen semitransparenten Objekts
CN102494771A (zh) * 2011-12-14 2012-06-13 中国科学院光电研究院 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
JP5988643B2 (ja) 2012-03-26 2016-09-07 キヤノン株式会社 計測装置、計測方法及び光学部品の製造方法
JP5942757B2 (ja) * 2012-09-28 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
US20150146032A1 (en) 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method
CN104121990B (zh) 2014-07-22 2016-05-11 中国科学院上海光学精密机械研究所 基于随机光栅的压缩感知宽波段高光谱成像系统
CN107003109B (zh) * 2014-11-13 2019-11-05 奥林巴斯株式会社 校准装置、校准方法、光学装置、摄影装置、投影装置、测量系统以及测量方法
CN104849852B (zh) 2015-05-07 2017-03-08 清华大学 基于相机阵列的光场显微成像系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012524467A (ja) * 2009-04-18 2012-10-11 リフォーカス イマジング，インコーポレイテッド ライト・フィールド・カメラ画像、ファイルおよび構成データ、および、これらを使用、保存および伝達する方法
JP2014010783A (ja) * 2012-07-02 2014-01-20 Canon Inc 画像処理装置、画像処理方法およびプログラム
US20140263963A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Volume imaging with aliased views

Also Published As

Publication number Publication date
US10613338B2 (en) 2020-04-07
MX2018003268A (es) 2018-11-09
EP3350772A1 (en) 2018-07-25
RU2018113710A3 (ja) 2019-10-29
JP6902529B2 (ja) 2021-07-14
RU2018113710A (ru) 2019-10-17
BR112018005413A2 (pt) 2018-10-09
KR20180054622A (ko) 2018-05-24
CA2998676A1 (en) 2017-03-23
EP3350772B1 (en) 2020-04-08
US20180252928A1 (en) 2018-09-06
EP3144890A1 (en) 2017-03-22
WO2017046397A1 (en) 2017-03-23
CN108780574A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
JP6902529B2 (ja) 光学的捕捉システムを校正する装置及び方法
JP2018531448A6 (ja) 光学的捕捉システムを校正する装置及び方法
JP2017063414A (ja) ライト・フィールドを表すデータを生成する方法および装置
JP2018538709A (ja) ピクセルビームを表すデータを生成する方法及び装置
US10872442B2 (en) Apparatus and a method for encoding an image captured by an optical acquisition system
CN108353120B (zh) 用于生成表示像素束的数据的装置和方法
KR102454773B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
JP7075892B2 (ja) ピクセルビームを表すデータを生成する装置および方法
EP3145195A1 (en) An apparatus and a method for encoding an image captured by an optical acquisition system

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210621

R150 Certificate of patent or registration of utility model

Ref document number: 6902529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150