JP2022058658A - 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 - Google Patents

画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 Download PDF

Info

Publication number
JP2022058658A
JP2022058658A JP2022006154A JP2022006154A JP2022058658A JP 2022058658 A JP2022058658 A JP 2022058658A JP 2022006154 A JP2022006154 A JP 2022006154A JP 2022006154 A JP2022006154 A JP 2022006154A JP 2022058658 A JP2022058658 A JP 2022058658A
Authority
JP
Japan
Prior art keywords
image
refocused
alignment error
error map
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022006154A
Other languages
English (en)
Other versions
JP7204021B2 (ja
Inventor
フルール，ユリアン
Fleureau Julien
エリエ，ピエール
Hellier Pierre
ヴァンダム，ブノワ
Vandame Benoit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of JP2022058658A publication Critical patent/JP2022058658A/ja
Application granted granted Critical
Publication of JP7204021B2 publication Critical patent/JP7204021B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像の鮮鋭レベルを表わす位置合わせ誤差マップを取得するための装置、方法及び記憶媒体を提供する。【解決手段】方法は、シーンに関連付けられた関心オブジェクトの三次元モデルを取得し、三次元モデルに基づいて再合焦表面を生成し、シーンの四次元ライトフィールド・データを取得する。方法はさらに、再合焦表面を用いて四次元ライトフィールド・データを再合焦し、再合焦した四次元ライトフィールド・データを用いることによって、再合焦された画像を生成し、再合焦した画像を用いることによって、エンドユーザーがシーンに対して正しく位置決めされているかどうかを判断する。【選択図】図５

Description

本開示は概括的には、四次元ライトフィールド・データから位置合わせ誤差マップ〔レジストレーション・エラー・マップ〕を得るための装置および方法に関する。そのような位置合わせ誤差マップは、視覚的案内または表面の品質管理といったビジュアルサーボ用途において使用されうる。
ビジュアルサーボは、ロボットもしくは場合によっては人間のようなエンドユーザーの動きを制御するために視覚的フィードバック情報を使う技法である。この視覚的フィードバック情報は、ロボットに接続されたもしくはロボットに組み込まれたカメラのような視覚センサーから受領されるか、携帯電話またはタブレットのようなエンドユーザーに属する装置の画面に表示される。
非特許文献１に開示されるように、ビジュアルサーボには二つの手法がある。第一のものは画像ベースの制御（IBC: Image-Based Control）であり、第二のものは位置ベースの制御（PBC: Position-Based Control）である。
IBCでは、視覚的フィードバックは画像において直接定義されるが、IBCは安定性および収束性の問題がある。
3Dビジュアルサーボとも呼ばれるPBCでは、制御誤差関数がデカルト空間で計算され、画像特徴が画像から抽出される。カメラ座標系に関して目標の位置を決定するために、目標の完璧なモデルが使用される。目標の2Dもしくは3Dモデルおよびカメラの内部パラメータの知識に基づいて、目標に関してカメラの位置を決定することを許容する多くの方法が知られている。これらの方法は、点、線などといった異なる性質の視覚的情報を使う。
しかしながら、IBCであろうとPBCであろうとビジュアルサーボ技法でも、画像空間における制御はなく、オブジェクトはサーボの間にカメラ視野から出てしまうことがあり、そのためカメラおよびオブジェクトの相対姿勢を決定するのが難しくなっている。
H. Mekki & M. Letaiel、"Path Planning for 3D Visual Servoing: for a Wheeled mobile Robot"、IEEE 2013 International Conference on Individual and Collective Behaviours in Robotics
本発明の第一の側面によれば、位置合わせ誤差マップと呼ばれる画像の複数のピクセルの鮮鋭レベルを表わすマップを取得するための装置が提供される。本装置は、関心オブジェクトの三次元モデルから得られた再合焦表面と前記関心オブジェクトに関係する収集さ
れた四次元ライトフィールド・データに基づく焦点スタックとの交わりを計算することによって生成された、前記関心オブジェクトの画像に関係する位置合わせ誤差マップを取得するよう構成されたプロセッサを有する。
本発明のある実施形態によれば、前記プロセッサは、前記再合焦表面を、参照位置に設置されたときの前記関心オブジェクトの前記三次元モデルの距離マップを計算することによって決定するよう構成される。
本発明のある実施形態によれば、前記プロセッサは、前記再合焦表面と前記焦点スタックとの交わりを、再合焦されるべき画像の各ピクセルについて、前記あらかじめ定義された再合焦表面からの、前記焦点スタックをなす画像のうちの一つに対応する再合焦距離を決定することによって計算するよう構成される。
本発明のある実施形態によれば、前記プロセッサは、表示されるべき前記位置合わせ誤差マップの見え方〔アピアランス〕を、前記再合焦された画像のピクセルの鮮鋭レベルに関係する情報に基づいて生成するよう構成される。
本発明のある実施形態によれば、前記プロセッサは、得られた位置合わせ誤差マップを、当該装置の表示装置上に表示するよう構成される。
本発明のもう一つの側面は、位置合わせ誤差マップと呼ばれる画像の複数のピクセルの鮮鋭レベルを表わすマップを取得するための方法に関する。本方法は、関心オブジェクトの三次元モデルから得られた再合焦表面と前記関心オブジェクトに関係する収集された四次元ライトフィールド・データに基づく焦点スタックとの交わりを計算することによって生成される、前記関心オブジェクトの画像に関係する位置合わせ誤差マップを取得することを含む。
本発明のある実施形態によれば、前記再合焦表面を決定することは、参照位置に設置されたときの前記関心オブジェクトの前記三次元モデルの距離マップを計算することを含む。
本発明のある実施形態によれば、前記再合焦表面と前記焦点スタックとの交わりを計算することは、再合焦されるべき画像の各ピクセルについて、前記再合焦表面からの、前記焦点スタックをなす画像のうちの一つに対応する再合焦距離を決定することを含む。
本発明のある実施形態によれば、本方法は、表示されるべき前記位置合わせ誤差マップの見え方〔アピアランス〕を、前記再合焦された画像のピクセルの鮮鋭レベルに関係する情報に基づいて生成することを含む。
本発明のある実施形態によれば、本方法は、得られた位置合わせ誤差マップを、表示装置上に表示することを含む。
本開示の要素によって実装されるいくつかのプロセスは、コンピュータ実装されてもよい。よって、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本稿でみな一般に「回路」「モジュール」または「システム」として言及されうるソフトウェアおよびハードウェア側面を組み合わせた実施形態の形を取ることができる。さらに、要素は、任意の有体の媒体であって、該媒体に具現されるコンピュータ使用可能プログラム・コードをもつ媒体に具現されているコンピュータ・プログラム・プロダクトの形を取ることができる。
本開示の要素はソフトウェアで実装できるので、本開示は、プログラム可能装置に提供するためのコンピュータ可読コードとして、任意の好適な担持媒体上で具現されることができる。有体な担持媒体は、フロッピーディスク、CD-ROM、ハードディスクドライブ、磁気テープ装置または半導体メモリ・デバイスなどといった記憶媒体を含んでいてもよい。一時的な担持媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、たとえばマイクロ波もしくはRF信号といった信号を含んでいてもよい。
本開示の目的および利点は、請求項において具体的に指摘される要素および組み合わせによって実現され、達成されるであろう。
上記の概括的な記述および以下の記述はいずれも例示的であり、説明するものであり、特許請求される発明を制約するものではないことは理解しておくものとする。
プレノプティック・カメラを概括的に表わす図である。 マルチアレイ・カメラを表わす図である。 ライトフィールド・カメラのイメージ・センサーの感知表面上に配列されたセンサー領域の平面図を概略的に示す図である。 理想的な完璧な薄いレンズのモデルを有する概略的なライトフィールド・カメラを示す図である。 本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るための装置の例を示す概略的なブロック図である。 本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るためのプロセスを説明するためのフローチャートである。 デジタル画像から導出される距離マップを表わす図である。 収集された4Dライトフィールド・データから計算される焦点スタックを表わす図である。 本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るためのプロセスを実行することによって得られる位置合わせ誤差マップを表わす図である。 本開示のある実施形態に基づく、位置合わせ誤差マップを表わす図である。
当業者は理解するであろうが、本願の原理の諸側面は、システム、方法またはコンピュータ可読媒体として具現されることができる。よって、本願の原理の諸側面は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）または本稿でみな一般に「回路」「モジュール」または「システム」として言及されうるソフトウェアおよびハードウェア側面を組み合わせた実施形態の形を取ることができる。さらに、本願の原理の諸側面は、コンピュータ可読記憶媒体の形を取ることができる。一つまたは複数のコンピュータ可読記憶媒体の任意の組み合わせが利用されうる。
プレノプティック・カメラは、主レンズとセンサーとの間にマイクロレンズ・アレイを配置することによって、センサーに交わる光線の各束に沿って進む光の量を測定できる。そのようなカメラによって収集されるデータはライトフィールド・データと呼ばれる。かかるライトフィールド・データは、異なる視点からのシーンの画像を再構成するために後処理されることができる。ライトフィールド・データは、それぞれ異なる再合焦深度をもつ画像の集合を含む焦点スタックを生成するために使用されることができる。結果として、ユーザーは画像の焦点を変えることができる。通常のカメラに比べて、プレノプティッ
ク・カメラは、後処理によって異なる視点および再合焦深度からのシーンの画像の再構成を達成するための、追加的な光情報成分を得ることができる。
このように、ビジュアルサーボ〔視覚的サーボ〕および視覚的案内のコンテキストにおいてライトフィールド・データのこれらの特異性を使うことができる。そうしたコンテキストでは、関心オブジェクトに関する正しい位置を見出す助けとなるいかなる追加的情報でも有用である。
図１のＡは、プレノプティック・カメラ１００を概略的に表わす図である。ライトフィールド・カメラは四次元（または4D）ライトフィールド・データを記録することができる。プレノプティック・カメラ１００は主レンズ１０１、マイクロレンズ・アレイ１０２およびイメージ・センサー１０４を有する。
図１のＢは、マルチアレイ・カメラ１１０を表わしている。マルチアレイ・カメラ１１０はレンズ・アレイ１１２およびイメージ・センサー１１４を有する。
図１のＡに示したようなプレノプティック・カメラ１００の例では、主レンズ１０１は主レンズ１０１のオブジェクト・フィールドにあるオブジェクト（図示せず）からの光を受け、その光を主レンズ１０１の像フィールドに通す。マイクロレンズ・アレイ１０２は、二次元アレイに配列された複数のマイクロレンズ１０３を含んでいる。
ライトフィールド・カメラによって捕捉されたデータは、異なる視点からのシーンの画像を再構成するために後処理されることができる。ライトフィールド・カメラはわずかに変化した視点から同じシーンの部分ビューの集合を捕捉することができるので、それら異なる部分ビューを組み合わせることによってカスタマイズされた焦点面をもつ画像を作り出すことができる。
図２は、ライトフィールド・カメラのイメージ・センサーの感知表面に配列されたセンサー領域の例を概略的に示す平面図である。図２に示されるように、イメージ・センサー２００は、二次元アレイに配列された複数のピクセル２０１を含み、マイクロレンズ・アレイ２０２を通じてオブジェクトからの光を受ける。マイクロレンズ・アレイ２０２の各マイクロレンズ２０３は、光をイメージ・センサー２００上の円形領域２０４に向けるレンズ属性をもつ。円形領域２０４の外側輪郭は、イメージ・センサー２００上に形成され捕捉されるマイクロレンズ像の形を表わしており、この形はマイクロレンズ２０３の形に依存する。イメージ・センサー２００上のピクセル２０１のすべてのうち、実質的に円形領域２０４内に位置しているピクセル２０１のみがイメージングに寄与する。換言すれば、イメージングに寄与する各ピクセル２０１のピクセル領域（または感知領域）は、実質的に円形領域２０４の内部に位置している。
ライトフィールド・カメラのイメージ・センサー２００は、2D画像内に配列された二次元（または2D）マイクロレンズ像の集合を含む画像を記録する。マイクロレンズ・アレイ２０２の各マイクロレンズ２０３は、円形領域２０４によって表わされるマイクロレンズ像を形成する。センサー２００上のピクセル２０１の座標は、図２に示されるように、イメージ・センサー２００の表面上のxy座標系において、順序付きの対(x,y)によって示される。距離pは、二つの連続するマイクロレンズ像の間の距離である。マイクロレンズ２０３は、距離pがピクセル２０１のサイズより大きいよう選ばれる。距離wは、二つの連続するマイクロレンズ像の間の視差距離である。マイクロレンズ像は、図２に示されるようにイメージ・センサー２００の表面上のij座標系におけるそれぞれの座標(i,j)によって参照される。
上述したように、実質的に円形領域２０４の内部に位置するピクセル２０１のみがマイクロレンズ２０３を通じて光を受ける。マイクロレンズ間のスペースは、光子がマイクロレンズ２０３の外部そ通過するのを防ぐために、マスクアウトされてもよい。マイクロレンズ２０３が正方形の形をもち、マイクロレンズ間のスペースができない場合には、そのようなマスキングは必要ない。
マイクロレンズ像(i,j)の中心は、イメージ・センサー２００上で、xy座標系において座標(xij,yij)に位置される。θがピクセル２０１の正方形格子とマイクロレンズ２０４の正方形格子との間の角度を表わす。マイクロレンズ像の中心の座標(xij,yij)は、(x0,0,y0,0)をマイクロレンズ像(0,0)のピクセル座標と考えて、下記の式(1)によって推定されることができる。
Figure 2022058658000002
 距離pおよびwはピクセル単位で与えられる。これらは物理的な距離の単位、たとえばメートルに変換され、それぞれPおよびWとなる。これはメートル単位でのピクセル・サイズδを乗算することによる：W＝δw、P＝δp。これらの距離は、ライトフィールド・カメラの特性に依存する。
ここで、ライトフィールド・カメラの例示的な光学属性について図３を参照して論じる。図３は、理想的な完璧な薄いレンズのモデルを有する概略的なライトフィールド・カメラを示している。
主レンズ３０１は焦点距離Fおよび口径Φをもつ。マイクロレンズ・アレイ３０２は、焦点距離fをもつマイクロレンズ３０３を有する。マイクロレンズ・アレイ３０２のピッチはφである。マイクロレンズ・アレイ３０２は主レンズ３０１から距離D、センサー３０４から距離dのところに位置する。オブジェクト（図示せず）が主レンズ３０１から距離zのところに位置している。このオブジェクトが主レンズ３０１によって、主レンズ３０１から距離z'のところに合焦される。図３は、D＞z'である場合を示している。この場合、マイクロレンズ像は、dおよびfに依存して、センサー３０４上で焦点が合うことができる。
視差（disparity）Wは、オブジェクトと主レンズ３０１の間の距離zとともに変わる。Wとzの間の関係の確立は、薄いレンズの式(2)およびタレス則の式（Thales law equation）(3)に依拠する。
Figure 2022058658000003
 すると、式(2)と(3)を混合することによって、次の式(4)が導き出せる。
Figure 2022058658000004
 Wとzの間の関係は、マイクロレンズ像に焦点が合っているという想定には基づいていない。マイクロレンズ像は、薄いレンズの式
Figure 2022058658000005
 に従って厳密に焦点が合う。
ライトフィールド・カメラの主要な性質は、2Dの再合焦された画像を計算できることであり、再合焦距離は画像撮影後に自由に調整可能である。
x軸およびy軸に沿ったピクセル数をそれぞれNxおよびNyで表わすとして、サイズ[Nx,Ny]の4Dのライトフィールド画像Lは、マイクロレンズ像をシフトおよびズームして、次いでそれらを合算して2D画像にすることによって、2D画像に投影される。マイクロレンズ像のシフト量が再合焦距離を制御する。4Dライトフィールド画像Lにおける座標(x,y,i,j)のピクセルの、再合焦された2D画像座標(X,Y)への投影は：
Figure 2022058658000006
 によって定義される。ここで、sは2D再合焦された画像のサイズを制御し、gは再合焦された画像の合焦距離を制御する。この式(6)は、式(1)を考慮することによって式(7)のように書き換えられる。
Figure 2022058658000007
 パラメータgは、式(8)のようにpおよびwの関数として表わせる。パラメータgは、マイクロレンズ像の中心を基準として使ってマイクロレンズ像に対して実行される必要があるズームを表わす。よって、同じオブジェクトのさまざまなズームされたビューが重畳される。
Figure 2022058658000008
 式(7)は次のようになる。
Figure 2022058658000009
 図４は、本開示のある実施形態に基づく、画像のぼけレベルを表わす位置合わせ誤差マップを得るための装置の例を示す概略的なブロック図である。
装置４００は、プロセッサ４０１、記憶ユニット４０２、入力装置４０３、表示装置４０４およびインターフェース・ユニット４０５を有し、これらはバス４０６によって接続されている。もちろん、コンピュータ装置４００の構成要素はバス接続以外の接続によって接続されてもよい。
プロセッサ４０１は、装置４００の動作を制御する。記憶ユニット４０２はプロセッサ４０１によって実行される少なくとも一つのプログラムならびにさまざまなデータを記憶する。該データは、ライトフィールド・カメラによって捕捉および提供される4Dライトフィールド画像のデータ、プロセッサ４０１によって実行される計算によって使用されるパラメータ、プロセッサ４０１によって実行される計算の中間データなどを含む。プロセッサ４０１は、いかなる既知であり好適なハードウェアもしくはソフトウェアまたはハードウェアとソフトウェアの組み合わせによって形成されてもよい。たとえば、プロセッサ４０１は、処理回路のような専用ハードウェアによって、あるいはメモリに記憶されたプログラムを実行するCPU（中央処理ユニット）のようなプログラム可能な処理ユニットによって形成されてもよい。
記憶ユニット４０２は、プログラム、データなどをコンピュータ可読な仕方で記憶することができるいかなる好適な記憶または手段によって形成されてもよい。記憶ユニット４０２の例は、読み書きユニットにロードされた半導体メモリ・デバイスおよび磁気式、光学式または光磁気式記録媒体のような非一時的なコンピュータ可読記憶媒体を含む。プログラムは、プロセッサ４０１に、図５を参照して後述する本開示のある実施形態に基づく画像のぼけレベルを表わす位置合わせ誤差マップを得るプロセスを実行させる。
入力装置４０３は、ユーザーがコマンドを入力するために使うためのキーボード、マウスのようなポインティングデバイスなどによって形成されてもよい。該入力により、再合焦表面を定義するために使われる関心オブジェクトの三次元（または3D）モデルのユーザー選択がされる。出力装置４０４は、たとえばグラフィカルユーザーインターフェース（GUI）、本開示の実施形態に従って生成された画像を表示するための表示装置によって形成されてもよい。入力装置４０３および出力装置４０４は、たとえばタッチスクリーン・パネルによって統合的に形成されてもよい。
インターフェース・ユニット４０５は装置４００と外部装置との間のインターフェースを提供する。インターフェース・ユニット４０５は、ケーブルまたは無線通信を介して外
部装置と通信可能であってもよい。ある実施形態では、外部装置は、ライトフィールド・カメラであってもよい。この場合、ライトフィールド・カメラによって捕捉された4Dライトフィールド画像のデータがライトフィールド・カメラから装置４００に、インターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶されることができる。
この実施形態では、装置４００は、ライトフィールド・カメラとは分離されており、それらはケーブルまたは無線通信を介して互いに通信可能であるとして例示的に論じられているが、装置４００はそのようなライトフィールド・カメラと統合されることができることを注意しておくべきである。この後者の場合、装置４００はたとえば、ライトフィールド・カメラを組み込んでいるタブレットまたはスマートフォンのようなポータブル装置であってもよい。
図５は、本開示のある実施形態に基づく、画像のぼけレベル（level of fuzziness）を表わす誤差位置合わせマップを得るためのプロセスを説明するためのフローチャートである。
誤差位置合わせマップを得るためのプロセスの第一のフェーズPh1では、再合焦表面が関心オブジェクトの三次元モデルから決定される。第一のフェーズPh1は段階５０１ないし５０３を含む。
段階５０１の間に、プロセッサ４０１は装置４００のディスプレイ４０４上でGUI機能を実行する。このGUI機能は、装置４００のユーザーが、装置４００の記憶ユニット４０２に記憶されているオブジェクトの複数の3Dモデルから関心オブジェクトの3Dモデルを選択することを許容する。ディスプレイ４０４上のGUI上での3Dモデルのユーザー選択は、ポインティングデバイスを使って関心オブジェクトに対応する3Dモデルをポイントすることによってできる。本開示のもう一つの実施形態では、関心オブジェクトの3Dモデルはたとえば、オブジェクトまたはシーンに関連付けられた多次元コードをデコードすることによって選択される。多次元コードはたとえば、装置４００に組み込まれたカメラによって捕捉されるか、あるいはケーブルもしくは無線通信を介して外部装置から送信される。この後者の場合、多次元コードのデコードは、外部装置によって実行されることができ、デコードの結果が装置４００に送信される。選択された3Dモデルは次いで、記憶ユニット４０２に記憶される。
ひとたび関心オブジェクトの3Dモデルが選択されたら、段階５０２においてオブジェクトの視点が選択される。本開示のある実施形態では、この視点または参照位置は、関心オブジェクトに関連付けられた前記多次元コードにおいて指定されている。本開示のもう一つの実施形態では、装置４００のユーザーは、たとえばポインティングデバイスを使って3Dモデルを自分が選んだ位置に位置付けて、自分で視点を選択してもよい。次いで、選択された視点に関係した情報が装置４００の記憶ユニット４０２に記憶される。
段階５０３では、前記参照位置に設置されたときの関心オブジェクトの選択された3Dモデルの距離マップが計算される。図６を参照するに、距離マップ６０はデジタル画像６１からの導出された表現である。距離マップ６０はデジタル画像６１の各ピクセル６２を、最も近い障害物ピクセルまでの距離６３でラベル付けする。最も一般的な型の障害物ピクセルは、二値画像６１における境界ピクセルである。距離マップ６０は、装置４００のプロセッサ４０１によって計算される。
図５に戻ると、誤差位置合わせマップを得るためのプロセスの第二のフェーズPh2では、関心オブジェクトの画像が、関心オブジェクトに関係した4Dライトフィールド・データ
および第一のフェーズPh1の間に決定された再合焦表面に基づいて計算され、この再合焦された画像から位置合わせ誤差マップが得られる。第二のフェーズPh2は段階５０４ないし５０９を含む。
段階５０４では、関心オブジェクトに関係する4Dライトフィールド・データが装置４００によって収集される。本開示のある実施形態では、4Dライトフィールド・データは、ライトフィールド・カメラのような外部装置によって捕捉される。この実施形態では、4Dライトフィールド・データは、ライトフィールド・カメラから装置４００にインターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶されてもよい。本開示のもう一つの実施形態では、装置４００はライトフィールド・カメラを組み込んでいる。この場合、4Dライトフィールド・データは、装置４００のライトフィールド・カメラによって捕捉され、次いで記憶ユニット４０２に記憶される。
段階５０５では、関心オブジェクトに関係する4Dライトフィールド・データから、焦点スタックがプロセッサ４０１によって計算される。図７を参照するに、Nがユーザーが選択した画像数であるとして、焦点スタック７０は、諸画像のキューブを定義するN枚の再合焦された画像Rn（ここでn∈[1,N]）の集合である。N枚の再合焦された画像は、式(4)および(8)によって定義されるzminとzmaxの間の合焦距離の範囲に対応するgminとgmaxの間で線形に変化するgについて計算される。もう一つのオプションは、式(4)によって定義されるzminとzmaxの間の合焦距離の範囲に対応するwminからwmaxまでで線形に変化するwを用いて焦点スタックを計算することである。gまたはwのmin max境界は、zminとzmax以内の合焦距離をもつ再合焦された画像を包含するために、ユーザーによって定義される。
この実施形態において記述される焦点スタック７０の計算は、4Dライトフィールド・データが、レンズ・アレイおよび任意的には主レンズを用いて、単一のイメージ・センサーによって記録されるという想定に基づいている。しかしながら、焦点スタック７０の計算は、そのような型のライトフィールド・カメラによって記録される4Dライトフィールド・データに限定されない。よって、任意の型のライトフィールド・カメラによって記録された4Dライトフィールド・データに基づいて再合焦された画像の焦点スタックを計算することが可能であることを注意しておくべきである。
図５に戻ると、段階５０６において、プロセッサ４０１は、第一のフェーズPh1の間に決定された再合焦表面（re-focusing surface）と、段階５０５の間に計算された焦点スタック（focal stack）７０との交わりを計算する。
図８を参照するに、再合焦されるべき画像８１の座標(x,y)の各ピクセル８０について、段階５０６の間に、プロセッサ４０１は、段階５０３の間に計算された距離マップから合焦距離zを決定する。実際、画像の各ピクセル(x,y)について、対応する距離マップは距離情報Zを関連付ける。こうして、再合焦されるべき画像８１の各ピクセル(x,y)について、距離マップのピクセル(x,y)に関連付けられた距離情報Zを参照することによって、距離マップから合焦距離zが取得される。再合焦距離zは、焦点スタック８２をなす画像Rnのうちの一つに対応する。
次いで、図５に戻ると、段階５０７において、プロセッサ４０１は、焦点スタックと再合焦表面との交差部に属する座標(x,y,z)のピクセルすべてを組み合わせることによって、再合焦された画像を生成する。
段階６０８では、装置４００のプロセッサ４０１は位置合わせ誤差マップを計算する。図９に表わされるように、位置合わせ誤差マップ９０はデジタル画像９２の各ピクセル９１に、該ピクセル９２のぼけのレベルに関係した情報９３でラベル付けする。たとえば、
ぼけに関係した情報９３は、最高のぼけレベルを示す0から最高の鮮鋭レベル（level of sharpness）（または最低のぼけレベル）を示す1までの間に含まれる値であってもよい。ピクセルのぼけレベルを示す値の増分はたとえば0.25である。換言すれば、ピクセルのぼけのレベルを示す値は：0,0.25,0.5,0.75または1の値を取ることができ、値0が最高のぼけの値を示し、値1が最低のぼけの値を示す。こうして、画像９２の左上隅の諸ピクセル９１に関連付けられたぼけレベルを表わす情報９３の値が1に等しいので、図９で表わされている画像９２の左上隅は鮮鋭である。逆に、画像９２の右下隅の諸ピクセル９１に関連付けられたぼけレベルを表わす情報９３の値は0に等しいので、画像９２の右下隅はぼけている。
図５に戻ると、段階５０９において、プロセッサ４０１は、装置４００の出力装置４０４での位置合わせ誤差マップの表示をトリガーする。出力装置４０４に表示される位置合わせ誤差マップは種々の見え方〔アピアランス〕を取りうる。本開示のある実施形態では、位置合わせ誤差マップは、再合焦された画像自身の見え方をする。すなわち、装置４００のエンドユーザーは、出力装置４０４に表示された再合焦された画像を見る。再合焦された画像のいくつかの部分は、ピクセルのぼけレベルを示す情報の値に依存して、ぼけて、または鮮鋭に見えることがありうる。
本開示のもう一つの実施形態では、位置合わせ誤差マップは、二色画像の見え方をしてもよい。たとえば、ぼけに関係する情報の値が0である場合、対応するピクセルは赤く見え、ぼけに関係する情報の値が1である場合、対応するピクセルは青く見える。0から1までの間のぼけに関係する情報の値をもつピクセルについて、前記ピクセルは、そのぼけのレベルに依存して、赤の混合された陰影または青の混合された陰影に見える。本開示のこの実施形態では、装置４００のプロセッサ４０１は、画像の各ピクセルに関連付けられた色を、ぼけのレベルに関係する情報の値に基づいて決定し、次いで、装置４００の出力装置４０４に表示されるべき位置合わせ誤差マップの見え方を生成する。
上記の位置合わせ誤差マップを得るための方法の利点は、4Dライトフィールド・データを使うことに依拠しており、そのため3D表面のような複雑な再合焦表面に再合焦された画像の生成が可能であるということである。ひとたび複雑な再合焦表面が決定されたら、再合焦表面と、収集された4Dライトフィールド・データから計算された焦点スタックとの交差部を計算することによって、再合焦された画像が得られる。再合焦された画像の各ピクセルについて、該ピクセルのぼけのレベルに関係する情報が得られ、位置合わせ誤差マップの計算を可能にする。再合焦表面は複雑な表面なので、位置合わせ誤差マップは関心オブジェクトが現在、正しい視点の下で見られていないことを反映する。すなわち、位置合わせ誤差マップは、装置４００のエンドユーザーに、関心オブジェクトの鮮鋭な画像を得るために、エンドユーザーが関心オブジェクトに関して初期位置のまわりに自分の視点をどのようにシフトさせるべきかについての直接的な情報を与える。
このように、装置４００が出力装置４０４上に関心オブジェクトの鮮鋭な画像を表示するとすぐに、あるいは位置合わせ誤差マップが関心オブジェクトに対応するピクセルが鮮鋭であることを示すとすぐに、エンドユーザーは、関心オブジェクトが正しい視点の下で見られていることを知る。
そのような方法は、簡単かつユーザーフレンドリーな視覚的案内の解決策を提供する。
上記の位置合わせ誤差マップを得るための方法の用途は、人間またはロボットであるエンドユーザーの視覚的案内である。
本開示のある実施形態では、エンドユーザーは、タブレットのようなライトフィールド
・カメラを組み込んでいる装置４００を所有している人間である。
視覚的案内は、美術館における彫像のような関心オブジェクトに関してエンドユーザーが精密に位置決めされる必要がある状況において有用である。その際、彫像に関する適正な位置決めが、彫像に関係した情報の、装置４００の出力装置４０４への表示をトリガーする。
まず第一に、関心オブジェクトの3Dモデルが利用可能であるべきである。たとえば、エンドユーザーがたとえば当該彫像を収蔵している美術館によって開発されたアプリケーションをダウンロードしたため、関心オブジェクトの3Dモデルがすでに装置４００の記憶ユニット４０２に記憶されていてもよい。もう一つの例では、関心オブジェクトの3Dモデルは、トリガー・イベント発生後に、サーバーからダウンロードされ、記憶ユニット４０２に記憶される。そのようなトリガー・イベントはたとえば、装置４００のカメラによって捕捉された関心オブジェクトに関係する多次元コードのデコードである。該多次元コードは、関心オブジェクトの3DモデルをダウンロードできるURL（一様リソース位置指定子）のような情報を埋め込んでいる。
本開示のある実施形態に基づく位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は次いで、装置４００のプロセッサ４０１によって実行される。本開示のある実施形態では、位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は外部装置によって実行される。第一のフェーズPh1の間に得られる距離マップは、次いで、外部装置から装置４００に、インターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶される。
関心オブジェクトに関係する4Dライトフィールド・データが収集されるとき、本開示のある実施形態に基づく位置合わせ誤差マップを取得するための方法の第二のフェーズPh2が実行され、関心オブジェクトの位置合わせ誤差マップが装置４００の出力装置４０４に表示される。
装置４００の出力装置４０４に表示される位置合わせ誤差マップがぼけた画像として見える場合、それは装置４００のエンドユーザーが関心オブジェクトに関して正しく位置されていないこと、すなわち、関心オブジェクトが、再合焦表面が決定されたときの視点に従って観察されていないことを意味する。
この視覚的フィードバックに基づいて、エンドユーザーは、装置４００の出力装置４０４に現在表示されている位置合わせ誤差マップが鮮鋭になる、つまり関心オブジェクトが正しい視点から観察されている、すなわち再合焦表面が決定された視点に従って見られているようになるまで、自分の視点をシフトさせる。
出力装置４０４に表示される位置合わせ誤差マップのぼけの強度および形またはぼけのレベルを示す色、赤もしくは青の量が、関心オブジェクトが現在観察されている視点をシフトさせるために装置４００をどの方向に動かすべきかをエンドユーザーが決定する助けとなる。
エンドユーザーがロボットであるときは、プロセッサ４０１はデジタル画像のピクセルのぼけのレベルに関係する情報を、ロボットの動きを制御する装置に、装置４００のインターフェース・ユニット４０５を通じて送信してもよい。
デジタル画像のピクセルのぼけに関係するこれらの情報に基づいて、ロボットの動きを制御する装置は、関心オブジェクトの鮮鋭な画像を得るためにロボットがどの方向に動く
必要があるかを決定しうる。
さらに、GPS（全地球測位システム）または何らかの屋内測位システムのような位置特定システムが、関心オブジェクトを見る適正な位置をエンドユーザーが見出すのを助けるために使用されてもよい。
本開示のある実施形態では、視覚的な案内効果を高めるために、位置合わせ誤差マップのぼけは、位置合わせ誤差マップのある種の領域において意図的に強調されてもよい。このように、視覚的フィードバックに基づいて、エンドユーザーは、参照位置に到達するために装置４００をどの方向に動かすべきかを知る。
上記の位置合わせ誤差マップを取得するための方法のもう一つの応用は、人間またはロボットであるエンドユーザーによって実行される品質管理プロセスの際の表面の検査である。
本開示のある実施形態によれば、エンドユーザーは、タブレットのような、ライトフィールド・カメラを組み込んでいる装置４００を所有している人間である。
再合焦表面上に画像を再合焦させることは、エンドユーザーが、たとえば飛行機翼の一部のような関心オブジェクトの表面を検査しなければならない状況において有用でありうる。
関心対象の飛行機翼の一部の3Dモデルが利用可能であるべきである。たとえば、検査されるべき飛行機翼の一部のかかる3Dモデルが、装置４００の記憶ユニット４０２においてすでに記憶されていてもよい。
本開示のある実施形態に基づく位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は次いで、装置４００のプロセッサ４０１によって実行される。本開示のある実施形態では、位置合わせ誤差マップを取得するための方法の第一のフェーズPh1は外部装置によって実行される。第一のフェーズPh1の間に得られる距離マップは、次いで、外部装置から装置４００に、インターフェース・ユニット４０５を通じて入力され、次いで記憶ユニット４０２に記憶される。
検査されるべき飛行機翼の一部に関係する4Dライトフィールド・データが収集されるとき、本開示のある実施形態に基づく位置合わせ誤差マップを生成するための方法の第二のフェーズPh2が実行され、検査されるべき飛行機翼の一部の位置合わせ誤差マップが装置４００の出力装置４０４に表示される。
装置４００の出力装置４０４に表示される位置合わせ誤差マップがぼけた画像として見える場合、それは飛行機翼の表面が欠陥をもつことを意味する。実際、検査される飛行機翼の一部の表面が、傷のない再合焦表面の3Dモデルに比べて欠陥をもつ場合、検査される飛行機翼の一部の表面の欠陥は、装置４００の出力装置４０４に表示される位置合わせ誤差マップにおいてぼけているように示される。
この実施形態では、エンドユーザーが検査される飛行機翼の一部を、適正な視点に従って観察しており、よって位置合わせ誤差マップによって示されるぼけは飛行機翼の一部の表面の欠陥に起因するという仮定がある。たとえば、エンドユーザーはGPSまたは何らかの屋内測位システムを使って、関心対象を見るための適正な位置を見出してもよい。
本開示のある実施形態では、欠陥の検出をエンドユーザーにとってより容易にするため
に、位置合わせ誤差マップによって示されるぼけは、位置合わせ誤差マップのある種の領域において意図的に強調されてもよい。
本開示は、個別的な実施形態を参照して上記で記述してきたが、本開示はそれらの個別的実施形態に限定されるものではなく、本開示の範囲内にある修正が当業者には明白であろう。
上記の例示的実施形態を参照すれば、さらに多くの修正および変形が当業者には思いつくであろう。上記の例示的実施形態は単に例として与えられており、本開示の範囲を限定することは意図されていない。本開示の範囲は、付属の請求項によってのみ決定される。特に、異なる実施形態からの異なる特徴が適宜交換されてもよい。

Claims (13)

  1. 位置合わせ誤差マップと呼ばれる画像の複数のピクセルの鮮鋭レベルを表わすマップを取得するための、プロセッサを有する装置であって、前記プロセッサは、関心オブジェクトの三次元モデルから得られた再合焦表面と前記関心オブジェクトに関係する収集された四次元ライトフィールド・データに基づく焦点スタックとの交わりを計算することによって生成された、前記関心オブジェクトの画像に関係する位置合わせ誤差マップを取得するよう構成されている、装置。
  2. 前記プロセッサは、前記再合焦表面を、参照位置に設置されたときの前記関心オブジェクトの前記三次元モデルの距離マップを計算することによって決定するよう構成されている、請求項１記載の装置。
  3. 前記プロセッサは、前記再合焦表面と前記焦点スタックとの交わりを、再合焦されるべき画像の各ピクセルについて、前記あらかじめ定義された再合焦表面からの、前記焦点スタックをなす画像のうちの一つに対応する再合焦距離を決定することによって計算するよう構成されている、請求項１または２記載の装置。
  4. 前記プロセッサは、表示されるべき前記位置合わせ誤差マップの見え方を、前記再合焦された画像のピクセルの鮮鋭レベルに関係する情報に基づいて生成するよう構成されている、請求項１ないし３のうちいずれか一項記載の装置。
  5. 前記プロセッサは、得られた位置合わせ誤差マップを、当該装置の表示装置に表示するよう構成されている、請求項１ないし４のうちいずれか一項記載の装置。
  6. 位置合わせ誤差マップと呼ばれる画像の複数のピクセルの鮮鋭レベルを表わす位置合わせ誤差マップを取得するための方法であって、当該方法は、関心オブジェクトの三次元モデルから得られた再合焦表面と前記関心オブジェクトに関係する収集された四次元ライトフィールド・データに基づく焦点スタックとの交わりを計算することによって生成される、前記関心オブジェクトの画像に関係する位置合わせ誤差マップを取得することを含む、方法。
  7. 前記再合焦表面を決定することは、参照位置に設置されたときの前記関心オブジェクトの前記三次元モデルの距離マップを計算することを含む、請求項６記載の方法。
  8. 前記再合焦表面と前記焦点スタックとの交わりを計算することは、再合焦されるべき画像の各ピクセルについて、前記再合焦表面からの、前記焦点スタックをなす画像のうちの一つに対応する再合焦距離を決定することを含む、請求項６または７記載の方法。
  9. 表示されるべき前記位置合わせ誤差マップの見え方を、前記再合焦された画像のピクセルの鮮鋭レベルに関係する情報に基づいて生成することをさらに含む、請求項６ないし８のうちいずれか一項記載の方法。
  10. 得られた位置合わせ誤差マップを、表示装置に表示することを含む、請求項６ないし９のうちいずれか一項記載の方法。
  11. プロセッサによって実行されたときに、請求項６ないし１０のうちいずれか一項記載の、画像の鮮鋭レベルを表わす位置合わせ誤差マップを取得するための前記方法を実装するためのプログラム・コード命令を含むことを特徴とする、コンピュータ・プログラム。
  12. プロセッサに、請求項６ないし１０のうちいずれか一項記載の、画像の鮮鋭レベルを表わす位置合わせ誤差マップを取得するための前記方法を実行させるための命令を記憶しているプロセッサ可読媒体。
  13. コンピューティング装置上で実行されたときに、請求項６ないし１０のうちいずれか一項記載の、画像の鮮鋭レベルを表わす位置合わせ誤差マップを取得するための前記方法を実装するためのプログラム・コードの命令を担持している非一時的な記憶媒体。
JP2022006154A 2015-06-17 2022-01-19 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法 Active JP7204021B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP15305939.9A EP3106912A1 (en) 2015-06-17 2015-06-17 An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
EP15305939.9 2015-06-17
PCT/EP2016/063937 WO2016202946A1 (en) 2015-06-17 2016-06-16 An apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
JP2017564559A JP7013244B2 (ja) 2015-06-17 2016-06-16 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017564559A Division JP7013244B2 (ja) 2015-06-17 2016-06-16 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法

Publications (2)

Publication Number Publication Date
JP2022058658A true JP2022058658A (ja) 2022-04-12
JP7204021B2 JP7204021B2 (ja) 2023-01-13

Family

ID=53724143

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017564559A Active JP7013244B2 (ja) 2015-06-17 2016-06-16 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
JP2022006154A Active JP7204021B2 (ja) 2015-06-17 2022-01-19 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017564559A Active JP7013244B2 (ja) 2015-06-17 2016-06-16 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法

Country Status (6)

Country Link
US (2) US10818020B2 (ja)
EP (3) EP3106912A1 (ja)
JP (2) JP7013244B2 (ja)
KR (2) KR20230152168A (ja)
CN (2) CN107787507B (ja)
WO (1) WO2016202946A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107084794B (zh) * 2017-04-10 2021-06-22 东南大学 基于光场分层成像技术的火焰三维温度场测量系统及其方法
US10699374B2 (en) * 2017-12-05 2020-06-30 Microsoft Technology Licensing, Llc Lens contribution-based virtual reality display rendering
CN110349132B (zh) * 2019-06-25 2021-06-08 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009090291A1 (es) * 2008-01-15 2009-07-23 Universidad De La Laguna Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales
JP2012205111A (ja) * 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
WO2013162747A1 (en) * 2012-04-26 2013-10-31 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for providing interactive refocusing in images
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US20140176592A1 (en) * 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1673714A1 (en) 2003-10-09 2006-06-28 University of York Image recognition
JP4524717B2 (ja) 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2011022796A (ja) 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
IN2014CN02708A (ja) * 2011-09-28 2015-08-07 Pelican Imaging Corp
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
US8941722B2 (en) 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
CN104641399B (zh) * 2012-02-23 2018-11-23 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN103366356A (zh) 2012-04-06 2013-10-23 北京三星通信技术研究有限公司 通用标定系统和方法及其集成成像重构系统和方法
EP2675173A1 (en) 2012-06-15 2013-12-18 Thomson Licensing Method and apparatus for fusion of images
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
JP6047025B2 (ja) 2013-02-01 2016-12-21 キヤノン株式会社 撮像装置及びその制御方法
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
CN103471715B (zh) * 2013-09-02 2015-09-09 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
US9224194B2 (en) * 2014-01-21 2015-12-29 Adobe Systems Incorporated Joint video deblurring and stabilization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009090291A1 (es) * 2008-01-15 2009-07-23 Universidad De La Laguna Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales
US20140176592A1 (en) * 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP2012205111A (ja) * 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
WO2013162747A1 (en) * 2012-04-26 2013-10-31 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for providing interactive refocusing in images
WO2013169671A1 (en) * 2012-05-09 2013-11-14 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation

Also Published As

Publication number Publication date
US11694349B2 (en) 2023-07-04
EP3106912A1 (en) 2016-12-21
KR20230152168A (ko) 2023-11-02
KR20180018563A (ko) 2018-02-21
US20180189965A1 (en) 2018-07-05
JP7204021B2 (ja) 2023-01-13
CN107787507B (zh) 2021-12-28
US20210012515A1 (en) 2021-01-14
EP3311214A1 (en) 2018-04-25
JP7013244B2 (ja) 2022-01-31
JP2018519733A (ja) 2018-07-19
EP3311214B1 (en) 2023-05-24
EP4235257A1 (en) 2023-08-30
US10818020B2 (en) 2020-10-27
WO2016202946A1 (en) 2016-12-22
CN114155233A (zh) 2022-03-08
CN107787507A (zh) 2018-03-09
KR102595397B1 (ko) 2023-10-27

Similar Documents

Publication Publication Date Title
US9965870B2 (en) Camera calibration method using a calibration target
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品
US20170116723A1 (en) Pattern-based camera pose estimation system
US10451403B2 (en) Structure-based camera pose estimation system
US9361731B2 (en) Method and apparatus for displaying video on 3D map
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
US9858669B2 (en) Optimized camera pose estimation system
JP2019067388A (ja) ライトフィールド画像を操作するためのユーザインターフェイス
US20180350216A1 (en) Generating Representations of Interior Space
Imre et al. Calibration of nodal and free-moving cameras in dynamic scenes for post-production
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
CN113032499B (zh) 辅助显示、地物信息的辅助标注方法、装置、设备和介质
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
CN108353120A (zh) 用于生成表示像素束的数据的装置和方法
JP6768400B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
JP6984583B2 (ja) 情報処理装置および情報処理方法
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Schindler et al. Real-Time Camera Guidance for 3d Scene Reconstruction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221227

R150 Certificate of patent or registration of utility model

Ref document number: 7204021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150