JP2003141529A - 画像再構成法及び画像再構成装置 - Google Patents
画像再構成法及び画像再構成装置Info
- Publication number
- JP2003141529A JP2003141529A JP2001337227A JP2001337227A JP2003141529A JP 2003141529 A JP2003141529 A JP 2003141529A JP 2001337227 A JP2001337227 A JP 2001337227A JP 2001337227 A JP2001337227 A JP 2001337227A JP 2003141529 A JP2003141529 A JP 2003141529A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shift amount
- relative position
- reduced
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000005314 correlation function Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 9
- 150000001875 compounds Chemical class 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008707 rearrangement Effects 0.000 description 4
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100030525 Gap junction alpha-4 protein Human genes 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
(57)【要約】
【課題】マイクロレンズアレイによって受光素子上に結
像される複数の低解像度な物体縮小像から単一の物体像
を回復する画像再構成法において，物体と上記マイクロ
レンズアレイとの距離や，上記マイクロレンズアレイ及
び上記受光素子におけるアライメント誤差に関係なく，
高解像な物体像を形成可能な画像再構成法を提供するこ
と。 【解決手段】物体縮小像間の相対位置を該物体縮小像間
のシフト量に関する相関演算によって算定する第１の工
程と，上記物体縮小像の画素を上記第１の工程により得
られたシフト量に基づいて上記相対位置のずれの修正さ
れた単一の物体像として同一領域上に再配置する第２の
工程と，上記再配置された上記物体像の欠失した画素を
補間処理により得る第３の工程と，上記補間処理された
上記物体像を鮮鋭化処理する第４の工程とを具備してな
る画像再構成法として構成する。
像される複数の低解像度な物体縮小像から単一の物体像
を回復する画像再構成法において，物体と上記マイクロ
レンズアレイとの距離や，上記マイクロレンズアレイ及
び上記受光素子におけるアライメント誤差に関係なく，
高解像な物体像を形成可能な画像再構成法を提供するこ
と。 【解決手段】物体縮小像間の相対位置を該物体縮小像間
のシフト量に関する相関演算によって算定する第１の工
程と，上記物体縮小像の画素を上記第１の工程により得
られたシフト量に基づいて上記相対位置のずれの修正さ
れた単一の物体像として同一領域上に再配置する第２の
工程と，上記再配置された上記物体像の欠失した画素を
補間処理により得る第３の工程と，上記補間処理された
上記物体像を鮮鋭化処理する第４の工程とを具備してな
る画像再構成法として構成する。
Description
【０００１】
【発明の属する技術分野】本発明は，複数のマイクロレ
ンズを利用した複眼画像入力装置を用いて取得した複数
の低解像な物体縮小像から，高解像な単一の物体像を再
構成する手法に関する。
ンズを利用した複眼画像入力装置を用いて取得した複数
の低解像な物体縮小像から，高解像な単一の物体像を再
構成する手法に関する。
【０００２】
【従来の技術】様々な画像情報を，効率的且つ高品質に
取得する画像入力装置としては，デジタルカメラ，ビデ
オカメラ等，被写体である物体に対向する単一の光学系
によって物体像を取得する構成の画像入力装置が広く用
いられている。しかし，近年，画像入力装置の更なる小
型，薄型化を図るために，昆虫等に見られる複眼構造を
模倣した複眼画像入力装置が開発されている。該複眼画
像入力装置は，複数のマイクロレンズを配列したマイク
ロレンズアレイと平面状に形成された受光素子とを具備
して概略構成されており，上記マイクロレンズアレイに
よって上記受光素子上に結像される複数の低解像な物体
縮小像を信号処理することにより単一の物体像を再構成
する構造である。従って，単一の光学系を用いた画像入
力装置に較べて小型，薄型の構成であるにも拘わらず，
明るい光学系を実現するものであるが，一つづつの物体
縮小像は解像度が低い欠点を有しており，これら複数の
物体縮小像を用いて解像度の高い画像を再構成すること
が行われている。上記のような複数の低解像な物体縮小
像から単一の物体像を再構成する複眼画像入力装置の画
像再構成法としては，例えば熊谷の修士論文“複眼光学
系を用いた画像入力システムに関する研究”（大阪大
学，２０００），谷田，熊谷等の論文“Ｔｈｉｎ ｏｂ
ｓｅｒｖａｔｉｏｎ ｍｏｄｕｌｅ ｂｙ ｂｏｕｎｄ
ｏｐｔｉｃｓ （ＴＯＭＢＯ）：ｃｏｎｃｅｐｔ ａ
ｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｖｅｒｉｆｉｃａｔ
ｉｏｎ” Ａｐｐｌ．Ｏｐｔ．４０，１８０６−１８１
３（２００１）において相加平均法と擬似逆行列法が開
示されている。前者の相加平均法は，上記物体縮小像の
重心位置を基準として重ね合わせることにより，単一の
物体像を再構成する手法である。後者の擬似逆行列法
は，先ず，被写体である物体と物体縮小像とをベクトル
で表現し，光学系の点像分布関数を行列で記述する。続
いて，該点像分布関数の逆行列を数学的に演算すること
により，単一の物体像を再構成する手法である。
取得する画像入力装置としては，デジタルカメラ，ビデ
オカメラ等，被写体である物体に対向する単一の光学系
によって物体像を取得する構成の画像入力装置が広く用
いられている。しかし，近年，画像入力装置の更なる小
型，薄型化を図るために，昆虫等に見られる複眼構造を
模倣した複眼画像入力装置が開発されている。該複眼画
像入力装置は，複数のマイクロレンズを配列したマイク
ロレンズアレイと平面状に形成された受光素子とを具備
して概略構成されており，上記マイクロレンズアレイに
よって上記受光素子上に結像される複数の低解像な物体
縮小像を信号処理することにより単一の物体像を再構成
する構造である。従って，単一の光学系を用いた画像入
力装置に較べて小型，薄型の構成であるにも拘わらず，
明るい光学系を実現するものであるが，一つづつの物体
縮小像は解像度が低い欠点を有しており，これら複数の
物体縮小像を用いて解像度の高い画像を再構成すること
が行われている。上記のような複数の低解像な物体縮小
像から単一の物体像を再構成する複眼画像入力装置の画
像再構成法としては，例えば熊谷の修士論文“複眼光学
系を用いた画像入力システムに関する研究”（大阪大
学，２０００），谷田，熊谷等の論文“Ｔｈｉｎ ｏｂ
ｓｅｒｖａｔｉｏｎ ｍｏｄｕｌｅ ｂｙ ｂｏｕｎｄ
ｏｐｔｉｃｓ （ＴＯＭＢＯ）：ｃｏｎｃｅｐｔ ａ
ｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｖｅｒｉｆｉｃａｔ
ｉｏｎ” Ａｐｐｌ．Ｏｐｔ．４０，１８０６−１８１
３（２００１）において相加平均法と擬似逆行列法が開
示されている。前者の相加平均法は，上記物体縮小像の
重心位置を基準として重ね合わせることにより，単一の
物体像を再構成する手法である。後者の擬似逆行列法
は，先ず，被写体である物体と物体縮小像とをベクトル
で表現し，光学系の点像分布関数を行列で記述する。続
いて，該点像分布関数の逆行列を数学的に演算すること
により，単一の物体像を再構成する手法である。
【０００３】
【発明が解決しようとする課題】しかしながら，上記複
眼画像入力装置は，同一物体を異なる視点から複数の微
小光学系で撮像するものであり，上記複数の物体縮小像
には視差が含まれるが，上述の相加平均法は，受光素子
上に形成された複数の低解像な物体縮小像を単に重ねる
手法であるため，上記物体縮小像間の視差が物体情報の
位置ゆらぎとなり，再構成される物体像の解像度は向上
せず，高い解像度を得ることはできない。一方，上述の
擬似逆行列法では，理論上，上記点像分布関数を正確に
記述することによって再構成される物体像の解像度を高
くすることが可能となる。しかし，実際には物体と上記
マイクロレンズアレイとの距離，或いは上記マイクロレ
ンズアレイと上記受光素子との距離を正確に取得するこ
と，及び上記マイクロレンズアレイ及び上記受光素子の
アライメント誤差による影響を正確に取得することは困
難である。このため，上記点像分布関数を，正確に記述
することは出来ない。更には，逆行列を求める演算にお
いても，該点像分布関数の逆行列は厳密に求めることが
できないため，近似的な逆行例である擬似逆行列を用い
ざるを得ない。このため，該擬似逆行列法を用いて再構
成し，取得される物体像の解像度の低下を回避できな
い。そこで，本発明は上記課題に鑑みて成されたもので
あり，その目的とするところは，上記マイクロレンズア
レイによって上記受光素子上に結像する複数の低解像度
な物体縮小像から単一の物体像を回復する画像再構成法
において，物体と上記マイクロレンズアレイとの距離が
不定である場合や，上記マイクロレンズアレイ及び上記
受光素子のアライメント誤差がある場合にも，高解像な
単一の物体像を形成する再構成手法を提供することにあ
る。
眼画像入力装置は，同一物体を異なる視点から複数の微
小光学系で撮像するものであり，上記複数の物体縮小像
には視差が含まれるが，上述の相加平均法は，受光素子
上に形成された複数の低解像な物体縮小像を単に重ねる
手法であるため，上記物体縮小像間の視差が物体情報の
位置ゆらぎとなり，再構成される物体像の解像度は向上
せず，高い解像度を得ることはできない。一方，上述の
擬似逆行列法では，理論上，上記点像分布関数を正確に
記述することによって再構成される物体像の解像度を高
くすることが可能となる。しかし，実際には物体と上記
マイクロレンズアレイとの距離，或いは上記マイクロレ
ンズアレイと上記受光素子との距離を正確に取得するこ
と，及び上記マイクロレンズアレイ及び上記受光素子の
アライメント誤差による影響を正確に取得することは困
難である。このため，上記点像分布関数を，正確に記述
することは出来ない。更には，逆行列を求める演算にお
いても，該点像分布関数の逆行列は厳密に求めることが
できないため，近似的な逆行例である擬似逆行列を用い
ざるを得ない。このため，該擬似逆行列法を用いて再構
成し，取得される物体像の解像度の低下を回避できな
い。そこで，本発明は上記課題に鑑みて成されたもので
あり，その目的とするところは，上記マイクロレンズア
レイによって上記受光素子上に結像する複数の低解像度
な物体縮小像から単一の物体像を回復する画像再構成法
において，物体と上記マイクロレンズアレイとの距離が
不定である場合や，上記マイクロレンズアレイ及び上記
受光素子のアライメント誤差がある場合にも，高解像な
単一の物体像を形成する再構成手法を提供することにあ
る。
【０００４】
【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明は，複数のマイクロレンズが配
列されたマイクロレンズアレイにより，受光素子上に結
像される複数の物体縮小像から単一の物体像を再構成す
る画像再構成法において，上記物体縮小像間の相対位置
を，上記物体縮小像間のシフト量に関する相関演算によ
って算定する第１の工程と，上記物体縮小像の画素を，
上記第１の工程により得られたシフト量に基づいて上記
相対位置のずれの修正された単一の物体像として同一領
域上に再配置する第２の工程とを具備してなることを特
徴とする画像再構成法として構成されている。このよう
に構成することによって，物体とマイクロレンズアレイ
との距離や，マイクロレンズアレイ及び受光素子におけ
るアライメント誤差とは関係なく，上記受光素子上に結
像された上記物体縮小像から算定可能な相対位置情報に
基づいて，該相対位置のずれの修正された単一の物体像
として物体像を再構成可能であるため，高い解像度を得
ることができる。
に請求項１に記載の発明は，複数のマイクロレンズが配
列されたマイクロレンズアレイにより，受光素子上に結
像される複数の物体縮小像から単一の物体像を再構成す
る画像再構成法において，上記物体縮小像間の相対位置
を，上記物体縮小像間のシフト量に関する相関演算によ
って算定する第１の工程と，上記物体縮小像の画素を，
上記第１の工程により得られたシフト量に基づいて上記
相対位置のずれの修正された単一の物体像として同一領
域上に再配置する第２の工程とを具備してなることを特
徴とする画像再構成法として構成されている。このよう
に構成することによって，物体とマイクロレンズアレイ
との距離や，マイクロレンズアレイ及び受光素子におけ
るアライメント誤差とは関係なく，上記受光素子上に結
像された上記物体縮小像から算定可能な相対位置情報に
基づいて，該相対位置のずれの修正された単一の物体像
として物体像を再構成可能であるため，高い解像度を得
ることができる。
【０００５】また，複数のマイクロレンズが配列された
マイクロレンズアレイにより，受光素子上に結像される
複数の物体縮小像から単一の物体像を再構成する画像再
構成法において，上記物体縮小像間の相対位置を，上記
物体縮小像間のシフト量に関する相関演算によって算定
する第１の工程と，上記物体縮小像の画素を，上記第１
の工程により得られたシフト量に基づいて上記相対位置
のずれの修正された単一の物体像として同一領域上に再
配置する第２の工程と，上記第２の工程により再配置さ
れた上記単一の物体像の欠失した画素を，補間処理によ
り得る第３の工程とを具備してなることを特徴とする画
像再構成法として構成されても良い。請求項１に記載の
画像再構成法では，視差による物体縮小像間のずれが解
消される一方，情報が得られない画素の発生を招くこと
もあるが，補間処理によって美しい再構成画像を得るこ
とができる。
マイクロレンズアレイにより，受光素子上に結像される
複数の物体縮小像から単一の物体像を再構成する画像再
構成法において，上記物体縮小像間の相対位置を，上記
物体縮小像間のシフト量に関する相関演算によって算定
する第１の工程と，上記物体縮小像の画素を，上記第１
の工程により得られたシフト量に基づいて上記相対位置
のずれの修正された単一の物体像として同一領域上に再
配置する第２の工程と，上記第２の工程により再配置さ
れた上記単一の物体像の欠失した画素を，補間処理によ
り得る第３の工程とを具備してなることを特徴とする画
像再構成法として構成されても良い。請求項１に記載の
画像再構成法では，視差による物体縮小像間のずれが解
消される一方，情報が得られない画素の発生を招くこと
もあるが，補間処理によって美しい再構成画像を得るこ
とができる。
【０００６】更に，上記補間処理で得られた単一の物体
像を鮮鋭化処理する第４の工程を具備しているものも考
えられる。このように構成することによって，請求項２
に記載の画像再構成法で得られた再構成画像に対してエ
ッジ強調等の鮮鋭化処理を施すことが可能となり，更に
解像度の高い再構成画像を得ることができる。
像を鮮鋭化処理する第４の工程を具備しているものも考
えられる。このように構成することによって，請求項２
に記載の画像再構成法で得られた再構成画像に対してエ
ッジ強調等の鮮鋭化処理を施すことが可能となり，更に
解像度の高い再構成画像を得ることができる。
【０００７】ここで，上記シフト量を上記相関演算に用
いられる相関関数における相関ピークとして算定するこ
とによって，物体とマイクロレンズアレイとの距離や，
マイクロレンズアレイ及び受光素子におけるアライメン
ト誤差とは関係なく，上記物体縮小像の画像情報から，
該物体縮小像間の相対位置情報を算定することが可能と
なる。
いられる相関関数における相関ピークとして算定するこ
とによって，物体とマイクロレンズアレイとの距離や，
マイクロレンズアレイ及び受光素子におけるアライメン
ト誤差とは関係なく，上記物体縮小像の画像情報から，
該物体縮小像間の相対位置情報を算定することが可能と
なる。
【０００８】また，上記シフト量を上記相関関数を所定
の範囲で積分して得られる領域を２等分するシフト量に
基づいて決定する形態も考えられる。このような形態に
よれば，上記相関関数として離散的な相関関数を線形補
間した相関関数を適用した場合等，相関ピークを示すシ
フト量を相関関数から直接的に読み取ることが困難であ
る場合にも，相関ピークを示すシフト量を算定すること
が可能となる。
の範囲で積分して得られる領域を２等分するシフト量に
基づいて決定する形態も考えられる。このような形態に
よれば，上記相関関数として離散的な相関関数を線形補
間した相関関数を適用した場合等，相関ピークを示すシ
フト量を相関関数から直接的に読み取ることが困難であ
る場合にも，相関ピークを示すシフト量を算定すること
が可能となる。
【０００９】ここで，複眼画像入力装置を用いて取得す
る物体縮小像は，物体の画像情報を受光素子によって取
得した離散的な点の集合である。また，算定すべきシフ
ト量は離散点の間隔より小さい。このため，物体縮小像
間の相関演算には，離散的な相関関数が適用され，且つ
該相関関数における相関ピークを示すシフト量の算定に
は，上記離散的な相関関数を線形補間したものが用いら
れることになる。
る物体縮小像は，物体の画像情報を受光素子によって取
得した離散的な点の集合である。また，算定すべきシフ
ト量は離散点の間隔より小さい。このため，物体縮小像
間の相関演算には，離散的な相関関数が適用され，且つ
該相関関数における相関ピークを示すシフト量の算定に
は，上記離散的な相関関数を線形補間したものが用いら
れることになる。
【００１０】請求項１に記載の発明を画像再構成装置と
して捉えると，複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
装置において，上記物体縮小像間の相対位置を，上記物
体縮小像間のシフト量に関する相関演算によって算定す
る第１の手段と，上記物体縮小像の画素を，上記第１の
手段により得られたシフト量に基づいて上記相対位置の
ずれの修正された単一の物体像として同一領域上に再配
置する第２の手段とを具備してなることを特徴とする画
像再構成装置となる。このように構成することによっ
て，物体とマイクロレンズアレイとの距離や，マイクロ
レンズアレイ及び受光素子におけるアライメント誤差と
は関係なく，上記受光素子上に結像された上記物体縮小
像から算定可能な相対位置情報に基づいて，該相対位置
のずれの修正された単一の物体像として物体像を再構成
可能であるため，高い解像度を得ることができる。例え
ば，各手段の一実施例としては，上述した請求項１にお
ける各工程を実行可能であって，コンピュータ等に格納
されたプログラムであることが望ましい。
して捉えると，複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
装置において，上記物体縮小像間の相対位置を，上記物
体縮小像間のシフト量に関する相関演算によって算定す
る第１の手段と，上記物体縮小像の画素を，上記第１の
手段により得られたシフト量に基づいて上記相対位置の
ずれの修正された単一の物体像として同一領域上に再配
置する第２の手段とを具備してなることを特徴とする画
像再構成装置となる。このように構成することによっ
て，物体とマイクロレンズアレイとの距離や，マイクロ
レンズアレイ及び受光素子におけるアライメント誤差と
は関係なく，上記受光素子上に結像された上記物体縮小
像から算定可能な相対位置情報に基づいて，該相対位置
のずれの修正された単一の物体像として物体像を再構成
可能であるため，高い解像度を得ることができる。例え
ば，各手段の一実施例としては，上述した請求項１にお
ける各工程を実行可能であって，コンピュータ等に格納
されたプログラムであることが望ましい。
【００１１】また，請求項２に記載の発明についても同
様に，複数のマイクロレンズが配列されたマイクロレン
ズアレイにより，受光素子上に結像される複数の物体縮
小像から単一の物体像を再構成する画像再構成装置にお
いて，上記物体縮小像間の相対位置を，上記物体縮小像
間のシフト量に関する相関演算によって算定する第１の
手段と，上記物体縮小像の画素を，上記第１の手段によ
り得られたシフト量に基づいて上記相対位置のずれの修
正された単一の物体像として同一領域上に再配置する第
２の手段と，上記第２の手段により再配置された上記単
一の物体像の欠失した画素を，補間処理により得る第３
の手段とを具備してなることを特徴とする画像再構成装
置と考えられる。これにより，欠失した画素を含む再構
成画像を補間処理することが可能となり，美しい再構成
画像を得ることができる。
様に，複数のマイクロレンズが配列されたマイクロレン
ズアレイにより，受光素子上に結像される複数の物体縮
小像から単一の物体像を再構成する画像再構成装置にお
いて，上記物体縮小像間の相対位置を，上記物体縮小像
間のシフト量に関する相関演算によって算定する第１の
手段と，上記物体縮小像の画素を，上記第１の手段によ
り得られたシフト量に基づいて上記相対位置のずれの修
正された単一の物体像として同一領域上に再配置する第
２の手段と，上記第２の手段により再配置された上記単
一の物体像の欠失した画素を，補間処理により得る第３
の手段とを具備してなることを特徴とする画像再構成装
置と考えられる。これにより，欠失した画素を含む再構
成画像を補間処理することが可能となり，美しい再構成
画像を得ることができる。
【００１２】更にまた，請求項３に記載の発明について
も，上記補間処理で得られた単一の物体像を鮮鋭化処理
する第４の手段を更に具備してなる形態として考えられ
よう。このような形態によれば，ぼけのある再構成画像
をエッジ強調等の鮮鋭化処理することが可能となり，更
に解像度の高い再構成画像を得ることができる。
も，上記補間処理で得られた単一の物体像を鮮鋭化処理
する第４の手段を更に具備してなる形態として考えられ
よう。このような形態によれば，ぼけのある再構成画像
をエッジ強調等の鮮鋭化処理することが可能となり，更
に解像度の高い再構成画像を得ることができる。
【００１３】
【発明の実施の形態】以下添付図面を参照しながら，本
発明の実施の形態及び実施例について説明し，本発明の
理解に供する。尚，以下の実施の形態及び実施例は，本
発明を具体化した一例であって，本発明の技術的範囲を
限定する性格のものではない。ここに，図１は本実施の
形態に係る画像再構成法の流れを示す図，図２はマイク
ロレンズアレイによって受光素子上に結像され，画像情
報に変換された物体縮小像を示す図（（ａ）は全体図，
（ｂ）は拡大図），図３は物体縮小像間の相関関数を示
す図，図４は画像の再配置についての概略説明図，図５
は相対位置に従って上記物体縮小像の画素を単一の物体
像として再配置した画像を示す図，図６は再配置された
単一の物体像の欠失した画素を補間処理した画像を示す
図，図７は補間処理された単一の物体像を鮮鋭化処理し
た画像を示す図である。
発明の実施の形態及び実施例について説明し，本発明の
理解に供する。尚，以下の実施の形態及び実施例は，本
発明を具体化した一例であって，本発明の技術的範囲を
限定する性格のものではない。ここに，図１は本実施の
形態に係る画像再構成法の流れを示す図，図２はマイク
ロレンズアレイによって受光素子上に結像され，画像情
報に変換された物体縮小像を示す図（（ａ）は全体図，
（ｂ）は拡大図），図３は物体縮小像間の相関関数を示
す図，図４は画像の再配置についての概略説明図，図５
は相対位置に従って上記物体縮小像の画素を単一の物体
像として再配置した画像を示す図，図６は再配置された
単一の物体像の欠失した画素を補間処理した画像を示す
図，図７は補間処理された単一の物体像を鮮鋭化処理し
た画像を示す図である。
【００１４】ここで，図１を用いて，本発明に係る画像
再構成法の手順の概要を説明する。以下Ｓ１，Ｓ２，，
は処理手順（ステップ）の番号を示す。先ず，図１の処
理が開始される前に，複数のマイクロレンズが配列され
たマイクロレンズアレイによって複数の物体縮小像が，
受光素子上に結像されているものとする。図２（ａ）
は，被写体である「Ａ」の複数の物体縮小像が上記受光
素子上に結像し，画像情報に変換された様子を示してい
る。また，該物体縮小像は，該物体縮小像を拡大した図
２（ｂ）が示すように，解像度の低い粗い画像情報であ
る。上記複数の物体縮小像が結像されると，先ずステッ
プＳ１では，上記物体縮小像間のシフト量に関する相関
演算を実施し，上記物体縮小像間の相対位置を算出す
る。続いて，ステップＳ２では，上記物体縮小像の画素
を，上記相対位置のずれの修正された単一の物体像を同
一領域上に再配置する。この上記相対位置のずれ量は各
光学系（マイクロレンズ）間の視差によって生じるもの
である。このように，本発明に係る画像再構成法は，上
記受光素子上に結像された上記物体縮小像のシフト量に
関する相関演算を利用して，該物体縮小像間の相対位置
を算出することにより，視差によるずれが解消された単
一な物体像を再構成することが可能である。これによ
り，被写体である物体とマイクロレンズアレイとの距離
や，マイクロレンズアレイ及び受光素子におけるアライ
メント誤差とは関係なく鮮明な単一画像を取得すること
が出来る。続いて，ステップＳ３では，上記再配置され
た上記単一の物体像の欠失した画素の補間処理を行う。
これにより，欠失画素のない美しい画像を得ることが出
来る。最後に，ステップＳ４では，上記補間処理で得ら
れた上記単一の物体像を，鮮鋭化処理することにより，
さらに高い解像度の物体像を取得することができる。
再構成法の手順の概要を説明する。以下Ｓ１，Ｓ２，，
は処理手順（ステップ）の番号を示す。先ず，図１の処
理が開始される前に，複数のマイクロレンズが配列され
たマイクロレンズアレイによって複数の物体縮小像が，
受光素子上に結像されているものとする。図２（ａ）
は，被写体である「Ａ」の複数の物体縮小像が上記受光
素子上に結像し，画像情報に変換された様子を示してい
る。また，該物体縮小像は，該物体縮小像を拡大した図
２（ｂ）が示すように，解像度の低い粗い画像情報であ
る。上記複数の物体縮小像が結像されると，先ずステッ
プＳ１では，上記物体縮小像間のシフト量に関する相関
演算を実施し，上記物体縮小像間の相対位置を算出す
る。続いて，ステップＳ２では，上記物体縮小像の画素
を，上記相対位置のずれの修正された単一の物体像を同
一領域上に再配置する。この上記相対位置のずれ量は各
光学系（マイクロレンズ）間の視差によって生じるもの
である。このように，本発明に係る画像再構成法は，上
記受光素子上に結像された上記物体縮小像のシフト量に
関する相関演算を利用して，該物体縮小像間の相対位置
を算出することにより，視差によるずれが解消された単
一な物体像を再構成することが可能である。これによ
り，被写体である物体とマイクロレンズアレイとの距離
や，マイクロレンズアレイ及び受光素子におけるアライ
メント誤差とは関係なく鮮明な単一画像を取得すること
が出来る。続いて，ステップＳ３では，上記再配置され
た上記単一の物体像の欠失した画素の補間処理を行う。
これにより，欠失画素のない美しい画像を得ることが出
来る。最後に，ステップＳ４では，上記補間処理で得ら
れた上記単一の物体像を，鮮鋭化処理することにより，
さらに高い解像度の物体像を取得することができる。
【００１５】以下に，上述した各処理手順の詳細につい
て，ステップＳ１から説明する。 （Ｓ１）ステップＳ１では，上記物体縮小像間の相対位
置を算出している。ここで，本発明に係る画像再構成法
は，上記物体縮小像間の相対位置を算出するために相関
演算を用いている。即ち，上記物体縮小像間のシフト量
に関する相関演算によって算出される相関ピークを示す
シフト量に基づいて，上記物体縮小像間の相対位置を算
定している。以下に，上記物体縮小像間の相対的なシフ
ト量に関する相関演算の詳細について説明する。先ず，
簡単のため，上記物体縮小像の相対的なシフト量を平行
移動のみであると仮定して考える。一般に，２つの２変
数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の正規化相互相関関
数Ｒｃ（ｘ，ｙ）は下記式１で定義される。
て，ステップＳ１から説明する。 （Ｓ１）ステップＳ１では，上記物体縮小像間の相対位
置を算出している。ここで，本発明に係る画像再構成法
は，上記物体縮小像間の相対位置を算出するために相関
演算を用いている。即ち，上記物体縮小像間のシフト量
に関する相関演算によって算出される相関ピークを示す
シフト量に基づいて，上記物体縮小像間の相対位置を算
定している。以下に，上記物体縮小像間の相対的なシフ
ト量に関する相関演算の詳細について説明する。先ず，
簡単のため，上記物体縮小像の相対的なシフト量を平行
移動のみであると仮定して考える。一般に，２つの２変
数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）の正規化相互相関関
数Ｒｃ（ｘ，ｙ）は下記式１で定義される。
【００１６】
【数１】
【００１７】ここで，上記物体縮小像は同一形状である
ため，上記２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）を同
一と考えると，上記相関信号波形Ｒｃ（ｘ，ｙ）は，図
３（ａ）の破線で示すように，相関ピーク（図３ではｘ
＿ｐｅａｋ）を中心として左右対象となる。この場合，
Ｒｃ（ｘ，ｙ）とｘ＿ｐｅａｋの間に，下記式２の関係
が成り立つことは容易に理解できる。ここで，簡単のた
めに，下記式２は一次元で表している。
ため，上記２変数関数ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）を同
一と考えると，上記相関信号波形Ｒｃ（ｘ，ｙ）は，図
３（ａ）の破線で示すように，相関ピーク（図３ではｘ
＿ｐｅａｋ）を中心として左右対象となる。この場合，
Ｒｃ（ｘ，ｙ）とｘ＿ｐｅａｋの間に，下記式２の関係
が成り立つことは容易に理解できる。ここで，簡単のた
めに，下記式２は一次元で表している。
【００１８】
【数２】
【００１９】従って，上記複眼画像入力装置における上
記物体縮小像に対して上述した式１及び式２を適用する
ことによって，該物体縮小像間の相関ピークを算出すれ
ば，該物体縮小像間の相対位置を算定できる。しかしな
がら，上記複眼画像入力装置における上記物体縮小像
は，上記受光素子によってサンプリングされた離散した
点によって構成されるため，正規化相互相関関数は離散
的となり，下記式３で定義される離散的な相関関数Ｒｄ
（ｘi，ｙj）が適用される。（図３（ａ）には矢印で示
す）ここで，サンプリングされたシフト位置を｛ｘi：
ｉ＝０，１，２，…，Ｎ，ｙj：ｊ＝０，１，２，…，
Ｍ｝とした。
記物体縮小像に対して上述した式１及び式２を適用する
ことによって，該物体縮小像間の相関ピークを算出すれ
ば，該物体縮小像間の相対位置を算定できる。しかしな
がら，上記複眼画像入力装置における上記物体縮小像
は，上記受光素子によってサンプリングされた離散した
点によって構成されるため，正規化相互相関関数は離散
的となり，下記式３で定義される離散的な相関関数Ｒｄ
（ｘi，ｙj）が適用される。（図３（ａ）には矢印で示
す）ここで，サンプリングされたシフト位置を｛ｘi：
ｉ＝０，１，２，…，Ｎ，ｙj：ｊ＝０，１，２，…，
Ｍ｝とした。
【００２０】
【数３】
【００２１】更に，上記相関関数Ｒｄ（ｘi，ｙj）の相
関ピークを示すシフト量を求めるために，下記式４に従
って線形補間し，図３（ａ）に実線で示す相関関数Ｒ
ｃ’（ｘ，ｙ）を得る。ここで，［ｘ］はｘの整数部分
を示す。
関ピークを示すシフト量を求めるために，下記式４に従
って線形補間し，図３（ａ）に実線で示す相関関数Ｒ
ｃ’（ｘ，ｙ）を得る。ここで，［ｘ］はｘの整数部分
を示す。
【００２２】
【数４】
【００２３】しかしながら，図３（ａ）に示すように，
上記式４によって得られた相関関数Ｒｃ’（ｘ，ｙ）
は，離散的な相関関数を線形補間したものであるため，
該相関関数Ｒｃ’（ｘ，ｙ）から直接的に正確なｘ＿ｐ
ｅａｋを識別することが出来ない。そこで，上記物体縮
小像が同一であるために，上記相関信号波形Ｒｃ’
（ｘ，ｙ）がｘ＿ｐｅａｋを中心として左右対象となる
ことを利用する。即ち，上述の式２に対して上記Ｒｃ’
（ｘ，ｙ）を適用することにより，図３（ｂ）に示すよ
うに，Ｒｃ’（ｘ，ｙ）を所定の範囲で積分して得られ
る領域を２等分するシフト量に基づいてｘ＿ｐｅａｋを
算出する。これにより，上記各物体縮小像間の相対位置
を算定することが可能となる。同様の手順を全ての物体
縮小像について繰り返すことによって，ある規準とする
物体縮小像に対する，全ての物体縮小像の相対位置を算
定する。ここで，図３（ｂ）に示すように，上記ｘ＿ｐ
ｅａｋを算出の際に，所定の閾値Ｔを設けて，該閾値を
上回るデータについてのみ積分を施しても良い。上記閾
値Ｔを設けることにより，上記物体縮小像間の相関ピー
ク近傍のデータを用いて相対位置を算定可能となり，よ
り正確な相対位置を算出することができる。ここで，上
述したステップＳ１を実行可能であって，コンピュータ
等の記憶装置に格納されたプログラムが，請求項７〜９
に記載した第１の手段の一実施例である。
上記式４によって得られた相関関数Ｒｃ’（ｘ，ｙ）
は，離散的な相関関数を線形補間したものであるため，
該相関関数Ｒｃ’（ｘ，ｙ）から直接的に正確なｘ＿ｐ
ｅａｋを識別することが出来ない。そこで，上記物体縮
小像が同一であるために，上記相関信号波形Ｒｃ’
（ｘ，ｙ）がｘ＿ｐｅａｋを中心として左右対象となる
ことを利用する。即ち，上述の式２に対して上記Ｒｃ’
（ｘ，ｙ）を適用することにより，図３（ｂ）に示すよ
うに，Ｒｃ’（ｘ，ｙ）を所定の範囲で積分して得られ
る領域を２等分するシフト量に基づいてｘ＿ｐｅａｋを
算出する。これにより，上記各物体縮小像間の相対位置
を算定することが可能となる。同様の手順を全ての物体
縮小像について繰り返すことによって，ある規準とする
物体縮小像に対する，全ての物体縮小像の相対位置を算
定する。ここで，図３（ｂ）に示すように，上記ｘ＿ｐ
ｅａｋを算出の際に，所定の閾値Ｔを設けて，該閾値を
上回るデータについてのみ積分を施しても良い。上記閾
値Ｔを設けることにより，上記物体縮小像間の相関ピー
ク近傍のデータを用いて相対位置を算定可能となり，よ
り正確な相対位置を算出することができる。ここで，上
述したステップＳ１を実行可能であって，コンピュータ
等の記憶装置に格納されたプログラムが，請求項７〜９
に記載した第１の手段の一実施例である。
【００２４】（Ｓ２）ステップＳ２では，上記ステップ
Ｓ１で算出した上記相対位置のずれの修正された単一の
物体像として，上記物体縮小像の画素を同一領域上に再
配置を行う。上記再配置の手順について図４を用いて説
明する。ここで，図４に示すＡ，Ｂ，Ｃは，上記受光素
子上に結像された３×３の画素を持つ物体縮小像であ
り，更にＤは単一の物体像が再配置される領域であっ
て，画素数は受光素子全体と同数とする。ステップＳ２
では，先ず，上記ステップＳ１において，上記物体縮小
像間の相対位置を演算の基準とした物体縮小像（図４で
はＢで表す）の画素を領域Ｄのスケールを併せて，矢印
で示すように配置する。続いて，他の物体縮小像（図４
ではＡ，Ｃで表す）の画素を，上記ステップＳ１で算出
した上記物体縮小像Ｂに対する相対位置に基づいて領域
Ｄに再配置する。これにより，領域Ｄ上に，上記相対位
置のずれの修正された単一の物体像として再配置するこ
とが可能となる。また，再配置の際に画素値自体に操作
は行わないため，ノイズ成分の不要な増幅が見られるこ
とも無い。実際に図２（ａ）から再構成した単一の物体
像を図５に示す。図２（ｂ）に示した上記物体縮小像と
較べて，解像度が著しく向上していることが理解され
る。ここで，上述したＳ１と同様に上記ステップＳ２を
実行可能なプログラムが，請求項７〜９に記載した第２
の手段の一実施例である。
Ｓ１で算出した上記相対位置のずれの修正された単一の
物体像として，上記物体縮小像の画素を同一領域上に再
配置を行う。上記再配置の手順について図４を用いて説
明する。ここで，図４に示すＡ，Ｂ，Ｃは，上記受光素
子上に結像された３×３の画素を持つ物体縮小像であ
り，更にＤは単一の物体像が再配置される領域であっ
て，画素数は受光素子全体と同数とする。ステップＳ２
では，先ず，上記ステップＳ１において，上記物体縮小
像間の相対位置を演算の基準とした物体縮小像（図４で
はＢで表す）の画素を領域Ｄのスケールを併せて，矢印
で示すように配置する。続いて，他の物体縮小像（図４
ではＡ，Ｃで表す）の画素を，上記ステップＳ１で算出
した上記物体縮小像Ｂに対する相対位置に基づいて領域
Ｄに再配置する。これにより，領域Ｄ上に，上記相対位
置のずれの修正された単一の物体像として再配置するこ
とが可能となる。また，再配置の際に画素値自体に操作
は行わないため，ノイズ成分の不要な増幅が見られるこ
とも無い。実際に図２（ａ）から再構成した単一の物体
像を図５に示す。図２（ｂ）に示した上記物体縮小像と
較べて，解像度が著しく向上していることが理解され
る。ここで，上述したＳ１と同様に上記ステップＳ２を
実行可能なプログラムが，請求項７〜９に記載した第２
の手段の一実施例である。
【００２５】（Ｓ３）ステップＳ３では，上記再配置さ
れた上記単一の物体像の欠失した画素の補間処理を行
う。上記ステップＳ２で得られた単一の物体像は，各物
体縮小像の画素を拡大された同一領域内に再配置しただ
けの画像であるため，物体と上記マイクロレンズアレイ
との物体距離によっては，図５に示すように黒い斑点で
示される欠失画素を含む場合がある。そのため，上記の
ように欠失画素がある場合，その周辺の画素値を用いて
補間する。この際，欠失画素では水平，或いは垂直方向
に対して線形的に画素値が変化すると仮定すると，欠失
画素がＮdel個連続している場合，そのｉ番目の欠失画
素に対して補間する画素値Ｐdel（ｉ）は下記式５を適
用して算出可能である。ここで，Ｐ１，Ｐ２は欠失画素
に隣接する画素の画素値である。
れた上記単一の物体像の欠失した画素の補間処理を行
う。上記ステップＳ２で得られた単一の物体像は，各物
体縮小像の画素を拡大された同一領域内に再配置しただ
けの画像であるため，物体と上記マイクロレンズアレイ
との物体距離によっては，図５に示すように黒い斑点で
示される欠失画素を含む場合がある。そのため，上記の
ように欠失画素がある場合，その周辺の画素値を用いて
補間する。この際，欠失画素では水平，或いは垂直方向
に対して線形的に画素値が変化すると仮定すると，欠失
画素がＮdel個連続している場合，そのｉ番目の欠失画
素に対して補間する画素値Ｐdel（ｉ）は下記式５を適
用して算出可能である。ここで，Ｐ１，Ｐ２は欠失画素
に隣接する画素の画素値である。
【００２６】
【数５】
【００２７】そこで，対象とする欠失画素に対して，水
平及び垂直方向に上記式５を適用し，得られた値の平均
値を該欠失画素に対する画素値とする。これにより，図
５に示す単一の物体像に含まれる欠失画素に対して，上
述した補間処理を施すことによって得られる単一の物体
像は，図６に示すように，より物体形状に近い画像とす
ることが出来る。ここで，上述したＳ１或いはＳ２と同
様に上記ステップＳ３を実行可能なプログラムが，請求
項７〜９に記載した第３の手段の一実施例である。
平及び垂直方向に上記式５を適用し，得られた値の平均
値を該欠失画素に対する画素値とする。これにより，図
５に示す単一の物体像に含まれる欠失画素に対して，上
述した補間処理を施すことによって得られる単一の物体
像は，図６に示すように，より物体形状に近い画像とす
ることが出来る。ここで，上述したＳ１或いはＳ２と同
様に上記ステップＳ３を実行可能なプログラムが，請求
項７〜９に記載した第３の手段の一実施例である。
【００２８】（Ｓ４）ステップＳ４では，上記補間処理
で得られた上記単一の物体像を，鮮鋭化処理する。ここ
で，上記ステップＳ３で得られた単一の物体像は，図６
に示すようにぼけのある画像である。そこで，周知であ
る高域強調フィルタ等の手法を用いて高い周波数成分を
強調することによって、エッジ強調を行い画像を鮮鋭化
する。これにより得られる単一の物体像は，図７に示す
ようにエッジ強調された，高解像度な画像とすることが
可能となる。ここで，上述したＳ１〜Ｓ３と同様に上記
ステップＳ４を実行可能なプログラムが，請求項７〜９
に記載した第４の手段の一実施例である。
で得られた上記単一の物体像を，鮮鋭化処理する。ここ
で，上記ステップＳ３で得られた単一の物体像は，図６
に示すようにぼけのある画像である。そこで，周知であ
る高域強調フィルタ等の手法を用いて高い周波数成分を
強調することによって、エッジ強調を行い画像を鮮鋭化
する。これにより得られる単一の物体像は，図７に示す
ようにエッジ強調された，高解像度な画像とすることが
可能となる。ここで，上述したＳ１〜Ｓ３と同様に上記
ステップＳ４を実行可能なプログラムが，請求項７〜９
に記載した第４の手段の一実施例である。
【００２９】
【発明の効果】以上説明したように，上記目的を達成す
るために請求項１に記載の発明は，複数のマイクロレン
ズが配列されたマイクロレンズアレイにより，受光素子
上に結像される複数の物体縮小像から単一の物体像を再
構成する画像再構成法において，上記物体縮小像間の相
対位置を，上記物体縮小像間のシフト量に関する相関演
算によって算定する第１の工程と，上記物体縮小像の画
素を，上記第１の工程により得られたシフト量に基づい
て上記相対位置のずれの修正された単一の物体像として
同一領域上に再配置する第２の工程とを具備してなるこ
とを特徴とする画像再構成法として構成されている。こ
のように構成することによって，物体とマイクロレンズ
アレイとの距離や，マイクロレンズアレイ及び受光素子
におけるアライメント誤差とは関係なく，上記受光素子
上に結像された上記物体縮小像から算定可能な相対位置
情報に基づいて，該相対位置のずれの修正された単一の
物体像として物体像を再構成可能であるため，高い解像
度を得ることができる。
るために請求項１に記載の発明は，複数のマイクロレン
ズが配列されたマイクロレンズアレイにより，受光素子
上に結像される複数の物体縮小像から単一の物体像を再
構成する画像再構成法において，上記物体縮小像間の相
対位置を，上記物体縮小像間のシフト量に関する相関演
算によって算定する第１の工程と，上記物体縮小像の画
素を，上記第１の工程により得られたシフト量に基づい
て上記相対位置のずれの修正された単一の物体像として
同一領域上に再配置する第２の工程とを具備してなるこ
とを特徴とする画像再構成法として構成されている。こ
のように構成することによって，物体とマイクロレンズ
アレイとの距離や，マイクロレンズアレイ及び受光素子
におけるアライメント誤差とは関係なく，上記受光素子
上に結像された上記物体縮小像から算定可能な相対位置
情報に基づいて，該相対位置のずれの修正された単一の
物体像として物体像を再構成可能であるため，高い解像
度を得ることができる。
【００３０】また，複数のマイクロレンズが配列された
マイクロレンズアレイにより，受光素子上に結像される
複数の物体縮小像から単一の物体像を再構成する画像再
構成法において，上記物体縮小像間の相対位置を，上記
物体縮小像間のシフト量に関する相関演算によって算定
する第１の工程と，上記物体縮小像の画素を，上記第１
の工程により得られたシフト量に基づいて上記相対位置
のずれの修正された単一の物体像として同一領域上に再
配置する第２の工程と，上記第２の工程により再配置さ
れた上記単一の物体像の欠失した画素を，補間処理によ
り得る第３の工程とを具備してなることを特徴とする画
像再構成法として構成されても良い。請求項１に記載の
画像再構成法では，視差による物体縮小像間のずれが解
消される一方，情報が得られない画素の発生を招くこと
もあるが，補間処理によって美しい再構成画像を得るこ
とができる。
マイクロレンズアレイにより，受光素子上に結像される
複数の物体縮小像から単一の物体像を再構成する画像再
構成法において，上記物体縮小像間の相対位置を，上記
物体縮小像間のシフト量に関する相関演算によって算定
する第１の工程と，上記物体縮小像の画素を，上記第１
の工程により得られたシフト量に基づいて上記相対位置
のずれの修正された単一の物体像として同一領域上に再
配置する第２の工程と，上記第２の工程により再配置さ
れた上記単一の物体像の欠失した画素を，補間処理によ
り得る第３の工程とを具備してなることを特徴とする画
像再構成法として構成されても良い。請求項１に記載の
画像再構成法では，視差による物体縮小像間のずれが解
消される一方，情報が得られない画素の発生を招くこと
もあるが，補間処理によって美しい再構成画像を得るこ
とができる。
【００３１】更に，上記補間処理で得られた単一の物体
像を鮮鋭化処理する第４の工程を具備しているものも考
えられる。このように構成することによって，請求項２
に記載の画像再構成法で得られた再構成画像に対してエ
ッジ強調等の鮮鋭化処理を施すことが可能となり，更に
解像度の高い再構成画像を得ることができる。
像を鮮鋭化処理する第４の工程を具備しているものも考
えられる。このように構成することによって，請求項２
に記載の画像再構成法で得られた再構成画像に対してエ
ッジ強調等の鮮鋭化処理を施すことが可能となり，更に
解像度の高い再構成画像を得ることができる。
【００３２】ここで，上記シフト量を上記相関演算に用
いられる相関関数における相関ピークとして算定するこ
とによって，物体とマイクロレンズアレイとの距離や，
マイクロレンズアレイ及び受光素子におけるアライメン
ト誤差とは関係なく，上記物体縮小像の画像情報から，
該物体縮小像間の相対位置情報を算定することが可能と
なる。
いられる相関関数における相関ピークとして算定するこ
とによって，物体とマイクロレンズアレイとの距離や，
マイクロレンズアレイ及び受光素子におけるアライメン
ト誤差とは関係なく，上記物体縮小像の画像情報から，
該物体縮小像間の相対位置情報を算定することが可能と
なる。
【００３３】また，上記シフト量を上記相関関数を所定
の範囲で積分して得られる領域を２等分するシフト量に
基づいて決定する形態も考えられる。このような形態に
よれば，上記相関関数として離散的な相関関数を線形補
間した相関関数を適用した場合等，相関ピークを示すシ
フト量を相関関数から直接的に読み取ることが困難であ
る場合にも，相関ピークを示すシフト量を算定すること
が可能となる。
の範囲で積分して得られる領域を２等分するシフト量に
基づいて決定する形態も考えられる。このような形態に
よれば，上記相関関数として離散的な相関関数を線形補
間した相関関数を適用した場合等，相関ピークを示すシ
フト量を相関関数から直接的に読み取ることが困難であ
る場合にも，相関ピークを示すシフト量を算定すること
が可能となる。
【００３４】ここで，複眼画像入力装置を用いて取得す
る物体縮小像は，物体の画像情報を受光素子によって取
得した離散的な点の集合である。また，算定すべきシフ
ト量は離散点の間隔より小さい。このため，物体縮小像
間の相関演算には，離散的な相関関数が適用され，且つ
該相関関数における相関ピークを示すシフト量の算定に
は，上記離散的な相関関数を線形補間したものが用いら
れることになる。
る物体縮小像は，物体の画像情報を受光素子によって取
得した離散的な点の集合である。また，算定すべきシフ
ト量は離散点の間隔より小さい。このため，物体縮小像
間の相関演算には，離散的な相関関数が適用され，且つ
該相関関数における相関ピークを示すシフト量の算定に
は，上記離散的な相関関数を線形補間したものが用いら
れることになる。
【００３５】請求項１に記載の発明を画像再構成装置と
して捉えると，複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
装置において，上記物体縮小像間の相対位置を，上記物
体縮小像間のシフト量に関する相関演算によって算定す
る第１の手段と，上記物体縮小像の画素を，上記第１の
手段により得られたシフト量に基づいて上記相対位置の
ずれの修正された単一の物体像として同一領域上に再配
置する第２の手段とを具備してなることを特徴とする画
像再構成装置となる。このように構成することによっ
て，物体とマイクロレンズアレイとの距離や，マイクロ
レンズアレイ及び受光素子におけるアライメント誤差と
は関係なく，上記受光素子上に結像された上記物体縮小
像から算定可能な相対位置情報に基づいて，該相対位置
のずれの修正された単一の物体像として物体像を再構成
可能であるため，高い解像度を得ることができる。例え
ば，各手段の一実施例としては，上述した請求項１にお
ける各工程を実行可能であって，コンピュータ等に格納
されたプログラムであることが望ましい。
して捉えると，複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
装置において，上記物体縮小像間の相対位置を，上記物
体縮小像間のシフト量に関する相関演算によって算定す
る第１の手段と，上記物体縮小像の画素を，上記第１の
手段により得られたシフト量に基づいて上記相対位置の
ずれの修正された単一の物体像として同一領域上に再配
置する第２の手段とを具備してなることを特徴とする画
像再構成装置となる。このように構成することによっ
て，物体とマイクロレンズアレイとの距離や，マイクロ
レンズアレイ及び受光素子におけるアライメント誤差と
は関係なく，上記受光素子上に結像された上記物体縮小
像から算定可能な相対位置情報に基づいて，該相対位置
のずれの修正された単一の物体像として物体像を再構成
可能であるため，高い解像度を得ることができる。例え
ば，各手段の一実施例としては，上述した請求項１にお
ける各工程を実行可能であって，コンピュータ等に格納
されたプログラムであることが望ましい。
【００３６】また，請求項２に記載の発明についても同
様に，複数のマイクロレンズが配列されたマイクロレン
ズアレイにより，受光素子上に結像される複数の物体縮
小像から単一の物体像を再構成する画像再構成装置にお
いて，上記物体縮小像間の相対位置を，上記物体縮小像
間のシフト量に関する相関演算によって算定する第１の
手段と，上記物体縮小像の画素を，上記第１の手段によ
り得られたシフト量に基づいて上記相対位置のずれの修
正された単一の物体像として同一領域上に再配置する第
２の手段と，上記第２の手段により再配置された上記単
一の物体像の欠失した画素を，補間処理により得る第３
の手段とを具備してなることを特徴とする画像再構成装
置と考えられる。これにより，欠失した画素を含む再構
成画像を補間処理することが可能となり，美しい再構成
画像を得ることができる。
様に，複数のマイクロレンズが配列されたマイクロレン
ズアレイにより，受光素子上に結像される複数の物体縮
小像から単一の物体像を再構成する画像再構成装置にお
いて，上記物体縮小像間の相対位置を，上記物体縮小像
間のシフト量に関する相関演算によって算定する第１の
手段と，上記物体縮小像の画素を，上記第１の手段によ
り得られたシフト量に基づいて上記相対位置のずれの修
正された単一の物体像として同一領域上に再配置する第
２の手段と，上記第２の手段により再配置された上記単
一の物体像の欠失した画素を，補間処理により得る第３
の手段とを具備してなることを特徴とする画像再構成装
置と考えられる。これにより，欠失した画素を含む再構
成画像を補間処理することが可能となり，美しい再構成
画像を得ることができる。
【００３７】更にまた，請求項３に記載の発明について
も，上記補間処理で得られた単一の物体像を鮮鋭化処理
する第４の手段を更に具備してなる形態として考えられ
よう。このような形態によれば，ぼけのある再構成画像
をエッジ強調等の鮮鋭化処理することが可能となり，更
に解像度の高い再構成画像を得ることができる。
も，上記補間処理で得られた単一の物体像を鮮鋭化処理
する第４の手段を更に具備してなる形態として考えられ
よう。このような形態によれば，ぼけのある再構成画像
をエッジ強調等の鮮鋭化処理することが可能となり，更
に解像度の高い再構成画像を得ることができる。
【図１】本実施の形態に係る画像再構成法の流れを示す
図。
図。
【図２】マイクロレンズアレイによって受光素子上に結
像され，画像情報に変換された物体縮小像を示す図。
像され，画像情報に変換された物体縮小像を示す図。
【図３】物体縮小像間の相関関数を示す図。
【図４】画像の再配置についての概略説明図。
【図５】相対位置に従って上記物体縮小像の画素を単一
の物体像として再配置した画像を示す図。
の物体像として再配置した画像を示す図。
【図６】再配置された単一の物体像の欠失した画素を補
間処理した画像を示す図。
間処理した画像を示す図。
【図７】補間処理された単一の物体像を鮮鋭化処理した
画像を示す図。
画像を示す図。
Ａ …物体縮小像
Ｂ …物体縮小像
Ｃ …物体縮小像
Ｄ …単一な物体像を形成する領域
Ｓ１，Ｓ２，，…処理手順（ステップ）の番号
フロントページの続き
Ｆターム(参考） 5B057 BA02 BA12 BA15 CA08 CA12
CA16 CB08 CB12 CB16 CD06
CE03 CE08 DA07 DB02
5C024 CX37 EX43
Claims (9)
- 【請求項１】 複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
法において，上記物体縮小像間の相対位置を，上記物体
縮小像間のシフト量に関する相関演算によって算定する
第１の工程と，上記物体縮小像の画素を，上記第１の工
程により得られたシフト量に基づいて上記相対位置のず
れの修正された単一の物体像として同一領域上に再配置
する第２の工程と，を具備してなることを特徴とする画
像再構成法。 - 【請求項２】 複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
法において，上記物体縮小像間の相対位置を，上記物体
縮小像間のシフト量に関する相関演算によって算定する
第１の工程と，上記物体縮小像の画素を，上記第１の工
程により得られたシフト量に基づいて上記相対位置のず
れの修正された単一の物体像として同一領域上に再配置
する第２の工程と，上記第２の工程により再配置された
上記単一の物体像の欠失した画素を，補間処理により得
る第３の工程と，を具備してなることを特徴とする画像
再構成法。 - 【請求項３】 上記第３の工程で得られた上記単一の物
体像を鮮鋭化処理する第４の工程を更に具備してなる請
求項２に記載の画像再構成法。 - 【請求項４】 上記シフト量を，上記相関演算に用いら
れる相関関数における相関ピークとして算定する請求項
１〜３のいずれかに記載の画像再構成法。 - 【請求項５】 上記シフト量を，上記相関関数を所定の
範囲で積分して得られる領域を２等分するシフト量に基
づいて決定する請求項１〜４のいずれかに記載の画像再
構成法。 - 【請求項６】 上記相関関数として，線形補間された離
散的な相関関数を用いてなる請求項１〜５のいずれかに
記載の画像再構成法。 - 【請求項７】 複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
装置において，上記物体縮小像間の相対位置を，上記物
体縮小像間のシフト量に関する相関演算によって算定す
る第１の手段と，上記物体縮小像の画素を，上記第１の
手段により得られたシフト量に基づいて上記相対位置の
ずれの修正された単一の物体像として同一領域上に再配
置する第２の手段と，を具備してなることを特徴とする
画像再構成装置。 - 【請求項８】 複数のマイクロレンズが配列されたマイ
クロレンズアレイにより，受光素子上に結像される複数
の物体縮小像から単一の物体像を再構成する画像再構成
装置において，上記物体縮小像間の相対位置を，上記物
体縮小像間のシフト量に関する相関演算によって算定す
る第１の手段と，上記物体縮小像の画素を，上記第１の
手段により得られたシフト量に基づいて上記相対位置の
ずれの修正された単一の物体像として同一領域上に再配
置する第２の手段と，上記第２の手段により再配置され
た上記単一の物体像の欠失した画素を，補間処理により
得る第３の手段と，を具備してなることを特徴とする画
像再構成装置。 - 【請求項９】 上記第３の手段で得られた上記単一の物
体像を鮮鋭化処理する第４の手段を更に具備してなる請
求項８に記載の画像再構成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337227A JP3699921B2 (ja) | 2001-11-02 | 2001-11-02 | 画像再構成法及び画像再構成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337227A JP3699921B2 (ja) | 2001-11-02 | 2001-11-02 | 画像再構成法及び画像再構成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141529A true JP2003141529A (ja) | 2003-05-16 |
| JP3699921B2 JP3699921B2 (ja) | 2005-09-28 |
Family
ID=19151907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001337227A Expired - Lifetime JP3699921B2 (ja) | 2001-11-02 | 2001-11-02 | 画像再構成法及び画像再構成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3699921B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005055592A1 (ja) * | 2003-12-01 | 2005-06-16 | Japan Science And Technology Agency | 画像構成装置及び画像構成方法 |
| JP2006087088A (ja) * | 2004-08-20 | 2006-03-30 | Sony Corp | 撮像装置および撮像方法 |
| WO2006137481A1 (ja) * | 2005-06-23 | 2006-12-28 | Nikon Corporation | 画像入力装置、光検出装置、画像合成方法 |
| JP2007158825A (ja) * | 2005-12-06 | 2007-06-21 | Ricoh Co Ltd | 画像入力装置 |
| JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
| JP2008097328A (ja) * | 2006-10-12 | 2008-04-24 | Ricoh Co Ltd | 画像入力装置、個人認証装置及び電子機器 |
| JP2008181220A (ja) * | 2007-01-23 | 2008-08-07 | Ricoh Co Ltd | 個人認証装置及び個人認証方法 |
| JP2008225671A (ja) * | 2007-03-09 | 2008-09-25 | Ricoh Co Ltd | 画像入力装置及び個人認証装置 |
| KR101139661B1 (ko) | 2004-08-20 | 2012-05-15 | 소니 주식회사 | 촬상 장치 및 촬상 방법 |
| EP2635019A2 (en) | 2012-03-01 | 2013-09-04 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program |
| JP2018157573A (ja) * | 2018-04-25 | 2018-10-04 | 株式会社ニコン | 任意視点画像合成方法及び画像処理装置 |
| JP2019029913A (ja) * | 2017-08-01 | 2019-02-21 | キヤノン株式会社 | 撮像装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4866147B2 (ja) * | 2006-05-22 | 2012-02-01 | 株式会社リコー | 画像シフト検出方法および装置および画像入力装置 |
-
2001
- 2001-11-02 JP JP2001337227A patent/JP3699921B2/ja not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7657122B2 (en) | 2003-12-01 | 2010-02-02 | Japan Science And Technology Agency | Apparatus and method for image configuring |
| WO2005055592A1 (ja) * | 2003-12-01 | 2005-06-16 | Japan Science And Technology Agency | 画像構成装置及び画像構成方法 |
| JP2006087088A (ja) * | 2004-08-20 | 2006-03-30 | Sony Corp | 撮像装置および撮像方法 |
| KR101139661B1 (ko) | 2004-08-20 | 2012-05-15 | 소니 주식회사 | 촬상 장치 및 촬상 방법 |
| JP4645358B2 (ja) * | 2004-08-20 | 2011-03-09 | ソニー株式会社 | 撮像装置および撮像方法 |
| WO2006137481A1 (ja) * | 2005-06-23 | 2006-12-28 | Nikon Corporation | 画像入力装置、光検出装置、画像合成方法 |
| JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
| US7732744B2 (en) | 2005-06-23 | 2010-06-08 | Nikon Corporation | Image input apparatus, photodetection apparatus, and image synthesis method |
| JP4673202B2 (ja) * | 2005-12-06 | 2011-04-20 | 株式会社リコー | 画像入力装置 |
| JP2007158825A (ja) * | 2005-12-06 | 2007-06-21 | Ricoh Co Ltd | 画像入力装置 |
| JP2007304525A (ja) * | 2006-05-15 | 2007-11-22 | Ricoh Co Ltd | 画像入力装置および電子機器および画像入力方法 |
| JP2008097328A (ja) * | 2006-10-12 | 2008-04-24 | Ricoh Co Ltd | 画像入力装置、個人認証装置及び電子機器 |
| JP2008181220A (ja) * | 2007-01-23 | 2008-08-07 | Ricoh Co Ltd | 個人認証装置及び個人認証方法 |
| JP2008225671A (ja) * | 2007-03-09 | 2008-09-25 | Ricoh Co Ltd | 画像入力装置及び個人認証装置 |
| EP2635019A2 (en) | 2012-03-01 | 2013-09-04 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program |
| US8937662B2 (en) | 2012-03-01 | 2015-01-20 | Canon Kabushiki Kaisha | Image processing device, image processing method, and program |
| JP2019029913A (ja) * | 2017-08-01 | 2019-02-21 | キヤノン株式会社 | 撮像装置 |
| JP2018157573A (ja) * | 2018-04-25 | 2018-10-04 | 株式会社ニコン | 任意視点画像合成方法及び画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3699921B2 (ja) | 2005-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wronski et al. | Handheld multi-frame super-resolution | |
| US9998666B2 (en) | Systems and methods for burst image deblurring | |
| Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
| JP4235539B2 (ja) | 画像構成装置及び画像構成方法 | |
| US8773550B2 (en) | Range measurement using multiple coded apertures | |
| KR102563750B1 (ko) | 영상 블러링 제거 방법 및 장치 | |
| JP5153846B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び、プログラム | |
| JP4782899B2 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
| EP2533198B1 (en) | Imaging device and method, and image processing method for imaging device | |
| EP2175632A1 (en) | Image processing apparatus and method | |
| CN102369722B (zh) | 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法 | |
| WO2005086983A2 (en) | An algorithmic technique for increasing the spatial acuity of a focal plane array electro-optic imaging system | |
| JP2016502704A (ja) | 奥行きアーチファクトを除去するための画像処理方法および装置 | |
| JP2003141529A (ja) | 画像再構成法及び画像再構成装置 | |
| KR101583155B1 (ko) | 어안렌즈 영상 보정 방법 및 그 장치 | |
| EP2564234A1 (en) | Range measurement using a coded aperture | |
| JP2012003455A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| JP5541750B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び、プログラム | |
| CN115086550B (zh) | 元成像系统 | |
| JP2016119542A (ja) | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 | |
| KR100843099B1 (ko) | 영상을 복원하기 위한 장치 및 방법 | |
| JP4695557B2 (ja) | 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム | |
| Balure et al. | A Survey--Super Resolution Techniques for Multiple, Single, and Stereo Images | |
| KR20090013015A (ko) | 영상 복원 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체 | |
| Macwan et al. | A survey on various techniques of super resolution imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050711 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3699921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |