JP2011523238A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2011523238A
JP2011523238A JP2010548959A JP2010548959A JP2011523238A JP 2011523238 A JP2011523238 A JP 2011523238A JP 2010548959 A JP2010548959 A JP 2010548959A JP 2010548959 A JP2010548959 A JP 2010548959A JP 2011523238 A JP2011523238 A JP 2011523238A
Authority
JP
Japan
Prior art keywords
image
unit
opening
aperture
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010548959A
Other languages
English (en)
Other versions
JP5134694B2 (ja
Inventor
哲理 園田
まほろ 穴吹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010548959A priority Critical patent/JP5134694B2/ja
Publication of JP2011523238A publication Critical patent/JP2011523238A/ja
Application granted granted Critical
Publication of JP5134694B2 publication Critical patent/JP5134694B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/095—Digital circuits for control of aperture
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

絞りの開口部を介して被写体から入射される光を撮像素子部で結像した結果を、画像として所得する画像取得手段と、前記画像取得手段が前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御手段と、前記関数に基づいて、前記画像におけるボケ状態を検出する検出手段とを備えることを特徴とする画像処理装置。

Description

本発明は画像処理装置及び画像処理方法に関し、特に、撮影画像からボケ状態を検出するための好適な技術に関する。
被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。
結像する物体の位置からオフセットされた位置に焦点面を有する光学系を介して撮像素子の撮像面上にこの物体を結像する場合、この撮像素子により撮像される画像はボケを有してしまうことが知られている。従って、撮像画像の画質は劣化する。
このような画質劣化を解消するために、ボケを含む一枚の撮影画像からボケ状態を検出し、ボケのない鮮明な撮影画像を生成するDeconvolutionという技術が知られている。この技術は、畳み込み積分(Convolution)の逆操作であり、出力関数と重み関数とから入力関数を求める操作である。
特に、ボケ状態に大きな影響を与える絞りを特殊な形状とし、ボケ状態を検出するための指標を撮影画像に埋め込んでおくことにより、複数の異なるボケ関数でのDeconvolutionを可能にするCoded Apertureという技術がある。
非特許文献１には、特殊な固定絞りを介して取得した撮影画像上に生成されるボケ自体を、ボケ状態の検出を行う指標として撮影画像に埋め込む技術が示されている。この撮影画像上に生成されるボケ関数は、広帯域かつ特徴的な周波数分布をもち、被写体の部位ごとの奥行きによって変化するボケ状態の検出を可能にしている。
また、非特許文献２では、特殊な絞りを用いて生成されるボケ自体を、ボケ状態の検出を行う指標として撮影画像に同様に埋め込む技術が示されている。本技術では、ボケ関数に対して、特定の周波数成分を意図的に削減することで、被写体の部位ごとの奥行きによって変化するボケ状態の検出を可能にしている。
Veeraraghavan,A., Raskar, R., Agrawal, A., Tumblin, J.(2007)"Dappled Photography: Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing", ACM Transactions on Graphics(Proc. SIGGRAPH) Levin, A., Fergus, R., Durand, F., Freeman, B.(2007) "Image and Depth from a Conventional Camera with a Coded Aperture", ACM Transactions onGraphics(Proc. SIGGRAPH)
しかし、非特許文献１、非特許文献２に記載の技術は、固定した形状の絞りを用いているため、ボケ状態を検出するための指標を、撮影画像に埋め込む方法も固定されていた。
本発明は前述の問題点に鑑み、可変径絞りを用いて特徴のあるボケパターンを生成することにより、撮影画像からボケ状態を高精度に検出可能にできるようにすることを目的とする。
本発明の第１の様態によれば、画像処理装置であって、絞りの開口部を介して被写体から入射される光を撮像素子部で結像した結果を、画像として所得する画像取得手段と、前記画像取得手段が前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御手段と、前記関数に基づいて、前記画像におけるボケ状態を検出する検出手段とを備えることを特徴とする。
本発明の第２の様態によれば、画像処理方法は、コンピュータを用いて、絞りの開口部を介して被写体から入射される光を撮像素子部で結像することによって得られる結果を、画像として所得する取得工程、前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御工程、前記関数に基づいて、前記画像におけるボケ状態を検出する検出工程を実行することにより行われる。
添付の図面を参照することにより、以下の実施例の説明から、本発明の更なる特徴が明らかとなるであろう。
図１は、第１の実施形態を示し、撮像装置の構成例を示すブロック図である。 図２Ａは、第１の実施形態を示し、可変径絞り部の構成例を示す図である。 図２Ｂは、第１の実施形態を示し、可変径絞り部の構成例を示す図である。 図３は、第１の実施形態を示し、絞り径テーブル保持部に保持されている、経過時間と開口径との間の特性を示した図である。 図４Ａは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。 図４Ｂは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。 図４Ｃは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。 図４Ｄは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。 図４Ｅは、第１の実施形態を示し、開口径ｒ０〜ｒ４において、撮像レンズ部から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度との特性を示した図である。 図５は、第１の実施形態を示し、撮像処理の手順を説明するフローチャートである。 図６は、第１の実施形態を示し、可変径絞り部、シャッタ部の制御手順を説明するフローチャートである。 図７は、第１の実施形態を示し、ボケ状態検出部で行われるボケ状態検出手順を説明するフローチャートである。 図８Ａは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。 図８Ｂは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。 図８Ｃは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。 図８Ｄは、第１の実施形態を示し、開口部が特殊な形状を有する可変径絞り部の例を示した図である。 図９Ａは、第１の実施形態における、開口径rの変化速度を連続的にした場合の、開口径rと露光開始からの経過時間tの関係の特性を示した図である。 図９Ｂは、第１の実施形態における、開口径rの変化速度を連続的にした場合の、開口径rと露光開始からの経過時間tの関係の特性を示した図である。 図１０は、本発明の第１の実施形態を示し、シャッタ部を併用した場合の開口径と露光開始からの経過時間の関係を示した図である。 図１１は、第２の実施形態を示し、撮像装置の構成例を示すブロック図である。 図１２Ａは、第２の実施形態を示し、切り替え絞り部の概略構成例を示す図である。 図１２Ｂは、第２の実施形態を示し、切り替え絞り部の概略構成例を示す図である。 図１２Ｃは、第２の実施形態を示し、切り替え絞り部の概略構成例を示す図である。 図１３は、第２の実施形態を示し、絞りパターンテーブル保持部に保持されている、絞りパターン番号と露光時間との関係を示した図である。 図１４Ａは、第２の実施形態を示し、各絞りパターンを使用した場合における、撮像レンズから一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置と輝度との関係の特性を示した図である。 図１４Ｂは、第２の実施形態を示し、各絞りパターンを使用した場合における、撮像レンズから一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置と輝度との関係の特性を示した図である。 図１５は、第２の実施形態を示し、撮像処理の手順を説明するフローチャートである。 図１６は、第２の実施形態を示し、切り替え絞り部、シャッタ部の制御手順を説明するフローチャートである。 図１７Ａは、第２の実施形態を示し、開口形状を液晶によって生成する液晶絞りの例を示す図である。 図１７Ｂは、第２の実施形態を示し、開口形状を液晶によって生成する液晶絞りの例を示す図である。 図１７Ｃは、第２の実施形態を示し、開口形状を液晶によって生成する液晶絞りの例を示す図である。
以下、添付図面を参照し、本発明の実施形態について詳細に説明する。なお、係る実施形態は、特許請求の範囲に記載された発明の構成の例として説明するものであり、係る発明は、以下説明する実施形態に限定されるものではない。
（第１の実施形態）
図１に、本発明を撮像装置１０１に適用した実施形態の構成例について示す。図１に示すように、本実施形態の撮像装置１０１は、撮像素子部１０２、撮像レンズ部１０３、可変絞り部である可変径絞り部１０４、可変絞り制御部１０５を有している。また、シャッタ部１０６、シャッタ制御部１０７、画像取得部（撮影画像生成部）１０８、ボケ状態検出部１０９、鮮鋭画像生成部１１０、操作部１１１、経過時間計測部１１２を有している。
撮像素子部１０２は、表面上に到達した光をx軸、ｙ軸の２次元アレイ状に並べられた素子で検出する。撮像素子部１０２の例としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサがある。本実施形態における構成では、撮像素子部１０２は平面状の矩形となっており、撮像レンズ部１０３と可変径絞り部１０４を通過して得られる被写体の投影像の光を検出する。また、カラー画像を取得する場合には、アレイ状に並べられた各素子の前にローパスフィルタ、ベイヤ配列によるカラーフィルタなどを併用することもできる。
撮像レンズ部１０３は、撮像素子部１０２上に被写体の投影像を与えるための光学系を有する。本実施形態における撮像レンズ部１０３は、単一の凸レンズを使用しており、開口位置には後述する可変径絞り部１０４を配置することで、開口径を変化させることができる。撮像レンズ部１０３は、必ずしも単一の凸レンズを使用する必要は無く、撮像素子部１０２上に被写体の投影像を与え、可変径絞り部１０４を配置可能な構成であれば、複数のレンズ、もしくは反射鏡を組み合わせた物でもよい。
シャッタ部１０６は、可変径絞り部１０４と連動して、被写体からの光を通過させたり遮断したりして、撮像素子部１０２を露光または遮光する。本実施形態においては、撮像レンズ部１０３によって得られる被写体の投影像の光を、任意のタイミングで撮像素子部１０２に対して露光、遮光を切り替えるようにしている。シャッタ部１０６としては、例えば機械式のフォーカルプレーンシャッタなどが使用できる。シャッタ部１０６の露光・遮光のタイミングは、シャッタ制御部１０７によって制御される。
画像取得部１０８は、Ａ/Ｄ変換器１１３、メモリ１１４から構成され、撮像素子部１０２上で検出された被写体の投影像の光をデジタルデータ化し、二次元の輝度分布である撮影画像a(x,y)を生成してメモリ１１４に記録する。
可変径絞り部１０４は、撮像レンズ部１０３の開口径を変化させる役割を果たす。図２A、2Bに、本実施形態における可変径絞り部１０４の概略構成を示す。図２Aに示すように、可変径絞り部１０４は、外枠２０１、外枠２０１に対して回転運動を行って、図２Bに示すように、開口径ｒを変化させる絞り羽２０２、絞り羽２０２を駆動するモータ２０３から構成されている。可変径絞り部１０４は、可変絞り制御部１０５の制御によって、撮像レンズ部１０３の開口径ｒを任意に変化させることができる。
可変絞り制御部１０５は、絞り径テーブル保持部１１５と絞り制御信号発生部１１６とから構成されている。絞り径テーブル保持部１１５は、撮影操作からの経過時間tと、経過時間tに応じて変化する可変径絞り部１０４の開口径ｒの目標値をテーブル化したものである。
図３に、絞り径テーブル保持部１１５に保持されている、経過時間tと開口径rとの間の特性を示す。図３に示す特性は、ルックアップテーブルとして実現しても良い。図３において、開口径ｒ０が第１の形状に相当し、開口径ｒ４が第２の形状に相当する。図３の経過時間tと開口径rとの関係は、以下の関数で表すことができる。
この関数における開口径ｒの代わりに、開口面積や開口周囲長などを用いても良い。また、この関数は、開口径や開口面積、開口周囲長等の変化量（速度）により規定されてもよい。
図４Ａ〜４Ｅに、開口径ｒ０〜ｒ４において、撮像レンズ部１０３から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度の特性を示す。各ボケ像において、色の濃い部分が、輝度の高い領域となっている。この特性は、開口径ｒ０〜ｒ４に示すように、可変径絞り部１０４の開口径rに応じて変化する。さらに、この特性は、撮像レンズ部１０３と点光源との距離zによって変化する。静的に任意の開口径r、点光源との距離zで画像を撮像した場合の、ボケ中心からの位置(bx,by)での輝度iは、以下のように表すことができる。
なお、(２)式では、点光源からの光が撮像レンズ部１０３を通過する位置・角度に関わらず、一様なf(bx,by,z,r)を持つと仮定している。撮像素子部１０２で得られる被写体の投影像は、撮像素子部１０２の画素の数と等しい数だけ存在する点光源が、(２)式によって撮影画像a(x,y)に畳み込まれたものであると考えることができる。(２)式から、露光後に生成される点光源のボケ像において、点光源との距離z、ボケ中心からの位置(bx,by)での輝度jは、以下の式で表すことができる。
ここで、(１)式より、
となる。このj(bx,by,z)で、撮像レンズ部１０３と点光源との距離zをある一定の値としたときの、空間軸(bx,by)における二次元フーリエ変換をJ(ωx,ωy,z)とする。一般的な被写体の投影像h(x,y)における空間周波数分布、つまり二次元フーリエ変換をH(ωx,ωy)とした場合、J(ωx,ωy,z)との相関関数Kaは以下の式で表される。
このとき、(bx,by)と(x,y)は同一の空間軸上にあり、x軸の周波数成分ωxはωxmin〜ωxmaxの間を、y軸の周波数成分ωyはωymin〜ωymaxの間を取るものとする。また、撮像レンズ部１０３と点光源との距離zがΔzだけ変化した場合における自己相関関数Kmは、以下の式で表される。
ここで、撮像レンズ部１０３と点光源との距離zの取りうる範囲で、Kaを0でなく、かつ0に近い値となるようｇ(ｔ)を定める。以上の操作は、物理的には鮮鋭な被写体の投影像と、ボケ像とを周波数領域において容易に分離可能とする操作と等価である。同時に、小さいΔzでKmを0に近づけるようにｇ(ｔ)を定める。これは、ボケ像の変化から撮像レンズ部１０３と点光源との距離zの変化を検出する分解能を向上させる操作と等価である。
なお、ｇ(ｔ)は必ずしも解析的かつ一意に求める必要は無い。本実施形態においては、ランダムに可変径絞り部１０４で制御可能なｇ(ｔ)を繰り返し生成してKa,Kmを求め、繰り返し生成したｇ(ｔ)の中から最もKa,Kmが0に近いｇ(ｔ)を選択する。
例えば、図３に示すように、開口径rを、ｒ０からｒ４の位置まで一以上の点で微分不可能な値の変化を持つｇ(ｔ)とすると、よりKa,Kmの値を0に近づけることができる。現実には、完全に微分不可能となる制御は困難であり、(４)式におけるｇ'(ｔ)の導出もできなくなるため、微分不可能に近い急激な制御を行わせることが好ましい。
以上のように、絞り径テーブル保持部１１５に保持するｇ(ｔ)を定め、ｇ(ｔ)に従って可変径絞り部１０４の開口径rの制御を行うことで、ボケ状態を検出するための指標を撮影画像a内に埋め込むことができる。
絞り制御信号発生部１１６は、経過時間計測部１１２から得られる経過時間tと、絞り径テーブル保持部１１５から得られる目標となる開口径ｒを用いて、可変径絞り部１０４に対して開口径ｒとなるような制御信号を与える。
ボケ状態検出部１０９は、フーリエ変換部１１７、ボケパターン保持部１１８、相関計算部１１９、ボケ状態保持部１２０から構成されている。ボケパターン保持部１１８は、撮像レンズ部１０３との距離zにある点光源を撮影した場合における、ボケ関数j(x,y,z)のフーリエ変換を示すJp(ωx,ωy,z)のパターンを保持している。パターンが有する値の範囲としては、被写体と撮像レンズ部１０３が取りうる全ての距離z内で離散的にサンプリングを行い、前述のx軸周波数成分ωxはωxmin〜ωxmaxの間の成分を保持している。また、y軸の周波数成分ωyはωymin〜ωymaxの間の成分を保持している。
フーリエ変換部１１７は、画像取得部１０８内にあるメモリ１１４に格納されている撮影画像aに対して、ボケ状態を検出する対象となる画素位置(x,y)を設定し、画素位置(x,y)を中心とした一定の大きさを有する単位矩形領域uを切り抜く。切り抜く矩形領域の大きさとしては、前述のx軸周波数成分ωxはωxmin〜ωxmaxの間を、y軸の周波数成分ωyはωymin〜ωymaxの間を最低限満たす大きさである必要がある。この切り抜いた単位矩形領域uについて、２次元フーリエ変換であるU(ωx,ωy)を生成する。
相関計算部１１９は、前述のボケパターンであるJp(ωx,ωy,z)と、撮影画像aを切り抜いた単位矩形領域uのフーリエ変換U(ωx,ωy,)との相関関数Krを以下の式で計算する。
（７）式を用いて、被写体と撮像レンズ部１０３の取りうる全ての距離zについてKrを計算する。Krが最大となる距離zp(x,y)が、撮影画像a上の画素位置（x,y）における被写体までの距離となり、Jp(ωx,ωy,z)が画素位置(x,y)におけるボケ像のフーリエ変換となる。
ボケ状態保持部１２０は、相関計算部１１９によって計算した、Krが最大となる撮影画像aの全画素における距離zp(x,y)と、フーリエ変換Jp(ωx,ωy,z)をボケ状態として保持しておく。
鮮鋭画像生成部１１０は、撮影画像aと、ボケ状態保持部１２０に保持されたボケ状態から、ボケを除去した鮮鋭画像ａｓを生成する。以下に、具体的な手順を説明する。
撮影画像a(x,y)をフーリエ変換したものをA(ωx,ωy)とする。被写体と撮像レンズ部１０３の距離zを一定としたときの、ボケパターンJp(ωx,ωy,z)によるDeconvolution後のフーリエ変換Ａｄ(ωx,ωy,z)は、以下の式で表される。
(ωx,ωy,z)については(８)式での計算を行わず、隣接するＡｄ(ωx,ωy,z)の計算値から内挿して補間を行う。取りうる全ての被写体と撮像レンズ部１０３の距離zの範囲についてＡｄ(ωx,ωy,z)を計算し、それぞれのＡｄについて逆フーリエ変換を行い、Deconvolution画像ａｄ(x,y,z)を求める。ここで、各画素における距離zp(x,y)より、求める鮮鋭画像ａｓ(x,y)は、
として得られる。以上の処理を行うことで、鮮鋭画像生成部１１０によって、鮮鋭画像ａｓ(x,y)を求めることができる。
操作部１１１は、ユーザの撮影操作を押下によって入力するためのボタンを有する。撮影操作を入力可能なものであれば、特にボタンである必要は無く、撮像装置の形態に応じてタッチパネルとGUIとの組み合わせなどを用いてもよい。
経過時間計測部１１２は、操作部１１１で取得したユーザの撮影操作からの経過時間を計測する。
図５に、撮像処理の手順を説明するフローチャートを示す。
この処理は、ユーザが操作部１１１でボタンを押下し、撮像装置に撮像操作を与えると撮像処理が開始される。
最初のステップＳ５１において、図１における撮像素子部１０２内に残る光の検出状態を、画像取得部１０８で全て読み出して初期化する。
次に、ステップＳ５２において、可変径絞り部１０４が可変絞り制御部１０５によって露光開始時の開口径ｒ０となるよう初期化される。撮像素子部１０２、可変径絞り部１０４の初期化が完了した時点で、可変径絞り部１０４とシャッタ部１０６の制御を行い、露光する。露光時における、可変径絞り部１０４、シャッタ部１０６の制御手順については後述する。
露光後にステップＳ５３に進み、撮像素子部１０２で検出された被写体の投影像の光を画像取得部１０８内のＡ/Ｄ変換器１１３によって読み出してデジタルデータ化し、メモリ１１４に撮影画像aとして格納することで、撮影画像の取得を行う。
次に、ステップＳ５４に進み、ボケ状態検出部１０９は撮影画像aをメモリ１１４から読み出し、撮影画像a内に存在するボケ状態を検出する。ボケ状態検出部１０９におけるボケ状態の検出の流れについては後述する。
最後に、ステップＳ５５において、鮮鋭画像生成部１１０が画像取得部１０８内のメモリ１１４から撮影画像aを読み出す。また、ボケ状態検出部１０９内にあるボケ状態保持部１２０からボケ状態をそれぞれ読み出し、ボケの存在しない鮮鋭画像ａｓを生成する。
前述した、可変径絞り部１０４とシャッタ部１０６の制御の流れについて説明する。
図６に、可変径絞り部１０４、シャッタ部１０６の制御手順を説明するフローチャートを示す。
最初に、ステップＳ６１において、露光時の初期位置ｒ０となるように可変絞り制御部１０５で可変径絞り部１０４を制御する。次に、ステップＳ６２に進んで経過時間計測部１１２を初期化し、撮影操作からの経過時間ｔ＝０として経過時間の計測を開始する。
次に、ステップＳ６３に進み、シャッタ部１０６を露光状態に制御する。次に、ステップＳ６４において、経過時間tを経過時間計測部１１２より取得する。次に、この経過時間tを入力として、絞り径テーブル保持部１１５から、可変径絞り部１０４の目標とする開口径rを取得する（ステップＳ６５）。
次に、ステップＳ６６に進み、ステップＳ６５で取得した目標とする開口径rに変化するように、絞り制御信号発生部１１６が可変径絞り部１０４に対して信号を与える。以上の経過時間tの取得、目標とする開口径rの取得、可変径絞り部１０４に対して信号を与える、のサイクルを可変径絞り部１０４への制御が終了したか否かをステップＳ６７で判断する。この判断の結果、終了していない場合にはステップＳ６４に戻り、図３における時間T、開口径ｒ４の位置になるまで繰り返し行う。
可変径絞り部１０４の開口径ｒ４に到達したら、繰り返しを終えて、シャッタ部１０６を遮光させる（ステップＳ６８）。その後、処理を終了する。以上の処理を行うことによって、可変径絞り部１０４とシャッタ部１０６の制御を行う。
次に、前述した、ボケ状態の検出の流れについて説明する。図７に、ボケ状態検出部１０９におけるボケ状態検出手順を説明するフローチャートを示す。
ステップＳ７１において、ボケ状態検出部１０９内のフーリエ変換部１１７が画像取得部１０８のメモリ１１４に格納されている撮影画像aを読み出す。
次に、ステップＳ７２に進み、ステップＳ７１で読み出した撮影画像a内でボケ状態の検出対象となる画素位置(x,y)の位置を設定する（ステップＳ７２）。これは、画素(x,y)の位置を中心として、撮影画像aから単位矩形領域uを切り抜き（ステップＳ７３）、単位矩形領域uのフーリエ変換Ｕを計算（ステップＳ７４）して行う。
次に、ステップＳ７５に進み、相関計算部１１９が、被写体と撮像レンズ部１０３との距離zを設定し、ボケパターン保持部１１８から距離zに応じたボケパターンJpを選択する。
次に、ステップＳ７６において、前述したフーリエ変換ＵとJpの相関関数Krを、（７）式によって計算する。相関関数Krは、取りうる全ての距離zについて計算を行うため、繰り返しJpを選択し、それぞれのJpについてKrを計算する。
次に、ステップＳ７７において、ボケパターンの走査を全て終了したか否かを判断する。この判断の結果、終了していない場合にはステップＳ７５に戻って前述した処理を繰り返し行う。一方、ステップＳ７７の判断の結果、走査終了であった場合にはステップＳ７８に進み、相関関数Krが最大となる距離zを、画素位置(x,y)における被写体との距離zp(x,y)として、ボケパターンJpと共にボケ状態保持部１２０に記録する。
次に、ステップＳ７９において、撮影画像aの全ての画素位置(x,y)について走査したか否かを判断する。この判断の結果、全て終了していない場合にはステップＳ７２に戻って前述した処理を繰り返し行う。また、ステップＳ７９の判断の結果、全ての画素位置(x,y)を走査した場合には終了する。
本実施形態においては、以上のような処理を実行して、ボケ状態を検出するための指標を撮影画像に埋め込み、埋め込まれたボケ状態の検出を行う。これにより、可変絞り制御部１０５におけるｇ(ｔ)を変化させることで、ボケ状態を埋め込む指標のパターン数を自由に増やすことができる。したがって、固定絞りを用いてボケ状態を検出するための指標を埋め込んでいた従来技術と比較して、ボケ状態を埋め込む指標のパターン数に限界が生じないようにすることができる。
また、従来技術においては特殊な形状の固定絞りであったため、通常の撮影用途に用いるカメラへの適用が困難であった。それに対して、本実施形態では、通常の撮影用途に用いるカメラと同様の形状を有する可変径絞り部１０４を用いることができるので、ボケ状態を埋め込む撮影、通常の撮影の両方を実施することが可能である。
なお、図２Aにおける可変径絞り部１０４は、通常の撮影用途に用いるカメラと同様に、開口部が円形に近い形状を取るものとなっているが、ボケ状態をより正確に取得する用途の場合、開口部を特殊な形状とすることが望ましい。
図８Ａ〜８Ｄに、開口部が特殊な形状を有する可変径絞り部の一例を示す。図８８Ａ〜８Ｄの可変径絞り部は、絞り込むに従って開口部が垂直方向に細長い猫の目のような形状を有するように、絞り羽８０１が構成されている。このような形状となるように構成すると、y方向の周波数成分ωyの変化が著しい被写体においては、ボケ状態をより正確に取得できるようになる。
また、可変絞り制御部１０５において、開口径rの変化速度は必ずしも微分不可能である必要はない。例えば、可変径絞り部１０４の形状を、図８Ａ〜８Ｄのように特殊なものとして、ｇ（ｔ）の二次微分が、正の値と負の値を持つようにしてもよい。
図９Ａに、開口径rの時間tによる変化の二次微分が、正と値と負の値をとる場合の、開口径ｒと露光開始からの経過時間tとの関係ｇ（ｔ）を示す。図９Ｂに、ｇ（ｔ）の時間微分ｇ（ｔ）’を示す。この制御においても、Kaが0でなく、かつ0に近い値となると同時に、小さいΔzでKmが0に近づくようなｇ(ｔ)を定めればよい。これらを満たすｇ（ｔ）であれば、減衰正弦波などの既存の波形を用いても良い。また、可変絞り制御部１０５において、開口径rの変化速度を制御する場合には、シャッタ部１０６の露光・遮光を併用してもよい。
図１０に、シャッタ部１０６を併用した場合の開口径rと露光開始からの経過時間tとの関係の図を示す。シャッタ部１０６を遮光した場合の開口径rは、可変径絞り部１０４の状態に関わらず、0になっていると考えることができる。本制御においても、Kaを0でなく、かつ0に近い値となると同時に、小さいΔzでKmを0に近づけるようにｇ(ｔ)を定めればよい。この時、シャッタ部１０６を遮光させる毎に画像取得部１０８で撮影画像axを複数枚取得し、撮影画像axを合成して最終的に撮影画像aを生成してもよい。
上記のようにｇ（ｔ）を設定することで、ボケ状態検出部１０９において検出が容易となるボケ画像が得られる。
なお、シャッタ部１０６を併用する場合、シャッタ部１０６を高速に動作させる必要があるため、液晶シャッタ、もしくは撮像素子部１０２に電子的に付加される形式の電子シャッタなどを用いることがより望ましい。
ボケ状態検出部１０９は、必ずしも撮像装置に常時接続されている必要は無く、例えば撮影後、ボケ状態を検出する時に撮像装置にボケ状態検出部１０９を含むＰＣなどを接続する、といったように構成してもよい。
本実施形態において、(２)式で示したボケ関数は、点光源からの光線が撮像レンズ部１０３を通過する位置・角度に関わらず、一様なf(bx,by,z,r)を有すると仮定している。現実には、点光源からの光線が撮像レンズ部１０３を通過する位置・角度によって、f(bx,by,z,r)は変化する。このため、実施に当たっては、撮影画像aにおける画素位置(x,y)を考慮したf(bx,by,x,y,z,r)とするか、撮影画像aを幾つかの領域に分割し、領域毎に異なるf(bx,by,z,r)を持たせてもよい。
（第２の実施形態：切り替え式絞りを用いたもの）
図１１に、本発明に係わる第２の実施形態の撮像装置１１０１の構成について示す。
図１１に示すように、本実施形態の撮像装置１１０１は、撮像素子部１１０２、撮像レンズ部１１０３、可変絞り部である切り替え絞り部１１０４、可変絞り制御部１１０５、シャッタ部１１０６、シャッタ制御部１１０７を有している。また、画像取得部１１０８、ボケ状態検出部１１０９、鮮鋭画像生成部１１１０、操作部１１１１、経過時間計測部１１１２を有している。
撮像素子部１１０２は、第１の実施形態における撮像素子部１０２と同様の構成を有する。撮像レンズ部１１０３は、撮像素子部１１０２上に被写体の投影像を与えるための光学系を有する。本実施形態における撮像レンズ部１１０３は、単一の凸レンズを使用しており、開口位置に後述の切り替え絞り部１１０４を配置することで、開口形状を変化させることができる。撮像レンズ部１１０３は、必ずしも単一の凸レンズを使用する必要は無く、撮像素子部１１０２上に被写体の投影像を与え、切り替え絞り部１１０４を配置可能な構成であれば、複数のレンズ、もしくは反射鏡を組み合わせた物でもよい。
シャッタ部１１０６、シャッタ制御部１１０７は、第１の実施形態におけるシャッタ部１０６、シャッタ制御部１０７とそれぞれ同様の構成を有する。画像取得部１１０８は、第１の実施形態における画像取得部１０８と同様に、Ａ/Ｄ変換器１１１３、メモリ１１１４から構成されている。切り替え絞り部１１０４は、撮像レンズ部１１０３の開口形状を変化させる役割を果たしている。
図１２Ａ〜１２Ｃに、本実施形態における切り替え絞り部１１０４の概略構成を示す。図１２Ａに示すように、本実施形態の切り替え絞り部１１０４は、開口部１２０１、絞りパターン１２０２、絞りパターン１２０２が格納された絞りパターン格納部１２０３、絞りパターン１２０２を駆動するモータ１２０４から構成されている。
図１２Ｂ及び１２Ｃに示すように、このように構成された本実施形態の切り替え絞り部１１０４は、可変絞り制御部１１０５の制御によって複数の絞りパターン１２０２を切り替えることで、撮像レンズ部１１０３の開口形状を変化させることができる。
可変絞り制御部１１０５は、絞りパターンテーブル保持部１１１５と絞り制御信号発生部１１１６とから構成されている。絞りパターンテーブル保持部１１１５は、絞りパターン１２０２の絞りパターン番号ｋと、各パターン番号kにおける露光時間ｔｋの目標値をテーブル化したものである。ここで、絞りパターン番号０の場合が第１の形状に相当し、絞りパターン番号１の場合が第２の形状に相当する。
図１３に、絞りパターンテーブル保持部１１１５に保持されている、絞りパターン番号ｋにおける露光時間ｔｋの特性を示す。図１３の絞りパターン番号ｋと露光時間ｔｋの関係は、以下の関数で表すことができる。
図１４Ａ、１４Ｂに、各絞りパターン１２０２を使用した場合における、撮像レンズ部１１０３から一定の距離に存在する点光源を被写体としたボケ像での、ボケ中心からの位置(bx,by)と輝度の特性を示す。図１４Ａが絞りパターン０の場合の特性を示し、図１４Ｂが絞りパターン１の場合の特性を示している。また、特性内の色が濃い部分が、輝度の高い領域となっている。
この特性は、図１４Ａ，１４Ｂに示すように、絞りパターン番号ｋと、撮像レンズ部１１０３と点光源との距離zによって変化する。よって、静的に任意の絞りパターンを用いて点光源との距離zで画像を撮像した場合の、ボケ中心からの位置(bx,by)での輝度iは以下のように表すことができる。
なお、(１１)式では、点光源からの光が撮像レンズ部１１０３を通過する位置・角度に関わらず、一様なfk(bx,by,z)を有すると仮定している。撮像素子部１１０２で得られる被写体の投影像は、撮像素子部１１０２の画素の数と等しい数だけ存在する点光源が、(１１)式によって撮影画像a(x,y)に畳み込まれたものであると考えることができる。(１１)式から、露光後に生成される点光源のボケ像において、点光源との距離z、ボケ中心からの位置(bx,by)での輝度jは、以下の式で表すことができる。
ここで、kmaxは、使用する絞りパターン番号ｋの最大数である。
さらに(１０)式より、
となる。このj(bx,by,z)で、撮像レンズ部１１０３と点光源との距離zをある一定の値としたときの、空間軸(bx,by)における二次元フーリエ変換をJ(ωx,ωy,z)とする。一般的な被写体の投影像h(x,y)における空間周波数分布、つまり二次元フーリエ変換をH(ωx,ωy)とした場合、J(ωx,ωy)との相関関数Kaは第１の実施形態における(５)式と同様に表される。
(５)式において、x軸の周波数成分ωxはωxmin〜ωxmaxの間を、y軸の周波数成分ωyはωymin〜ωymaxの間を取るものとする。また、撮像レンズ部１１０３と点光源との距離zがΔzだけ変化した場合における自己相関関数Kmは、第１の実施形態における(６)式と同様に表される。
(６)式において、撮像レンズ部１１０３と点光源との距離zの取りうる範囲で、Kaを0でなく、かつ0に近い値となるようj(bx,by,z)を定める。以上の操作は、物理的には鮮鋭な被写体の投影像と、ボケ像とを周波数領域において容易に分離可能とする操作と等価である。同時に、小さいΔzでKmを0に近づけるようにj(bx,by,z)を定める。これは、ボケ像の変化から撮像レンズ部１１０３と点光源との距離zの変化を検出する分解能を向上させる操作と等価である。
前記の関係を満たすようなj(bx,by,z)については、例えば撮像レンズ部１１０３が有するボケ関数に、Ｍ配列などの２次元擬似ランダムパターンを掛け合わせることで得られる。ここで、撮像レンズ部１１０３の開口形状が、Ｍ配列に相当する。前記のＭ配列は、透過・非透過の二値で生成するよりも、半透過も含めたより多値で生成すると生成可能なパターン数が多くなるため、Ka,Kmの条件をより良好に満たすことができる。
本実施形態においては、前記のj(bx,by,z)をfk(bx,by,z)とv(k)の組み合わせで生成する必要がある。fk(bx,by,z)は、撮像レンズ部１１０３が有するボケ関数と絞りパターン番号ｋの絞りパターン１２０２の開口形状とで決定される。単一のfk(bx,by,z)のみで多値のj(bx,by,z)を生成するには、絞りパターン１２０２の開口形状に半透過の領域を必要とする。
しかし、全ての可視波長域で、正確な透過率を示す半透過の開口形状を作成するには、物理的な困難が伴う。そこで、v(k)によって最終的に半透過の領域を有する開口形状と等価となる制御を行う。例えば、ある(bx,by,z)において、f0=1, f1=0であった場合、全露光時間Tに対して、
とすれば、ある(bx,by,z)上で任意の透過率αを有するj(bx,by,z)が生成できる。なお、このときの各fk(bx,by,z)は、相互がアフィン変換で表現される変形式でなく、アフィン独立であることが望ましい。本制御も併用することで、fk(bx,by,z)とv(k)をランダムに生成し、Ka,Kmの条件を満たす、fk(bx,by,z)とv(k)の組み合わせを設定する。
以上のように、絞りパターンテーブル保持部１１１５に保持するv(k)を定め、v(k)に従って切り替え絞り部１１０４の各絞りパターン１２０２の露光時間ｔｋを制御することで、ボケ状態を検出するための指標を撮影画像a内に埋め込むことができる。
絞り制御信号発生部１１１６は、経過時間計測部１１１２から得られる絞りパターン番号ｋと、絞りパターンテーブル保持部１１１５から得られる目標の露光時間ｔｋとを用いて、切り替え絞り部１１０４に対して絞りパターン番号ｋに切り替える制御信号を与える。ボケ状態検出部１１０９は、フーリエ変換部１１１７、ボケパターン保持部１１１８、相関計算部１１１９、ボケ状態保持部１１２０から構成されている。
本実施形態におけるボケ状態検出部１１０９は、第１の実施形態におけるボケ状態検出部１０９と同様にボケ状態を検出する。そして、ボケ状態保持部１１２０で、相関計算部１１１９によって計算した、撮影画像aの全画素における距離zp(x,y)と、Jp(ωx,ωy,z)をボケ状態として保持しておく。鮮鋭画像生成部１１１０は、撮影画像aと、ボケ状態保持部１１２０に保持されたボケ状態から、ボケを除去した鮮鋭画像ａｓを生成する。
本実施形態における鮮鋭画像生成部１１１０は、第１の実施形態における鮮鋭画像生成部１１０と同様の処理を行い、鮮鋭画像ａｓ(x,y)を求めることができる。操作部１１１１は、第１の実施形態における操作部１１１と同様の構成を有する。経過時間計測部１１１２は、第１の実施形態における経過時間計測部１１２と同様の構成を有する。
図１５に、撮像処理手順を説明するフローチャートを示す。この撮像処理は、ユーザが操作部１１１１でボタンを押下し、撮像装置に撮像操作を与えると開始される。
ステップＳ１５０１において、図１１における撮像素子部１１０２内に残る光の検出状態を、画像取得部１１０８で全て読み出して初期化する。
次に、ステップＳ１５０２において、可変絞り制御部１１０５によって、露光開始時の絞りパターン番号０となるように切り替え絞り部１１０４が初期化される。撮像素子部１１０２、切り替え絞り部１１０４の初期化が完了した時点で、ステップＳ１５０３に進む。
ステップＳ１５０３においては、切り替え絞り部１１０４とシャッタ部１１０６の制御を行い、露光する。露光時における、切り替え絞り部１１０４、シャッタ部１１０６の制御の流れについては後述する。露光後、撮像画像を取得する。より詳しくは、撮像素子部１１０２で検出された被写体の投影像の光を画像取得部１１０８内のＡ/Ｄ変換器１１１３によって読み出してデジタルデータ化し、メモリ１１１４に撮影画像aとして格納する。
次に、ステップＳ１５０４に進み、ボケ状態の検出を行う。これは、ボケ状態検出部１１０９が撮影画像aをメモリ１１１４から読み出し、撮影画像a内に存在するボケの状態を検出することにより行われる。ボケ状態検出部におけるボケ状態の検出の流れについては、第１の実施形態におけるボケ状態の検出の流れと同様である。
最後に、ステップＳ１５０５において、鮮鋭画像生成部１１１０が画像取得部１１０８内のメモリ１１１４から撮影画像aを読み出す。同時に、ボケ状態検出部１１０９内にあるボケ状態保持部１１２０からボケ状態を読み出す。そして、読み出した撮影画像aとボケ状態から、ボケの存在しない鮮鋭画像ａｓを生成する。
次に、切り替え絞り部１１０４とシャッタ部１１０６の制御の流れについて説明する。図１６に、切り替え絞り部１１０４、シャッタ部１１０６の制御手順を説明するフローチャートを示す。
図１６に示すように、最初に切り替え絞り部１１０４を、露光時の初期絞りパターン０となるように可変絞り制御部１１０５で制御し、絞りパターン番号ｋ＝０とする初期化を行う（ステップＳ１６０１）。
次に、ステップＳ１６０２に進み、経過時間計測部１１１２を初期化し、撮影操作からの経過時間ｔ＝０として経過時間の計測を開始する。経過時間計測部１１１２の初期化と同時に、シャッタ部１１０６を露光状態に制御する（ステップＳ１６０３）。絞りパターン番号ｋを入力として、絞りパターンテーブル保持部１１１５から、切り替え絞り部１１０４の絞りパターン番号における露光時間ｔｋを読み出して取得する（ステップＳ１６０４）。
ステップＳ１６０５において、読み出した時間ｔｋの間、切り替え絞り部１１０４の状態を維持して露光を行う。このときの露光時間は、経過時間計測部１１１２によって計測する。時間ｔｋ経過後、絞りパターン番号ｋが最大値のｋｍａｘであるか否かの判定を行う（ステップＳ１６０７）。
この判定の結果、ｋｍａｘで無ければ、ステップＳ１６０６に進み、絞りパターン番号ｋに１を加え、切り替え絞り部１１０４によって、絞りパターンkに切り替える。その後、ステップＳ１６０４に進んで前述した処理を繰り返し行う。
一方、ステップＳ１６０７の判定の結果、絞りパターン番号ｋがｋｍａｘに到達したらステップＳ１６０８に進んで、繰り返しを終えてシャッタ部１１０６を遮光させ、その後、終了する。以上の処理によって、切り替え絞り部１１０４とシャッタ部１１０６の制御を行う。
本実施形態においては、以上のような処理を実行することにより、撮影画像にボケ状態を検出するための指標を埋め込み、埋め込まれたボケ状態の検出を行う。このように、切り替え絞り部１１０４を用いることで、正確な透過率で半透明な領域を有する絞りと等価の露光を行うことができる。本実施形態は、固定絞りを用いていた従来と比較して、ボケ状態を埋め込む性能を大幅に向上させることができ、高性能な指標となる、正確な透過率で半透明な領域を有する絞りの製作を行うことができる。
なお、図１２Ａにおける切り替え絞り部１１０４は、物理的な開口部を有する板状の絞りパターン１２０２を用いている。しかし、更に詳細な透過率を設定した開口形状を有する多くの絞りパターンを使用したい場合には、液晶などによる電子的な絞りを用いることが望ましい。
図１７Ａ〜１７Ｃに、開口形状を液晶によって生成する液晶絞りの例を示す。
この例では、開口部分に液晶パネル部１７０１を配置し、可変絞り制御部１１０５からの制御信号を受ける液晶回路駆動部１７０２によって、図１７Ｂおよび１７Ｃのそれぞれに示すような絞りパターン１、絞りパターン２に見られるような任意の絞りパターンを生成する。このような電子的な絞りを用いれば、例えば被写体の投影像が有する空間周波数に応じて、適応的に絞りパターンを変更する制御を行うことができる。
また、図１２Ａの切り替え絞り部１１０４において、絞りパターンを切り替える場合、切り替え期間中は開口形状が不定となるため、切り替え期間をなるべく短くすることが望ましい。もしくは、切り替え期間中はシャッタ部１１０６で遮光するように制御を行ってもよい。
可変絞り制御部１０５、ボケ状態検出部１０９、鮮鋭画像生成部１１０は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
（他の実施形態）
本発明の様態は、メモリ装置に記録されているプログラムを読み出して実行することで、上記の実施形態の機能を実行するシステム又は装置のコンピュータ（若しくはＣＰＵやＭＰＵ等の装置）によっても実現される。また、本発明の様態は、例えば、上記の実施形態の機能を実行するためにメモリ装置に記録されているプログラムを読み出して実行することにより、システム又は装置のコンピュータにより実行される各ステップを有する方法によっても実現される。この目的のために、このプログラムは、例えばネットワークを介して若しくは上記メモリ装置としての各種の記録媒体（例えば、コンピュータ読み取り可能な媒体）から、このコンピュータに対して提供される。
本発明については典型的な実施の形態を用いて説明したが、本発明が上記実施の形態に制限されるものではないことは理解されるべきである。以下の特許請求の範囲については、そのような全ての変更及び等価な構成、機能を網羅するような広い解釈が認められるべきである。
本願は、２００８年８月４日提出の日本国特許出願特願２００８−２０１０５３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (14)

  1. 画像処理装置であって、
    絞りの開口部を介して被写体から入射される光を撮像素子部で結像した結果を、画像として所得する画像取得手段と、
    前記画像取得手段が前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御手段と、
    前記関数に基づいて、前記画像におけるボケ状態を検出する検出手段と
    を備えることを特徴とする画像処理装置。
  2. 前記関数は、前記開口部の開口径の時間的な変化を規定し、
    前記画像取得手段にて前記画像を取得する間に、前記関数の二次微分は、正の値と負の値をとることを特徴とする請求項１に記載の画像処理装置。
  3. 前記関数は、前記開口部の形状がアフィン変換により表現される変化以外の変化を規定することを特徴とする請求項１に記載の画像処理装置。
  4. 前記関数は、一以上の点で微分不可能であることを特徴とする請求項１に記載の画像処理装置。
  5. 前記制御手段は、前記開口部の形状を、前記画像取得手段にて前記画像を取得する開始時間における前記開口部の第１の形状から、前記画像取得手段にて前記画像を取得する終了時間における前記開口部の第２の形状へと変更するように制御することを特徴とする請求項１に記載の画像処理装置。
  6. 前記関数はルックアップテーブルによって規定されることを特徴とする請求項１に記載の画像処理装置。
  7. 更に、
    前記画像取得手段にて前記画像を取得する際に、前記制御手段による制御と連動して、前記被写体から入射される光を通過させたり遮断したりして、前記撮像素子部を露光又は遮光するシャッタを制御するシャッター制御手段を備える
    ことを特徴とする請求項１に記載の画像処理装置。
  8. コンピュータを用いて、
    絞りの開口部を介して被写体から入射される光を撮像素子部で結像することによって得られる結果を、画像として所得する取得工程、
    前記画像を取得する際に、前記開口部の形状の時間的な変化を規定する関数に基づいて、前記開口部の形状を制御する制御工程、
    前記関数に基づいて、前記画像におけるボケ状態を検出する検出工程
    を実行することにより行われる画像処理方法。
  9. 前記関数は、前記開口部の開口径の時間的な変化を規定し、
    前記画像を取得する間に、前記関数の二次微分は、正の値と負の値をとることを特徴とする請求項８に記載の画像処理方法。
  10. 前記関数は、前記開口部の形状がアフィン変換により表現される変化以外の変化を規定することを特徴とする請求項８に記載の画像処理方法。
  11. 前記関数は、一以上の点で微分不可能であることを特徴とする請求項８に記載の画像処理方法。
  12. 前記制御工程では、前記開口部の形状を、前記画像を取得する開始時間における前記開口部の第１の形状から、前記画像を取得する終了時間における前記開口部の第２の形状へと変更するように制御することを特徴とする請求項８に記載の画像処理方法。
  13. 前記開口部の形状の時間的な変化を規定する関数はルックアップテーブルによって規定されることを特徴とする請求項８に記載の画像処理方法。
  14. 更に、
    前記画像を取得する際に、前記制御工程における制御と連動して、前記被写体から入射される光を通過させたり遮断したりして、前記撮像素子部を露光又は遮光するシャッタを制御することを特徴とする請求項８に記載の画像処理方法。
JP2010548959A 2008-08-04 2009-07-31 画像処理装置及び画像処理方法 Expired - Fee Related JP5134694B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010548959A JP5134694B2 (ja) 2008-08-04 2009-07-31 画像処理装置及び画像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008201053 2008-08-04
JP2008201053 2008-08-04
JP2010548959A JP5134694B2 (ja) 2008-08-04 2009-07-31 画像処理装置及び画像処理方法
PCT/JP2009/063977 WO2010016560A1 (en) 2008-08-04 2009-07-31 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2011523238A true JP2011523238A (ja) 2011-08-04
JP5134694B2 JP5134694B2 (ja) 2013-01-30

Family

ID=41663773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010548959A Expired - Fee Related JP5134694B2 (ja) 2008-08-04 2009-07-31 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US8842217B2 (ja)
JP (1) JP5134694B2 (ja)
CN (1) CN102119527B (ja)
WO (1) WO2010016560A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123805A (ja) * 2012-12-20 2014-07-03 Canon Inc 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2016500848A (ja) * 2012-10-24 2016-01-14 アルカテル−ルーセント 解像度および焦点改善
JP2016165070A (ja) * 2015-03-06 2016-09-08 国立大学法人 鹿児島大学 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法
WO2023248589A1 (ja) * 2022-06-23 2023-12-28 株式会社ジャパンディスプレイ カメラモジュール

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574473B2 (ja) 2005-07-11 2010-11-04 キヤノン株式会社 情報処理装置および方法
KR20100090961A (ko) * 2009-02-09 2010-08-18 삼성전자주식회사 가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치
CN101964866B (zh) * 2009-07-24 2013-03-20 鸿富锦精密工业（深圳）有限公司 计算摄像型数码相机
JP5591090B2 (ja) * 2010-12-13 2014-09-17 キヤノン株式会社 画像処理装置およびその方法
JP5639512B2 (ja) * 2011-03-23 2014-12-10 株式会社デンソーアイティーラボラトリ レンズユニット及びそれを用いた撮影装置、並びにコンピュータプログラム
KR101795600B1 (ko) * 2011-07-07 2017-11-08 삼성전자주식회사 디지털 촬영 장치, 그 제어방법, 및 컴퓨터 판독가능 저장매체
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US9646365B1 (en) 2014-08-12 2017-05-09 Amazon Technologies, Inc. Variable temporal aperture
US9787899B1 (en) * 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
US9749532B1 (en) 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
JP6576042B2 (ja) * 2015-01-14 2019-09-18 キヤノン株式会社 表示制御装置及びその方法、プログラム
DE102015111985A1 (de) * 2015-07-23 2017-01-26 Vantage Film Gmbh Ellipsenartige Blende für ein Kameraobjektiv bzw. für eine Foto- oder Filmkamera
DE102015120967A1 (de) * 2015-12-02 2017-06-08 Carl Zeiss Ag Verfahren und Vorrichtung zur Bildkorrektur
DE102017112484A1 (de) 2017-06-07 2018-12-13 Carl Zeiss Ag Verfahren und Vorrichtung zur Bildkorrektur
KR20210124807A (ko) * 2020-04-07 2021-10-15 에스케이하이닉스 주식회사 이미지 센싱 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209576A (ja) * 1994-01-17 1995-08-11 Sony Corp 光学的検出装置およびフォーカス制御装置
JPH0923423A (ja) * 1995-05-02 1997-01-21 Sony Corp 信号符号化方法、信号符号化装置及び信号記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10325972A (ja) * 1997-03-24 1998-12-08 Gokou Internatl Corp:Kk 全領域撮影用カメラ
US20040201707A1 (en) * 1998-03-12 2004-10-14 Kazuhiro Noguchi Variable magnification lens having image stabilizing function
JPH11271838A (ja) * 1998-03-19 1999-10-08 Minolta Co Ltd 多重露光カメラ
JP2002277925A (ja) * 2001-03-21 2002-09-25 Asahi Optical Co Ltd レンズシャッタ機構
JP4565784B2 (ja) * 2001-09-20 2010-10-20 Ｈｏｙａ株式会社 デジタルカメラ
JP2003219357A (ja) 2002-01-25 2003-07-31 Fuji Photo Film Co Ltd デジタル撮像装置及び画像形成システム
JP2004213355A (ja) * 2002-12-27 2004-07-29 Canon Inc 情報処理方法
JP2004317650A (ja) * 2003-04-14 2004-11-11 Fuji Photo Film Co Ltd カメラ
JP2006071993A (ja) * 2004-09-02 2006-03-16 Sony Corp ズームレンズ及び撮像装置
JP2007251382A (ja) * 2006-03-14 2007-09-27 Sony Corp 撮像装置
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device
US8059162B2 (en) * 2006-11-15 2011-11-15 Sony Corporation Imaging apparatus and method, and method for designing imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07209576A (ja) * 1994-01-17 1995-08-11 Sony Corp 光学的検出装置およびフォーカス制御装置
JPH0923423A (ja) * 1995-05-02 1997-01-21 Sony Corp 信号符号化方法、信号符号化装置及び信号記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016500848A (ja) * 2012-10-24 2016-01-14 アルカテル−ルーセント 解像度および焦点改善
JP2014123805A (ja) * 2012-12-20 2014-07-03 Canon Inc 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2016165070A (ja) * 2015-03-06 2016-09-08 国立大学法人 鹿児島大学 撮像装置、電子透かしの抽出方法、電子透かし及び符号化開口の最適化方法
WO2023248589A1 (ja) * 2022-06-23 2023-12-28 株式会社ジャパンディスプレイ カメラモジュール

Also Published As

Publication number Publication date
JP5134694B2 (ja) 2013-01-30
CN102119527B (zh) 2014-02-26
WO2010016560A1 (en) 2010-02-11
US20110085074A1 (en) 2011-04-14
US8842217B2 (en) 2014-09-23
CN102119527A (zh) 2011-07-06

Similar Documents

Publication Publication Date Title
JP5134694B2 (ja) 画像処理装置及び画像処理方法
US7260270B2 (en) Image creating device and image creating method
JP6593396B2 (ja) 検出装置および撮像装置
JP5173665B2 (ja) 画像撮影装置およびその距離演算方法と合焦画像取得方法
JP5868183B2 (ja) 撮像装置及び撮像方法
US8773550B2 (en) Range measurement using multiple coded apertures
JP5869883B2 (ja) 画像処理装置
US8432479B2 (en) Range measurement using a zoom camera
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
JP2013531268A (ja) 符号化開口を使用した距離の測定
KR20110124701A (ko) 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
JP2013044844A (ja) 画像処理装置および画像処理方法
CN113115027A (zh) 校准摄像头的方法和系统
WO2009077779A2 (en) Method and apparatus for providing image data
JP2007322259A (ja) エッジ検出方法、装置、及びプログラム
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2018097176A (ja) 焦点調節装置および焦点調節方法
CN114208145A (zh) 摄像装置和方法
JP6611509B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2004257934A (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
JP2014029429A5 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6625184B2 (ja) 焦点検出装置、撮像装置、焦点検出方法および焦点検出プログラム
JP2013254114A5 (ja) 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体
TWI605418B (zh) 影像編輯方法以及影像處理裝置
JP2011043670A (ja) 焦点検出装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5134694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees