JP2007312311A - 画像処理装置 - Google Patents

Abstract

【課題】機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることのできる画像処理装置を提供する。
【解決手段】焦点距離が異なる複数のレンズで構成され、複数のレンズの光軸を一致させて同心円状に組み合せられた多焦点レンズ２３と、多焦点レンズ２３までの距離を固定して光軸上に配置された撮像素子２４と、撮像素子２４に達する光を部分的に遮光し、多焦点レンズ２３の複数のレンズ夫々による像が示された複数の画像を生成させる液晶シャッター２５と、撮像素子２４が生成する画像夫々に対して焦点の合っている画像か否かの判定を実行する合焦画像判定部３５と、焦点の合っていない画像に画像処理を実行する第１乃至第３畳込み部３９、４０、４１と、焦点の合っている画像と画像処理された画像を合成する加算器４２とを備える。
【選択図】図１

Description

本発明は、撮像面までの距離が固定された多焦点レンズによる像を撮像し、近距離から遠距離まで比較的良好な画像を得ることのできる画像処理装置に関するものである。

従来の画像処理装置は、図５に示すように、画像を生成する撮像部５と、画像の画像処理を実行する画像処理部９と、画像を表示する表示部１０を備えている。

撮像部５は、焦点距離の異なるレンズ１２とレンズ１３とが組み合せられた２焦点レンズ１１と、この２焦点レンズ１１による像を撮像する撮像素子１４とを含んでいる。一方、画像処理部９は、撮像部５からの画像を記憶する記憶部６と、２焦点レンズ１１を構成している２つのレンズ１２、１３の内、何れか一方のレンズのボケ関数の逆関数の係数を記憶する係数記憶部８と、画像に畳込み処理を実行する畳込み部７とを含んでいる（例えば、特許文献１参照）。
特開２００３−３０９７２３号公報

しかしながら、特許文献１に開示された従来の画像処理装置において、撮像素子１４の撮像面上に結ばれる像は２つのレンズ１２、１３による合成像であり、この合成像が示された画像からどちらのレンズによるボケ成分を除去するかを選択する必要があった。また、実際の被写体までの距離とは異なる距離を仮定して画像に畳込み処理を実行した場合、何れか一方のレンズだけで撮像した画像よりも鮮明さが劣るという問題があった。

本発明は、従来の問題を解決するためになされたもので、機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、焦点距離が異なる複数のレンズで構成され、前記複数のレンズの光軸を一致させて同心円状に組み合せられた多焦点レンズと、前記多焦点レンズまでの距離を固定して前記光軸上に配置された撮像素子と、前記撮像素子に達する光を部分的に遮光し、前記複数のレンズ夫々による像が示された複数の画像を生成させる遮光手段と、前記撮像素子が生成する画像夫々に対して焦点の合っている画像か否かの判定を実行する合焦画像判定手段と、前記焦点の合っていない画像に画像処理を実行するボケ補正手段と、前記焦点の合っている画像と前記画像処理された画像を合成する画像合成手段とを備える構成を有している。

この構成により、機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることができる。

また、本発明の画像処理装置は、前記遮光手段が、同心円状の複数の領域を有する液晶シャッターと、この液晶シャッターを駆動する駆動部とを有し、前記液晶シャッターの中心軸と前記多焦点レンズの光軸とを一致させて前記多焦点レンズと前記撮像素子との間に前記液晶シャッターを配置する構成を有している。

この構成により、多焦点レンズの複数のレンズ夫々から撮像素子への光を選択的に遮光することができる。

また、本発明の画像処理装置は、前記遮光手段が、同心円状の複数の領域を有する液晶シャッターと、この液晶シャッターを駆動する駆動部とを有し、前記液晶シャッターの中心軸と前記多焦点レンズの光軸とを一致させて前記液晶シャッターと前記撮像素子との間に前記多焦点レンズを配置する構成を有している。

この構成により、比較的に簡単な構成で多焦点レンズの複数のレンズ夫々からの光を部分的に遮光することができる。

この構成により、多焦点レンズの複数のレンズ夫々への光を選択的に遮光することができる。

また、本発明の画像処理装置は、前記合焦画像判定手段が、前記撮像素子が生成する画像夫々の周波数成分を分析し、この分析に基づいて焦点の合っている画像か否かを判定する構成を有している。

この構成により、焦点の合っている画像を正確に判定することができる。

また、本発明の画像処理装置は、前記ボケ補正手段が、前記焦点の合っていない画像にボケ関数の逆関数の畳込み処理を実行する構成を有している。

この構成により、焦点の合っていない画像から焦点の合っている画像を生成することができる。

また、本発明の画像処理装置は、前記合焦画像判定手段が、前記撮像素子が生成する画像夫々を複数の部分画像に分割し、部分画像毎に周波数成分を分析し、この分析に基づいて焦点の合っている部分画像か否かを判定する構成を有している。

この構成により、焦点の合っている部分画像を正確に判定することができる。

また、本発明の画像処理装置は、前記ボケ補正手段が、前記焦点の合っていない部分画像にボケ関数の逆関数の畳込み処理を実行する構成を有している。

この構成により、焦点の合っていない部分画像から焦点の合っている部分画像を生成することができる。

また、本発明の画像処理装置は、前記画像合成手段が、前記焦点の合っている部分画像に前記画像処理された部分画像を合成する構成を有している。

この構成により、焦点の合っている部分画像だけでは光量不足であっても、光量不足を補うことができる。

本発明は、焦点距離が異なる複数のレンズで構成され、複数のレンズの光軸を一致させて同心円状に組み合せられた多焦点レンズと、多焦点レンズまでの距離を固定して光軸上に配置された撮像素子と、撮像素子に達する光を部分的に遮光し、複数のレンズ夫々による像が示された複数の画像を生成させる遮光手段と、撮像素子が生成する画像夫々に対して焦点の合っている画像か否かの判定を実行する合焦画像判定手段と、焦点の合っていない画像に画像処理を実行するボケ補正手段と、焦点の合っている画像と画像処理された画像を合成する画像合成手段とを備えることにより、機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることができるものである。

以下、図面を参照し、本発明の一実施の形態の画像処理装置について説明する。

本実施の形態の画像処理装置は、図１に示すように、被写体の画像を生成する撮像部２０と、画像に画像処理を実行する画像処理部３０とを備えている。

撮像部２０は、焦点距離が異なる第１乃至第３レンズで構成され、第１乃至第３レンズの光軸を一致させて同心円状に組み合せられた多焦点レンズ２３と、多焦点レンズ２３までの距離を固定して光軸上に配置された撮像素子２４と、被写体から多焦点レンズ２３への光を部分的に遮光し、第１乃至第３レンズ夫々による像が示された第１乃至第３画像を撮像素子２４に生成させる液晶シャッター２５と、液晶シャッター２５を駆動する駆動部２２とを含んでいる。

駆動部２２は、例えば、図３及び図４に示すように、第１及び第３レンズへの光が選択的に遮光されるように液晶シャッター２５を駆動し、撮像素子２４が撮像面上に形成される第２レンズによる像を撮像するようになっている。ここでの説明を省略するが、第１及び第３レンズによる像を撮像する場合についても同様である。

一方、画像処理部３０は、撮像素子２４が生成した第１乃至第３画像を記憶する第１乃至第３画像記憶部３２、３３、３４と、第１乃至第３画像記憶部３２、３３、３４に記憶された第１乃至第３画像夫々に対して焦点の合っている画像か否かの判定を実行する合焦画像判定部３５と、焦点の合っていない画像に画像処理を実行するボケ補正部と、焦点の合っている画像と画像処理された画像を合成する加算器４２とを含んでいる。

合焦画像判定部３５は、第１乃至第３画像記憶部３２、３３、３４に記憶された第１乃至第３画像夫々の特定領域の周波数成分を分析し、第１乃至第３画像の特定領域の高周波成分の強度から第１乃至第３画像に対して焦点の合っている画像であるか否かを判定するようになっている。

逆関数の選択方法として、焦点が合っていると判定された画像を結像したレンズの焦点距離から、被写体までの距離を求めることができるので、焦点が合っていないと判定された画像に対して、この距離に基づいて係数記憶部３６、３７、３８から最適なボケ関数の逆関数の係数を選択する。また、この方法により焦点が合っている画像を決定できないときには、デフォルトの距離を仮定して選択する。

ボケ補正部は、第１乃至第３畳込み部３９、４０、４１と、第１乃至第３レンズのボケ関数の逆関数の係数を記憶する第１乃至第３係数記憶部３６、３７、３８とを含んでいる。

第１畳込み部３９は、第１画像が焦点の合っている画像であると判定されたとき、第１画像記憶部３２に記憶された第１画像を加算器４２に出力し、第１画像が焦点の合っていない画像であると判定されたとき、第１係数記憶部３６からの第１レンズのボケ関数の逆関数の係数と第１画像記憶部３２からの第１画像との畳込み処理を実行し、畳込み処理の結果を加算器４２に出力するようになっている。

第２畳込み部４０は、第２画像が焦点の合っている画像であると判定されたとき、第２画像記憶部３３に記憶された第２画像を加算器４２に出力し、第２画像が焦点の合っていない画像であると判定されたとき、第２係数記憶部３７からの第２レンズのボケ関数の逆関数の係数と第２画像記憶部３３からの第２画像との畳込み処理を実行し、畳込み処理の結果を加算器４２に出力するようになっている。

第３畳込み部４１は、第３画像が焦点の合っている画像であると判定されたとき、第３画像記憶部３４に記憶された第３画像を加算器４２に出力し、第３画像が焦点の合っていない画像であると判定されたとき、第３係数記憶部３８からの第３レンズのボケ関数の逆関数の係数と第３画像記憶部３４からの第３画像との畳込み処理を実行し、畳込み処理の結果を加算器４２に出力するようになっている。

なお、ボケ関数は、光軸上に置かれた点光源の結像面での散乱を示す関数で、点広がり関数（Point Spread Function）とも呼ばれ、光軸上のある距離に点光源を置いた場合の散乱を示し、距離が異なれば散乱も変わるので、係数記憶部３６、３７、３８には、被写体までの距離に応じた複数のボケ関数の逆関数の係数を記憶している。一方、合焦画像判定部３５は、画像に含まれる周波数成分の分析から、被写体までの距離を推定し、推定した距離に基づいて係数記憶部３６、３７、３８から最適なボケ関数の逆関数の係数を選択するようになっている。また、この方法により被写体までの距離を決定できない場合でも、デフォルトの距離を仮定してボケ関数の逆関数の係数を選択するようになっている。

本実施例では、液晶シャッター２５と撮像素子２４との間に多焦点レンズ２３を配置しているが、多焦点レンズ２３と撮像素子２４との間に液晶シャッター２５を配置してもよい。

また、本実施例では、画像夫々を記憶する第１乃至第３画像記憶部３２、３３、３４を備えているが、これらの画像を記憶する一つの記憶部を備えてもよい。

さらに、第１乃至第３画像記憶部３２、３３、３４に記憶された画像に畳込み処理を実行する第１乃至第３畳込み部３９、４０、４１を備えているが、時分割で画像夫々に畳込み処理を実行する一つの畳込み部を備えてもよい。

さらに、本実施例の多焦点レンズは焦点距離の異なる３つのレンズで構成されているが、３枚以上のレンズで構成されてもよい。

さらに、本実施例では、光量不足を考慮して焦点の合っている画像に画像処理された画像を加算しているが、適正な光量が得られている場合には合成する必要はない。

さらに、本実施例では、合焦画像判定部３５が、撮像素子２４が生成する画像夫々の周波数成分を分析し、高周波成分の強度に基づいて焦点の合っている画像か否かを判定しているが、撮像素子２４が生成する画像夫々を複数の部分画像に分割し、部分画像毎に周波数成分を分析し、この分析に基づいて焦点の合っている部分画像か否かを判定してもよい。この場合、ボケ補正部が、焦点の合っていない部分画像にボケ関数の逆関数の畳込み処理を実行してもよい。また、加算器４２が、焦点の合っている部分画像に画像処理された部分画像を合成してもよい。

次に、図２を参照し、本実施の形態の画像処理装置の動作について説明する。

撮像部２０では、第１レンズによる像が示された第１画像が撮像素子２４により生成されるよう液晶シャッター２５が制御される。次いで、第２レンズによる像が示された第２画像が撮像素子２４により生成されるよう液晶シャッター２５が制御される。次いで、第３レンズによる像が示された第３画像が撮像素子２４により生成されるよう液晶シャッター２５が制御される（ステップＳ１０）。このようにして生成された第１乃至第３画像は、順次、画像処理部３０に出力される。

一方、撮像部２０からの第１画像が第１画像記憶部３２に記憶され、第２画像が第２画像記憶部３３に記憶され、第３画像が第３画像記憶部３４に記憶される（ステップＳ１１）。

合焦画像判定部３５では、第１画像記憶部３２からの第１画像の特定領域の高周波成分の強度と、第２画像記憶部３３からの第２画像の特定領域の高周波成分の強度と、第３画像記憶部３４からの第３画像の特定領域の高周波成分の強度とが算出される。次いで、焦点の合っている画像の方が高周波成分を多く含むという特徴を利用し、第１乃至第３画像に対して焦点の合っている画像であるか否かが判定される（ステップＳ１２）。

焦点が合っていると判定された画像を結像したレンズの焦点距離により被写体までの距離が求められ、焦点が合っていないと判定された画像に対して、この距離に基づいて係数記憶部３６、３７、３８から最適なボケ関数の逆関数の係数が選択される。また、焦点が合っている画像を決定できないときには、デフォルトの距離を仮定して選択される。

第１畳込み部３９では、第１画像が焦点の合っている画像であると判定されたとき、第１画像記憶部３２に記憶された第１画像が加算器４２に出力される。一方、第１画像が焦点の合っていない画像であると判定されたとき、第１係数記憶部３６からの第１レンズのボケ関数の逆関数の係数と第１画像記憶部３２からの第１画像との畳込み処理が実行され、畳込み処理の結果が加算器４２に出力される（ステップＳ１３）。

また、第２畳込み部４０では、第２画像が焦点の合っている画像であると判定されたとき、第２画像記憶部３３に記憶された第２画像が加算器４２に出力される。一方、第２画像が焦点の合っていない画像であると判定されたとき、第２係数記憶部３７からの第２レンズのボケ関数の逆関数の係数と第２画像記憶部３３からの第２画像との畳込み処理が実行され、畳込み処理の結果が加算器４２に出力される（ステップＳ１３）。

また、第３畳込み部４１では、第３画像が焦点の合っている画像であると判定されたとき、第３画像記憶部３４に記憶された第３画像が加算器４２に出力される。一方、第３画像が焦点の合っていない画像であると判定されたとき、第３係数記憶部３８からの第３レンズのボケ関数の逆関数の係数と第３画像記憶部３４からの第３画像との畳込み処理が実行され、畳込み処理の結果が加算器４２に出力される（ステップＳ１３）。

加算器４２では、第１乃至第３畳込み部３９、４０、４１からの画像が合成される（ステップＳ１４）。

以上説明したように、本実施の形態の画像処理装置によれば、焦点距離が異なる複数のレンズで構成され、複数のレンズの光軸を一致させて同心円状に組み合せられた多焦点レンズと、多焦点レンズまでの距離を固定して光軸上に配置された撮像素子と、撮像素子に達する光を部分的に遮光し、複数のレンズ夫々による像が示された複数の画像を生成させる液晶シャッターと、撮像素子が生成する画像夫々に対して焦点の合っている画像か否かの判定を実行する合焦画像判定部と、焦点の合っていない画像に画像処理を実行する第１乃至第３畳込み部と、焦点の合っている画像と画像処理された画像を合成する加算器とを備えることにより、機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることができる。

以上のように、本発明にかかる画像処理装置は、機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることのできる効果を有し、カメラ付き携帯端末や超小型デジタルスチルカメラとして有用である。

本発明の一実施の形態に係る画像処理装置の構成が示されたブロック図 本発明の一実施の形態に係る画像処理装置の動作が示されたフローチャート 本発明の一実施の形態に係る画像処理装置の液晶シャッターが第１及び第３レンズへの光を選択的に遮光している状態を模式的に示した図 本発明の一実施の形態に係る画像処理装置の液晶シャッターが第１及び第３レンズを選択的に遮光している状態で、第２レンズによる像が撮像面上に形成されることを模式的に示した図 従来の画像処理装置の構成を示したブロック図

符号の説明

２０ 撮像部
２２ 駆動部
２３ 多焦点レンズ
２４ 撮像素子
２５ 液晶シャッター（遮光手段）
３０ 画像処理部
３２ 第１画像記憶部
３３ 第２画像記憶部
３４ 第３画像記憶部
３５ 合焦画像判定部（合焦画像判定手段）
３６ 第１係数記憶部
３７ 第２係数記憶部
３８ 第３係数記憶部
３９ 第１畳込み部
４０ 第２畳込み部
４１ 第３畳込み部
４２ 加算器（画像合成手段）
４３ 第３レンズに入射する平行光線の光跡
４４ 第２レンズに入射する平行光線の光跡
４５ 第１レンズに入射する平行光線の光跡
５０ 多焦点レンズの光軸

Claims (8)

1. 焦点距離が異なる複数のレンズで構成され、前記複数のレンズの光軸を一致させて同心円状に組み合せられた多焦点レンズと、
   前記多焦点レンズまでの距離を固定して前記光軸上に配置された撮像素子と、
   前記撮像素子に達する光を部分的に遮光し、前記複数のレンズ夫々による像が示された複数の画像を生成させる遮光手段と、
   前記撮像素子が生成する画像夫々に対して焦点の合っている画像か否かの判定を実行する合焦画像判定手段と、
   前記焦点の合っていない画像に画像処理を実行するボケ補正手段と、
   前記焦点の合っている画像に前記画像処理された画像を合成する画像合成手段とを備えることを特徴とする画像処理装置。
2. 前記遮光手段は、同心円状の複数の領域を有する液晶シャッターと、この液晶シャッターを駆動する駆動部とを有し、
   前記液晶シャッターの中心軸と前記多焦点レンズの光軸とを一致させて前記多焦点レンズと前記撮像素子との間に前記液晶シャッターを配置することを特徴とする請求項１に記載の画像処理装置。
3. 前記遮光手段は、同心円状の複数の領域を有する液晶シャッターと、この液晶シャッターを駆動する駆動部とを有し、
   前記液晶シャッターの中心軸と前記多焦点レンズの光軸とを一致させて前記液晶シャッターと前記撮像素子との間に前記多焦点レンズを配置することを特徴とする請求項１に記載の画像処理装置。
4. 前記合焦画像判定手段は、前記撮像素子が生成する画像夫々の周波数成分を分析し、この分析に基づいて焦点の合っている画像か否かを判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記ボケ補正手段は、前記焦点の合っていない画像にボケ関数の逆関数の畳込み処理を実行することを特徴とする請求項４に記載の画像処理装置。
6. 前記合焦画像判定手段は、前記撮像素子が生成する画像夫々を複数の部分画像に分割し、部分画像毎に周波数成分を分析し、この分析に基づいて焦点の合っている部分画像か否かを判定することを特徴とする請求項１に記載の画像処理装置。
7. 前記ボケ補正手段は、前記焦点の合っていない部分画像にボケ関数の逆関数の畳込み処理を実行することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像合成手段は、前記焦点の合っている部分画像と前記画像処理された部分画像を合成することを特徴とする請求項６に記載の画像処理装置。

Images