JP2011155454A

JP2011155454A - 画像撮像装置、画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP2011155454A
Application number: JP2010015225A
Authority: JP
Inventors: Michio Cho; 倫生長; Yoshiaki Ishii; 良明石井
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-01-27
Filing date: 2010-01-27
Publication date: 2011-08-11

Abstract

【課題】撮像手段により被写体を撮像して得た画像データに対して復元処理等の画像処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、画像処理の精度を向上させる。
【解決手段】撮像素子１３から出力された生（ＲＡＷ）画像データに対して、画像処理部１４において、被写界深度の復元処理、倍率色収差補正処理、色変換処理の順で画像処理を施し、最終的な画像データを得る。
【選択図】図１

Description

本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理等の画像処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、特に画像処理の精度向上に関する。

近年、カメラ機能が携帯電話等に搭載されるようになり、カメラに対する小型化、低コスト化が強く要望されるようになってきている。

カメラシステムのサイズを大きく、また高コストにしている原因の一つにオートフォーカス機構があり、このような機構を設けることでレンズ駆動手段を実装するためのスペースやコストがかかっていた。これに対し、フォーカス機構を省いた固定焦点レンズを採用すれば低コストかつ小型化が可能となるが、フォーカス機構がないため、一般に被写界深度が狭いという問題があった。

また、上記とは別に、小型化、低コスト化のために、レンズの径を小さくしたり枚数を少なくしたりした場合も、撮影品質が一般に低下するという問題があった。

このような問題を解決するため、特別に設計された光学系と画像復元処理を併用することで、被写界深度の拡大を可能とした画像撮像システムが提案されている（例えば、特許文献１）。

特開２００９−１１１７７４号公報

上記のような被写界深度拡大撮像システムでは、撮像素子から出力された生（ＲＡＷ）画像データに対して、一般的には被写界深度の復元処理、撮像素子の出力信号と実際の色とを対応させる色変換処理、倍率色収差補正処理の順で画像処理が施され、最終的な画像データを得るのが一般的である。

なお、上記の処理に加えて、画像処理を簡略化するために画像データに対してＹ／Ｃ信号変換処理を行う場合には、被写界深度復元処理の前にＹ／Ｃ信号変換処理を行い、色変換処理の後でＲＧＢ信号変換処理を行う場合が一般的である。

さらに、ベイヤー配列等のカラーフィルターを用いた撮像素子を用いる場合には、撮像素子の画素間の信号成分を補間する画素間補間処理を行う必要があるが、この場合には画素間補間処理は被写界深度復元処理の前に行う場合が一般的である。

ここで、共通して行なわれる被写界深度復元処理、色変換処理、倍率色収差補正処理について、上記の順で行うと、色変換処理においてデジタル画像データに対して除算を行なわなくてはならないためにこの段階で演算精度が低下し、その後の倍率色収差補正処理では低い演算精度の画像データに基づいて処理を行わなくてはならなくなるため、最終的な画像データの演算精度が低くなるおそれがあった。

なお、色変換処理の段階で演算ビット数を上げることによって、除算による演算精度の低下を抑制することができるが、演算ビット数を上げてしまうと演算コストが増大するため、特に携帯電話用等の低コストの装置においては、演算ビット数を上げるのは好ましくない。

本発明は、上記事情に鑑みてなされたものであり、撮像手段により被写体を撮像して得た画像データに対して復元処理等の画像処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、画像処理の精度を向上させた画像撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを目的とするものである。

本発明による画像撮像装置は、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置において、被写体を撮像素子上に撮像して画像データを取得する撮像手段と、復元処理、倍率色収差補正処理、色変換処理の順で画像データに対して画像処理を施す画像処理手段とを備えたことを特徴とするものである。

本発明の画像撮像装置は、被写体を撮像して画像データを取得する撮像手段と、画像データに対して画像処理を行う画像処理装置とが別体に構成されていてもよく、本発明の画像処理装置はこのように別体に構成されたものであって、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置において、復元処理、倍率色収差補正処理、色変換処理の順で画像データに対して画像処理を施す画像処理手段を備えたことを特徴とするものである。

本発明の画像処理方法は、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理方法において、復元処理、倍率色収差補正処理、色変換処理の順で画像データに対して画像処理を施すことを特徴とする方法である。

本発明のプログラムは、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、復元処理、倍率色収差補正処理、色変換処理の順で画像データに対して画像処理を施すことを特徴とするものである。

本発明による画像撮像装置、画像処理装置、画像処理方法およびプログラムにおいて、画像処理を簡略化するために画像データに対してＹ／Ｃ信号変換処理を行う場合には、復元処理、倍率色収差補正処理、Ｙ／Ｃ信号変換処理、色変換処理、ＲＧＢ信号変換処理の順で画像データに対して画像処理を施すようにすることが好ましい。

また、ベイヤー配列等のカラーフィルターを用いた撮像素子を用いる場合には、撮像素子の画素間の信号成分を補間する画素間補間処理を行う必要があるが、この場合には画素間補間処理は、復元処理と倍率色収差補正処理との間、もしくは倍率色収差補正処理と色変換処理との間に行うことが好ましい。

なお、Ｙ／Ｃ信号変換処理を行い、かつ倍率色収差補正処理と色変換処理との間に画素間補間処理を行う場合、画素間補間処理とＹ／Ｃ信号変換処理とはどちらを先に行なっても構わない。

ここで「復元処理」とは、撮像素子前段のレンズ光学系のボケ特性（ＰＳＦ：Point Spread Function）に対して逆特性を持つ復元フィルタをかけ、合焦状態を回復させる処理を意味する。

また、「倍率色収差補正処理」とは、撮像素子前段のレンズ光学系において発生する倍率色収差の影響を補正する処理を意味する。

また、「色変換処理」とは、撮像素子の出力信号と実際の色とを例えばカラールックアップテーブル等を参照して一致させる処理を意味する。

また、「Ｙ／Ｃ信号変換処理」とは、ＲＧＢ信号をＹ／Ｃ（輝度・色差）信号形式に変換する処理を意味する。

また、「ＲＧＢ信号変換処理」とは、Ｙ／Ｃ（輝度・色差）信号をＲＧＢ信号形式に変換する処理を意味する。

本発明の画像撮像装置、画像処理装置、画像処理方法およびプログラムによれば、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する場合において、復元処理、倍率色収差補正処理、色変換処理の順で画像データに対して画像処理を施すようにして、除算による演算精度の低下が懸念される色変換処理を画像処理の最後に行うようにしたため、画像処理全体における演算精度の低下を最小限にでき、従来と比べ画像処理の精度を向上させることができる。

また、画像処理を簡略化するために画像データに対してＹ／Ｃ信号変換処理を行う場合、従来は被写界深度の復元処理の前にＹ／Ｃ信号変換処理を行うことが一般的であったが、復元処理、倍率色収差補正処理、Ｙ／Ｃ信号変換処理、色変換処理、ＲＧＢ信号変換処理の順で画像データに対して画像処理を行うようにして、より生（ＲＡＷ）に近い画像データに対して復元処理を施すことによって、復元処理品質を向上させることができる。

また、ベイヤー配列等のカラーフィルターを用いた撮像素子を用いる場合には、撮像素子の画素間の信号成分を補間する画素間補間処理を行う必要があるが、この場合には画素間補間処理を、復元処理と倍率色収差補正処理との間、もしくは倍率色収差補正処理と色変換処理との間に行うことが好ましい。

その理由として、復元処理の後に画素間補間処理を行うようにすれば、演算コストが高い復元処理段階でのデータ量を増加させないため、画像処理時の演算コストを低減させることができる。

また、倍率色収差補正処理では各画素毎に非整数倍の係数が乗算され微細な画素値補正が行われるため、倍率色収差補正処理の前に画素間補間処理を行うようにすれば、画像処理時の演算コストを低減させることができ、逆に倍率色収差補正処理の後に画素間補間処理を行うようにすれば、画像処理時の演算精度を向上させることができる。

本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図上記画像撮像装置の画像処理部の処理工程を示すフローチャート他の画像撮像装置の画像処理部の処理工程を示すフローチャート他の画像撮像装置の画像処理部の処理工程を示すフローチャート他の画像撮像装置の画像処理部の処理工程を示すフローチャート他の画像撮像装置の画像処理部の処理工程を示すフローチャート他の画像撮像装置の画像処理部の処理工程を示すフローチャート上記画像撮像装置を備えた車載機器が搭載されている自動車を示す図上記画像撮像装置を備えた携帯端末機器である携帯電話機を示す図上記画像撮像装置を備えた医療機器である内視鏡装置を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図、図２は上記画像撮像装置の画像処理部の処理工程を示すフローチャート、図３は他の画像撮像装置の画像処理部の処理工程を示すフローチャートである。

画像撮像装置１０は、被写体１１から来た光を撮像素子１３上に結像するための撮影光学系１２、結像された光学像をデジタル情報に変換し生（ＲＡＷ）画像データを出力する撮像素子１３、生（ＲＡＷ）画像データに対して種々の画像処理を施す画像処理部１４、画像処理後の画像データを表示するモニタ等の画像表示部１５、記録媒体に画像データを記録する画像記録部１６より構成される．
撮影光学系１２は、特に限定するものではないが、被写界深度を拡大する効果を持った光学系を用いることが好ましい。

撮像素子１３は、１枚の撮像素子を用いて単一画素でＲＧＢ信号を同時検出可能なものや、１枚の撮像素子を用いて単一画素で時分割的にＲＧＢ信号を検出するものや、３枚の撮像素子を用いてＲＧＢ毎に独立した撮像素子で信号を検出するもの等、撮像素子から出力される生（ＲＡＷ）画像データの段階で各画素毎にＲＧＢ信号成分を有するものを用いる。

本発明の撮像手段は、これら撮影光学系１２および撮像素子１３から構成される。

図２に示すように、画像処理部１４は、撮像素子から出力された生（ＲＡＷ）画像データに対して、被写界深度の復元処理、倍率色収差補正処理、色変換処理の順で画像処理を施し、最終的な画像データを得るものである。

なお、画像処理を簡略化するために画像データに対してＹ／Ｃ信号変換処理を行う場合には、図３に示すように、復元処理、倍率色収差補正処理、Ｙ／Ｃ信号変換処理、色変換処理、ＲＧＢ信号変換処理の順で画像データに対して画像処理を行うようにして、より生（ＲＡＷ）に近い画像データに対して復元処理を施すことによって、復元処理品質を向上させることができる。

また、撮像素子１３にベイヤー配列等のカラーフィルターを用いた撮像素子を用いる場合には、撮像素子の画素間の信号成分を補間する画素間補間処理を行う必要があるが、この場合には画素間補間処理を、図４（Ｙ／Ｃ信号変換処理およびＲＧＢ信号変換処理を行う場合は図６）に示すように復元処理と倍率色収差補正処理との間、もしくは図５（Ｙ／Ｃ信号変換処理およびＲＧＢ信号変換処理を行う場合は図７）に示すように倍率色収差補正処理と色変換処理との間に行うことが好ましい。

なお、図７に示すように、Ｙ／Ｃ信号変換処理を行い、かつ倍率色収差補正処理と色変換処理との間に画素間補間処理を行う場合、画素間補間処理とＹ／Ｃ信号変換処理とはどちらを先に行なっても構わない。

次に上記のように構成された画像撮像装置１０の作用について説明する。

まず、被写体１１に対して撮像手段（撮影光学系１２および撮像素子１３）により撮影が行なわれ、撮影により得られた生（ＲＡＷ）画像データは画像処理部１４に送られる。

画像処理部１４では、撮像素子から出力された生（ＲＡＷ）画像データに対して、被写界深度の復元処理、倍率色収差補正処理、色変換処理の順で画像処理を施し、最終的な画像データを得る。

以上の手順により得られた画像データは、モニタ等の画像表示部１５に表示されたり、また画像記録部１６で記録メディア等に記録される。

上記のような構成として、除算による演算精度の低下が懸念される色変換処理を画像処理の最後に行うようにしたため、画像処理全体における演算精度の低下を最小限にでき、従来と比べ画像処理の精度を向上させることができる。

図８は、本発明の画像撮像装置を備えた車載機器が搭載されている自動車を示す図である。

図８に示すように、本発明の画像撮像装置の撮影光学系および撮像素子から構成される撮影部を備えた車載機器５０２〜５０４は、自動車５０１等に搭載して使用することができる。この自動車５０１は、助手席側の側面の死角範囲を撮像するための車外カメラである車載機器５０２と、自動車１の後側の死角範囲を撮像するための車外カメラである車載機器５０３と、ルームミラーの背面に取り付けられ、ドライバーと同じ視野範囲を撮影するための車内カメラである車載機器５０４とを備えている。なお、画像処理部や画像表示部等、撮影部以外の部分については不図示であるが、これらは自動車５０１の任意の場所に配設することが可能である。

図９は、本発明の画像撮像装置を備えた携帯端末機器である携帯電話機を示す図である。

図示のように、この携帯電話機５１０は、携帯電話機の筐体５１１中に本発明の画像撮像装置の撮影光学系および撮像素子から構成される撮影部５１２が配されたものである。なお、画像処理部や画像表示部等、撮影部以外の部分については不図示であるが、これらは携帯電話機５１０の任意の場所に配設することが可能である。

図１０は、本発明の画像撮像装置を備えた医療機器である内視鏡装置を示す図である。

図示のように、生体組織５２５を観察するこの内視鏡装置５２０は、照明光Ｌａで照明された生体組織５２５を撮像するための本発明の画像撮像装置の撮影光学系および撮像素子から構成される撮影部５２２を内視鏡装置５２０の先端に配したものである。なお、画像処理部や画像表示部等、撮影部以外の部分については不図示であるが、これらは内視鏡装置５２０の任意の場所に配設することが可能である。

本発明の車載機器、携帯端末機器、および医療機器が備えている本発明の画像撮像装置は、従来の車載機器、携帯端末機器、および医療機器が備えている画像撮像装置との置き換えが容易である。すなわち、従来より知られている車載機器、携帯端末機器、および医療機器の装置サイズや形状等を変更することなく、これらの装置が備える従来の画像撮像装置を本発明の画像撮像装置に置き換えて、本願発明の車載機器、携帯端末機器、および医療機器を構成することもできる。

また、本発明の画像撮像装置を搭載可能な装置は、上記車載機器、携帯端末機器、および医療機器に限るものではなく、画像撮像装置を備えた装置であればどのようなものにも搭載可能である。

以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。

例えば、画像処理について、ディストーションによる歪を補正するためのディストーション変形処理を加えてもよい。この場合、ディストーション変形処理はどの段階で行なってもかまわない。

また、本発明とは異なるが、画像処理の順序については、被写界深度復元処理、Ｙ／Ｃ信号変換処理、画素間補間処理、色変換処理、ＲＧＢ信号変換処理、倍率色収差補正処理の順で行なうようにしてもよい。（この場合、Ｙ／Ｃ信号変換処理と画素間補間処理とはどちらが先でもかまわない。）
また、Ｙ／Ｃ信号変換処理、画素間補間処理、ＲＧＢ信号変換処理、被写界深度復元処理、色変換処理、倍率色収差補正処理の順で行なうようにしてもよい。

また、Ｙ／Ｃ信号変換処理、画素間補間処理、色変換処理、ＲＧＢ信号変換処理、被写界深度復元処理、色変換処理、倍率色収差補正処理の順で行なうようにしてもよい。（この場合、Ｙ／Ｃ信号変換処理と画素間補間処理とはどちらが先でもかまわない。）

１０画像撮像装置
１１被写体
１２撮影光学系
１３撮像素子
１４画像処理部
１５画像表示部
１６画像記録部
５０１自動車
５１０携帯電話機
５２０内視鏡装置

Claims

撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像撮像装置において、
被写体を前記撮像素子上に撮像して画像データを取得する撮像手段と、
前記復元処理、倍率色収差補正処理、色変換処理の順で前記画像データに対して画像処理を施す画像処理手段とを備えたことを特徴とする画像撮像装置。
前記画像処理手段が、前記復元処理、前記倍率色収差補正処理、Ｙ／Ｃ信号変換処理、前記色変換処理、ＲＧＢ信号変換処理の順で前記画像データに対して画像処理を施すものであることを特徴とする請求項１記載の画像撮像装置。
前記画像処理手段が、前記復元処理と前記倍率色収差補正処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うものであることを特徴とする請求項１または２記載の画像撮像装置。
前記画像処理手段が、前記倍率色収差補正処理と前記色変換処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うものであることを特徴とする請求項１または２記載の画像撮像装置。
撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置において、
前記復元処理、倍率色収差補正処理、色変換処理の順で前記画像データに対して画像処理を施す画像処理手段を備えたことを特徴とする画像処理装置。
前記画像処理手段が、前記復元処理、前記倍率色収差補正処理、Ｙ／Ｃ信号変換処理、前記色変換処理、ＲＧＢ信号変換処理の順で前記画像データに対して画像処理を施すものであることを特徴とする請求項５記載の画像処理装置。
前記画像処理手段が、前記復元処理と前記倍率色収差補正処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うものであることを特徴とする請求項５または６記載の画像処理装置。
前記画像処理手段が、前記倍率色収差補正処理と前記色変換処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うものであることを特徴とする請求項５または６記載の画像処理装置。
撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理方法において、
前記復元処理、倍率色収差補正処理、色変換処理の順で前記画像データに対して画像処理を施すことを特徴とする画像処理方法。
前記復元処理、前記倍率色収差補正処理、Ｙ／Ｃ信号変換処理、前記色変換処理、ＲＧＢ信号変換処理の順で前記画像データに対して画像処理を施すことを特徴とする請求項９記載の画像処理方法。
前記復元処理と前記倍率色収差補正処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うことを特徴とする請求項９または１０記載の画像処理方法。
前記倍率色収差補正処理と前記色変換処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うことを特徴とする請求項９または１０記載の画像処理方法。
撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、
前記復元処理、倍率色収差補正処理、色変換処理の順で前記画像データに対して画像処理を施すことを特徴とするプログラム。
前記復元処理、前記倍率色収差補正処理、Ｙ／Ｃ信号変換処理、前記色変換処理、ＲＧＢ信号変換処理の順で前記画像データに対して画像処理を施すことを特徴とする請求項１３記載のプログラム。
前記復元処理と前記倍率色収差補正処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うことを特徴とする請求項１３または１４記載のプログラム。
前記倍率色収差補正処理と前記色変換処理との間に、前記撮像素子の画素間の信号成分を補間する画素間補間処理を行うことを特徴とする請求項１３または１４記載のプログラム。