JP2015070529A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

画像処理装置、撮像装置および画像処理方法 Download PDF

Info

Publication number
JP2015070529A
JP2015070529A JP2013204897A JP2013204897A JP2015070529A JP 2015070529 A JP2015070529 A JP 2015070529A JP 2013204897 A JP2013204897 A JP 2013204897A JP 2013204897 A JP2013204897 A JP 2013204897A JP 2015070529 A JP2015070529 A JP 2015070529A
Authority
JP
Japan
Prior art keywords
image
pixel
waveform
imaging
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013204897A
Other languages
English (en)
Inventor
丸山 剛
Takeshi Maruyama
剛 丸山
亮介 笠原
Ryosuke Kasahara
亮介 笠原
太郎 澤木
Taro Sawaki
太郎 澤木
Original Assignee
株式会社リコー
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, Ricoh Co Ltd filed Critical 株式会社リコー
Priority to JP2013204897A priority Critical patent/JP2015070529A/ja
Publication of JP2015070529A publication Critical patent/JP2015070529A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Circuits for processing colour signals colour balance circuits, e.g. white balance circuits, colour temperature control
    • H04N9/735Circuits for processing colour signals colour balance circuits, e.g. white balance circuits, colour temperature control for picture signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/3572Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices
    • H04N9/0455Colour filter architecture
    • H04N9/04551Mosaic colour filter
    • H04N9/04557Mosaic colour filter based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23203Remote-control signaling for television cameras, cameras comprising an electronic image sensor or for parts thereof, e.g. between main body and another part of camera
    • H04N5/23206Transmission of camera control signals via a network, e.g. Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/04Picture signal generators
    • H04N9/045Picture signal generators using solid-state devices
    • H04N9/0451Picture signal generators using solid-state devices characterized by colour imaging operations
    • H04N9/04515Demosaicing, e.g. interpolating colour pixel values

Abstract

【課題】画像処理をした場合に偽色の発生を抑制する画像処理装置、撮像装置および画像処理方法を提供する。【解決手段】撮像素子11によって撮像された画像について画像処理部16のホワイトバランス処理部12によってホワイトバランス処理が実行された後、値調整部13によって、ホワイトバランス処理により画素が撮像素子11により検出可能な光量の最大値より大きい部分の輝度値を最大値に置き換える値調整処理が実行され、復元処理部14によって逆変換フィルタによる復元処理が実行される。【選択図】図4

Description

本発明は、画像処理装置、撮像装置および画像処理方法に関する。
近年、情報のデジタル化の発展に伴い、撮像装置の分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子(以下、単に撮像素子という)として、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等が使用されている。
このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)および産業用カメラ等が挙げられる。
上述のような撮像装置においては、光学系に位相板を挿入することによって、被写界深度を拡張するいわゆるEDof(Extended Depth of Field:強化被写体深度)に対応した用途に用いる撮像装置がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。光学系に挿入された位相板は、撮像素子に入射される被写体の光に点像分布関数(PSF:Point Spread Function)を与える働きをし、撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、位相板によってぼけた画像は、所定のMTF(Modulation Transfer Function)の値が得られるように補正する必要がある。このような位相板によってぼけた画像を復元するために、点像分布関数の逆変換処理を施すことによって、MTFを向上させ、高解像度の画像に復元する。
また、撮像装置としてのカラーカメラにおける撮像素子は、R(赤)、G(緑)、B(青)のうちG(緑)に相当する光を検出する感度が最も高く、撮像素子によって検出(撮像)された画像をそのまま表示すると、全体的に緑がかった画像になる傾向がある。このような画像に対して補正するのがホワイトバランス処理である。ホワイトバランス処理は、撮像素子のR、G、Bの感度の相違を補正するもので、R、G、Bの画素に適正なゲイン値を乗じることによって画素を調整し、白い被写体は白く表示されるように補正する処理である。
このような、ホワイトバランス処理を行い、光学系によってぼけた画像を復元する復元処理を行う撮像装置として、ホワイトバランスゲインをかけた後に、画素のY信号について復元処理を行う撮像装置が提案されている(特許文献1参照)。
また、撮像素子は、検出可能な光量の限界値(最大値)があり、その光量以上の光が入射した画素は、すべて同一の値(最大値)をとり、正確な光量が検出できない場合がある。特に、上述したように、撮像素子のうちG(緑)を検出する素子は感度が高いので、G(緑)に相当する光が検出可能な最大の光量以上の光が入射して撮像された画像は、逆変換処理によって正確な復元ができないことになる。特に問題になるのが、撮像装置がカラーカメラである場合で、ある色(例えば、R(赤)、B(青))では正確な光量が検出されて復元も正確に行われるが、他の色(例えば、G(緑))では飽和して正確な光量が検出されず復元が正確に行われない場合、偽色が発生する問題がある。
しかしながら、特許文献1に記載された撮像装置におけるホワイトバランス処理は、特定の色以外でのゲインは0とするものであり、一般的な画像全体を補正するホワイトバランス処理とは異なる。また、上述したように、ある色(例えば、G(緑))で飽和して正確な光量が検出されず復元が正確に行われず、偽色が発生する問題点が解消する方法は記載されていない。
本発明は、上記に鑑みてなされたものであって、画像処理をした場合に偽色の発生を抑制する画像処理装置、撮像装置および画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、撮像手段により撮像された撮像画像を構成する複数の色からなる第1画素に、該色に応じたゲイン値を該第1画素に乗じて第2画素を生成するホワイトバランス処理手段と、前記第2画素のうち、所定値以下の前記第2画素はそのままの値とし、前記所定値より大きい前記第2画素を前記所定値に置換して第3画素を生成する値調整手段と、前記第3画素に対して、復元フィルタによって光学系により生じた解像度の低下を復元する復元処理手段と、を備えることを特徴とする。
本発明によれば、画像処理をした場合に偽色の発生を抑制することができる。
図1は、実施の形態に係る撮像システムの全体構成の一例を示す図である。 図2は、実施の形態の情報処理装置の構成の一例を示す図である。 図3は、実施の形態に係る撮像装置の構成の一例を示す図である。 図4は、実施の形態に係る撮像装置の画像処理部の構成の一例を示す図である。 図5は、撮像素子によって撮像された検出画像の一例を示す図である。 図6は、撮像素子によって撮像された検出画像の画素の構成の一例を示す図である。 図7は、撮像素子から出力される画素がホワイトバランス処理部に入力される動作を示すタイミングチャートである。 図8は、実施の形態の画像処理部のホワイトバランス処理部の構成の一例を示す図である。 図9は、実施の形態の画像処理部の値調整部の構成の一例を示す図である。 図10は、実施の形態の画像処理部の復元処理部の構成の一例を示す図である。 図11は、実施の形態の復元処理部の画像バッファ部の構成の一例を示す図である。 図12は、実施の形態の復元処理部のフィルタ処理部の構成の一例を示す図である。 図13は、逆変換フィルタの構成の一例を示す図である。 図14は、逆変換フィルタによってフィルタ処理することを説明する図である。 図15は、逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図16は、正確な光量が検出された場合の画像におけるエッジ部の復元処理を説明する図である。 図17は、正確に光量が検出されない場合の画像におけるエッジ部の復元処理を説明する図である。 図18は、検出画像について復元処理した後にホワイトバランス処理をする場合を説明する図である。 図19は、検出画像についてホワイトバランス処理をした後に値調整をせずに復元処理をする場合を説明する図である。 図20は、検出画像についてホワイトバランス処理をした後に値調整および復元処理をする場合を説明する図である。
以下に、図面を参照しながら、本発明に係る画像処理装置、撮像装置および画像処理方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。
(撮像システムの全体構成)
図1は、実施の形態に係る撮像システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の撮像システム500の構成について説明する。
図1に示すように、撮像システム500は、撮像装置1と、PC2と、を備えている。撮像装置1とPC2とは、Ethernet(登録商標)ケーブル等の通信ケーブル3によって通信可能に接続されている。
撮像装置1は、被写体4から出る光を電気信号に変換することによって被写体4を撮像し、撮像した画像の情報(以下、単に画像という)に対して各種処理を実行し、処理後の画像を、通信ケーブル3を介してPC2へ送信する。PC2は、撮像装置1から受信した画像に対して所定の処理を実行する。
例えば、撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信した画像からバーコードの情報を読み出して解析する。
なお、図1に示すように、撮像システム500は、撮像装置1とPC2とが通信ケーブル3を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置1とPC2とは、Wi−Fi(登録商標)(WirelessFidelity)等の無線通信方式によって互いにデータが通信可能であってもよい。
また、撮像システム500が生産ラインにおいて使用される場合、撮像システム500は、PC2がPLC(Programmable Logic Controller)等に通信可能に接続されている構成としてもよい。この場合、撮像システム500の動作として、以下の動作が一例として挙げられる。撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。PC2は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、品番を判定した製品は異なる品番の製品であることを示す信号をPLCに送信する。PLCは、PC2から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去し、あるいは、警告ランプを点灯させて生産ラインを停止するように生産ラインの動作を制御する。
(情報処理装置の構成)
図2は、実施の形態の情報処理装置の構成の一例を示す図である。図2を参照しながら、情報処理装置の一例であるPC2の構成について説明する。
図2に示すように、情報処理装置の一例であるPC2は、通信部21と、操作部22と、表示部23と、記憶部24と、外部記憶装置25と、制御部26と、を備えている。上記の各部は、バス27によって接続され、互いにデータの送受信が可能となっている。
通信部21は、通信ケーブル3を介して、撮像装置1と通信する装置である。通信部21は、例えば、NIC(Network Interface Card)等の通信装置によって実現される。通信部21の通信プロトコルは、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)またはUDP(User Datagram Protocol)/IP等によって実現される。
操作部22は、ユーザによって制御部26に対して所定の処理を実行させるための操作入力を行う装置である。操作部22は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。
表示部23は、制御部26により実行されているアプリケーション画像等を表示する装置である。表示部23は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等によって実現される。
記憶部24は、PC2で実行される各種プログラムおよびPC2で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部24は、例えば、ROM(Read Only Memory)およびRAM(Random Access Memory)等の記憶装置によって実現される。
外部記憶装置25は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、または光磁気ディスク(MO:Magneto−Optical Disk)等の記憶装置によって実現される。
制御部26は、PC2の各部の動作を制御する装置である。制御部26は、例えば、CPU(Central Processing Unit)およびASIC(Application Specific Integrated Circuit)等で実現される。
(撮像装置の構成)
図3は、実施の形態に係る撮像装置の構成の一例を示す図である。図3を参照しながら、本実施の形態の撮像装置1の構成について説明する。
図3に示すように、撮像装置1は、レンズユニット10と、撮像素子11と、画像処理部16と、通信部17と、を備えている。
レンズユニット10は、被写体4から出る光を集光し、撮像素子11に対して結像させるユニットである。レンズユニット10は、1枚以上のレンズで構成された光学系によって実現される。レンズユニット10は、位相板10aと、絞り10bとを備えている。被写体4は、例えば、人物、被監視物、バーコード、2次元コードまたは文字列等である。
位相板10aは、レンズユニット10に入射する光に対して収差を与える作用を有する。その結果、位相板10aは、撮像素子11に入射される光に対して点像分布関数を付加する作用を奏し、撮像素子11で撮像される画像がぼけた状態(解像度の低下)とする代わりに所定の被写界深度でそのぼけが一定となるようにする。
絞り10bは、レンズユニット10に入射する光の量を自在に調整する部材であり、位相板10aの近傍に配置されている。
撮像素子11は、レンズユニット10に入射する被写体からの光を電気信号に変換することによって被写体4を撮像して画像を生成する固体撮像素子である。撮像素子11は、固体撮像素子を構成する各検出素子によって撮像した画像を構成する画素(第1画素)を出力する。撮像素子11は、例えば、CCDセンサまたはCMOSセンサ等によって実現される。
画像処理部16は、撮像素子11から出力される画像から、画像処理を施した画像を生成する装置である。
通信部17は、通信ケーブル3を介して、PC2と通信する装置である。通信部17は、例えば、画像処理部16から出力される画像をPC2に対して送信する。通信部17は、例えば、NIC等の通信装置によって実現される。通信部17の通信プロトコルは、例えば、TCP/IPまたはUDP/IP等によって実現される。
(画像処理部の構成および動作)
図4は、実施の形態に係る撮像装置の画像処理部の構成の一例を示す図である。図5は、撮像素子によって撮像された検出画像の一例を示す図である。図6は、撮像素子によって撮像された検出画像の画素の構成の一例を示す図である。図4を参照しながら、本実施の形態の撮像装置1の画像処理部16の構成について説明する。
以下、撮像素子11は、VGAの画像を形成して出力するものとして説明する。具体的には、撮像素子11は、X方向に640個、Y方向に480個の検出素子によって、図5に示すように、640×480のマトリックス状に配列された画素で構成される画像である検出画像101を検出する。
また、撮像素子11は、光のR(赤)成分を検出する検出素子と、G(緑)成分を検出する検出素子と、B(青)成分を検出する検出素子とが、いわゆるベイヤー配列によって規則的に配設されて構成されている。ベイヤー配列とは、2×2の検出素子(画像であれば、2×2の画素)を1セットとして規則的に並べた配列である。ベイヤー配列によって検出素子が配設された撮像素子11によって、撮像された検出画像101を図6に示す。
図6に示すように、検出画像101は、検出素子がベイヤー配列により配設された撮像素子11によって撮像された結果、ベイヤー配列により並んだ画素によって構成される画像となる。図6の例では、検出画像101は、紙面視において、配列単位となる2×2の画素は、左上の画素がR(赤)、右上および左下の画素がG(緑)、右下の画素がB(青)となるように構成されている。図6に示すように、この2×2の画素に含まれる2つのG(緑)の画素のうち、右上の画素を「Gr」と示し、左下の画素を「Gb」と示すものとする。検出画像101は、このような2×2の画素が規則的に配列して構成され、全体として640×480の画素で構成される。図6に示すように、検出画像101において、例えば、X方向の5番目、かつY方向の3番目のR(赤)の画素を「R35」と示すものとする。検出画像101において、例えば、X方向の3番目、かつY方向の2番目のG(緑)(Gb)の画素を「Gb23」と示すものとする。検出画像101において、例えば、X方向の2番目、かつY方向の6番目のB(青)の画素を「B62」と示すものとする。また、検出画像101において、単に、X方向のX番目、かつY方向のY番目の画素を(X,Y)の画素というものとする。
なお、撮像素子11が検出する画像の大きさは640×480のVGAの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。
図4に示すように、画像処理部16は、ホワイトバランス処理部12(ホワイトバランス処理手段)と、値調整部(値調整手段)13と、復元処理部(復元処理手段)14と、ベイヤー補間部15と、を備えている。
ホワイトバランス処理部12は、撮像素子11のR(赤)、G(緑)、B(青)の検出素子の感度の相違を補正し、R、G、Bの画素に適正なゲイン値を乗じることによって調整した画素(第2画素)を出力するホワイトバランス処理を実行する。ホワイトバランス処理部12の具体的な構成および動作については、図7および8において後述する。
値調整部13は、ホワイトバランス処理部12によるホワイトバランス処理の結果、画素の値が、撮像素子11が検出可能とする光量(例えば、0〜255の範囲)の最大値(所定値)よりも大きくなった場合に、その画素の値を最大値に置き換え、その最大値を新たな画素(第3画素)とする値調整処理を実行する。値調整部13の具体的な構成および動作については、図9において後述する。
復元処理部14は、撮像素子11により撮像された点像分布関数が付加されてぼけた画像に対し、ホワイトバランス処理部12によるホワイトバランス処理および復元処理部14による値調整処理後の処理対象画像に対して、FIR(Finite Impulse Response)フィルタである逆変換フィルタ(復元フィルタ)により復元処理を実行する。復元処理部14の具体的な構成および動作については、図10〜15において後述する。
ベイヤー補間部15は、復元処理部14による復元処理後のベイヤー配列の復元画像を、ベイヤー補間処理によってRGB画像に変換する。ベイヤー補間部15の具体的な動作については、後述する。
<ホワイトバランス処理部の構成および動作>
図7は、撮像素子から出力される画素がホワイトバランス処理部に入力される動作を示すタイミングチャートである。図8は、実施の形態の画像処理部のホワイトバランス処理部の構成の一例を示す図である。図8を参照しながら、本実施の形態の撮像装置1のホワイトバランス処理部12の構成および動作について説明する。
まず、図5および7を参照しながら、撮像素子11によって撮像された検出画像の出力動作について説明する。撮像素子11は、検出した画素をX方向の1水平ラインずつ走査しながら、その1水平ラインに含まれる画素を出力する。具体的には、撮像素子11は、Y方向の1番目の水平ラインに含まれる画素を、X方向の1番目の画素から640番目の画素まで順に出力する。撮像素子11は、上記の動作を、Y方向の480番目の水平ラインに含まれる画素の出力まで行う。
上記の動作を図7に示すタイミングチャートに基づいて説明する。図7に示すように、撮像素子11は、有効フレーム信号がオン状態のとき、1フレーム分、すなわち1画像分の画素を出力する。撮像素子11において、有効フレーム信号がオン状態になってからフレーム開始期間Aを経て、Y方向の1番目の水平ラインの画素の出力許可を示す有効ライン信号L1がオン状態になる。撮像素子11は、有効ライン信号L1がオン状態になっている有効データ期間Tの間に、Y方向の1番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,1)〜(640,1)の画素)を順に出力する。撮像素子11によってY方向の1番目の水平ラインの画素が出力された後、有効ライン信号L1がオフ状態になる。
撮像素子11において、有効ライン信号L1がオフ状態になってから水平ブランキング期間Bを経て、Y方向の2番目の水平ラインの画素の出力許可を示す有効ライン信号L2がオン状態になる。撮像素子11は、有効ライン信号L2がオン状態になっている有効データ期間Tの間に、Y方向の2番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,2)〜(640,2)の画素)を順に出力する。撮像素子11によってY方向の2番目の水平ラインの画素が出力された後、有効ライン信号L2がオフ状態になる。
撮像素子11は、以上の動作について、有効ライン信号L480がオン状態になっている有効データ期間Tの間に、Y方向の480番目の水平ラインに含まれるX方向の1〜640番目の画素を出力するまで行う。撮像素子11において、有効ライン信号L480がオフ状態になってからフレーム終了期間Cを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子11による1フレーム分の画素の出力が終了する。また、撮像素子11において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Dを経て、再び有効フレーム信号がオン状態になり、次の1フレーム分の画素の出力が開始される。
ホワイトバランス処理部12は、図8に示すように、カウンタ123、123aと、乗算器124と、加算器125と、レジスタ126a〜126dと、乗算器127a〜127dと、出力切替器128と、を備えている。ホワイトバランス処理部12は、撮像素子11から出力される画素を入力部121から入力し、ホワイトバランス処理を実行した画素を出力部129から出力する。また、ホワイトバランス処理部12は、前述の有効ライン信号L1〜L480を入力部122から入力する。
図8に示すように、入力部121は、カウンタ123aおよび乗算器127a〜127dそれぞれの入力側に接続されている。カウンタ123の入力側は、入力部122に接続され、カウンタ123の出力側は、乗算器124の入力側に接続されている。乗算器124およびカウンタ123aのそれぞれの出力側は、加算器125の入力側に接続されている。レジスタ126a〜126dは、それぞれ乗算器127a〜127dの入力側に接続されている。加算器125の出力側は、出力切替器128の入力側に接続されている。乗算器127a〜127dの出力側は、それぞれ出力切替器128の入力側の「3」〜「0」端子に接続されている。出力切替器128の出力側は、出力部129に接続されている。
次に、図8を参照しながら、ホワイトバランス処理部12における撮像素子11から出力される画素に対するホワイトバランス処理について説明する。カウンタ123は、入力部122を介して上述の有効ライン信号を入力し、有効ライン信号の立ち上がりを検出し、検出すると保持しているカウント値が「0」の場合「1」に切り替えて出力し、カウント値が「1」の場合「0」に切り替えて出力する。ここで、カウンタ123は、初期状態として、カウント値「0」を保持しているものとする。すなわち、カウンタ123は、有効ライン信号L1の立ち上がりを検出した場合、カウント値を「0」から「1」に切り替え、その後、有効ライン信号L2の立ち上がりを検出した場合、カウント値を「1」から「0」に切り替える。すなわち、カウンタ123は、撮像素子11から検出画像101(図5参照)のY方向の奇数ラインの有効ライン信号を入力している場合「1」を出力し、偶数ラインの有効ライン信号を入力している場合「0」を出力する。乗算器124は、加算器125に対して、カウンタ123から「0」を入力した場合「0」を出力し、「1」を入力した場合、2倍した「2」を出力する。
カウンタ123aは、入力部121を介して撮像素子11から出力される画素を入力し、新しい画素を入力すると保持しているカウント値が「0」の場合「1」に切り替えて出力し、カウント値が「1」の場合「0」に切り替えて出力する。ここで、カウンタ123aは、初期状態として、カウント値「0」を保持しているものとする。すなわち、カウンタ123aは、加算器125に対して、検出画像101における特定の水平ラインに含まれるX方向の奇数番目の画素を入力した場合「1」を出力し、偶数番目の画素を入力した場合「0」を出力する。
すなわち、ホワイトバランス処理部12が検出画像101のY方向の奇数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるX方向の奇数番目の画素を入力している場合、加算器125は、乗算器124から「2」を入力し、カウンタ123aから「1」を入力し、双方を加算した「3」を出力切替器128に出力する。これは、ホワイトバランス処理部12が、撮像素子11から入力部121を介して、R(赤)の画素を入力している場合に相当する。
また、ホワイトバランス処理部12が検出画像101のY方向の奇数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるX方向の偶数番目の画素を入力している場合、加算器125は、乗算器124から「2」を入力し、カウンタ123aから「0」を入力し、双方を加算した「2」を出力切替器128に出力する。これは、ホワイトバランス処理部12が、撮像素子11から入力部121を介して、Gr(緑)の画素を入力している場合に相当する。
また、ホワイトバランス処理部12が検出画像101のY方向の偶数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるX方向の奇数番目の画素を入力している場合、加算器125は、乗算器124から「0」を入力し、カウンタ123aから「1」を入力し、双方を加算した「1」を出力切替器128に出力する。これは、ホワイトバランス処理部12が、撮像素子11から入力部121を介して、Gb(緑)の画素を入力している場合に相当する。
そして、ホワイトバランス処理部12が検出画像101のY方向の偶数ラインに含まれる画素を入力している場合、かつその奇数ラインに含まれるX方向の偶数番目の画素を入力している場合、加算器125は、乗算器124から「0」を入力し、カウンタ123aから「0」を入力し、双方を加算した「0」を出力切替器128に出力する。これは、ホワイトバランス処理部12が、撮像素子11から入力部121を介して、B(青)の画素を入力している場合に相当する。
乗算器127aは、入力部121から入力した画素と、レジスタ126aに保持されたR(赤)の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。乗算器127bは、入力部121から入力した画素と、レジスタ126bに保持されたGr(緑)の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。乗算器127cは、入力部121から入力した画素と、レジスタ126cに保持されたGb(緑)の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。乗算器127dは、入力部121から入力した画素と、レジスタ126dに保持されたB(青)の画素に対するホワイトバランス処理用のゲイン値との乗算値を出力する。
出力切替器128は、加算器125から入力される値に応じて出力を切り替える。すなわち、出力切替器128は、加算器125から「3」を入力している場合、入力側の「3」端子に入力され、乗算器127aによりゲイン値が乗算されたR(赤)の画素を、出力部129を介して出力する。また、出力切替器128は、加算器125から「2」を入力している場合、入力側の「2」端子に入力され、乗算器127bによりゲイン値が乗算されたGr(緑)の画素を、出力部129を介して出力する。また、出力切替器128は、加算器125から「1」を入力している場合、入力側の「1」端子に入力され、乗算器127cによりゲイン値が乗算されたGb(緑)の画素を、出力部129を介して出力する。そして、出力切替器128は、加算器125から「0」を入力している場合、入力側の「1」端子に入力され、乗算器127dによりゲイン値が乗算されたB(青)の画素を、出力部129を介して出力する。
以上のように、撮像素子11から出力され、ホワイトバランス処理部12に入力されたベイヤー配列を有する検出画像101は、R(赤)、Gr(緑)、Gb(緑)、B(青)の画素がそれぞれに対応したゲイン値が乗算されるホワイトバランス処理がなされて、ホワイトバランス処理部12から出力される。
なお、図8はホワイトバランス処理部12の構成の一例を示すものであり、この構成に限定されるものではなく、上述したホワイトバランス処理部12のホワイトバランス処理と同様の作用を奏する構成であればよい。
また、上述したように、撮像素子11は、R(赤)、G(緑)、B(青)のうちG(緑)に相当する光を検出する感度が最も高いので、R(赤)およびB(青)の画素に乗算するゲイン値は、G(緑)の画素に乗算するゲイン値よりも大きく設定することが好ましい。
<値調整部の構成および動作>
図9は、実施の形態の画像処理部の値調整部の構成の一例を示す図である。図9を参照しながら、本実施の形態の撮像装置1の値調整部13の構成および動作について説明する。
値調整部13は、図9に示すように、レジスタ132と、比較器133と、出力切替器134と、を備えている。値調整部13は、ホワイトバランス処理部12から出力されるホワイトバランス処理がなされた画素を入力部131から入力し、値調整処理を実行した画素を出力部135から出力する。
図9に示すように、入力部131は、比較器133の入力側のa端子、および出力切替器134の入力側の「0」端子に接続されている。レジスタ132は、比較器133の入力側のb端子、および出力切替器134の入力側の「1」端子に接続されている。比較器133の出力側は、出力切替器134の入力側に接続されている。出力切替器134の出力側は、出力部135に接続されている。
次に、図9を参照しながら、値調整部13におけるホワイトバランス処理部12から出力される画素に対する値調整処理について説明する。レジスタ132は、比較器133における閾値判定に用いる閾値として、例えば、撮像素子11が検出可能とする光量(例えば、0〜255の範囲)の最大値(例えば、255)を保持している。ホワイトバランス処理部12から出力されるホワイトバランス処理が実行された画像の画素は順次、入力部131を介して、比較器133の「a」端子に入力される。レジスタ132が保持している閾値は、比較器133の「b」端子に入力される。比較器133は、「a」端子に入力された画素と、「b」端子に入力された閾値とを比較する閾値判定を行い、画素が閾値よりも大きい場合「1」を出力切替器134に対して出力し、画素が閾値以下である場合「0」を出力切替器134に対して出力する。
出力切替器134は、比較器133から入力される値に応じて出力を切り替える。すなわち、出力切替器134は、比較器133から「1」を入力した場合、入力側の「1」端子に入力された値、すなわち、レジスタ132に保持された閾値を、出力部135を介して出力する。また、出力切替器134は、比較器133から「0」を入力した場合、入力側の「0」端子に入力された値、すなわち、入力部131から入力された画素を、出力部135を介して出力する。
以上のように、ホワイトバランス処理部12から出力され、値調整部13に入力されたホワイトバランス処理された画像は、画素が閾値より大きい場合、閾値に置換され、画素が閾値以下である場合、画素はそのままの状態とする値調整処理がなされて、値調整部13から出力される。
なお、図9は値調整部13の構成の一例を示すものであり、この構成に限定されるものではなく、上述した値調整部13の値調整処理と同様の作用を奏する構成であればよい。
また、上述の比較器133における閾値判定において用いる閾値を撮像素子11が検出可能とする光量の最大値としたが、これに限定されるものではなく、最大値以下の所定値であってもよい。
<復元処理部の構成および動作>
図10は、実施の形態の画像処理部の復元処理部の構成の一例を示す図である。図10を参照しながら、本実施の形態の撮像装置1の復元処理部14の構成および動作について説明する。
図10に示すように、復元処理部14は、画像バッファ部141と、フィルタ処理部143と、を備えている。
画像バッファ部141は、値調整部13から出力される画素を順に入力してバッファリングする装置である。画像バッファ部141の具体的な構成および動作については、図11において後述する。
フィルタ処理部143は、画像バッファ部141から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理として、位相板10aの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけを補正する逆変換処理をするためのフィルタ処理について説明する。フィルタ処理部143の具体的な構成および動作については、図12〜15において後述する。
<<画像バッファ部141の構成および動作>>
図11は、実施の形態の復元処理部の画像バッファ部の構成の一例を示す図である。図7および11を参照しながら、復元処理部14の画像バッファ部141の構成および動作について説明する。
画像バッファ部141は、図11に示すように、レジスタ1411a〜1411dと、ラインバッファ1412a〜1412dと、を備えている。画像バッファ部141は、撮像素子11から出力される画素を入力部1410から入力し、バッファリングした画素を出力部1413a〜1413eから出力する。
図11に示すように、レジスタ1411aの入力側は、入力部1410および出力部1413aに接続されている。レジスタ1411a〜1411dの出力側は、それぞれラインバッファ1412a〜1412dの入力側に接続されている。ラインバッファ1412a〜1412cの出力側は、それぞれレジスタ1411b〜1411dの入力側に接続されている。そして、ラインバッファ1412a〜1412dの出力側は、それぞれ出力部1413b〜1413eに接続されている。
次に、画像バッファ部141における撮像素子11から出力される画素のバッファリング処理について説明する。画像バッファ部141は、撮像素子11から出力される画素を入力部1410から入力する。具体的には、画像バッファ部141は、まず、Y方向の1番目の水平ラインについて、撮像素子11から入力した(1,1)の画素を、出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、レジスタ1411aに格納した画素をラインバッファ1412aの記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子11から次に入力した(2,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1aに格納した画素をラインバッファ1412aの記憶領域2aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子11から次に入力した(3,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子11から入力したY方向の1番目の水平ラインの画素を出力部1413aから出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域639a〜1aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
次に、画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(1,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、Y方向の2番目の水平ラインについて、撮像素子11から入力した(1,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。すなわち、画像バッファ部141は、X方向の値が同一の画素である(1,1)および(1,2)の画素を、出力部1413bおよび1413aからそれぞれ出力する。
画像バッファ部141は、次のタイミングで、レジスタ1411bに格納した画素をラインバッファ1412bの記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(2,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子11から次に入力した(2,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1bに格納した画素をラインバッファ1412bの記憶領域2bにシフトして格納し、レジスタ1411bに格納した画素を記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(3,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子11から次に入力した(3,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子11から入力したY方向の1および2番目の水平ラインの画素についてX方向の値が同一の画素を、出力部1413aおよび1413bからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412bの記憶領域639b〜1bにそれぞれ格納し、640番目の画素をレジスタ1411bに格納する。さらに、画像バッファ部141は、Y方向の2番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域639a〜1aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
以上の動作のように、画像バッファ部141は、撮像素子11から入力した各水平ラインの画素をラインバッファ1412a〜1412dにバッファリングする。それと共に、画像バッファ部141は、X方向の値が同一の画素、すなわち、(X,Y−4)、(X,Y−3)、(X,Y−2),(X,Y−1)および(X,Y)の画素を、出力部1413a〜1413eからそれぞれ同一のタイミングで出力する。
<<フィルタ処理部143の構成および動作>>
図12は、実施の形態の復元処理部のフィルタ処理部の構成の一例を示す図である。図13は、逆変換フィルタの構成の一例を示す図である。図14は、逆変換フィルタによってフィルタ処理することを説明する図である。図15は、逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図12〜15を参照しながら、復元処理部14のフィルタ処理部143の構成および動作について説明する。
フィルタ処理部143は、図12に示すように、レジスタ1432a〜1432e、1433a〜1433e、1434a〜1434e、1435a〜1435e、1436a〜1436eおよび1437a〜1437eを備えている。また、フィルタ処理部143は、乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eを備えている。また、フィルタ処理部143は、加算器1443a〜1443e、1444a〜1444e、1445a〜1445e、1446a〜1446eおよび1447a〜1447cを備えている。そして、フィルタ処理部143は、画像バッファ部141から出力される画素を入力部1431a〜1431eから入力し、所定のフィルタ係数を有する逆変換フィルタによってコンボリューション演算を行い、演算値を出力部1448から出力する。逆変換フィルタのフィルタ係数は、図13に示すように5×5の係数で構成されている。
乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eは、入力側から入力される画素とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器1438a〜1442aは、それぞれフィルタ係数a33、「0」、a32、「0」、a31と画素との乗算値を出力する。乗算器1438b〜1442bは、それぞれフィルタ係数「0」と画素との乗算値を出力する。乗算器1438c〜1442cは、それぞれフィルタ係数a23、「0」、a22、「0」、a21と画素との乗算値を出力する。乗算器1438d〜1442dは、それぞれフィルタ係数「0」と画素との乗算値を出力する。乗算器1438e〜1442eは、それぞれフィルタ係数a13、「0」、a12、「0」、a11と画素との乗算値を出力する。
加算器1443a〜1443e、1444a〜1444e、1445a〜1445e、1446a〜1446e、ならびに1447aおよび1447cは、入力側から入力される2つのデータの値の加算値を出力する回路である。加算器1447bは、入力側から入力される3つのデータの値の加算値を出力する回路である。
図12に示すように、入力部1431a〜1431eは、それぞれレジスタ1432a〜1432eの入力側に接続されている。レジスタ1432a〜1437aは、直列に接続している。レジスタ1432b〜1437b、1432c〜1437c、1432d〜1437dおよび1432e〜1437eのそれぞれについても同様である。
入力部1431a〜1431eは、それぞれ乗算器1438a〜1438eの入力側に接続されている。レジスタ1432a〜1435aの出力側は、それぞれ乗算器1439a〜1442aの入力側に接続されている。レジスタ1432b〜1435bと乗算器1439b〜1442bとの接続関係、レジスタ1432c〜1435cと乗算器1439c〜1442cとの接続関係、レジスタ1432d〜1435dと乗算器1439d〜1442dとの接続関係、およびレジスタ1432e〜1435eと乗算器1439e〜1442eとの接続関係もそれぞれ同様である。
乗算器1438a〜1438eの出力側は、それぞれ加算器1443a〜1443eの入力側に接続されている。加算器1443a〜1446aは、直列に接続している。加算器1443b〜1446b、1443c〜1446c、1443d〜1446dおよび1443e〜1446eのそれぞれについても同様である。
乗算器1439a〜1442aの出力側は、それぞれ加算器1443a〜1446aの入力側に接続されている。乗算器1439b〜1442bと加算器1443b〜1446bとの接続関係、乗算器1439c〜1442cと加算器1443c〜1446cとの接続関係、乗算器1439d〜1442dと加算器1443d〜1446dとの接続関係、および乗算器1439e〜1442eと加算器1443e〜1446eとの接続関係もそれぞれ同様である。
加算器1446aおよび1446bの出力側は、加算器1447aの入力側に接続されている。加算器1446dおよび1446eの出力側は、加算器1447cの入力側に接続されている。加算器1446c、1447aおよび1447cの出力側は、加算器1447bの入力側に接続されている。加算器1447bの出力側は、出力部1448に接続されている。
次に、図12〜15を参照しながら、フィルタ処理部143におけるフィルタ処理について説明する。フィルタ処理に使用されるフィルタは、図13に示すように、フィルタ係数a11、「0」、a12、「0」およびa13、5つの「0」、a21、「0」、a22、「0」およびa23、5つの「0」、ならびにa31、「0」、a32、「0」およびa33によって構成されるタップ数が5×5の逆変換フィルタ121である。この逆変換フィルタ121によるフィルタ処理の対象となる処理対象画像の部分を、図14に示す対象部分画像211であるものとする。対象部分画像211は、画素A11〜A15、A21〜A25、A31〜A35、A41〜A45およびA51〜A55によって構成された5×5の処理対象画像の部分である。
レジスタ1432a〜1432e、1433a〜1433e、1434a〜1434e、1435a〜1435e、1436a〜1436eおよび1437a〜1437eには、データが格納されていない状態、すなわち、「0」の値が格納された状態であるものとする。フィルタ処理部143は、入力部1431a〜1431eから対象部分画像211の画素A51、A41、A31、A21およびA11を入力し、それぞれレジスタ1432a〜1432eに格納すると共に、乗算器1438a〜1438eに入力させる。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa33、「0」、a32、「0」、a31と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1438a〜1438eによって演算された乗算値は、加算器1447a〜1447cによって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。
フィルタ処理部143は、次のタイミングで、レジスタ1432a〜1432eに格納した画素A51、A41、A31、A21およびA11を、それぞれレジスタ1433a〜1433eにシフトして格納し、乗算器1439a〜1439eに入力させる。フィルタ処理部143は、入力部1431a〜1431eから対象部分画像211の画素A52、A42、A32、A22およびA12を入力し、それぞれレジスタ1432a〜1432eに格納すると共に、乗算器1438a〜1438eに入力させる。乗算器1439a〜1439eは、それぞれのフィルタ係数である「0」と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa33、「0」、a32、「0」、a31と、それぞれ入力した画素A52、A42、A32、A22およびA12との乗算値を出力する。乗算器1439a〜1439eによって演算された乗算値、および乗算器1438a〜1438eによって演算された乗算値は、加算器1443a〜1443eおよび1447a〜1447cによって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。
そして、以上の動作が繰り返された結果、レジスタ1432a〜1436a、1432b〜1436b、1432c〜1436c、1432d〜1436dおよび1432e〜1436eに、それぞれ画素A55〜A51、A45〜A41、A35〜A31、A25〜A21およびA15〜A11が格納されたものとする。また、乗算器1438a〜1442a、1438b〜1442b、1438c〜1442c、1438d〜1442dおよび1438e〜1442eに、それぞれ画素A55〜A51、A45〜A41、A35〜A31、A25〜A21およびA15〜A11が入力されたものとする。乗算器1442a〜1442eは、それぞれのフィルタ係数であるa31、「0」、a21、「0」およびa11と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1441a〜1441eは、それぞれのフィルタ係数である「0」と、それぞれ入力した画素A52、A42、A32、A22およびA12との乗算値を出力する。乗算器1440a〜1440eは、それぞれのフィルタ係数であるa32、「0」、a22、「0」およびa12と、それぞれ入力した画素A53、A43、A33、A23およびA13との乗算値を出力する。乗算器1439a〜1439eは、それぞれのフィルタ係数である「0」と、それぞれ入力した画素A54、A44、A34、A24およびA14との乗算値を出力する。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa33、「0」、a23、「0」およびa13と、それぞれ入力した画素A55、A45、A35、A25およびA15との乗算値を出力する。
乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eによって演算された乗算値は、図12に示す全ての加算器によって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。この加算値は、図14に示すように、対象部分画像211に対して逆変換フィルタ201によってコンボリューション演算した値、すなわち、式(1)で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像211の中央に位置する画素である中央データに対してフィルタ処理を実行した値となる。すなわち、コンボリューションの演算値は、フィルタ処理後の復元画像において、フィルタ処理前の処理対象画像の中央データに相当する位置の画素となる。
次に、フィルタ処理部143のフィルタ処理について、図15を参照しながら、処理対象画像111においてX方向の水平ラインを走査しながらフィルタ処理をする動作の概略を説明する。図15(a)は、フィルタ処理部143が、処理対象画像111における(1,1)の画素に対して逆変換フィルタ201によってフィルタ処理をする状態を示している。図15(a)に示すように、(1,1)の画素を中央データ305aとしてコンボリューション演算するためには、(1,1)の画素を中央データとする対象部分画像301aと、処理対象画像111とが重複している部分の画素が必要になる。すなわち、対象部分画像301aのうち、図14に示す対象部分画像211の画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が必要である。
そのためには、画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が、画像バッファ部141の出力部1413a〜1413cから出力されている必要がある。さらに、画素A35〜A33、A45〜A43およびA55〜A53に相当する画素が、フィルタ処理部143のレジスタ1432c〜1434c、1432b〜1434bおよび1432a〜1434aに格納されている必要がある。そして、対象部分画像301aにおいて、処理対象画像111と重複していない部分の画素は「0」として取り扱うものとする。
以上の状態において、フィルタ処理部143は、図14に示したコンボリューション演算と同様に、対象部分画像301aに対して逆変換フィルタ201によってコンボリューション演算を行う。フィルタ処理部143は、処理対象画像111の対象部分画像301aの中央データ305aである(1,1)の画素に対してコンボリューション演算した値を、フィルタ処理後の通常画像の(1,1)の画素として出力する。
次に、フィルタ処理部143は、図15(b)に示すように、コンボリューション演算の対象となる画素をX方向にひとつシフトし、対象部分画像301bの中央データ305bである(2,1)の画素に対してフィルタ処理をする。そして、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図15(c)に示すように、X方向の水平ラインの最後の画素である(640,1)の画素に対してフィルタ処理をする。(640,1)の画素は、図15(c)に示すように、対象部分画像301cの中央データ305cである。
以上のように、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対するフィルタ処理が終了すると、Y方向の次の水平ラインに対して同様にフィルタ処理を行う。
図15(d)〜15(f)は、フィルタ処理部143が、処理対象画像111におけるY方向の4番目の水平ラインの画素に対してフィルタ処理を行う状態を示している。図15(d)は、フィルタ処理部143が、処理対象画像111における(1,4)の画素に対して逆変換フィルタ201によってフィルタ処理をする状態を示している。図15(d)に示すように、(1,4)の画素を中央データ305dとしてコンボリューション演算するためには、(1,4)の画素を中央データとする対象部分画像301dと、処理対象画像111とが重複している部分の画素が必要になる。そして、対象部分画像301dにおいて、処理対象画像111と重複していない部分の画素は、上述と同様に「0」として取り扱うものとする。
図15(e)は、フィルタ処理部143が、処理対象画像111における(5,4)の画素に対して逆変換フィルタ201によってフィルタ処理をする状態を示している。図15(e)に示すように、(5,4)の画素を中央データ305eとする対象部分画像301eは全体が処理対象画像111と重複しているので、フィルタ処理部143は、対象部分画像301eに含まれる画素をすべて利用したフィルタ処理が可能となる。
そして、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図15(f)に示すように、X方向の水平ラインの最後の画素である(640,4)の画素に対してフィルタ処理をする。(640,4)の画素は、図15(f)に示すように、対象部分画像301fの中央データ305fである。
以上のように、フィルタ処理部143は、処理対象画像111を構成する各画素に対して逆変換フィルタ201によるコンボリューション演算を行ってフィルタ処理をするので、レンズユニット10によってぼけた画像を補正し、画像の解像度を向上させることができる。
また、図13に示される構成の逆変換フィルタ201によって、ベイヤー配列によって構成された処理対象画像111のうち、R(赤)、Gr(緑)、Gb(緑)、B(青)の画素群ごとにフィルタ処理を実行することが可能となる。すなわち、ベイヤー配列の処理対象画像111に対して直接、フィルタ処理の実行が可能となり、かつ、共通の逆変換フィルタ201によってフィルタ処理の実行が可能となる。したがって、フィルタ処理を実行するフィルタ処理部143の回路構成を簡易に構成することができる。
また、一般に画像の解像度の低下は、上述のように、撮像素子11により撮像された点像分布関数が付加されてぼけることによる解像度の低下と、回折限界による解像度の低下とがある。回折限界とは、光学系に収差がない場合に、被写体の一点から出た光は像面で無限小の一点に集光せず、光が波の性質を有することによって、所定の半径をもつ有限の大きさまでしか集光することができない集光限界をいう。上述の復元処理部14による復元処理は、撮像素子11により撮像された点像分布関数が付加されてぼけることによる解像度の低下に対して復元するだけではなく、回折限界による解像度の低下に対する復元にも寄与する。
なお、上述のように、処理対象画像111における逆変換フィルタ201によるコンボリューション演算の対象となる対象部分画像について、処理対象画像111と重複していない部分の画素は「0」としたが、これに限定されるものではない。例えば、対象部分画像のうち処理対象画像111と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の処理対象画像111と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。
具体的に、図15(a)の対象部分画像301aを例にして説明する。対象部分画像301aのそれぞれの画素の名称を、仮に図14に示す対象部分画像211の画素の名称と同様とする。この場合、対象部分画像301aの処理対象画像111と重複していない部分の画素は、画素A11〜A15、A21〜A25、A31、A32、A41、A42、A51およびA52である。また、対象部分画像301aの処理対象画像111と重複している部分の画素は、画素A33〜A35、A43〜A45およびA53〜A55である。
このとき、画素A31、A32、A41、A42、A51およびA52は、中央データを基準にして、対象部分画像301aの処理対象画像111と重複している部分の画素を折り返し、それぞれ画素A35、A34、A45、A44、A55およびA54の値を用いる。また、画素A13〜A15およびA23〜A25は、中央データを基準にして、対象部分画像301aの処理対象画像111と重複している部分の画素を折り返し、それぞれ画素A53〜A55およびA43〜A45の値を用いる。そして、画素A11、A12、A21およびA22は、中央データを基準にして、対象部分画像301aの処理対象画像111と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれA55、A54、A45およびA44の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。
また、図12〜14に示すように、フィルタ処理部143が有する逆変換フィルタはタップ数が5×5のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は9×9、13×13または21×21等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。また、フィルタ処理の対象となる処理対象画像は、ベイヤー配列を有するので、R(赤)、Gr(緑)、Gb(緑)、B(青)の画素群ごとにフィルタ処理を実行するためには、対象部分画像に同一の色の画素がX方向またはY方向に奇数個含まれている必要もある。
また、逆変換フィルタは、例えば17×17以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。
<ベイヤー補間部の動作>
次に、本実施の形態の撮像装置1のベイヤー補間部15の動作(ベイヤー補間)について説明する。
上述のように、復元処理部14から出力される復元画像を構成する640×480の画素は、それぞれ、R(赤)、Gr(緑)、Gb(緑)、B(青)のいずれか一色を表すものである。ここで、復元画像を構成する640×480の構成単位を「ピクセル」と称するものとする。上述のように、復元処理部14が出力する復元画像の各ピクセルには、R(赤)、Gr(緑)、Gb(緑)、B(青)のいずれか一色を表す画素が対応している。このピクセルにおける色以外の色(R(赤)のピクセルであればG(緑)およびB(青))、周囲のピクセルの単一の色の画素から推定するのがベイヤー補間である。すなわち、ベイヤー補間は、各ピクセルに単一の色の画素のみを対応させるのではなく、R(赤)、G(緑)、B(青)の三色の画素を対応させる処理である。ベイヤー補間の具体的な処理内容について説明する。
まず、ベイヤー補間の対象となるピクセルを中心として、3×3のピクセルを演算対象として考える。次に、対象となるピクセル(以下、中心ピクセルという)の色(以下、当色という)の画素は、そのまま中心ピクセルに対応する当色の画素として対応させる。そして、中心ピクセルの色以外の色(以下、他色という)の画素は、中心ピクセルの周囲を囲む8つのピクセルに含まれる他色の平均値を演算し、演算値を中心ピクセルに対応する他色の画素として対応させる。
復元処理部14が出力する復元画像が、図6に示すベイヤー配列のピクセルによって構成されているものとして、具体例を示して説明する。ベイヤー補間前の、復元画像を構成する各画素を、図6に示すように、「R11」、「Gr12」、「R13」、・・・と称するものとする。
まず、画素R11に対応するピクセルのベイヤー補間について説明する。画素R11に対応するピクセルを中心とする3×3のピクセルは、一部しかとれないので、画素Gr12、Gb21、B22を演算対象とする。まず、画素R11に対応するピクセルに対応するR(赤)の画素は、そのまま画素R11とする。次に、画素R11に対応するピクセルに対応するG(緑)の画素は、演算対象に含まれる画素のうち同色である画素Gr12、Gb21の平均値とする。そして、画素R11に対応するピクセルに対応するB(青)の画素は、演算対象に含まれる画素のうちB(青)のものが画素B22のみなので、画素B22とする。
次に、画素R33に対応するピクセルのベイヤー補間について説明する。画素R33に対応するピクセルを中心とする3×3のピクセルを演算対象とする。まず、画素R33に対応するピクセルに対応するR(赤)の画素は、そのまま画素R33とする。次に、画素R33に対応するピクセルに対応するG(緑)の画素は、演算対象に含まれる画素のうち同色である画素Gb23、Gr32、Gr34、Gb43の平均値とする。そして、画素R33に対応するピクセルに対応するB(青)の画素は、演算対象に含まれる画素のうち同色である画素B22、B24、B42、B44の平均値とする。
上述のような方法によって、ベイヤー補間部15によりベイヤー補間が実行される。
なお、画像処理部16は、ベイヤー補間部15を含む構成としているが、これに限定されるものではなく、撮像装置1の外部においてベイヤー補間の機能が実行されるものとしてもよい。例えば、撮像装置1によって生成された復元画像は、通信ケーブル3を介してPC2に送信され、PC2において実行されるアプリケーションによって復元画像に対するベイヤー補間が実行されるものとしてもよい。
(画像処理部における偽色発生を抑制する動作)
図16は、正確な光量が検出された場合の画像におけるエッジ部の復元処理を説明する図である。まず、図16を参照しながら、画像処理部16の復元処理部14の復元処理について、グラフ(波形)に基づいて具体的に説明する。ここで、復元処理とは、復元処理部14の画像バッファ部141におけるバッファリング処理、およびフィルタ処理部143におけるフィルタ処理の一連の処理を示すものとする。
図16(a)は、被写体の理想画像の特定方向(ここではX方向)におけるエッジ部の輝度値(画素)の理想波形400を示している。図16(b)は、被写体から出る光についてレンズユニット10を通して撮像素子11によって撮像された画像の特定方向(ここではX方向)におけるエッジ部の輝度値(画素)の撮像波形401を示している。なお、理想波形400および撮像波形401は、撮像素子11のR(赤)、Gr(緑)、Gb(緑)、B(青)のいずれの検出素子により撮像された画素の波形であってもよい。また、図16においては、画像のX方向の輝度値の波形を示しているが、これに限定されるものではなく、画像のY方向の輝度値の波形と考えてもよく、後述の図17〜20においても同様である。
図16に示すように、撮像波形401は、レンズユニット10が与える収差によってぼけた状態の画像のエッジ部の波形であるので、理想波形400と比較して、波形のエッジ部分が曲線状、すなわち、輝度値の変化がなだらかな状態となっている。この撮像波形401が示す特性が含まれる画像を復元処理すると、撮像波形401は、理想波形400とほぼ同じ状態に復元することができる。
図17は、正確に光量が検出されない場合の画像におけるエッジ部の復元処理を説明する図である。次に、図17を参照しながら、撮像素子11が検出可能とする光量以上の光を発する被写体を撮像素子11により撮像した画像に対して実行する復元処理について、グラフ(波形)に基づいて具体的に説明する。
図17(a)は、被写体の理想画像の特性方向(ここではX方向)におけるエッジ部の輝度値(画素)の理想波形410を示している。上述したように、撮像素子11が検出可能とする光量以上の光を発する被写体であるので、理想波形410のエッジの立ち上がり部分(山部分)は、輝度値が途中の波形位置から撮像素子11が検出可能とする光量の最大値よりも大きい値となっている。図17においては、撮像素子11が検出可能とする光量の範囲(正確には、光量を量子化した値の範囲)を「0」〜「255」とし、光量の最大値を「255」としており、後述の図18〜20においても同様である。
図17(b)は、被写体から出る光についてレンズユニット10を通して撮像素子11によって撮像された画像の特性方向(ここではX方向)におけるエッジ部の輝度値(画素)の撮像波形411を示している。しかし、被写体から出る光は、撮像素子11が検出可能とする光量以上の光であるので、被写体から出る光のうち、光量が最大値より大きい場合は検出することができない。したがって、撮像波形411のうち、輝度値が最大値より大きい非検出波形部411aの部分に対応する輝度値は、最大値「255」となっている。すなわち、撮像波形411は、本来、撮像素子11によって検出されるべき輝度値の波形を正確に反映していないことになる。
この撮像波形411が示す特性が含まれる画像を復元処理すると、撮像波形411は、図17(c)に示す復元波形412となる。復元波形412は、撮像波形411において、非検出波形部411aの部分の輝度値が正確に反映されていないため、非検出波形部411aの部分の輝度値が正確に反映された場合の波形である理想復元波形412aの傾斜部分よりも緩やかな傾斜部分を有する波形となる。
図18は、検出画像について復元処理した後にホワイトバランス処理をする場合を説明する図である。次に、図18を参照しながら、撮像した画像について復元処理した後にホワイトバランス処理を実行する場合について説明する。
図18においては、被写体から出る光のうち、例えば、G(緑)の光の一部の光量が、撮像素子11が検出可能とする光量の最大値よりも大きくなり、R(赤)およびB(青)の光の光量は、撮像素子11によって検出可能であるものとし、後述の図19および20においても同様とする。図18(a)は、被写体から出る光についてレンズユニット10を通して撮像素子11によって撮像された画像の特性方向(ここではX方向)におけるエッジ部のG(緑)の輝度値(画素)の撮像波形420、および、R(赤)またはB(青)の輝度値(画素)の撮像波形430を示している。図18(a)に示すように、G(緑)の光の撮像波形420は、エッジの立ち上がり部分(山部分)において輝度値が途中の波形位置から最大値よりも大きい値となっているため、本来の波形部分である非検出波形部420aの部分に対応する輝度値は、最大値「255」となっている。すなわち、撮像波形420は、本来、撮像素子11によって検出されるべき輝度値の波形を正確に反映していないことになる。一方、R(赤)またはB(青)の光の撮像波形430は、撮像素子11によって正確に検出されている。
図18(b)は、図18(a)に示す撮像波形420および撮像波形430が示す特性が含まれる画像に対して復元処理をした場合の波形を示す。この復元処理の結果、撮像波形420は、復元波形421となり、撮像波形430は、復元波形431となる。このとき、復元波形431は、撮像波形430の輝度値(画素)が撮像素子11によって正確に検出されているので、傾斜部分が、被写体の理想画像における同じエッジ部分の傾斜部分とほぼ同じとなるように復元される。一方、復元波形421は、撮像波形420において、非検出波形部420aの部分の輝度値が正確に反映されていないため、復元波形431の傾斜部分よりも緩やかな傾斜部分を有する波形となる。
図18(c)は、図18(b)に示す復元波形421および復元波形431が示す特性が含まれる画像に対してホワイトバランス処理をした場合の波形を示す。このホワイトバランス処理の結果、復元波形421は、WB(White Balance)波形422となり、復元波形431は、WB波形432となる。例えば、被写体の理想画像において、WB波形422の輝度値が最大となっている領域が無彩色(白色)であるものとし、ホワイトバランス処理によって、復元波形431は、当該領域において無彩色(白色)となるように、山部分が略一致するように持ち上げられてWB波形432となる。また、WB波形422およびWB波形432は、本来、復元処理によって傾斜部分が略一致するべきであるが、撮像素子11による撮像時点において非検出波形部420aの部分の輝度値が正確に反映されていないため、WB波形422の傾斜部分の方が、WB波形432の傾斜部分よりも緩やかとなる。
したがって、ホワイトバランス処理後の画像において、WB波形422の傾斜部分に対応する領域600では、G(緑)の波形であるWB波形422の輝度値が、R(赤)またはB(青)の波形であるWB波形432の輝度値より大きくなる。したがって、ホワイトバランス処理後の画像は、WB波形422、432の傾斜部分が略一致していれば領域600において無彩色に表示されるところ、G(緑)の輝度値がR(赤)およびB(青)の輝度値より大きいため緑がかって表示、すなわち、偽色が発生することになる。
図19は、検出画像についてホワイトバランス処理をした後に値調整をせずに復元処理をする場合を説明する図である。次に、図19を参照しながら、撮像した画像についてホワイトバランス処理した後、値調整処理をせずに復元処理を実行する場合について説明する。
図19(a)は、被写体から出る光についてレンズユニット10を通して撮像素子11によって撮像された画像の特性方向(ここではX方向)におけるエッジ部のG(緑)の輝度値(画素)の撮像波形440、および、R(赤)またはB(青)の輝度値(画素)の撮像波形450を示している。図19(a)に示すように、G(緑)の光の撮像波形440は、エッジの立ち上がり部分(山部分)において輝度値が途中の波形位置から最大値よりも大きい値となっているため、本来の波形部分である非検出波形部440aの部分に対応する輝度値は、最大値「255」となっている。すなわち、撮像波形440は、本来、撮像素子11によって検出されるべき輝度値の波形を正確に反映していないことになる。一方、R(赤)またはB(青)の光の撮像波形450は、撮像素子11によって正確に検出されている。
図19(b)は、図19(a)に示す撮像波形440および撮像波形450が示す特性が含まれる画像に対してホワイトバランス処理をした場合の波形を示す。このホワイトバランス処理の結果、撮像波形440は、WB波形441となり、撮像波形450は、WB波形451となる。例えば、被写体の理想画像において、撮像波形440の輝度値が最大となっている領域が無彩色(白色)であるものとし、ホワイトバランス処理によって、撮像波形450は、当該領域において無彩色(白色)となるように、山部分が図19(a)に示す非検出波形部440aの輝度値と略一致するように持ち上げられてWB波形451となる。ホワイトバランス処理は、演算処理であるので、撮像波形450がホワイトバランス処理によって持ち上げられた結果、最大値よりも大きい値を有する波形部分を有することになる。
図19(c)は、図19(b)に示すWB波形441およびWB波形451が示す特性が含まれる画像に対して復元処理をした場合の波形を示す。この復元処理の結果、WB波形441は、復元波形442となり、WB波形451は、復元波形452となる。このとき、復元波形452は、撮像波形450の輝度値(画素)が撮像素子11によって正確に検出され、ホワイトバランス処理後も、最大値より大きい値を有する波形部分もそのままとしているので、被写体の理想画像における同じエッジ部分の傾斜部分とほぼ同じとなるように復元される。ただし、復元処理後は、画素の最大値以下に調整する必要があるため、図19(c)に示すように、復元波形452において、輝度値(画素)が最大値より大きい部分に対応する輝度値は、最大値「255」としている。一方、復元波形442は、撮像波形440において、非検出波形部440aの部分の輝度値が正確に反映されていないため、復元波形452の傾斜部分よりも緩やかな傾斜部分を有する波形となる。
したがって、復元処理後の画像において、復元波形442の傾斜部分に対応する領域601では、G(緑)の波形である復元波形442の輝度値が、R(赤)またはB(青)の波形である復元波形452の輝度値より大きくなる。したがって、復元処理後の画像は、復元波形442、452の傾斜部分が略一致していれば領域601において無彩色に表示されるところ、G(緑)の輝度値がR(赤)およびB(青)の輝度値より大きいため緑がかって表示、すなわち、偽色が発生することになる。
図20は、検出画像についてホワイトバランス処理をした後に値調整および復元処理をする場合を説明する図である。次に、図20を参照しながら、撮像した画像について画像処理部16のホワイトバランス処理部12によりホワイトバランス処理が実行された後、値調整部13により値調整処理が実行され、復元処理部14により復元処理が実行される場合について説明する。
図20(a)は、被写体から出る光についてレンズユニット10を通して撮像素子11によって撮像された画像の特性方向(ここではX方向)におけるエッジ部のG(緑)の輝度値(画素)の撮像波形460、および、R(赤)またはB(青)の輝度値(画素)の撮像波形470を示している。図20(a)に示すように、G(緑)の光の撮像波形460は、エッジの立ち上がり部分(山部分)において輝度値が途中の波形位置から最大値よりも大きい値となっているため、本来の波形部分である非検出波形部460aの部分に対応する輝度値は、最大値「255」となっている。すなわち、撮像波形460は、本来、撮像素子11によって検出されるべき輝度値の波形を正確に反映していないことになる。一方、R(赤)またはB(青)の光の撮像波形470は、撮像素子11によって正確に検出されている。
図20(b)は、図20(a)に示す撮像波形460および撮像波形470が示す特性が含まれる画像に対してホワイトバランス処理および値調整処理をした場合の波形を示す。このホワイトバランス処理および値調整処理の結果、撮像波形460は、WB波形461となり、撮像波形470は、WB波形471となる。例えば、被写体の理想画像において、撮像波形460の輝度値が最大となっている領域が無彩色(白色)であるものとし、ホワイトバランス処理によって、撮像波形470は、当該領域において無彩色(白色)となるように、山部分が図20(a)に示す非検出波形部460aの輝度値と略一致するように持ち上げられた波形となる。しかし、ここで、値調整部13は、ホワイトバランス処理により撮像波形470から持ち上げられた波形のうち、輝度値が最大値より大きい部分である値調整波形部471aに対応する輝度値を、最大値に置き換える値調整処理を実行する。
図20(c)は、図20(b)に示すWB波形461およびWB波形471が示す特性が含まれる画像に対して復元処理をした場合の波形を示す。この復元処理の結果、WB波形461は、復元波形462となり、WB波形471は、復元波形472となる。このとき、復元波形462は、撮像波形460において、非検出波形部460aの部分の輝度値が正確に反映されていないため、被写体の理想画像における同じエッジ部分の傾斜部分よりも緩やかな傾斜部分を有する波形となる。また、復元波形472は、WB波形471において、値調整波形部471aの部分の輝度値が正確に反映されていないため、復元波形462と同様に、被写体の理想画像における同じエッジ部分の傾斜部分よりも緩やかな傾斜部分を有する波形となる。
その結果、復元波形462および復元波形472の傾斜部分は、被写体の理想画像の同じエッジ部分の傾斜部分よりも緩やかになる結果、被写体の理想画像よりもややエッジがぼけた画像とはなるものの、復元波形462の傾斜部分に対応する領域602において、双方の傾斜部分が略一致することになる。したがって、復元処理後の画像は、復元波形462、472の領域602において傾斜部分が略一致するので、R(値)、G(緑)、B(青)の輝度値が略同一となって理想画像の本来の無彩色が表示されることになり、偽色の発生が抑制される。
以上のように、本実施の形態に係る撮像装置1の画像処理部16は、撮像素子11により撮像された画像に対してホワイトバランス処理をした画像において、輝度値が撮像素子11の検出可能な光量の最大値よりも大きい値である場合に最大値に置換する値調整処理を実行している。そして、画像処理部16は、値調整処理した画像に対して復元処理を実行している。これによって、画像におけるエッジ部における輝度値の傾斜部分をR(赤)、G(緑)、B(青)それぞれにおいて一致させることができ、特定の色が強調されて表示される偽色の発生を抑制することができる。すなわち、ある色では復元が正しく行われるが、他の色では正しく復元されないという復元処理のアンバランスの発生を低減することができる。また、偽色の発生を抑制することによって、後段の画像処理の認識精度の低下を抑制することができる。
なお、図18〜20の説明において、被写体から出る光のうちG(緑)の光の光量が、撮像素子11が検出可能とする光量の最大値よりも大きくなる場合について説明したが、これに限定されるものではなく、R(赤)またはB(青)の光であってもよい。これに付随して、図20において、値調整処理が実行される画素(輝度値)に係る色がR(赤)またはB(青)に限定されるものではなく、G(緑)であってもよい。
1 撮像装置
2 PC
3 通信ケーブル
4 被写体
10 レンズユニット
10a 位相板
10b 絞り
11 撮像素子
12 ホワイトバランス処理部
13 値調整部
14 復元処理部
15 ベイヤー補間部
16 画像処理部
17 通信部
21 通信部
22 操作部
23 表示部
24 記憶部
25 外部記憶装置
26 制御部
27 バス
101 検出画像
111 処理対象画像
121、122 入力部
123、123a カウンタ
124 乗算器
125 加算器
126a〜126d レジスタ
127a〜127d 乗算器
128 出力切替器
129 出力部
131 入力部
132 レジスタ
133 比較器
134 出力切替器
135 出力部
141 画像バッファ部
143 フィルタ処理部
201 逆変換フィルタ
211 対象部分画像
301a〜301f 対象部分画像
305a〜305f 中央データ
400 理想波形
401 撮像波形
410 理想波形
411 撮像波形
411a 非検出波形部
412 復元波形
412a 理想復元波形
420 撮像波形
420a 非検出波形部
421 復元波形
422 WB波形
430 撮像波形
431 復元波形
432 WB波形
440 撮像波形
440a 非検出波形部
441 WB波形
442 復元波形
450 撮像波形
451 WB波形
452 復元波形
460 撮像波形
460a 非検出波形部
461 WB波形
462 復元波形
470 撮像波形
471 WB波形
471a 値調整波形部
472 復元波形
500 撮像システム
600〜602 領域
1410 入力部
1411a〜1411d レジスタ
1412a〜1412d ラインバッファ
1413a〜1413e 出力部
1431a〜1431e 入力部
1432a〜1432e レジスタ
1433a〜1433e レジスタ
1434a〜1434e レジスタ
1435a〜1435e レジスタ
1436a〜1436e レジスタ
1437a〜1437e レジスタ
1438a〜1438e 乗算器
1439a〜1439e 乗算器
1440a〜1440e 乗算器
1441a〜1441e 乗算器
1442a〜1442e 乗算器
1443a〜1443e 加算器
1444a〜1444e 加算器
1445a〜1445e 加算器
1446a〜1446e 加算器
1447a〜1447c 加算器
1448 出力部
A フレーム開始期間
B 水平ブランキング期間
C フレーム終了期間
D 垂直ブランキング期間
T 有効データ期間
特開2012−049759号公報

Claims (13)

  1. 撮像手段により撮像された撮像画像を構成する複数の色からなる第1画素に、該色に応じたゲイン値を該第1画素に乗じて第2画素を生成するホワイトバランス処理手段と、
    前記第2画素のうち、所定値以下の前記第2画素はそのままの値とし、前記所定値より大きい前記第2画素を前記所定値に置換して第3画素を生成する値調整手段と、
    前記第3画素に対して、復元フィルタによって光学系により生じた解像度の低下を復元する復元処理手段と、
    を備える画像処理装置。
  2. 前記撮像画像を構成する前記第1画素は、ベイヤー配列によって配設され、
    前記復元処理手段は、前記ベイヤー配列によって配設された前記第3画素により構成される画像に対して、共通の前記復元フィルタによって解像度の低下を復元する請求項1に記載の画像処理装置。
  3. 前記ホワイトバランス処理手段によって赤色および青色に対応する前記第1画素に乗じる前記ゲイン値は、緑色に対応する前記第1画素に乗じる前記ゲイン値よりも大きい請求項1または2に記載の画像処理装置。
  4. 前記復元フィルタは、前記光学系により前記撮像画像に与えられた点像分布関数の逆変換処理を行うための逆変換フィルタである請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記復元フィルタは、FIRフィルタである請求項1〜4のいずれか一項に記載の画像処理装置。
  6. 前記復元処理手段は、前記第3画素に対して、前記復元フィルタによって回折限界に基づく解像度の低下を復元する請求項1〜5のいずれか一項に記載の画像処理装置。
  7. 光軸上の所定範囲において解像度の低下を一定とする前記光学系と、
    前記撮像手段と、
    請求項1〜6のいずれか一項に記載の画像処理装置と、
    をさらに備える撮像装置。
  8. 前記光学系は、入射する光に収差を与える請求項7に記載の撮像装置。
  9. 前記光学系は、前記光軸上に位相板を有する請求項8に記載の撮像装置。
  10. 撮像手段により撮像された撮像画像を構成する複数の色からなる第1画素に、該色に応じたゲイン値を該第1画素に乗じて第2画素を生成するホワイトバランス処理を実行するステップと、
    前記第2画素のうち、所定値以下の前記第2画素はそのままの値とし、前記所定値より大きい前記第2画素を前記所定値に置換して第3画素を生成する値調整処理を実行するステップと、
    前記第3画素に対して、復元フィルタによって光学系により生じた解像度の低下を復元する復元処理を実行するステップと、
    を有する画像処理方法。
  11. 前記復元処理を実行するステップにおいて、ベイヤー配列によって配設された前記第3画素により構成される画像に対して、共通の前記復元フィルタによって解像度の低下を復元する請求項10に記載の画像処理方法。
  12. 前記ホワイトバランス処理を実行するステップにおいて、赤色および青色に対応する前記第1画素に乗じる前記ゲイン値は、緑色に対応する前記第1画素に乗じる前記ゲイン値よりも大きいものとする請求項10または11に記載の画像処理方法。
  13. 前記復元処理を実行ステップにおいては、前記光学系によって光軸上の所定範囲において与えられた一定の解像度の低下を内包する前記第3画素に対して前記復元処理を実行する請求項10〜12のいずれか一項に記載の画像処理方法。
JP2013204897A 2013-09-30 2013-09-30 画像処理装置、撮像装置および画像処理方法 Pending JP2015070529A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013204897A JP2015070529A (ja) 2013-09-30 2013-09-30 画像処理装置、撮像装置および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013204897A JP2015070529A (ja) 2013-09-30 2013-09-30 画像処理装置、撮像装置および画像処理方法
US14/492,479 US9374568B2 (en) 2013-09-30 2014-09-22 Image processing apparatus, imaging apparatus, and image processing method

Publications (1)

Publication Number Publication Date
JP2015070529A true JP2015070529A (ja) 2015-04-13

Family

ID=52739793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013204897A Pending JP2015070529A (ja) 2013-09-30 2013-09-30 画像処理装置、撮像装置および画像処理方法

Country Status (2)

Country Link
US (1) US9374568B2 (ja)
JP (1) JP2015070529A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973279A (zh) * 2017-05-26 2017-07-21 信利光电股份有限公司 一种摄像模组白平衡调试方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183246A (ja) * 2009-02-04 2010-08-19 Hitachi Kokusai Electric Inc カラーカメラ
JP2012065187A (ja) * 2010-09-16 2012-03-29 Fujifilm Corp 撮像装置及び復元ゲインデータ生成方法
JP2012114849A (ja) * 2010-11-26 2012-06-14 Canon Inc 画像処理装置、及び画像処理方法
JP2013051598A (ja) * 2011-08-31 2013-03-14 Canon Inc 画像処理装置及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3943719B2 (ja) * 1998-06-23 2007-07-11 オリンパス株式会社 カラー撮像装置
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
EP2228677A1 (en) 2009-03-09 2010-09-15 Global Bionic Optics Pty Ltd. Extended depth-of-field surveillance imaging system
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5472307B2 (ja) 2009-09-02 2014-04-16 コニカミノルタ株式会社 単焦点光学系、撮像装置およびデジタル機器
JP5514042B2 (ja) 2010-08-26 2014-06-04 富士フイルム株式会社 撮像モジュール、画像信号処理方法および撮像装置
JP2013162369A (ja) 2012-02-07 2013-08-19 Sharp Corp 撮像装置
JP2015005881A (ja) 2013-06-20 2015-01-08 株式会社リコー 画像処理装置、撮像装置および撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010183246A (ja) * 2009-02-04 2010-08-19 Hitachi Kokusai Electric Inc カラーカメラ
JP2012065187A (ja) * 2010-09-16 2012-03-29 Fujifilm Corp 撮像装置及び復元ゲインデータ生成方法
JP2012114849A (ja) * 2010-11-26 2012-06-14 Canon Inc 画像処理装置、及び画像処理方法
JP2013051598A (ja) * 2011-08-31 2013-03-14 Canon Inc 画像処理装置及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106973279A (zh) * 2017-05-26 2017-07-21 信利光电股份有限公司 一种摄像模组白平衡调试方法及装置

Also Published As

Publication number Publication date
US20150092080A1 (en) 2015-04-02
US9374568B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
US9407884B2 (en) Image pickup apparatus, control method therefore and storage medium employing phase difference pixels
JP2015165610A (ja) 撮像装置、撮像システムおよび撮像方法
JP5398750B2 (ja) カメラモジュール
JP2012065187A (ja) 撮像装置及び復元ゲインデータ生成方法
US8922681B2 (en) Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
JP6236908B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP2015070529A (ja) 画像処理装置、撮像装置および画像処理方法
JP2012175169A (ja) 画像処理装置
KR101437911B1 (ko) 다이나믹 영역 확장 방법 및 장치
US8508613B2 (en) Image capturing apparatus
RU2657015C2 (ru) Устройство захвата изображений, система захвата изображений и способ захвата изображений
JP2015005881A (ja) 画像処理装置、撮像装置および撮像システム
JP6291795B2 (ja) 撮像システムおよび撮像方法
JP2015211401A (ja) 撮像装置および撮像方法
WO2018193546A1 (ja) 撮像装置および内視鏡装置
JP2016005080A (ja) 撮像装置、撮像システムおよび撮像方法
JP2018195189A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2018193552A1 (ja) 撮像装置および内視鏡装置
JP2013162388A (ja) 画像処理装置及び固体撮像装置
WO2018193544A1 (ja) 撮像装置および内視鏡装置
JP2015211357A (ja) 撮像装置および撮像方法
JP2011114537A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160906