JP2015005881A - 画像処理装置、撮像装置および撮像システム - Google Patents

画像処理装置、撮像装置および撮像システム Download PDF

Info

Publication number
JP2015005881A
JP2015005881A JP2013130053A JP2013130053A JP2015005881A JP 2015005881 A JP2015005881 A JP 2015005881A JP 2013130053 A JP2013130053 A JP 2013130053A JP 2013130053 A JP2013130053 A JP 2013130053A JP 2015005881 A JP2015005881 A JP 2015005881A
Authority
JP
Japan
Prior art keywords
image
filter
pixels
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013130053A
Other languages
English (en)
Inventor
丸山 剛
Takeshi Maruyama
剛 丸山
太郎 澤木
Taro Sawaki
太郎 澤木
Original Assignee
株式会社リコー
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー, Ricoh Co Ltd filed Critical 株式会社リコー
Priority to JP2013130053A priority Critical patent/JP2015005881A/ja
Publication of JP2015005881A publication Critical patent/JP2015005881A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】フィルタ処理を行う回路の規模の増大を抑制した画像処理装置、撮像装置および撮像システムを提供する。
【解決手段】画像変換部は、対象部分画像132をY方向に拡張して、擬似部分画像である5×5の対象部分画像132aに画像変換する。フィルタ処理部は、対象部分画像132aに対して、通常画像用の逆変換フィルタ121をそのまま利用してコンボリューション演算する。その結果、擬似部分画像である対象部分画像132aに対して逆変換フィルタ121によって逆変換処理をした演算値は、対象部分画像132に対して近似逆変換フィルタ122aによって逆変換処理をした演算値と同一になる。
【選択図】図14

Description

本発明は、画像処理装置、撮像装置および撮像システムに関する。
近年、情報のデジタル化の発展に伴い、撮像装置の分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子(以下、単に撮像素子という)として、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等が使用されている。
このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)および産業用カメラ等が挙げられる。
上述のような撮像装置においては、光学系に位相板を挿入することによって、被写界深度を拡張する撮像装置がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。被写界深度を拡張するいわゆるEDof(Extended Depth of Field:強化被写体深度)に対応した用途に用いるカメラとして産業用カメラがある。
上述の位相板による被写界深度の拡張について具体的に説明する。光学系に挿入された位相板は、撮像素子に入射される被写体の光に点像分布関数(PSF:Point Spread Function)を与える働きをし、撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、位相板によってぼけた画像は、所定のMTF(Modulation Transfer Function)の値が得られるように補正する必要がある。このような、位相板によってぼけた画像に対して、ぼけを補正する撮像装置として、点像分布関数の逆変換処理を施すことによって、MTFを向上させ、高解像度の画像に復元する装置が提案されている(特許文献1参照)。逆変換処理は、撮像素子によって撮像された画像を形成する各画素の情報に対して、逆変換フィルタによるフィルタ処理を施すことによって実現される。
ここで、撮像装置の一例である産業用カメラ等においては、通常、撮像動作の動作モードとして、通常モードとビニングモードとがある。ビニングモードとは、撮像素子を構成するマトリックス状に配置された画素(VGA(Video Graphics Array)であれば、640×480の画素が存在する)のうちいくつかの画素を1つの画素とみなして、撮像素子に画像を出力させる動作モードである。例えば、VGAにおける画素において、縦方向の2つの連続した画素を1つの画素とみなした場合、撮像素子は、640×240のマトリックス状に配列した画素の情報で構成される画像(以下、ビニング画像という)を出力する。このビニングモードは、暗い状況で撮像する場合に、カメラ感度を向上させるために使用される動作モードである。一方、通常モードとは、撮像素子を構成する画素ごとに情報(以下、画素から出力される情報(値)自体を画素というものとする)を出力させる動作モードである。すなわち、VGAの場合、撮像素子は、通常モードにおいて、640×480のマトリックス状に配列した画素で構成される画像(以下、通常画像という)を出力する。
しかしながら、通常モードおよびビニングモードにおいては、それぞれ画像の大きさおよび画像を構成する画素の値も異なるため、上述の逆変換処理を施すための逆変換フィルタとして、各動作モードに応じて異なるフィルタを用いる必要がある。逆変換フィルタは、通常、ハードウェア回路によって構成されるが、撮像装置が、通常モードおよびビニングモード用にそれぞれの異なる逆変換フィルタを備える場合、通常モードのみの場合と比較して、回路規模が概ね2倍に増大するという問題点がある。特許文献1においては、通常モードにおける逆変換処理の動作は開示されているが、ビニングモードにおける逆変換処理の動作は開示されておらず、上述のビニングモードに伴う回路規模の拡大の問題点は解消されていない。
本発明は、上記に鑑みてなされたものであって、フィルタ処理を行う回路の規模の増大を抑制した画像処理装置、撮像装置および撮像システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を撮像し、複数の画素として出力する撮像手段から出力される通常画像と、該通常画像において所定方向に隣接した所定数の前記画素の加算値を1つの画素として前記撮像手段から出力されるビニング画像とをフィルタ処理する画像処理装置であって、前記通常画像の前記フィルタ処理に使用されるフィルタのタップ数に対応する大きさと等しい大きさになるように、前記ビニング画像において前記フィルタ処理の対象となる部分画像を前記所定方向に拡張した擬似部分画像に変換する画像変換手段と、前記フィルタを使用して、前記擬似部分画像に対して前記フィルタ処理を行うフィルタ処理手段と、を備えることを特徴とする。
本発明によれば、フィルタ処理を行う回路の規模の増大を抑制することができる。
図1は、第1の実施の形態の撮像システムの全体構成の一例を示す図である。 図2は、第1の実施の形態の情報処理装置の構成の一例を示す図である。 図3は、第1の実施の形態の撮像装置の構成の一例を示す図である。 図4は、第1の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図5は、検出画像から通常モードにおいて出力される画像およびビニングモードにおいて出力される画像の一例を示す図である。 図6は、第1の実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。 図7は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図8は、第1の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。 図9は、第1の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。 図10は、第1の実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。 図11は、通常画像用およびビニング画像用の逆変換フィルタを示す図である。 図12は、通常画像を通常画像用の逆変換フィルタによってフィルタ処理することを説明する図である。 図13は、通常画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図14は、第1の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。 図15は、第1の実施の形態の撮像装置における逆変換処理の動作を示すフローチャートである。 図16は、第2の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図17は、第2の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。 図18は、第2の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。 図19は、第2の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。
以下に、図面を参照しながら、本発明に係る画像処理装置、撮像装置および撮像システムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。
(第1の実施の形態)
<撮像システムの全体構成>
図1は、第1の実施の形態の撮像システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の撮像システム500の構成について説明する。
図1に示すように、本実施の形態の撮像システム500は、撮像装置1と、PC2と、を備えている。撮像装置1とPC2とは、Ethernet(登録商標)ケーブル等の通信ケーブル3によって通信可能に接続されている。
撮像装置1は、被写体4から出る光を電気信号に変換することによって被写体4を撮像し、画像の情報(以下、単に画像という)として通信ケーブル3を介してPC2へ送信する。PC2は、撮像装置1から受信した画像に対して所定の処理を実行する。
例えば、撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信した画像からバーコードの情報を読み出して解析する。
なお、図1に示すように、撮像システム500は、撮像装置1とPC2とが通信ケーブル3を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置1とPC2とは、Wi−Fi(WirelessFidelity)等の無線通信方式によって互いにデータが通信可能であってもよい。
また、撮像装置1およびPC2が生産ラインにおいて使用される場合、撮像システム500は、PC2がPLC(Programmable Logic Controller)等に通信可能に接続されている構成としてもよい。この場合、撮像システム500の動作として、以下の動作が一例として挙げられる。PC1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。PC2は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、判定した品番に対応する製品は異なる品番の製品であることを示す信号をPLCに送信する。PLCは、PC2から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去するように生産ラインの動作を制御する。
<情報処理装置の構成>
図2は、第1の実施の形態の情報処理装置の構成の一例を示す図である。図2を参照しながら、情報処理装置の一例であるPC2の構成について説明する。
図2に示すように、情報処理装置の一例であるPC2は、通信部21と、操作部22と、表示部23と、記憶部24と、外部記憶装置25と、制御部26と、を備えている。上記の各部は、バス27によって接続され、互いにデータの送受信が可能となっている。
通信部21は、通信ケーブル3を介して、撮像装置1と通信する装置である。通信部21は、例えば、NIC(Network Interface Card)等の通信装置によって実現される。通信部21の通信プロトコルは、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)またはUDP(User Datagram Protocol)/IP等によって実現される。
操作部22は、ユーザによって制御部26に対して所定の処理を実行させるための操作入力を行う装置である。操作部22は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。
表示部23は、制御部26により実行されているアプリケーション画像等を表示する装置である。表示部23は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等によって実現される。
記憶部24は、PC2で実行される各種プログラムおよびPC2で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部24は、例えば、ROM(Read Only Memory)およびRAM(Random Access Memory)等の記憶装置によって実現される。
外部記憶装置25は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、または光磁気ディスク(MO:Magneto−Optical Disk)等の記憶装置によって実現される。
制御部26は、PC2の各部の動作を制御する装置である。制御部26は、例えば、CPU(Central Processing Unit)およびASIC(Application Specific Integrated Circuit)等で実現される。
<撮像装置の構成>
図3は、第1の実施の形態の撮像装置の構成の一例を示す図である。図3を参照しながら、本実施の形態の撮像装置1の構成について説明する。
図3に示すように、撮像装置1は、レンズユニット11と、撮像素子12(撮像手段)と、撮像素子制御部13(制御手段)と、画像処理部14と、通信部15と、を備えている。
レンズユニット11は、被写体4から出る光を集光し、撮像素子12に対して結像させるユニットである。レンズユニット11は、1枚以上のレンズで構成された光学系によって実現される。レンズユニット11は、位相板11a(被写界深度拡張手段)と、絞り11bとを備えている。被写体4は、例えば、人物、被監視物、バーコード、2次元コードまたは文字列等である。
位相板11aは、レンズユニット11に入射する光に対して位相差を与える作用を有する。その結果、位相板11aは、撮像素子12に入射される光に対して点像分布関数を与える作用を奏し、撮像素子12で撮像される画像がぼけた状態(収差が発生した状態)とする代わりに広い被写界深度でそのぼけが一定となるようにする。
絞り11bは、レンズユニット11に入射する光の量を自在に調整する部材であり、位相板11aの近傍に配置されている。
撮像素子12は、レンズユニット11に入射する被写体からの光を電気信号に変換することによって被写体4を撮像して画像を生成する固体撮像素子である。撮像素子12は、固体撮像素子によって撮像した画像を形成する画素を出力する。撮像素子12は、例えば、CCDセンサまたはCMOSセンサ等によって実現される。
撮像素子制御部13は、PC2から通信部15を介して制御信号を受信し、制御信号によって撮像素子12および画像処理部14に対して動作モード(通常モードおよびビニングモード)を変更させる装置である。
画像処理部14は、撮像素子12から出力される画像から、フィルタ処理を施した画像を生成する装置である。
通信部15は、通信ケーブル3を介して、PC2と通信する装置である。通信部15は、例えば、画像処理部14から出力される画像をPC2に対して送信する。通信部15は、例えば、NIC等の通信装置によって実現される。通信部15の通信プロトコルは、例えば、TCP/IPまたはUDP/IP等によって実現される。
<画像処理部の構成および動作>
図4は、第1の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図5は、検出画像から通常モードにおいて出力される画像およびビニングモードにおいて出力される画像の一例を示す図である。図4を参照しながら、本実施の形態の撮像装置1の画像処理部14の構成について説明する。
撮像素子12は、図4に示すように、撮像素子制御部13から受信する制御信号に基づいて、動作モードを通常モードまたはビニングモードに切り替える。以下、撮像素子12は、VGAの画像を形成して出力するものとして説明する。具体的には、撮像素子12は、図5に示すように、X方向に640個、Y方向に480個の検出素子によって、640×480のマトリックス状に配列された画素で構成される画像である検出画像101を検出する。図5に示すように、撮像素子12によって検出される画像について、検出画像101の一部を抜き出した検出部分画像102で説明する。図5に示すように、検出部分画像102は、D11〜D15、D21〜D25、D31〜D35およびD41〜D45の各画素によって構成される部分画像である。
通常モードの場合、撮像素子12は、検出された画像について何も処理せずにそのまま通常画像として出力する。具体的には、撮像素子12は、検出部分画像102について何も処理せずに出力部分画像103aを出力する。一方、ビニングモードの場合、撮像素子12は、検出された画像のY方向の2画素分の値の和をとって1画素とみなして、ビニング画像を出力する。具体的には、撮像素子12は、検出部分画像102のY方向の2画素分の値の和をとって1画素とみなして、出力部分画像103bを出力する。すなわち、通常モードにおいて撮像素子12により出力される通常画像の大きさは640×480であるのに対し、ビニングモードにおいて撮像素子12により出力されるビニング画像の大きさは640×240である。したがって、ビニング画像は、通常画像をY方向において半分の大きさに圧縮した画像となっている。
なお、図5に示すように、ビニング画像は、通常画像のY方向の2画素分の値の和をとって1画素として構成されるものとしたが、これに限定されるものではない。すなわち、ビニング画像は、通常画像のY方向の3画素分以上の値の和をとって1画素として構成されるものとしてもよい。
また、撮像素子12が検出する画像の大きさは640×480のVGAの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。
図4に示すように、本実施の形態の画像処理部14は、画像バッファ部141と、画像変換部142(画像変換手段)と、フィルタ処理部143(フィルタ処理手段)とを備えている。
画像バッファ部141は、撮像素子12から出力される画素を順に入力してバッファリングする装置である。画像バッファ部141の具体的な構成および動作については、図6および7において後述する。
画像変換部142は、撮像素子制御部13から受信する制御信号に基づいて、動作モードを通常モードまたはビニングモードに切り替える。ビニングモードの場合、画像変換部142は、画像バッファ部141から出力されたビニング画像の部分を、通常画像の部分と同じ大きさの部分画像(以下、擬似部分画像という)に変換して出力する。一方、通常モードの場合、画像変換部142は、画像バッファ部141から出力された通常画像の画素を、画像変換せずにそのまま通常画像の画素として出力する。画像変換部142の具体的な構成および動作については、図8および9において後述する。
フィルタ処理部143は、画像変換部142から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理として、位相板11aの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけを補正する逆変換処理をするためのフィルタ処理を例に説明する。フィルタ処理部143の具体的な構成および動作については、図10〜14において後述する。
<<画像バッファ部141の構成および動作>>
図6は、第1の実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。図7は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図6および7を参照しながら、画像処理部14の画像バッファ部141の構成および動作について説明する。
画像バッファ部141は、図6に示すように、レジスタ1411a〜1411dと、ラインバッファ1412a〜1412dと、を備えている。画像バッファ部141は、撮像素子12から出力される画素を入力部1410から入力し、バッファリングした画素を出力部1413a〜1413eから出力する。撮像素子12によって検出される画像の640×480の各画素について、X方向のX番目およびY方向のY番目の画素を(X,Y)の画素というものとする。
図6に示すように、レジスタ1411aの入力側は、入力部1410および出力部1413aに接続されている。レジスタ1411a〜1411dの出力側は、それぞれラインバッファ1412a〜1412dの入力側に接続されている。ラインバッファ1412a〜1412cの出力側は、それぞれレジスタ1411b〜1411dの入力側に接続されている。そして、ラインバッファ1412a〜1412dの出力側は、それぞれ出力部1413b〜1413eに接続されている。
次に、図7を参照しながら、撮像素子12によって検出された画像の出力動作について説明する。撮像素子12は、検出した画素をX方向の1水平ラインずつ走査しながら、その1水平ラインに含まれる画素を出力する。具体的には、撮像素子12は、Y方向の1番目の水平ラインに含まれる画素を、X方向の1番目の画素から640番目の画素まで順に出力する。撮像素子12は、上記の動作を、Y方向の480番目の水平ラインに含まれる画素の出力まで行う。
上記の動作を図7に示すタイミングチャートに基づいて説明する。図7に示すように、撮像素子12は、有効フレーム信号がオン状態のとき、1フレーム分、すなわち1画像分の画素を出力する。撮像素子12において、有効フレーム信号がオン状態になってからフレーム開始期間Aを経て、Y方向の1番目の水平ラインの画素の出力許可を示す有効ライン信号L1がオン状態になる。撮像素子12は、有効ライン信号L1がオン状態になっている有効データ期間Tの間に、Y方向の1番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,1)〜(640,1)の画素)を順に出力する。撮像素子12によってY方向の1番目の水平ラインの画素が出力された後、有効ライン信号L1がオフ状態になる。
撮像素子12において、有効ライン信号L1がオフ状態になってから水平ブランキング期間Bを経て、Y方向の2番目の水平ラインの画素の出力許可を示す有効ライン信号L2がオン状態になる。撮像素子12は、有効ライン信号L2がオン状態になっている有効データ期間Tの間に、Y方向の2番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,2)〜(640,2)の画素)を順に出力する。撮像素子12によってY方向の2番目の水平ラインの画素が出力された後、有効ライン信号L2がオフ状態になる。
撮像素子12は、以上の動作について、有効ライン信号L480がオン状態になっている有効データ期間Tの間に、Y方向の480番目の水平ラインに含まれるX方向の1〜640番目の画素を出力するまで行う。撮像素子12において、有効ライン信号L480がオフ状態になってからフレーム終了期間Cを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子12による1フレーム分の画素の出力が終了する。また、撮像素子12において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Dを経て、再び有効フレーム信号がオン状態になり、次の1フレーム分の画素の出力が開始される。
次に、図6を参照しながら、画像バッファ部141における撮像素子12から出力される画素のバッファリング処理について説明する。画像バッファ部141は、撮像素子12から出力される画素を入力部1410から入力する。具体的には、画像バッファ部141は、まず、Y方向の1番目の水平ラインについて、撮像素子12から入力した(1,1)の画素を、出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、レジスタ1411aに格納した画素をラインバッファ1412aの記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(2,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1aに格納した画素をラインバッファ1412aの記憶領域2aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(3,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子12から入力したY方向の1番目の水平ラインの画素を出力部1413aから出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域639a〜1aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
次に、画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(1,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、Y方向の2番目の水平ラインについて、撮像素子12から入力した(1,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。すなわち、画像バッファ部141は、X方向の値が同一の画素である(1,1)および(1,2)の画素を、出力部1413bおよび1413aからそれぞれ出力する。
画像バッファ部141は、次のタイミングで、レジスタ1411bに格納した画素をラインバッファ1412bの記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(2,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(2,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1bに格納した画素をラインバッファ1412bの記憶領域2bにシフトして格納し、レジスタ1411bに格納した画素を記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(3,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(3,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子12から入力したY方向の1および2番目の水平ラインの画素についてX方向の値が同一の画素を、出力部1413aおよび1413bからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412bの記憶領域1b〜639bにそれぞれ格納し、640番目の画素をレジスタ1411bに格納する。さらに、画像バッファ部141は、Y方向の2番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域1a〜639aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
以上の動作のように、画像バッファ部141は、撮像素子12から入力した各水平ラインの画素をラインバッファ1412a〜1412dにバッファリングする。それと共に、画像バッファ部141は、X方向の値が同一の画素、すなわち、(X,Y−4)、(X,Y−3)、(X,Y−2),(X,Y−1)および(X,Y)の画素を、出力部1413a〜1413eからそれぞれ同一のタイミングで出力する。
なお、図6は画像バッファ部141の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像バッファ部141のバッファリング処理と同様の作用を奏する構成であればよい。
<<画像変換部142の構成および動作>>
図8は、第1の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。図9は、第1の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。図8および9を参照しながら、画像処理部14の画像変換部142の構成および動作について説明する。
画像変換部142は、図8に示すように、加算器1422a、1422bと、乗算器1423a、1423bと、出力切替器1424a〜1424eと、を備えている。画像変換部142は、画像バッファ部141から出力される画素を入力部1421a〜1421eから入力し、変換した画素を出力部1425a〜1425eから出力する。
加算器1422a、1422bは、入力側から入力される2つの画素の加算値を出力する回路である。乗算器1423a、1423bは、入力側から入力されるデータの値と「0.5」との乗算値を出力する回路である。出力切替器1424a〜1424eは、撮像素子制御部13からの制御信号を入力している場合、「1」端子に入力されたデータを出力し、制御信号を入力していない場合、「0」端子に入力されたデータを出力する回路である。
図8に示すように、撮像素子制御部13は、出力切替器1424a〜1424eの入力側にそれぞれ接続されており、PC2から通信部15を介して受信した制御信号を入力させる。入力部1421aは、出力切替器1424aの入力側の「0」端子に接続されている。入力部1421bは、出力切替器1424aの入力側の「1」端子、出力切替器1424bの入力側の「0」端子、および加算器1422aの入力側にそれぞれ接続されている。入力部1421cは、加算器1422aの入力側、出力切替器1424cの入力側の「0」端子および「1」端子、ならびに加算器1422bの入力側にそれぞれ接続されている。入力部1421dは、出力切替器1424dの入力側の「0」端子、加算器1422bの入力側、出力切替器1424eの「1」端子にそれぞれ接続されている。入力部1421eは、出力切替器1424eの入力側の「0」端子に接続されている。
加算器1422aおよび1422bの出力側は、それぞれ乗算器1423aおよび1423bの入力側に接続されている。乗算器1423aおよび1423bの出力側は、それぞれ出力切替器1424bおよび1424dの入力側の「1」端子に接続されている。出力切替器1424a〜1424eの出力側は、それぞれ出力部1425a〜1425eに接続されている。
次に、図8および9を参照しながら、画像変換部142における画像変換処理について説明する。まず、通常モードにおける画像変換部142の処理について説明する。画像変換部142は、撮像素子制御部13から制御信号を受信していない場合、通常モードで動作する。具体的には、通常モードにおいて、出力切替器1424a〜1424eは、入力側に撮像素子制御部13からの制御信号が入力されておらず、入力側の「0」端子に入力された画素を出力する。
画像変換部142において、入力部1421a〜1421eのそれぞれから入力された画素は、出力切替器1424a〜1424eの入力側の「0」端子に入力される。出力切替器1424a〜1424eは、それぞれ入力側の「0」端子から入力された画素を出力する。出力切替器1424a〜1424eから出力された画素は、それぞれ出力部1425a〜1425eから出力される。すなわち、画像変換部142は、入力部1421a〜1421eから入力した通常画像の画素を画像変換せずに、そのまま出力部1425a〜1425eから出力する。
次に、ビニングモードにおける画像変換部142の処理について説明する。画像変換部142は、撮像素子制御部13から制御信号を受信している場合、ビニングモードで動作する。具体的には、ビニングモードにおいて、出力切替器1424a〜1424eは、入力側に撮像素子制御部13からの制御信号が入力されており、入力側の「1」端子に入力されたデータを出力する。
画像変換部142において、入力部1421aから入力された画素は、出力切替器1424aの入力側の「0」端子に入力される。入力部1421bから入力された画素は、出力切替器1424aの入力側の「1」端子、出力切替器1424bの入力側の「0」端子、および加算器1422aに入力される。入力部1421cから入力された画素は、加算器1422a、出力切替器1424cの入力側の「0」端子および「1」端子、ならびに加算器1422bに入力される。入力部1421dから入力された画素は、出力切替器1424dの入力側の「0」端子、加算器1422b、および出力切替器1424eの入力側の「1」端子に入力される。入力部1421eから入力された画素は、出力切替器1424eの入力側の「0」端子に入力される。
加算器1422aは、入力した入力部1421bおよび1421cからの画素の加算値を乗算器1423aに出力する。乗算器1423aは、加算器1422aから入力したデータと「0.5」との乗算値を出力切替器1424bの入力側の「1」端子に出力する。加算器1422bは、入力した入力部1421cおよび1421dからの画素の加算値を乗算器1423bに出力する。乗算器1423bは、加算器1422bから入力したデータと「0.5」との乗算値を出力切替器1424dの入力側の「1」端子に出力する。
出力切替器1424aは、入力部1421bから入力した画素を出力する。出力切替器1424bは、乗算器1423aから入力したデータを出力する。出力切替器1424cは、入力部1421cから入力した画素を出力する。出力切替器1424dは、乗算器1423bから入力したデータを出力する。出力切替器1424eは、入力部1421dから入力した画素を出力する。
以上の動作により、図9に示したビニング部分画像111の画素が、画像変換部142の入力部1421b〜1421dに入力された場合、出力部1425a〜1425eから擬似部分画像111aの画素が出力される。例えば、ビニング部分画像111のうち画素B11、B21およびB31が、それぞれ入力部1421b〜1421dに入力されたとする。この場合、擬似部分画像111aにおける画素B11、(1/2)×(B11+B21)、B21、(1/2)×(B21+B31)、およびB31が、それぞれ出力部1425a〜1425eから出力される。画像変換部142は、図9に示すように、5×3のマトリックス状に配列された画素により構成されるビニング部分画像111を5×5のマトリックス状に配列された画素により構成される擬似部分画像111aにY方向に拡張して画像変換する。ここで、擬似部分画像111aを構成する画素のうち、出力部1425bから出力される画素は、出力部1425aおよび1425cから出力される画素の平均値としている。同様に、擬似部分画像111aを構成する画素のうち、出力部1425dから出力される画素は、出力部1425cおよび1425eから出力される画素の平均値としている。
なお、図8は画像変換部142の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像変換部142の画像変換処理と同様の作用を奏する構成であればよい。
<<フィルタ処理部143の構成および動作>>
図10は、第1の実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。図11は、通常画像用およびビニング画像用の逆変換フィルタを示す図である。図12は、通常画像を通常画像用の逆変換フィルタによってフィルタ処理することを説明する図である。図13は、通常画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図14は、第1の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。図10〜14を参照しながら、画像処理部14のフィルタ処理部143の構成および動作について説明する。
フィルタ処理部143は、図10に示すように、レジスタ1432a〜1432e、1433a〜1433e、1434a〜1434e、1435a〜1435e、1436a〜1436eおよび1437a〜1437eを備えている。フィルタ処理部143は、乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eを備えている。フィルタ処理部143は、加算器1443a〜1443e、1444a〜1444e、1445a〜1445e、1446a〜1446eおよび1447a〜1447cを備えている。そして、フィルタ処理部143は、画像変換部142から出力される画素を入力部1431a〜1431eから入力し、所定のフィルタ係数を有する逆変換フィルタによってコンボリューション演算を行い、演算値を出力部1448から出力する。
乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eは、入力側から入力される画素とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器1438a〜1442aは、それぞれフィルタ係数a55〜a51と画素との乗算値を出力する。乗算器1438b〜1442bは、それぞれフィルタ係数a45〜a41と画素との乗算値を出力する。乗算器1438c〜1442cは、それぞれフィルタ係数a35〜a31と画素との乗算値を出力する。乗算器1438d〜1442dは、それぞれフィルタ係数a25〜a21と画素との乗算値を出力する。乗算器1438e〜1442eは、それぞれフィルタ係数a15〜a11と画素との乗算値を出力する。加算器1443a〜1443e、1444a〜1444e、1445a〜1445e、1446a〜1446e、ならびに1447aおよび1447cは、入力側から入力される2つのデータの値の加算値を出力する回路である。加算器1447bは、入力側から入力される3つのデータの値の加算値を出力する回路である。
図10に示すように、入力部1431a〜1431eは、それぞれレジスタ1432a〜1432eの入力側に接続されている。レジスタ1432a〜1437aは、直列に接続している。レジスタ1432b〜1437b、1432c〜1437c、1432d〜1437dおよび1432e〜1437eのそれぞれについても同様である。
入力部1431a〜1431eは、それぞれ乗算器1438a〜1438eの入力側に接続されている。レジスタ1432a〜1435aの出力側は、それぞれ乗算器1439a〜1442aの入力側に接続されている。レジスタ1432b〜1435bと乗算器1439b〜1442bとの接続関係、レジスタ1432c〜1435cと乗算器1439c〜1442cとの接続関係、レジスタ1432d〜1435dと乗算器1439d〜1442dとの接続関係、およびレジスタ1432e〜1435eと乗算器1439e〜1442eとの接続関係もそれぞれ同様である。
乗算器1438a〜1438eの出力側は、それぞれ加算器1443a〜1443eの入力側に接続されている。加算器1443a〜1446aは、直列に接続している。加算器1443b〜1446b、1443c〜1446c、1443d〜1446dおよび1443e〜1446eのそれぞれについても同様である。
乗算器1439a〜1442aの出力側は、それぞれ加算器1443a〜1446aの入力側に接続されている。乗算器1439b〜1442bと加算器1443b〜1446bとの接続関係、乗算器1439c〜1442cと加算器1443c〜1446cとの接続関係、乗算器1439d〜1442dと加算器1443d〜1446dとの接続関係、および乗算器1439e〜1442eと加算器1443e〜1446eとの接続関係もそれぞれ同様である。
加算器1446aおよび1446bの出力側は、加算器1447aの入力側に接続されている。加算器1446dおよび1446eの出力側は、加算器1447cの入力側に接続されている。加算器1446c、1447aおよび1447cの出力側は、加算器1447bの入力側に接続されている。加算器1447bの出力側は、出力部1448に接続されている。
次に、図10〜14を参照しながら、フィルタ処理部143における逆変換処理について説明する。まず、通常モードにおけるフィルタ処理部143の逆変換処理について説明する。逆変換処理に使用されるフィルタは、図11に示すように、上述したフィルタ係数a11〜a15、a21〜a25、a31〜a35、a41〜a45およびa51〜a55によって構成されるタップ数が5×5の逆変換フィルタ121である。この逆変換フィルタ121によって逆変換処理の対象となる通常画像の部分を、図12に示す対象部分画像131であるものとする。対象部分画像131は、画素A11〜A15、A21〜A25、A31〜A35、A41〜A45およびA51〜A55によって構成された5×5の通常画像の部分である。
レジスタ1432a〜1432e、1433a〜1433e、1434a〜1434e、1435a〜1435e、1436a〜1436eおよび1437a〜1437eには、データが格納されていない状態、すなわち、0の値が格納された状態であるものとする。フィルタ処理部143は、入力部1431a〜1431eから対象部分画像131の画素A51、A41、A31、A21およびA11を入力し、それぞれレジスタ1432a〜1432eに格納すると共に、乗算器1438a〜1438eに入力させる。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa55、a45、a35、a25およびa15と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1438a〜1438eによって演算された乗算値は、加算器1447a〜1447cによって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。
フィルタ処理部143は、次のタイミングで、レジスタ1432a〜1432eに格納した画素A51、A41、A31、A21およびA11を、それぞれレジスタ1433a〜1433eにシフトして格納し、乗算器1439a〜1439eに入力させる。フィルタ処理部143は、入力部1431a〜1431eから対象部分画像131の画素A52、A42、A32、A22およびA12を入力し、それぞれレジスタ1432a〜1432eに格納すると共に、乗算器1438a〜1438eに入力させる。乗算器1439a〜1439eは、それぞれのフィルタ係数であるa54、a44、a34、a24およびa14と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa55、a45、a35、a25およびa15と、それぞれ入力した画素A52、A42、A32、A22およびA12との乗算値を出力する。乗算器1439a〜1439eによって演算された乗算値、および乗算器1438a〜1438eによって演算された乗算値は、加算器1443a〜1443eおよび1447a〜1447cによって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。
そして、以上の動作が繰り返された結果、レジスタ1432a〜1436a、1432b〜1436b、1432c〜1436c、1432d〜1436dおよび1432e〜1436eに、それぞれ画素A55〜A51、A45〜A41、A35〜A31、A25〜A21およびA15〜A11が格納されたものとする。また、乗算器1438a〜1442a、1438b〜1442b、1438c〜1442c、1438d〜1442dおよび1438e〜1442eに、それぞれ画素A55〜A51、A45〜A41、A35〜A31、A25〜A21およびA15〜A11が入力されたものとする。乗算器1442a〜1442eは、それぞれのフィルタ係数であるa51、a41、a31、a21およびa11と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1441a〜1441eは、それぞれのフィルタ係数であるa52、a42、a32、a22およびa12と、それぞれ入力した画素A52、A42、A32、A22およびA12との乗算値を出力する。乗算器1440a〜1440eは、それぞれのフィルタ係数であるa53、a43、a33、a23およびa13と、それぞれ入力した画素A53、A43、A33、A23およびA13との乗算値を出力する。乗算器1439a〜1439eは、それぞれのフィルタ係数であるa54、a44、a34、a24およびa14と、それぞれ入力した画素A54、A44、A34、A24およびA14との乗算値を出力する。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa55、a45、a35、a25およびa15と、それぞれ入力した画素A55、A45、A35、A25およびA15との乗算値を出力する。
乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eによって演算された乗算値は、図10に示す全ての加算器によって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。この加算値は、図12に示すように、対象部分画像131に対して逆変換フィルタ121によってコンボリューション演算した値、すなわち、式(1)で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像131の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の通常画像において、逆変換処理前の通常画像の中央データに相当する位置の画素となる。
次に、通常モードにおけるフィルタ処理部143の逆変換処理について、図13を参照しながら、通常画像105においてX方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図13(a)は、フィルタ処理部143が、通常画像105における(1,1)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図13(a)に示すように、(1,1)の画素を中央データ135aとしてコンボリューション演算するためには、(1,1)の画素を中央データとする対象部分画像131aと、通常画像105とが重複している部分の画素が必要になる。すなわち、対象部分画像131aのうち、図12に示す対象部分画像131の画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が必要である。
そのためは、画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が、画像バッファ部141の出力部1413a〜1413cから出力されている必要がある。さらに、画素A35〜A33、A45〜A43およびA55〜A53に相当する画素が、フィルタ処理部143のレジスタ1432c〜1434c、1432b〜1434bおよび1432a〜1434aに格納されている必要がある。そして、対象部分画像131aにおいて、通常画像105と重複していない部分の画素は「0」として取り扱うものとする。
以上の状態において、フィルタ処理部143は、図12に示したコンボリューション演算と同様に、対象部分画像131aに対して逆変換フィルタ121によってコンボリューション演算を行う。フィルタ処理部143は、通常画像105の対象部分画像131aの中央データ135aである(1,1)の画素に対してコンボリューション演算した値を、逆変換処理後の通常画像の(1,1)の画素として出力する。
次に、フィルタ処理部143は、図13(b)に示すように、コンボリューション演算の対象となる画素をX方向にひとつシフトし、対象部分画像131bの中央データ135bである(2,1)の画素に対して逆変換処理をする。そして、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図13(c)に示すように、X方向の水平ラインの最後の画素である(640,1)の画素に対して逆変換処理をする。(640,1)の画素は、図13(c)に示すように、対象部分画像131cの中央データ135cである。
以上のように、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Y方向の次の水平ラインに対して同様に逆変換処理を行う。
図13(d)〜13(f)は、フィルタ処理部143が、通常画像105におけるY方向の4番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図13(d)は、フィルタ処理部143が、通常画像105における(1,4)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図13(d)に示すように、(1,4)の画素を中央データ135dとしてコンボリューション演算するためには、(1,4)の画素を中央データとする対象部分画像131dと、通常画像105とが重複している部分の画素が必要になる。そして、対象部分画像131dにおいて、通常画像105と重複していない部分の画素は、上述と同様に「0」として取り扱うものとする。
図13(e)は、フィルタ処理部143が、通常画像105における(5,4)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図13(e)に示すように、(5,4)の画素を中央データ135eとする対象部分画像131eは全体が通常画像105と重複しているので、フィルタ処理部143は、対象部分画像131eに含まれる画素をすべて利用した逆変換処理が可能となる。
そして、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図13(f)に示すように、X方向の水平ラインの最後の画素である(640,4)の画素に対して逆変換処理をする。(640,4)の画素は、図13(f)に示すように、対象部分画像131fの中央データ135fである。
以上のように、フィルタ処理部143は、通常画像105を構成する各画素に対して逆変換フィルタ121によるコンボリューション演算を行って逆変換処理をするので、位相板11aによってぼけた画像を補正し、画像の解像度を向上させることができる。
なお、上述のように、通常画像105における逆変換フィルタ121によるコンボリューション演算の対象となる対象部分画像について、通常画像105と重複していない部分の画素は「0」としたが、これに限定されるものではない。例えば、対象画像部分の通常画像105と重複していない部分の画素は、対象画像部分の中央データを基準にして、対象画像部分の通常画像105と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。
具体的に、図13(a)の対象部分画像131aを例にして説明する。対象部分画像131aのそれぞれの画素の名称を、仮に図12に示す対象部分画像131の画素の名称と同様とする。この場合、対象部分画像131aの通常画像105と重複していない部分の画素は、画素A11〜A15、A21〜A25、A31、A32、A41、A42、A51およびA52である。また、対象部分画像131aの通常画像105と重複している部分の画素は、画素A33〜A35、A43〜A45およびA53〜A55である。
このとき、画素A31、A32、A41、A42、A51およびA52は、中央データを基準にして、対象部分画像131aの通常画像105と重複している部分の画素を折り返し、それぞれ画素A35、A34、A45、A44、A55およびA54の値を用いる。また、画素A13〜A15およびA23〜A25は、中央データを基準にして、対象部分画像131aの通常画像105と重複している部分の画素を折り返し、それぞれ画素A53〜A55およびA43〜A45の値を用いる。そして、画素A11、A12、A21およびA22は、中央データを基準にして、対象部分画像131aの通常画像105と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれA55、A54、A45およびA44の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。
次に、ビニングモードにおけるフィルタ処理部143の逆変換処理について説明する。ビニングモードにおいては、図5において上述したように、撮像素子12は、通常画像をY方向において半分の大きさに圧縮したビニング画像を出力する。したがって、通常画像とビニング画像とでは、構成する画素の値も異なることになり、通常は図11に示すように、通常画像用の逆変換フィルタ121のフィルタ係数とは異なるビニング画像用の逆変換フィルタ122が必要になる。逆変換フィルタ122は、フィルタ係数b11〜b15、b21〜b25、b31〜b35、b41〜b45およびb51〜b55によって構成されるタップ数が5×5のフィルタである。
ビニング画像は、通常画像をY方向において半分の大きさに圧縮した画像なので、逆変換フィルタ122として、例えば、図14(a)に示すように、逆変換フィルタ121のフィルタ係数を利用した近似逆変換フィルタ122aが考えられる。例えば、逆変換フィルタ121の1列目のフィルタ係数a11、a21、a31、a41およびa51から、近似逆変換フィルタ122aの1列目のフィルタ係数をa11+(1/2)×a21、a31+(1/2)×(a21+a41)およびa51+(1/2)×a41とする。近似逆変換フィルタ122aのその他の列のフィルタ係数も同様に算出してもとめる。ただし、上述のように近似逆変換フィルタ122aのフィルタ係数を算出した結果、近似逆変換フィルタ122aはタップ数が5×3のタップ数のフィルタとなる。したがって、近似逆変換フィルタ122aによってコンボリューション演算の対象となるビニング画像の部分画像も、図14(a)に示すように、5×3の対象部分画像132とする。図14(a)に示すように、対象部分画像132に対して近似逆変換フィルタ122aによってコンボリューション演算を行った場合の演算値は、式(2)で示される。このように、ビニング画像は、逆変換フィルタ121とは異なるビニング画像用の近似逆変換フィルタ122aによって逆変換処理をすることによってぼけた画像を補正することができる。
しかし、図8および9で上述したように、本実施の形態の撮像装置1において、画像変換部142は、ビニング部分画像111をY方向に拡張した擬似部分画像111aに画像変換するものとしている。すなわち、図14においては、画像変換部142は、対象部分画像132を、擬似部分画像である5×5の対象部分画像132aに画像変換する。そして、フィルタ処理部143は、画素B23を中央データとする対象部分画像132aに対して、通常画像用の逆変換フィルタ121をそのまま利用してコンボリューション演算し、図14(b)の式(3)に示す演算値を得る。その結果、擬似部分画像である対象部分画像132aに対して逆変換フィルタ121によって逆変換処理をした式(3)に示す演算値は、対象部分画像132に対して近似逆変換フィルタ122aによって逆変換処理をした式(2)に示す演算値と同一になる。
以上のように、ビニング画像用の近似逆変換フィルタ122aによって逆変換処理をする場合の効果を、対象部分画像132を対象部分画像132aに画像変換し、通常画像用の逆変換フィルタ121によって逆変換処理をすることによって得ることができる。この場合、ビニング画像用の近似逆変換フィルタ122aを構成するフィルタ回路を、通常画像用の逆変換フィルタ121を構成するフィルタ回路とは別に装備する必要はないので、フィルタ処理を行う回路の規模の増大を抑制することができる。
なお、図10、11、12および14に示すように、フィルタ処理部143が有する逆変換フィルタはタップ数が5×5のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は3×3、15×15、21×21または5×3等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。
また、逆変換フィルタは、例えば15×15以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。
また、フィルタ処理部143は、逆変換フィルタによって逆変換処理をするものとしたが、これに限定されるものではなく、その他の機能を有するフィルタとしてもよく、この場合も上述の回路の規模の増大を抑制する効果を奏する。その他の機能を有するフィルタとしては、例えば、平滑化フィルタまたはエッジ強調フィルタ等が挙げられる。
<撮像装置の動作の流れ>
図15は、第1の実施の形態の撮像装置における逆変換処理の動作を示すフローチャートである。図15を参照しながら、本実施の形態の撮像装置1の動作の流れについて説明する。
<<ステップS1>>
撮像素子12は、撮像素子制御部13から受信する制御信号を受信している場合、動作モードをビニングモードに切り替え、受信していない場合、動作モードを通常モードに切り替える。ビニングモードである場合(ステップS1:Yes)、ステップS2へ進み、そうでない場合(ステップS1:No)、ステップS4へ進む。
<<ステップS2>>
撮像素子12は、ビニングモードの場合、検出した通常画像(図5の検出画像101に相当)をY方向において半分の大きさに圧縮したビニング画像を出力する画像処理部14の画像バッファ部141は、撮像素子12から出力されるビニング画像の画素を順に入力してバッファリングする。そして、ステップS3へ進む。
<<ステップS3>>
画像処理部14の画像変換部142は、ビニングモードの場合、画像バッファ部141から出力されたビニング画像の部分(図9のビニング部分画像111に相当)を、通常画像の部分と同じ大きさの擬似部分画像(図9の擬似部分画像111aに相当)に変換して出力する。そして、ステップS5へ進む。
<<ステップS4>>
撮像素子12は、通常モードの場合、検出した通常画像について何も処理せずに通常画像として出力する。画像処理部14の画像バッファ部141は、撮像素子12から出力される通常画像の画素を順に入力してバッファリングする。画像処理部14の画像変換部142は、画像バッファ部141から出力された通常画像の画素を、画像変換せずにそのまま通常画像の画素として出力する。そして、ステップS5へ進む。
<<ステップS5>>
画像処理部14のフィルタ処理部143は、画像変換部142から出力される画像の対象部分画像(図12の対象部分画像131および図14の対象部分画像132a)の画素に基づいて、コンボリューション演算による逆変換処理を行う。具体的には、フィルタ処理部143は、対象部分画像の画素と、通常画像用の逆変換フィルタ(図11、12および14の逆変換フィルタ121に相当)とのコンボリューション演算を行う。そして、ステップS6へ進む。
<<ステップS6>>
フィルタ処理部143は、ステップS5においてコンボリューション演算した値を、出力部1448から出力する。そして、ステップS7へ進む。
<<ステップS7>>
撮像素子12から出力された画像の全ての画素に対してフィルタ処理部143による逆変換処理が終了していない場合(ステップS7:No)、次の画素に対する逆変換処理のためステップS5へ戻る。撮像素子12から出力された画像の全ての画素に対してフィルタ処理部143による逆変換処理が終了した場合(ステップS7:Yes)、1フレーム(1画像)分の画素について逆変換処理が完了したものとして処理を終了する。そして、次フレームに対する処理を実行する。
(第2の実施の形態)
第2の実施の形態に係る撮像システムについて、第1の実施の形態に係る撮像システム500の構成および動作と相違する点を中心に説明する。
本実施の形態に係る撮像システムの全体構成、情報処理装置(PC2)の構成および撮像装置1の構成は、第1の実施の形態と同様であるので説明を省略する。
<画像処理部の構成および動作>
図16は、第2の実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図16を参照しながら、本実施の形態の撮像装置1の画像処理部14の構成について説明する。
図16に示すように、本実施の形態の画像処理部14は、画像バッファ部141と、画像変換部142a(画像変換手段)と、フィルタ処理部143とを備えている。図16に示す撮像素子12、撮像素子制御部13、画像バッファ部141およびフィルタ処理部143は、図4に示した第1の実施の形態のものと同様であるので、同一符号を付し、説明を省略する。
画像変換部142aは、撮像素子制御部13から受信する制御信号に基づいて、動作モードを通常モードまたはビニングモードに切り替える。ビニングモードの場合、画像変換部142aは、画像バッファ部141から出力されたビニング画像の部分を、通常画像の部分と同じ大きさの擬似部分画像に変換して出力する。一方、通常モードの場合、画像変換部142aは、画像バッファ部141から出力された通常画像の画素を、画像変換せずにそのまま通常画像の画素として出力する。画像変換部142aの具体的な構成および動作については、図17および18において後述する。
<<画像変換部142aの構成および動作>>
図17は、第2の実施の形態の画像処理部の画像変換部の構成の一例を示す図である。図18は、第2の実施の形態の画像変換部によってビニング部分画像から変換される擬似部分画像の一例を示す図である。図17および18を参照しながら、画像処理部14の画像変換部142aの構成および動作について説明する。
画像変換部142aは、図17に示すように、出力切替器1424a〜1424eを備えている。画像変換部142aは、画像バッファ部141から出力される画素を入力部1421a〜1421eから入力し、変換した画素を出力部1426a〜1426eから出力する。
出力切替器1424a〜1424eは、撮像素子制御部13からの制御信号を入力している場合、「1」端子に入力されたデータを出力し、制御信号を入力していない場合、「0」端子に入力されたデータを出力する回路である。
図17に示すように、撮像素子制御部13は、出力切替器1424a〜1424eの入力側にそれぞれ接続されており、PC2から通信部15を介して受信した制御信号を入力させる。入力部1421aは、出力切替器1424aの入力側の「0」端子に接続されている。入力部1421bは、出力切替器1424aの入力側の「1」端子、ならびに出力切替器1424bの入力側の「0」端子および「1」端子にそれぞれ接続されている。入力部1421cは、出力切替器1424cの入力側の「0」端子および「1」端子、ならびに出力切替器1424dの入力側の「1」端子にそれぞれ接続されている。入力部1421dは、出力切替器1424dの入力側の「0」端子、および出力切替器1424eの入力側の「1」端子にそれぞれ接続されている。入力部1421eは、出力切替器1424eの入力側の「0」端子に接続されている。出力切替器1424a〜1424eの出力側は、それぞれ出力部1426a〜1426eに接続されている。
次に、図17および18を参照しながら、画像変換部142aにおける画像変換処理について説明する。まず、通常モードにおける画像変換部142aの処理について説明する。画像変換部142aは、撮像素子制御部13から制御信号を受信していない場合、通常モードで動作する。具体的には、通常モードにおいて、出力切替器1424a〜1424eは、入力側に撮像素子制御部13からの制御信号が入力されておらず、入力側の「0」端子に入力された画素を出力する。
画像変換部142において、入力部1421a〜1421eのそれぞれから入力された画素は、出力切替器1424a〜1424eの入力側の「0」端子に入力される。出力切替器1424a〜1424eは、それぞれ入力側の「0」端子から入力された画素を出力する。出力切替器1424a〜1424eから出力された画素は、それぞれ出力部1426a〜1426eから出力される。すなわち、画像変換部142aは、入力部1421a〜1421eから入力した通常画像の画素を画像変換せずに、そのまま出力部1426a〜1426eから出力する。
次に、ビニングモードにおける画像変換部142aの処理について説明する。画像変換部142aは、撮像素子制御部13から制御信号を受信していない場合、ビニングモードで動作する。具体的には、ビニングモードにおいて、出力切替器1424a〜1424eは、入力側に撮像素子制御部13からの制御信号が入力されており、入力側の「1」端子に入力されたデータを出力する。
画像変換部142aにおいて、入力部1421aから入力された画素は、出力切替器1424aの入力側の「0」端子に入力される。入力部1421bから入力された画素は、出力切替器1424aの入力側の「1」端子、ならびに出力切替器1424bの入力側の「0」端子および「1」端子に入力される。入力部1421cから入力された画素は、出力切替器1424cの入力側の「0」端子および「1」端子、ならびに出力切替器1424dの入力側の「1」端子に入力される。入力部1421dから入力された画素は、出力切替器1424dの入力側の「0」端子、および出力切替器1424eの入力側の「1」端子に入力される。入力部1421eから入力された画素は、出力切替器1424eの入力側の「0」端子に入力される。
出力切替器1424aは、入力部1421bから入力した画素を出力する。出力切替器1424bは、入力部1421bから入力した画素を出力する。出力切替器1424cは、入力部1421cから入力した画素を出力する。出力切替器1424dは、入力部1421cから入力した画素を出力する。出力切替器1424eは、入力部1421dから入力した画素を出力する。
以上の動作により、図18に示したビニング部分画像112の画素が、画像変換部142aの入力部1421b〜1421dに入力された場合、出力部1426a〜1426eから擬似部分画像112aの画素が出力される。例えば、ビニング部分画像112のうち画素B11、B21およびB31が、それぞれ入力部1421b〜1421dに入力されたとする。この場合、擬似部分画像112aにおける画素B11、B11、B21、B21およびB31が、それぞれ出力部1426a〜1426eから出力される。画像変換部142aは、図18に示すように、5×3のマトリックス状に配列された画素により構成されるビニング部分画像112を5×5のマトリックス状に配列された画素により構成される擬似部分画像112aにY方向に拡張して画像変換する。ここで、擬似部分画像112aを構成する画素のうち、出力部1426bから出力される画素は、出力部1426aから出力される画素としている。同様に、擬似部分画像112aを構成する画素のうち、出力部1426dから出力される画素は、出力部1426cから出力される画素としている。
なお、図17は画像変換部142aの構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像変換部142aの画像変換処理と同様の作用を奏する構成であればよい。
<<フィルタ処理部143の動作>>
図19は、第2の実施の形態におけるビニング画像の対象部分画像と擬似部分画像とを逆変換フィルタによってフィルタ処理することを説明する図である。図19を参照しながら、画像処理部14のフィルタ処理部143の逆変換処理について説明する。
通常モードにおけるフィルタ処理部143の逆変換処理については、図11〜13に示した第1の実施の形態の逆変換処理と同様であるので、説明を省略する。
次に、ビニングモードにおけるフィルタ処理部143の逆変換処理について説明する。ビニングモードにおいては、図5において上述したように、撮像素子12は、通常画像をY方向において半分の大きさに圧縮したビニング画像を出力する。したがって、通常画像とビニング画像とでは、構成する画素の値も異なることになり、通常は図11に示すように、通常画像用の逆変換フィルタ121のフィルタ係数とは異なるビニング画像用の逆変換フィルタ122が必要になるのは上述の通りである。
ビニング画像は、通常画像をY方向において半分の大きさに圧縮した画像なので、逆変換フィルタ122として、例えば、図19(a)に示すように、逆変換フィルタ121のフィルタ係数を利用した近似逆変換フィルタ122bが考えられる。例えば、逆変換フィルタ121の1列目のフィルタ係数a11、a21、a31、a41およびa51から、近似逆変換フィルタ122bの1列目のフィルタ係数をa11+a21、a31+a41およびa51とする。近似逆変換フィルタ122bのその他の列のフィルタ係数も同様に算出してもとめる。ただし、上述のように近似逆変換フィルタ122bのフィルタ係数を算出した結果、近似逆変換フィルタ122bはタップ数が5×3のフィルタとなる。したがって、近似逆変換フィルタ122bによってコンボリューション演算の対象となるビニング画像の部分画像も、図19(a)に示すように、5×3の対象部分画像132とする。図19(a)に示すように、対象部分画像132に対して近似逆変換フィルタ122bによってコンボリューション演算を行った場合の演算値は、式(4)で示される。このように、ビニング画像は、逆変換フィルタ121とは異なるビニング画像用の近似逆変換フィルタ122bによって逆変換処理をすることによってぼけた画像を補正することができる。
しかし、図17および18で上述したように、本実施の形態の撮像装置1において、画像変換部142aは、ビニング部分画像112をY方向に拡張した擬似部分画像112aに画像変換するものとしている。すなわち、図19においては、画像変換部142aは、対象部分画像132を、擬似部分画像である5×5の対象部分画像132bに画像変換する。そして、フィルタ処理部143は、画素B23を中央データとする対象部分画像132bに対して、通常画像用の逆変換フィルタ121をそのまま利用してコンボリューション演算し、図19(b)の式(5)に示す演算値を得る。その結果、擬似部分画像である対象部分画像132bに対して逆変換フィルタ121によって逆変換処理をした式(5)に示す演算値は、対象部分画像132に対して近似逆変換フィルタ122bよって逆変換処理をした式(5)に示す演算値と同一になる。
以上のように、ビニング画像用の近似逆変換フィルタ122bによって逆変換処理をする場合の効果を、対象部分画像132を対象部分画像132bに画像変換し、通常画像用の逆変換フィルタ121によって逆変換処理をすることによって得ることができる。この場合、ビニング画像用の近似逆変換フィルタ122bを構成するフィルタ回路を、通常画像用の逆変換フィルタ121を構成するフィルタ回路とは別に装備する必要はないので、フィルタ処理を行う回路の規模の増大を抑制することができる。
また、図17に示すように、本実施の形態の画像変換部142aは、ビニング部分画像112から擬似部分画像112aに画像変換する回路構成について、第1の実施の形態の画像変換部142と比較して、部品点数を少なくし、簡易な構成とすることができる。
1 撮像装置
2 PC
3 通信ケーブル
4 被写体
11 レンズユニット
11a 位相板
11b 絞り
12 撮像素子
13 撮像素子制御部
14 画像処理部
15 通信部
21 通信部
22 操作部
23 表示部
24 記憶部
25 外部記憶装置
26 制御部
27 バス
101 検出画像
102 検出部分画像
103a、103b 出力部分画像
105 通常画像
111 ビニング部分画像
111a 擬似部分画像
112 ビニング部分画像
112a 擬似部分画像
121 逆変換フィルタ
122 逆変換フィルタ
122a、122b 近似逆変換フィルタ
131、131a〜131f 対象部分画像
132、132a、132b 対象部分画像
135a〜135f 中央データ
141 画像バッファ部
142、142a 画像変換部
143 フィルタ処理部
500 撮像システム
1410 入力部
1411a〜1411d レジスタ
1412a〜1412d ラインバッファ
1413a〜1413e 出力部
1421a〜1421e 入力部
1422a、1422b 加算器
1423a、1423b 乗算器
1424a〜1424e 出力切替器
1425a〜1425e 出力部
1426a〜1426e 出力部
1431a〜1431e 入力部
1432a〜1432e レジスタ
1433a〜1433e レジスタ
1434a〜1434e レジスタ
1435a〜1435e レジスタ
1436a〜1436e レジスタ
1437a〜1437e レジスタ
1438a〜1438e 乗算器
1439a〜1439e 乗算器
1440a〜1440e 乗算器
1441a〜1441e 乗算器
1442a〜1442e 乗算器
1443a〜1443e 加算器
1444a〜1444e 加算器
1445a〜1445e 加算器
1446a〜1446e 加算器
1447a〜1447c 加算器
1448 出力部
A フレーム開始期間
B 水平ブランキング期間
C フレーム終了期間
D 垂直ブランキング期間
T 有効データ期間
特開2009−89082号公報

Claims (11)

  1. 被写体を撮像し、複数の画素として出力する撮像手段から出力される通常画像と、該通常画像において所定方向に隣接した所定数の前記画素の加算値を1つの画素として前記撮像手段から出力されるビニング画像とをフィルタ処理する画像処理装置であって、
    前記通常画像の前記フィルタ処理に使用されるフィルタのタップ数に対応する大きさと等しい大きさになるように、前記ビニング画像において前記フィルタ処理の対象となる部分画像を前記所定方向に拡張した擬似部分画像に変換する画像変換手段と、
    前記フィルタを使用して、前記擬似部分画像に対して前記フィルタ処理を行うフィルタ処理手段と、
    を備える画像処理装置。
  2. 前記画像変換手段は、前記通常画像の前記所定方向に隣接した2つの前記画素の加算値を1つの画素とした前記ビニング画像の部分画像から、前記所定方向の隣接する前記画素の平均値を、隣接する前記画素の間に配置して前記擬似部分画像に変換する請求項1に記載の画像処理装置。
  3. 前記画像変換手段は、前記通常画像の前記所定方向に隣接した2つの前記画素の加算値を1つの画素とした前記ビニング画像の部分画像から、少なくとも前記所定方向に隣接する前記画素のうち一方の前記画素と同一の画素を、隣接する前記画素の間に配置して前記擬似部分画像に変換する請求項1に記載の画像処理装置。
  4. 前記フィルタ処理手段は、前記通常画像の部分画像および前記擬似部分画像の前記各画素と、前記フィルタのフィルタ係数とのコンボリューション演算によって前記フィルタ処理を行う請求項1〜3のいずれか一項に記載の画像処理装置。
  5. 前記画像変換手段は、
    前記ビニング画像を入力するビニングモードにおいては、前記ビニング画像の部分画像から前記擬似部分画像に変換して前記フィルタ処理手段に出力し、
    前記通常画像を入力する通常モードにおいては、前記通常画像の部分画像をそのまま前記フィルタ処理手段に出力する請求項1〜4のいずれか一項に記載の画像処理装置。
  6. 前記フィルタ処理手段は、前記フィルタとして、前記通常画像に与えられた点像分布関数の逆変換処理を行うための逆変換フィルタを使用し、前記通常画像の部分画像および前記擬似部分画像に対して前記フィルタ処理を行う請求項1〜5のいずれか一項に記載の画像処理装置。
  7. 前記逆変換フィルタは、タップ数が15×15の大きさ以上のフィルタである請求項6に記載の画像処理装置。
  8. 被写体から出る光を集光する光学系と、
    該光学系によって集光された前記光を前記画素に変換して画像を生成する前記撮像手段と、
    請求項1〜7のいずれか一項に記載の画像処理装置と、
    を備える撮像装置。
  9. 被写体から出る光を集光する光学系と、
    該光学系によって集光された前記光を前記画素に変換して画像を生成する前記撮像手段と、
    請求項5に記載の画像処理装置と、
    動作モードを前記ビニングモードまたは前記通常モードに切り替える制御信号を前記撮像手段および前記画像処理装置に出力し、前記ビニングモードにおいては、前記撮像手段に前記ビニング画像を生成させ、前記通常モードにおいては、前記撮像手段に前記通常画像を生成させる制御手段と、
    を備える撮像装置。
  10. 被写体から出る光を集光する光学系と、
    該光学系によって集光された前記光の被写界深度を拡張して点像分布関数を与える被写界深度拡張手段と、
    該被写界深度が拡張した前記光を前記画素に変換して画像を生成する前記撮像手段と、
    請求項6または7に記載の画像処理装置と、
    を備える撮像装置。
  11. 請求項8〜10のいずれか一項に記載の撮像装置と、
    該撮像装置から前記フィルタ処理が行われた前記画像を受信する通信手段と、該画像を表示する表示手段とを備える情報処理装置と、
    を備える撮像システム。
JP2013130053A 2013-06-20 2013-06-20 画像処理装置、撮像装置および撮像システム Pending JP2015005881A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013130053A JP2015005881A (ja) 2013-06-20 2013-06-20 画像処理装置、撮像装置および撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013130053A JP2015005881A (ja) 2013-06-20 2013-06-20 画像処理装置、撮像装置および撮像システム

Publications (1)

Publication Number Publication Date
JP2015005881A true JP2015005881A (ja) 2015-01-08

Family

ID=52301437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013130053A Pending JP2015005881A (ja) 2013-06-20 2013-06-20 画像処理装置、撮像装置および撮像システム

Country Status (1)

Country Link
JP (1) JP2015005881A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374568B2 (en) 2013-09-30 2016-06-21 Ricoh Company, Ltd. Image processing apparatus, imaging apparatus, and image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359785A (ja) * 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2006279359A (ja) * 2005-03-29 2006-10-12 Casio Comput Co Ltd 電子カメラ及び撮像制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359785A (ja) * 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2006279359A (ja) * 2005-03-29 2006-10-12 Casio Comput Co Ltd 電子カメラ及び撮像制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374568B2 (en) 2013-09-30 2016-06-21 Ricoh Company, Ltd. Image processing apparatus, imaging apparatus, and image processing method

Similar Documents

Publication Publication Date Title
US9363493B2 (en) Image processing apparatus, method, recording medium and image pickup apparatus
JP2015165610A (ja) 撮像装置、撮像システムおよび撮像方法
JP6236908B2 (ja) 撮像装置、撮像システムおよび撮像方法
US9906732B2 (en) Image processing device, image capture device, image processing method, and program
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP2015219754A (ja) 撮像装置および撮像方法
US8264587B2 (en) Increasing frame rate for imaging
US10154205B2 (en) Electronic device and image processing method thereof
JP2009100407A (ja) 画像処理装置及びその方法
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
JP2015005881A (ja) 画像処理装置、撮像装置および撮像システム
KR101437911B1 (ko) 다이나믹 영역 확장 방법 및 장치
JP6318520B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP6291795B2 (ja) 撮像システムおよび撮像方法
JP2015070529A (ja) 画像処理装置、撮像装置および画像処理方法
JP2015211401A (ja) 撮像装置および撮像方法
JP2016005080A (ja) 撮像装置、撮像システムおよび撮像方法
JP2015211357A (ja) 撮像装置および撮像方法
CN109196857B (zh) 成像元件及摄像装置
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2011114537A (ja) 画像処理装置
JP2015216544A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170815