JP2014099714A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2014099714A JP2014099714A JP2012249557A JP2012249557A JP2014099714A JP 2014099714 A JP2014099714 A JP 2014099714A JP 2012249557 A JP2012249557 A JP 2012249557A JP 2012249557 A JP2012249557 A JP 2012249557A JP 2014099714 A JP2014099714 A JP 2014099714A
- Authority
- JP
- Japan
- Prior art keywords
- distortion correction
- correction processing
- horizontal
- image
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 373
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003384 imaging method Methods 0.000 title description 35
- 238000012937 correction Methods 0.000 claims abstract description 502
- 230000015654 memory Effects 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims description 101
- 230000008569 process Effects 0.000 claims description 91
- 230000001934 delay Effects 0.000 claims description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000005096 rolling process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】入力画像に対する水平方向の歪補正処理期間の開始から最終的な補正画像を得るまでの遅延を小さくする。
【解決手段】 水平歪補正処理部が、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行い、この水平歪補正処理部による水平方向の歪補正処理の結果をメモリに順次保存する。次に、垂直歪補正処理部が、水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて上記メモリから水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する。
【選択図】図2
【解決手段】 水平歪補正処理部が、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行い、この水平歪補正処理部による水平方向の歪補正処理の結果をメモリに順次保存する。次に、垂直歪補正処理部が、水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて上記メモリから水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する。
【選択図】図2
Description
本開示は、ビデオカメラやデジタルスチルカメラなどに適用される画像処理装置、撮像装置、画像処理方法及びプログラムに関するものである。
従来、ビデオカメラやデジタルスチルカメラ、あるいは銀塩カメラなどにより撮像された画像においては、撮像レンズの歪曲収差特性の影響により歪みが生じていた。また、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサでは、ローリングシャッタ方式による信号電荷の蓄積及び読み出しが行われるので、被写体が高速に移動すると画像が歪むという問題が発生する。
通常、入力画像に対して垂直方向の歪補正処理をする際、タップ数の多いフィルタを用いる場合や垂直方向の移動量が多い画像の場合では、大量のデータ処理を必要とするためにフレームメモリが用いられる。
以下、従来の歪補正処理について図面を参照して説明する。図1は、従来の歪補正処理についての説明図である。
従来の歪補正回路は、入力された画像200の上端の行から下端の行まで歪補正テーブルを参照して水平方向に歪補正処理(ラスター処理)を行い、その結果をフレームメモリに蓄積する。そして、1フレーム分の画像の水平方向の歪補正結果が得られた後、画像の上端の行から下端の行まで順に垂直方向に読み出し、歪補正テーブルを参照して垂直方向の歪補正を行う。このとき、例えば1行の画素行を所定数の画素ごとに分割し、この所定数の画素単位で垂直方向の歪補正処理(短冊処理)を実施する。
従来の歪補正回路は、入力された画像200の上端の行から下端の行まで歪補正テーブルを参照して水平方向に歪補正処理(ラスター処理)を行い、その結果をフレームメモリに蓄積する。そして、1フレーム分の画像の水平方向の歪補正結果が得られた後、画像の上端の行から下端の行まで順に垂直方向に読み出し、歪補正テーブルを参照して垂直方向の歪補正を行う。このとき、例えば1行の画素行を所定数の画素ごとに分割し、この所定数の画素単位で垂直方向の歪補正処理(短冊処理)を実施する。
図2は、図1に示した歪補正処理のタイミングチャートである。
1/60秒周期のイメージセンサ用の同期信号(2−1)に応じて、イメージセンサの露光を行う。また、図示しないCPU(Central Processing Unit)が撮像レンズのレンズ情報(歪補正に用いるテーブル)を取得する(2−2)。図2の例では、イメージセンサから順次出力される第1〜第3の画像に関わる期間をそれぞれ、(1)、(2)及び(3)と表記している。
1/60秒周期のイメージセンサ用の同期信号(2−1)に応じて、イメージセンサの露光を行う。また、図示しないCPU(Central Processing Unit)が撮像レンズのレンズ情報(歪補正に用いるテーブル)を取得する(2−2)。図2の例では、イメージセンサから順次出力される第1〜第3の画像に関わる期間をそれぞれ、(1)、(2)及び(3)と表記している。
イメージセンサの露光及びCPUによるレンズ情報の取得が行われた後、歪補正回路は、水平方向の歪補正処理用の同期信号(2−3)に応じて、CPUから水平歪補正処理用の歪補正データの受信及び設定(2−4)を行う。以下、水平方向の歪補正処理を「水平歪補正処理」と表記することがある。その後、イメージセンサから画像が出力され、この画像に水平歪補正処理が順次行われ(2−5)、水平歪補正処理がなされた画像(以下、「水平補正画像」という。)がメモリへ順次書き込まれる(2−6)。
水平歪補正処理が終了後、歪補正回路は、垂直方向の歪補正処理用の同期信号(2−7)に応じて、CPUから垂直歪補正処理用の歪補正データの受信及び設定を行う(2−8)。以下、垂直方向の歪補正処理を「垂直歪補正処理」と表記することがある。その後、垂直歪補正処理用の同期信号に応じて、メモリから水平歪補正が行われた画像の上端の行から下端の行まで順に垂直方向に読み出して、垂直歪補正処理を行う(2−9)。そして、垂直歪補正処理がなされた画像(補正画像)をメモリへ書き込む(2−10)。
その後、歪補正回路は、垂直歪補正処理用の同期信号に応じて、補正画像をメモリから読み出し、外部へ出力する(2−11)。
例えば、特許文献1には、水平方向の歪補正処理後に垂直方向の歪補正処理を行う画像処理装置が提案されている。この特許文献1に記載された画像処理装置では、水平1次元補間部により、歪みを持った原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて1次元補間演算を施すことにより、水平方向における歪みを補正する。さらに、水平方向における補正により得られた画像に対し、該原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた1次元補間演算を施すことにより、該原画像の垂直方向における歪みを補正する。
しかし、上記の方法では、画像のすべての行に対する水平歪補正処理が完了した後に垂直歪補正処理を行っているため、図2に示したように、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでに、2フレーム分の遅延が発生する。このような遅延は、低処理遅延を要求されるスポーツ中継用などの高性能のビデオカメラや、危険監視用途のセキュリティカメラなどでは好ましくない。
以上の状況から、入力画像に対する水平方向の歪補正処理期間の開始から最終的な補正画像を得るまでの遅延を小さくする手法が要望されていた。
本開示では、水平歪補正処理部が、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行い、この水平歪補正処理部による水平方向の歪補正処理の結果をメモリに順次保存する。次に、垂直歪補正処理部が、水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて上記メモリから水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する。
本開示の構成によれば、入力画像全体の水平歪補正処理が完了する前に垂直歪補正処理を開始することができる。その結果、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでの遅延を、従来と比べて小さくすることができる。
本開示によれば、水平方向の歪補正処理期間の開始から最終的な補正画像を得るまでの遅延を小さくすることができる。
以下、本開示を実施するための形態(以下、実施の形態という)の例について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。説明は以下の順序で行う。
1.一実施の形態(画面を複数の領域に分割し、水平歪補正処理が完了した領域から垂直歪補正処理を開始する例)
2.その他(変形例)
1.一実施の形態(画面を複数の領域に分割し、水平歪補正処理が完了した領域から垂直歪補正処理を開始する例)
2.その他(変形例)
<1.一実施の形態>
[概要]
本開示の一実施の形態に係る歪補正処理の概要を、図3及び図4を参照して説明する。
図3は、本開示の一実施の形態に係る歪補正処理についての説明図であり、図3Aは入力画像の上半分の歪補正処理、図3Bは入力画像の下半分の歪補正処理についての説明図である。
図4は、本開示の一実施の形態に係る歪補正処理時の、補正処理入力画像と補正処理出力画像の説明図であり、図4Aは入力画像の上半分の歪補正処理時、図4Bは入力画像の下半分の歪補正処理時の説明図である。
[概要]
本開示の一実施の形態に係る歪補正処理の概要を、図3及び図4を参照して説明する。
図3は、本開示の一実施の形態に係る歪補正処理についての説明図であり、図3Aは入力画像の上半分の歪補正処理、図3Bは入力画像の下半分の歪補正処理についての説明図である。
図4は、本開示の一実施の形態に係る歪補正処理時の、補正処理入力画像と補正処理出力画像の説明図であり、図4Aは入力画像の上半分の歪補正処理時、図4Bは入力画像の下半分の歪補正処理時の説明図である。
本開示は、入力画像の水平方向の歪補正処理が完了後、1フレーム分未満の所定時間遅延させて垂直方向の歪補正処理を行うものである。一例として、補正対象の画像を垂直方向に分割した複数の領域のうちの一の領域に対する水平方向の歪補正処理が完了後、一の領域に対する垂直方向の歪補正処理を開始する。図3及び図4では、入力された画像1を中心線cで上下(垂直方向)に2つの領域に分割し、それぞれについて水平方向及び垂直方向に歪補正処理を行う例を示している。
まず、補正対象の画像1の上端の行2U−1から下端の行2L−nまで水平方向に歪補正処理(ラスター処理)を行い、その結果を後述するメモリ50に蓄積していく。そして、上記の画像1に対して水平方向の歪補正処理を実行中に、画像1の上半分である第1の領域の水平方向の歪補正処理が完了したとき、第1の領域に対して垂直方向の歪補正処理を開始する。
ここでは、画像1の第1の領域の上端の行2U−1から下端の行2U−n、さらに該下端の行2U−nの1行下の行2U−mに対する水平方向の歪補正処理が完了したとき、第1の領域に対して垂直方向の歪補正処理を開始する。行2U−mは、画像1の下半分である第2の領域の上端の行2L−1に相当する。
垂直方向の歪補正処理では、1行の画素行を所定数の画素(画素群)を単位として分割し、この画素群単位で左端の列から順に垂直方向の歪補正処理(短冊処理)を行う。すなわち、画像1の第1の領域の左端における、該第1の領域の上端の行2U−1における画素群3U−1から該第1の領域の下端の行2U−nにおける画素群3U−n、その1行下の行2U−mにおける画素群3U−mに対して、垂直方向の歪み補正処理を行う。この垂直方向の歪補正処理を、第1の領域の左端の列の画素群から右端の列の画素群まで順次行う。
同様に、画像1の下半分である第2の領域の水平方向の歪補正処理が完了したとき、第2の領域に対して垂直方向の歪補正処理を開始する。すなわち、画像1の第2の領域の上端の行2L−1から該第2の領域の下端の行2L−nに対して、水平方向の歪補正処理を順次行い、下端の行2L−nに対する水平方向の歪補正処理が完了したとき、第2の領域に対して垂直方向の歪補正処理を開始する。そして、画像1の第2の領域の左端における、該第2の領域の上端の行2L−1の1行上の行2U−nにおける画素群3L−m、さらに該第2の領域の上端の行2L−1における画素群3L−1から下端の行2L−nにおける画素群3L−nに対して、垂直方向の歪み補正処理を行う。この垂直方向の歪補正処理を、第2の領域の左端の列の画素群から右端の列の画素群まで順次行う。
上記のとおり、画像1の第1の領域(上側)の歪補正処理では、第1の領域と、第2の領域(下側)に属しかつ第1の領域と連続する行2U−mを含む補正処理入力画像5Uに対して水平方向及び垂直方向の歪補正処理を行う。そして、出力する補正処理出力画像6Uでは拡張して処理した行2U−mを除外する(図4A)。
同様に、第2の領域の歪補正処理では、第2の領域と、第1の領域(下側)に属しかつ第2の領域と連続する行2U−nを含む補正処理入力画像5Lに対して水平方向及び垂直方向の歪補正処理を行う。そして、出力する補正処理出力画像6Lでは拡張して処理した行2U−nを除外する(図4B)。
これにより、画像1の第1の領域と第2の領域との間で、中心線c付近の歪補正結果の連続性を保つことができるので、高品質な補正画像が得られる。なお、この補正処理入力画像と補正処理出力画像との差分は、歪みの大きさ(撮像レンズの歪み特性)や歪みの精度等に応じて適宜調整することがより望ましい。
同様に、第2の領域の歪補正処理では、第2の領域と、第1の領域(下側)に属しかつ第2の領域と連続する行2U−nを含む補正処理入力画像5Lに対して水平方向及び垂直方向の歪補正処理を行う。そして、出力する補正処理出力画像6Lでは拡張して処理した行2U−nを除外する(図4B)。
これにより、画像1の第1の領域と第2の領域との間で、中心線c付近の歪補正結果の連続性を保つことができるので、高品質な補正画像が得られる。なお、この補正処理入力画像と補正処理出力画像との差分は、歪みの大きさ(撮像レンズの歪み特性)や歪みの精度等に応じて適宜調整することがより望ましい。
換言すると、本開示では、まず入力画像を分割した複数の領域に対し水平方向の歪補正処理を行う。次に、水平方向の歪補正処理が実施された一の領域(例えば第1の領域)に加え、該一の領域と連続しかつ該一の領域と隣接する領域(例えば第2の領域)に含まれる所定数の水平ラインを含む部分に対して垂直方向の歪補正処理を行う。そして、その垂直方向の歪補正処理を行った入力画像の一の領域のみを、補正画像として出力する。これにより、隣接する領域間において分割線(例えば中心線c)付近の歪補正結果の連続性を保つことができる。
[撮像装置]
次に、画像処理装置の一実施の形態例としての撮像装置の構成例について、図5を参照して説明する。
図5は、本開示の一実施の形態に係る撮像装置10の内部構成例を示すブロック図である。撮像装置10は、イメージセンサ30、信号処理回路40、メモリ50、及び制御部60を備えている。
次に、画像処理装置の一実施の形態例としての撮像装置の構成例について、図5を参照して説明する。
図5は、本開示の一実施の形態に係る撮像装置10の内部構成例を示すブロック図である。撮像装置10は、イメージセンサ30、信号処理回路40、メモリ50、及び制御部60を備えている。
イメージセンサ30は、CCD(Charge Coupled Devices)やCMOSイメージセンサ等が適用される撮像素子である。所定のシャッタ動作に従った領域単位、例えば行単位の順次読み出し処理が実行される。イメージセンサ30は、撮像装置10本体の同期信号に基づき、撮像レンズ20を介した入射光に応じて有効撮像領域の各画素のフォトダイオードを利用して電荷を蓄積し、蓄積電荷に基づくアナログの光電変換信号を出力する。該アナログの光電変換信号は、不図示のA/D変換器によりデジタルの信号に変換され、映像信号(画像)として信号処理回路40に供給される。なお、イメージセンサ30が、光電変換信号に対してアナログ/デジタル変換処理を行う構成としてもよい。
信号処理回路40は、イメージセンサ30から供給される映像信号(画像)に歪補正処理等の信号処理を施して外部へ出力する。
この信号処理回路40は、カメラ信号処理部41、歪補正処理部42、同期信号生成部43及び表示系処理部44のブロックを備え、各ブロックがバス45を介して相互にデータ通信可能に接続されている。
この信号処理回路40は、カメラ信号処理部41、歪補正処理部42、同期信号生成部43及び表示系処理部44のブロックを備え、各ブロックがバス45を介して相互にデータ通信可能に接続されている。
カメラ信号処理部41は、例えばイメージセンサ30から供給される映像信号(画像)に画素欠陥補正やシェーディング補正、ホワイトバランス調整、ニー補正、ガンマ補正などの処理を施し、出力画像を生成して出力する。通常、ニー補正やガンマ補正などの後では、ビット幅(ダイナミックレンジ)が圧縮されるので、これらの補正結果を使って歪補正処理を行うことにより、回路規模を小さく抑えられる。
歪補正処理部42は、カメラ信号処理部41から入力された映像信号による画像の歪みを補正する処理を行う。この処理については、後に詳細に説明する。
同期信号生成部43は、外部から供給されるクロック信号に応じて信号処理回路40内の各ブロックの制御や信号処理に用いられる同期信号を生成する。同期信号生成部43は、生成した同期信号を歪補正処理部42へ供給する。
表示系処理部44は、歪補正処理部42で歪補正処理された映像信号あるいはメモリ50に保存された映像信号を最終的な映像出力形式に変換して、表示装置70へ出力する。例えば、表示系処理部44はマトリクス回路を備え、映像信号に含まれる赤、緑、青の色データを、輝度信号Y、赤色差信号Cr、青色差信号Cbの形式に変換して出力する。表示装置70としては、液晶表示装置や有機EL表示装置などが用いられる。
同期信号生成部43は、外部から供給されるクロック信号に応じて信号処理回路40内の各ブロックの制御や信号処理に用いられる同期信号を生成する。同期信号生成部43は、生成した同期信号を歪補正処理部42へ供給する。
表示系処理部44は、歪補正処理部42で歪補正処理された映像信号あるいはメモリ50に保存された映像信号を最終的な映像出力形式に変換して、表示装置70へ出力する。例えば、表示系処理部44はマトリクス回路を備え、映像信号に含まれる赤、緑、青の色データを、輝度信号Y、赤色差信号Cr、青色差信号Cbの形式に変換して出力する。表示装置70としては、液晶表示装置や有機EL表示装置などが用いられる。
メモリ50は、信号処理回路40から出力されるデータの書き込み及び呼び出しが行われる記録部である。メモリ50は、後述するようにメモリ50−1とメモリ50−2(図6参照)を備えている。
制御部60は、例えばCPU(中央演算処理装置)61と、CPU61が実行するプログラム等を記憶するためのROM(Read Only Memory)62と、CPU61の作業領域として使用されるRAM(Random Access Memory)63とを有している。なお、ROM62としては、例えば、通常電気的に消去可能なプログラマブルROMを用いる。CPU61は、例えばバス45を通じて撮像装置10のイメージセンサ30、信号処理回路40、メモリ50と接続しており、各ブロックの制御を行う。CPU61は、外部から供給されるクロック信号に応じて動作する。
[歪補正処理部]
図6は、図5に示した信号処理回路40内の歪補正処理部42の内部構成例を示すブロック図である。
図6は、図5に示した信号処理回路40内の歪補正処理部42の内部構成例を示すブロック図である。
歪補正処理部42は、水平方向の歪補正処理を行う水平歪補正処理部42hと、垂直方向の歪補正処理を行う垂直歪補正処理部42vと、歪補正用同期信号生成部42TGを備えている。
水平歪補正処理部42hは、入力バッファ部421、水平歪補正部422、水平歪補正成分算出部423及び出力バッファ部424を備えている。
垂直歪補正処理部42vは、入力バッファ部425、垂直歪補正部426、垂直歪補正成分算出部427及び出力バッファ部428を備えている。
歪補正用同期信号生成部42TGには、カメラ信号処理部41及び同期信号生成部43から同期信号が供給される。歪補正用同期信号生成部42TGは、カメラ信号処理部41から供給される同期信号に基づいて水平方向の歪補正処理用の同期信号Shを生成し、水平歪補正処理部42hの各ブロックに供給する。また、同期信号生成部43から供給される同期信号に基づいて垂直方向の歪補正処理用の同期信号Svを生成し、垂直歪補正処理部42vの各ブロックに供給する。
本実施の形態では、垂直方向の歪補正処理用の同期信号Svは、水平方向の歪補正処理用の同期信号Shよりも1フレーム分未満の所定時間遅延している。これら水平方向及び垂直方向の歪補正処理用の同期信号Sh及びSvに応じて、水平歪補正処理部42h及び垂直歪補正処理部42vの各ブロックの処理が行われる。
垂直歪補正処理部42vは、入力バッファ部425、垂直歪補正部426、垂直歪補正成分算出部427及び出力バッファ部428を備えている。
歪補正用同期信号生成部42TGには、カメラ信号処理部41及び同期信号生成部43から同期信号が供給される。歪補正用同期信号生成部42TGは、カメラ信号処理部41から供給される同期信号に基づいて水平方向の歪補正処理用の同期信号Shを生成し、水平歪補正処理部42hの各ブロックに供給する。また、同期信号生成部43から供給される同期信号に基づいて垂直方向の歪補正処理用の同期信号Svを生成し、垂直歪補正処理部42vの各ブロックに供給する。
本実施の形態では、垂直方向の歪補正処理用の同期信号Svは、水平方向の歪補正処理用の同期信号Shよりも1フレーム分未満の所定時間遅延している。これら水平方向及び垂直方向の歪補正処理用の同期信号Sh及びSvに応じて、水平歪補正処理部42h及び垂直歪補正処理部42vの各ブロックの処理が行われる。
(水平歪補正処理部)
以下、水平歪補正処理部42hについて説明する。
入力バッファ部421は、カメラ信号処理部41から画像1の1水平ライン分の映像信号のデータを受信し、内部に備えるラインメモリに一時的に保存する。入力バッファ部421は、歪補正用同期信号生成部42TGから供給される水平歪補正処理用の同期信号Shに応じて、ラインメモリに一時的に保存された映像信号に係る画像の各行の画素データ、を水平歪補正部422へ順次出力する。なお、カメラ信号処理部41から順次出力される画素データの順番等が、バス45を流れるデータのデータ量が多いなどの理由によりばらつくことがある。入力バッファ部421がラインメモリを備えることにより、そのようなバラツキを吸収し、入力バッファ部421から水平歪補正部422へ画素データを所定順に出力することができる。
以下、水平歪補正処理部42hについて説明する。
入力バッファ部421は、カメラ信号処理部41から画像1の1水平ライン分の映像信号のデータを受信し、内部に備えるラインメモリに一時的に保存する。入力バッファ部421は、歪補正用同期信号生成部42TGから供給される水平歪補正処理用の同期信号Shに応じて、ラインメモリに一時的に保存された映像信号に係る画像の各行の画素データ、を水平歪補正部422へ順次出力する。なお、カメラ信号処理部41から順次出力される画素データの順番等が、バス45を流れるデータのデータ量が多いなどの理由によりばらつくことがある。入力バッファ部421がラインメモリを備えることにより、そのようなバラツキを吸収し、入力バッファ部421から水平歪補正部422へ画素データを所定順に出力することができる。
水平歪補正部422は、入力バッファ部421から供給される1フレーム分の映像信号に対し、水平歪補正処理用の同期信号Shに応じて、水平歪補正成分算出部423から供給される各画素の水平方向の歪補正データ(水平歪補正データ)に基づく水平歪補正処理(ラスター処理)を行う。水平歪補正部422による水平歪補正処理は、補正対象の画像1の上端の行2U−1から下端の行2L−nまでの各画素に行い(図3A参照)、その補正結果を出力バッファ部424に順次出力する。水平歪補正データは、歪みを持った原画像を構成する画素点における水平方向の補正量を示すパラメータである。
水平歪補正成分算出部423は、水平歪補正処理用の同期信号Shに応じて、CPU61から供給される撮像レンズ20のレンズ情報やその他の設定情報を取得し、内部のレジスタ等の記憶部に一時的に保存、設定する。そして、水平歪補正成分算出部423は、内部の記憶部に保存した情報に基づいて、1画素ごとの水平歪補正データを生成して水平歪補正部422へ供給する。
レンズ情報は、例えば画像1の垂直方向と水平方向を格子状に区切った格子点における歪補正データであり、例えば撮像レンズ20の歪曲収差特性及びその瞬間における撮像レンズ20のズーム位置等から求められる。一般に、光学ズーム機能においてワイドの向きに撮像レンズ20が移動すると画像に樽型歪みが生じ、テレの向きに撮像レンズ20が移動すると画像に糸巻き型歪みが発生する。歪補正データは、例えば画像1上の格子点と水平方向及び垂直方向の歪補正データ(補正値)を対応づけたテーブルとして、CPU61内部のレジスタやROM62等の記憶部に保存される。例えば、水平方向2048画素及び垂直方向1080画素の画像を各方向において10等分した場合、水平方向では約200画素、垂直方向では約100画素おきに格子点が存在する。
なお、CPU61から供給されるその他の設定情報としては、画像1の補正対象領域などがある。歪補正処理部42は、画像1のうちCPU61から指示された領域に対して、水平方向及び垂直方向の歪補正処理を行う。
なお、CPU61から供給されるその他の設定情報としては、画像1の補正対象領域などがある。歪補正処理部42は、画像1のうちCPU61から指示された領域に対して、水平方向及び垂直方向の歪補正処理を行う。
水平歪補正成分算出部423は、水平歪補正処理用の同期信号Shに基づいて補正対象の画素を決定する。そして、この画素の位置と同一又は近傍の格子点の水平方向の歪補正データ(補正値)をテーブルから読み出し、当該画素における水平歪補正データを算出する。
出力バッファ部424は、FIFO(First-In First-Out)メモリである。出力バッファ部424は、水平歪補正処理用の同期信号Shに応じて、水平歪補正部422で水平歪補正処理された水平補正映像信号が入力され、バッファ処理後に水平補正映像信号をメモリ50−1に書き込む。
メモリ50−1は、所定容量のフレームメモリで構成できる。メモリ50−1は、垂直歪補正処理用の同期信号Svに応じて、水平補正映像信号が所定の画素幅で垂直方向に読み出される。
(垂直歪補正処理部)
以下、垂直歪補正処理部42vについて説明する。
入力バッファ部425は、歪補正用同期信号生成部42TGから供給される垂直歪補正処理用の同期信号Svに応じて、メモリ50−1から水平補正映像信号を読み出し、内部に備えるラインメモリに一時的に保存する。入力バッファ部425は、本実施の形態に係る垂直方向の歪補正処理を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有すればよい。例えば、ライン数が少ないほど処理遅延が小さくなるが、垂直歪補正の効果も小さくなるので、ライン数を適宜設計することが望ましい。メモリ50−1の1ラインには、所定数の画素のデータ、例えば128画素分のデータが格納される。入力バッファ部425は、水平歪補正処理用の同期信号Shに応じて、ラインメモリに一時的に保存された映像信号に係る画像の各行の画素データを、垂直歪補正部426へ順次出力する。
以下、垂直歪補正処理部42vについて説明する。
入力バッファ部425は、歪補正用同期信号生成部42TGから供給される垂直歪補正処理用の同期信号Svに応じて、メモリ50−1から水平補正映像信号を読み出し、内部に備えるラインメモリに一時的に保存する。入力バッファ部425は、本実施の形態に係る垂直方向の歪補正処理を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有すればよい。例えば、ライン数が少ないほど処理遅延が小さくなるが、垂直歪補正の効果も小さくなるので、ライン数を適宜設計することが望ましい。メモリ50−1の1ラインには、所定数の画素のデータ、例えば128画素分のデータが格納される。入力バッファ部425は、水平歪補正処理用の同期信号Shに応じて、ラインメモリに一時的に保存された映像信号に係る画像の各行の画素データを、垂直歪補正部426へ順次出力する。
垂直歪補正部426は、入力バッファ部425から供給される映像信号に対し、垂直歪補正処理用の同期信号Svに応じて、垂直歪補正成分算出部427から供給される各画素の垂直方向の歪補正データ(垂直歪補正データ)に基づく垂直歪補正処理(短冊処理)を行う。垂直歪補正データは、歪みを持った原画像を構成する画素点における垂直方向の補正量を示すパラメータである。
垂直歪補正成分算出部427は、垂直歪補正処理用の同期信号Svに応じて、CPU61から供給される撮像レンズ20のレンズ情報(歪補正に用いるテーブル)やその他の設定情報を取得し、内部のレジスタ等の記憶部に一時的に保存、設定する。そして、垂直歪補正成分算出部427は、内部の記憶部に保存したテーブルの情報に基づいて、1画素ごとの垂直歪補正データを生成して垂直歪補正部426へ供給する。水平歪補正処理の場合と同様に、垂直歪補正成分算出部427は、垂直歪補正処理用の同期信号Svに基づいて補正対象の画素を決定する。そして、この画素の位置と同一又は近傍の格子点の垂直方向の歪補正データ(補正値)をテーブルから読み出し、当該画素における垂直歪補正データを算出する。
出力バッファ部428は、FIFO(First-In First-Out)メモリである。出力バッファ部428は、垂直歪補正処理用の同期信号Svに応じて、垂直歪補正部426で垂直歪補正処理された映像信号(補正映像信号)が入力され、バッファ処理後にこの補正映像信号をメモリ50−2に書き込む。
メモリ50−2は、所定容量のフレームメモリで構成される。撮像装置10本体の同期信号に応じて、メモリ50−2に保存された映像信号のデータがフレーム単位で読み出され、表示系処理部44へ供給される。
次に、上記のように構成された信号処理回路40による歪補正処理について、図7を参照して説明する。
図7は、本開示の一実施の形態に係る歪補正処理を示すフローチャートである。
図7は、本開示の一実施の形態に係る歪補正処理を示すフローチャートである。
まず、CPU61(図5参照)は、図示しないシャッタボタンや録画ボタンが押されたこと又はその他の撮影を指示する制御信号に従い、撮像装置10本体の同期信号に応じて、イメージセンサ30の各画素において露光を行う(ステップS1)。そして、イメージセンサ30は各画素から画素データを読み出す(ステップS2)。その後、イメージセンサ30の各画素から読み出された画素データに基づく映像信号(画像)が、信号処理回路40に入力される(ステップS3)。
この処理と並行して、CPU61は、撮像レンズ20のレンズデータ(歪曲収差特性及びズーム位置等)を取得し(ステップS4)、歪補正データの算出及び設定を行う(ステップS5)。そして、CPU61は、算出した歪補正データ(補正値)を含むテーブルを水平歪補正処理部42h及び垂直歪補正処理部42v(図6参照)へ供給する(ステップS3)。
次に、信号処理回路40のカメラ信号処理部41は、入力された映像信号(画像)に対して所定の信号処理を実行する(ステップS6)。そして、カメラ信号処理部41は、所定の信号処理を行った映像信号を歪補正処理部42の水平歪補正処理部42h(入力バッファ部421)に供給し、また上記の同期信号を歪補正処理部42の歪補正用同期信号生成部42TGに供給する(ステップS7)。
そして、水平歪補正処理部42hの水平歪補正成分算出部423は、歪補正用同期信号生成部42TGから供給される水平歪補正処理用の同期信号Svに応じて、CPU61から供給されるレンズ情報(歪補正に用いるテーブル)やその他の設定情報をレジスタ等の記憶部に保存する。そして、そのレンズ情報やその他の設定情報に基づいて、水平方向の歪補正処理に用いる1画素ごとの歪補正データをそれぞれ算出し、設定する。同様に、垂直歪補正処理部42vの垂直歪補正成分算出部427は、歪補正用同期信号生成部42TGから同期信号Shより1フレーム分未満の所定時間遅延させて供給される垂直歪補正処理用の同期信号Svに応じて、CPU61から供給されるレンズ情報やその他の設定情報をレジスタ等の記憶部に保存する。そして、垂直方向の歪補正処理に用いる1画素ごとの歪補正データをそれぞれ算出し、設定する(ステップS7)。
次に、水平歪補正部422は、水平歪補正処理用の同期信号Shに応じて、入力バッファ部421から供給される1フレーム分の映像信号に対し、水平歪補正成分算出部423から供給される各画素の水平歪補正データに基づく水平歪補正処理(ラスター処理)を行う(ステップS8)。その補正結果(水平補正映像信号のデータ)を、出力バッファ部424に順次出力する。この水平歪補正部422による水平歪補正処理は、1フレーム分の映像信号による画像の全画素に対する処理が完了するまで行われる。
出力バッファ部424は、水平歪補正処理用の同期信号Shに応じて、水平歪補正部422から入力された水平補正映像信号をメモリ50−1に順次書き込む(ステップS9)。
垂直歪補正処理部42vの入力バッファ部425は、垂直歪補正処理用の同期信号Svに応じて、メモリ50−1から水平補正映像信号のデータを順次読み出し、垂直歪補正部426へ供給する(ステップS10)。この垂直歪補正処理用の同期信号Svは、入力画像を垂直方向に分割した複数の領域のうちの一の領域に対する水平方向の歪補正処理が完了したとき、入力バッファ部425に供給される。
垂直歪補正部426は、垂直歪補正処理用の同期信号Svに応じて、入力バッファ部425から供給される上記入力画像の一の領域の映像信号に対し、垂直歪補正成分算出部427から供給される歪補正データに基づいて垂直歪補正処理(短冊処理)を行う(ステップS11)。この垂直歪補正処理の間、水平歪補正処理用の同期信号Shに応じて、水平歪補正処理部42hによる上記一の領域に隣接する領域の水平歪補正処理が行われている。
出力バッファ部428は、垂直歪補正処理用の同期信号Svに応じて、垂直歪補正部426から入力された上記入力画像の一の領域の補正映像信号のデータをメモリ50−2に順次書き込む(ステップS12)。
ここで、上記入力画像の一の領域に隣接する領域に対する水平歪補正処理が完了した場合、ステップS10に移行し、当該一の領域に隣接する領域に対し垂直歪補正部426による垂直歪補正処理が行われる。
入力画像のすべての領域すなわち全画素に対する垂直歪補正処理が終了した後、メモリ50−2から補正映像信号を読み出し(ステップS13)、例えば表示系処理部44へ出力する(ステップS14)。
[垂直歪補正処理のタイミング]
図8は、本開示の一実施の形態(図3参照)に係る歪補正処理のタイミングチャートである。なお、この例では、垂直歪補正処理の開始タイミングを、画像の分割領域の水平歪補正処理の完了時ではなく、水平歪補正処理の完了後の垂直歪補正処理用の同期信号Svに応じたタイミングとしている。
図8は、本開示の一実施の形態(図3参照)に係る歪補正処理のタイミングチャートである。なお、この例では、垂直歪補正処理の開始タイミングを、画像の分割領域の水平歪補正処理の完了時ではなく、水平歪補正処理の完了後の垂直歪補正処理用の同期信号Svに応じたタイミングとしている。
例えば1/60(最短1/62.5)秒周期のイメージセンサ30用の同期信号(8−1)に応じて、イメージセンサ30の露光を行う。また、CPU61が撮像レンズ20のレンズ情報(歪補正に用いるテーブル)等を取得する(8−2)。図8の例では、イメージセンサ30から順次出力される第1〜第3の画像に係わる期間をそれぞれ、(1)、(2)及び(3)と表記している。
イメージセンサ30の露光及びCPU61によるレンズ情報等の取得が行われた後、歪補正処理部42の水平歪補正処理部42hにより、水平歪補正処理用の同期信号Sh(8−3)に応じて、CPU61から水平歪補正処理用の歪補正データの受信及び設定が行われる(8−4)。その後、イメージセンサ30から画像が出力され、水平歪補正処理用の同期信号Shに応じて、この画像の各画素に水平歪補正処理が順次行われ(8−5)、水平歪補正処理がなされた画像(水平補正画像)がメモリ50−1へ順次書き込まれる(8−6)。
このとき、図3Aに示すように、補正対象の画像1の上端の行2U−1から下端の行2L−nまで水平方向に歪補正処理が行われ、その結果が水平歪補正処理用の同期信号Shに応じてメモリ50−1に蓄積されていく。そして、上記の画像1に対して画素行単位で歪補正処理を実行中に、画像1の上半分である第1の領域に加え、第2の領域に属しかつ第1の領域と連続する行に対する水平方向の歪補正処理が完了すると、その直後に、垂直歪補正処理用の同期信号Svに応じて、第1の領域に対する垂直方向の歪補正処理が開始される。
画像1の第1の領域に対する水平歪補正処理が完了後、垂直歪補正処理部42vにより、垂直歪補正処理用の同期信号Sv(8−7)に応じて、CPU61から垂直歪補正処理の歪補正データの受信及び設定が行われる(8−8)。ここでは、水平歪補正処理の歪補正データの設定が終了し、水平歪補正処理が開始されるタイミング(時刻t1)で、垂直歪補正処理の歪補正データの設定が開始される。第1の領域と第2の領域のそれぞれについて垂直歪補正処理の歪補正データを設定する。この垂直歪補正処理用の同期信号Svは、水平歪補正処理用の同期信号より遅延させた同期信号であって、周期は水平歪補正処理用の同期信号の半分(本例では1/120秒)である。
その1周期後(時刻t2)、垂直歪補正処理用の同期信号Svに応じて、メモリ50−1から、画像1の第1の領域の水平補正画像の上端の行2U−1における画素群3U−1から下端の行2L−nにおける画素群3L−n、さらに該下端の行2U−nの1行下の行2U−mにおける3U−mまで順に垂直方向に読み出されて、垂直歪補正処理が行われる。
さらに、画像1の下半分である第2の領域に対する水平方向の歪補正処理が完了すると、その直後に、垂直歪補正処理用の同期信号Svに応じて、第2の領域に対する垂直方向の歪補正処理が開始される。すなわち、時刻t2から1周期後(時刻t3)、メモリ50−1から、画像1の第2の領域の水平補正画像の上端の行2L−1の1行上の行2U−nにおける画素群3L−m、該第2の領域の上端の行2L−1における画素群3L−1から下端の行2L−nにおける画素群3L−nまで順に垂直方向に読み出されて、垂直歪補正処理が行われる(8−9)。
さらに、画像1の下半分である第2の領域に対する水平方向の歪補正処理が完了すると、その直後に、垂直歪補正処理用の同期信号Svに応じて、第2の領域に対する垂直方向の歪補正処理が開始される。すなわち、時刻t2から1周期後(時刻t3)、メモリ50−1から、画像1の第2の領域の水平補正画像の上端の行2L−1の1行上の行2U−nにおける画素群3L−m、該第2の領域の上端の行2L−1における画素群3L−1から下端の行2L−nにおける画素群3L−nまで順に垂直方向に読み出されて、垂直歪補正処理が行われる(8−9)。
画像1の第1の領域に対して垂直歪補正処理を実施した補正画像と、画像1の第2の領域に対して垂直歪補正処理を実施した補正画像は、垂直歪補正処理用の同期信号Svに応じて、順次メモリ50−2へ書き込まれる(8−10)。
その後、垂直歪補正処理部42vにより、垂直歪補正処理用の同期信号Svに応じて、第2の領域に対する垂直歪補正処理の開始タイミングから1周期後(時刻t4)、補正画像をメモリ50−2から読み出し、表示系処理部44へ出力する(8−11)。
歪補正処理部42によるこのような一連の歪補正処理を、第1の画像に続いて、第2の画像、第3の画像・・・と順次実行する。
上述した本実施の形態では、入力画像を垂直方向に2等分し、上側の領域に対する水平歪補正処理が完了したところで上側の領域に対する垂直歪補正処理を開始する構成となっている。すなわち、水平歪補正処理の開始後、1フレーム分未満の所定時間(上記の例では1/2フレーム)遅延させて垂直歪補正処理を開始する。それにより、入力画像全体の水平歪補正処理が完了する前に垂直歪補正処理を開始することができる。その結果、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでの遅延を、従来と比べて小さくすることができる。例えば、入力画像の上側の領域の水平歪補正処理が完了した時点で該上側の領域の垂直歪補正処理を開始する場合、水平歪補正処理期間の開始から垂直歪補正処理が完了して補正画像を得るまでの遅延をほぼ1.5フレーム分の時間に抑えられる。
また、本実施の形態では、垂直方向の歪補正処理を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有すればよく、多数のラインメモリを必要としない。
入力画像の第1の領域に加え、該第1の領域及び第2の領域で重複して処理される部分に対する水平歪補正処理にかかる時間が、垂直同期信号の半分より短い場合、図4に示すように、垂直歪補正処理開始の周期を水平歪補正処理開始の周期の半分としてもよい。このようにした場合、第1の領域の水平歪補正処理が完了したことを確認しなくてもよく、処理を簡素化できるので、回路規模の増大を抑えられる。
<2.その他>
なお、上述した実施の形態では、入力画像を垂直方向に2等分した例(図3及び図4参照)を説明したが、2等分でなくてもよい。例えば入力画像を垂直方向に3等分又はそれ以上の領域に等分してもよい。入力画像の分割した複数の領域の各々の領域に対する水平方向の歪補正処理が完了するごとに、当該水平方向の歪補正処理が完了した領域に対して垂直方向の歪補正処理を開始する。
なお、上述した実施の形態では、入力画像を垂直方向に2等分した例(図3及び図4参照)を説明したが、2等分でなくてもよい。例えば入力画像を垂直方向に3等分又はそれ以上の領域に等分してもよい。入力画像の分割した複数の領域の各々の領域に対する水平方向の歪補正処理が完了するごとに、当該水平方向の歪補正処理が完了した領域に対して垂直方向の歪補正処理を開始する。
例えば、入力画像を垂直方向に2等分した場合、画像中央部の歪みを精度よく補正することができる。
また、入力画像を垂直方向に3等分又はそれ以上に分割した場合、2等分の場合と比してより高速な処理が可能であるが、複数の分割領域で重複して処理される部分が増えるため処理画素数が増える。ただし、歪みが大きい撮像レンズや撮影条件、環境にある場合、入力画像を精度よく補正することができる。
また、入力画像を垂直方向に3等分又はそれ以上に分割した場合、2等分の場合と比してより高速な処理が可能であるが、複数の分割領域で重複して処理される部分が増えるため処理画素数が増える。ただし、歪みが大きい撮像レンズや撮影条件、環境にある場合、入力画像を精度よく補正することができる。
また、上述した実施の形態では、画像を垂直方向に2等分した例(図3及び図4参照)を説明したが、等分でなくてもよい。例えば、画像を垂直方向に2分割する場合、上側の領域を画像全体の1/3の領域、下側の領域を画像全体の2/3の領域とするなどのように不均等に分割してもよい。
ただし、高速な処理と処理画素数、歪みの補正精度のバランスをとるという観点から、1つの領域は、画像全体の1/3以上の大きさであることが望ましい。
ただし、高速な処理と処理画素数、歪みの補正精度のバランスをとるという観点から、1つの領域は、画像全体の1/3以上の大きさであることが望ましい。
また、上述した実施の形態において、入力バッファ部425内のラインメモリに、所定数の画素(例えば128画素)のデータを格納することで、垂直歪補正処理時に短冊処理を行う例を説明したが、この例に限られるものではない。入力バッファ部425内のラインメモリに制約がなければ、1ラインに1画素のデータを格納する構成としてもよい。この場合、より精細な垂直歪補正処理を実行することができるが、例えば垂直歪補正処理を開始する画素のアドレス分のデータ量が増大する。1画素や少ない画素単位で垂直歪補正処理を行うより、ある程度まとまった画素単位で垂直歪補正処理を行うほうが、処理効率がよく処理速度が速くなる。
また、歪補正処理の対象となる画像は、イメージセンサ30から出力される画像だけでなく、イメージセンサ30から出力されてフラッシュメモリ等の記録媒体に一旦保存された画像や、外部から受信して記録媒体に保存された画像なども含まれる。なお、この場合の記録媒体として、メモリ50を利用してもよい。
また、上述した実施の形態では、カメラ信号処理部41から供給される同期信号に基づいて水平歪補正処理用の同期信号Shを生成し、同期信号生成部43から供給される同期信号に基づいて垂直歪補正処理用の同期信号Svを生成する構成を例示(図6、図8参照)した。しかし、この構成に限られない。例えば、同期信号生成部43から供給される同期信号に基づいて、水平歪補正処理用の同期信号Shと、この同期信号より遅延するとともに周期が半分である垂直歪補正処理用の同期信号Svを生成してもよい。例えば、記録媒体に保存された画像の歪補正を行う場合、イメージセンサ30から出力される同期信号を利用できないが、このように構成することにより、同期信号生成部43から供給される同期信号を用いて垂直歪補正処理及び水平歪補正処理を行うことができる。
また、上述した実施の形態例におけるCPU61から歪補正処理部42に供給されるその他の設定情報として、手ぶれ補正機能の設定情報なども挙げられる。
また、上述した実施の形態は、ローリングシャッタ方式による画像の歪みに対する歪補正にも適用可能である。この場合、CPU61から供給される歪補正用のテーブルに、画像上の格子点とローリングシャッタ方式による水平方向及び垂直方向の歪みを補正するための歪補正データを対応づけて登録しておけばよい。また、撮像レンズによる歪みに対する補正量とローリングシャッタ方式による歪みに対する補正量の両方を反映した歪補正データを、画像上の格子点と対応づけてテーブルに登録してもよい。これにより、撮像レンズによる歪みとローリングシャッタ方式による歪みを合わせて補正することができる。
また、上術した実施の形態において、撮像装置10本体に撮像レンズ20が取り付けられている例を説明したが、撮像装置10本体に対して撮像レンズ20が着脱可能でもよい。
なお、本開示は以下のような構成も取ることができる。
(1)
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
画像処理装置。
(2)
前記垂直歪補正処理部は、前記入力画像を垂直方向に分割した複数の領域の各々の領域に対する前記水平歪補正処理部による前記水平方向の歪補正処理が完了するごとに、前記水平方向の歪補正処理が完了した領域に対して前記垂直方向の歪補正処理を開始する
請求項1に記載の画像処理装置。
(3)
前記複数の領域の各々は、前記入力画像の全体の3分の1以上の大きさである
請求項2に記載の画像処理装置。
(4)
前記垂直歪補正処理部は、前記入力画像を垂直方向に2等分した領域のうちの第1の領域に対する前記水平歪補正処理部による水平方向の歪補正処理が完了後、前記入力画像の第1の領域に対する垂直方向の歪補正処理を開始する
請求項2又は3に記載の画像処理装置。
(5)
前記水平歪補正処理部は、前記入力画像の一の領域に加え、該一の領域と連続しかつ該一の領域と隣接する領域に含まれる所定数の水平ラインを含む部分に対して水平方向の歪補正処理を行い、
前記垂直歪補正処理部は、前記水平方向の歪補正処理が実施された前記入力画像の一の領域及び前記所定数の水平ラインを含む補正処理入力画像に対して垂直方向の歪補正処理を行い、前記垂直方向の歪補正処理を行った前記入力画像の一の領域を補正処理出力画像として出力する
請求項2乃至4のいずれかに記載の画像処理装置。
(6)
イメージセンサと、
供給される同期信号に応じて、前記イメージセンサからの入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
撮像装置。
(7)
画像処理装置が備える水平歪補正処理部により、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行うことと、
前記水平歪補正処理部により、前記水平歪補正処理部による前記水平方向の歪補正処理の結果をメモリに順次保存することと、
前記画像処理装置が備える垂直歪補正処理部により、前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始すること
を含む画像処理方法。
(8)
コンピュータに、
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う手順と
前記水平方向の歪補正処理の結果をメモリに順次保存する手順と、
前記水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する手順を
実行させるためのプログラム。
(1)
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
画像処理装置。
(2)
前記垂直歪補正処理部は、前記入力画像を垂直方向に分割した複数の領域の各々の領域に対する前記水平歪補正処理部による前記水平方向の歪補正処理が完了するごとに、前記水平方向の歪補正処理が完了した領域に対して前記垂直方向の歪補正処理を開始する
請求項1に記載の画像処理装置。
(3)
前記複数の領域の各々は、前記入力画像の全体の3分の1以上の大きさである
請求項2に記載の画像処理装置。
(4)
前記垂直歪補正処理部は、前記入力画像を垂直方向に2等分した領域のうちの第1の領域に対する前記水平歪補正処理部による水平方向の歪補正処理が完了後、前記入力画像の第1の領域に対する垂直方向の歪補正処理を開始する
請求項2又は3に記載の画像処理装置。
(5)
前記水平歪補正処理部は、前記入力画像の一の領域に加え、該一の領域と連続しかつ該一の領域と隣接する領域に含まれる所定数の水平ラインを含む部分に対して水平方向の歪補正処理を行い、
前記垂直歪補正処理部は、前記水平方向の歪補正処理が実施された前記入力画像の一の領域及び前記所定数の水平ラインを含む補正処理入力画像に対して垂直方向の歪補正処理を行い、前記垂直方向の歪補正処理を行った前記入力画像の一の領域を補正処理出力画像として出力する
請求項2乃至4のいずれかに記載の画像処理装置。
(6)
イメージセンサと、
供給される同期信号に応じて、前記イメージセンサからの入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
撮像装置。
(7)
画像処理装置が備える水平歪補正処理部により、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行うことと、
前記水平歪補正処理部により、前記水平歪補正処理部による前記水平方向の歪補正処理の結果をメモリに順次保存することと、
前記画像処理装置が備える垂直歪補正処理部により、前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始すること
を含む画像処理方法。
(8)
コンピュータに、
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う手順と
前記水平方向の歪補正処理の結果をメモリに順次保存する手順と、
前記水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する手順を
実行させるためのプログラム。
[本開示の適用範囲の例]
なお、以上において説明したように、図5の撮像装置10は、画像の大局的な構造を抽出する画像処理を行う。このような画像処理により抽出された情報は、画質を向上させる処理などに利用することが可能であるため、画像の大局的な構造を抽出するブロックを実装する装置として、デジタルビデオカメラだけでなく他の装置にも適用することが可能である。例えば、そのような装置として、デジタルスチルカメラなどの撮像装置や、プリンタ、ディスプレイなどの表示装置等が考えられる。さらに、画像を加工したり、編集したりする装置やコンピュータプログラムにも応用することができる。
なお、以上において説明したように、図5の撮像装置10は、画像の大局的な構造を抽出する画像処理を行う。このような画像処理により抽出された情報は、画質を向上させる処理などに利用することが可能であるため、画像の大局的な構造を抽出するブロックを実装する装置として、デジタルビデオカメラだけでなく他の装置にも適用することが可能である。例えば、そのような装置として、デジタルスチルカメラなどの撮像装置や、プリンタ、ディスプレイなどの表示装置等が考えられる。さらに、画像を加工したり、編集したりする装置やコンピュータプログラムにも応用することができる。
[コンピュータのハードウェアの構成例]
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図9は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU101,ROM(Read Only Memory)102,RAM103は、バス104により相互に接続されている。
バス104には、さらに、入出力インターフェース105が接続されている。入出力インターフェース105には、キーボード、マウス、マイクロホンなどよりなる入力部106、ディスプレイ、スピーカなどよりなる出力部107、ハードディスクや不揮発性のメモリなどよりなる記録部108、ネットワークインターフェースなどよりなる通信部109、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111を駆動するドライブ110が接続されている。
以上のように構成されるコンピュータでは、CPU101が、例えば、記録部108に記録されているプログラムを、入出力インターフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU101)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア111に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インターフェース105を介して、記録部108にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記録部108にインストールすることができる。その他、プログラムは、ROM102や記録部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以上の説明で挙げた使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以上の説明で挙げた使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。
1…画像、 2U−1,2L−1…行(上端)、 2U−n,2L−n…行(下端)、2U−m…行、 3U−1,3U−n,3U−m,3L−1,3L−n,3L−m…画素群、 5U,5L…補正処理入力画像、 6U,6L…補正処理出力画像、 10…撮像装置、 20…撮像レンズ、 30…イメージセンサ、 40…信号処理回路、 41…カメラ信号処理部、 42…歪補正処理部、 42TG…歪補正用同期信号生成部、 42h…水平歪補正処理部、 42v…垂直歪補正処理部、 421,425…入力バッファ部、 422,426…歪補正部、 423,427…補正成分算出部、 424,428…出力バッファ部、 43…同期信号生成部、 44…表示系処理部、 50,50−1,50−2…メモリ、 60…制御部、 61…CPU、 c…中心線、Sh…同期信号(水平歪補正処理用)、 Sv…同期信号(垂直歪補正処理用)
Claims (8)
- 供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
画像処理装置。 - 前記垂直歪補正処理部は、前記入力画像を垂直方向に分割した複数の領域の各々の領域に対する前記水平歪補正処理部による前記水平方向の歪補正処理が完了するごとに、前記水平方向の歪補正処理が完了した領域に対して前記垂直方向の歪補正処理を開始する
請求項1に記載の画像処理装置。 - 前記複数の領域の各々は、前記入力画像の全体の3分の1以上の大きさである
請求項2に記載の画像処理装置。 - 前記垂直歪補正処理部は、前記入力画像を垂直方向に2等分した領域のうちの第1の領域に対する前記水平歪補正処理部による水平方向の歪補正処理が完了後、前記入力画像の第1の領域に対する垂直方向の歪補正処理を開始する
請求項3に記載の画像処理装置。 - 前記水平歪補正処理部は、前記入力画像の一の領域に加え、該一の領域と連続しかつ該一の領域と隣接する領域に含まれる所定数の水平ラインを含む部分に対して水平方向の歪補正処理を行い、
前記垂直歪補正処理部は、前記水平方向の歪補正処理が実施された前記入力画像の一の領域及び前記所定数の水平ラインを含む補正処理入力画像に対して垂直方向の歪補正処理を行い、前記垂直方向の歪補正処理を行った前記入力画像の一の領域を補正処理出力画像として出力する
請求項2に記載の画像処理装置。 - イメージセンサと、
供給される同期信号に応じて、前記イメージセンサからの入力画像における水平方向の歪補正処理を行う水平歪補正処理部と、
前記水平歪補正処理部による前記水平方向の歪補正処理の結果を順次保存するメモリと、
前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する垂直歪補正処理部と、を備える
撮像装置。 - 画像処理装置が備える水平歪補正処理部により、供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行うことと、
前記水平歪補正処理部により、前記水平歪補正処理部による前記水平方向の歪補正処理の結果をメモリに順次保存することと、
前記画像処理装置が備える垂直歪補正処理部により、前記水平歪補正処理部による水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始すること
を含む画像処理方法。 - コンピュータに、
供給される同期信号に応じて、入力画像における水平方向の歪補正処理を行う手順と
前記水平方向の歪補正処理の結果をメモリに順次保存する手順と、
前記水平方向の歪補正処理の開始後、1フレーム分未満の所定時間遅延させて前記メモリから前記水平方向の歪補正処理の結果を順次読み出し、垂直方向の歪補正処理を開始する手順を
実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012249557A JP2014099714A (ja) | 2012-11-13 | 2012-11-13 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US14/073,540 US20140132806A1 (en) | 2012-11-13 | 2013-11-06 | Image processing apparatus, imaging apparatus, image processing method and program |
CN201310547568.0A CN103813054A (zh) | 2012-11-13 | 2013-11-06 | 图像处理设备、成像设备、图像处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012249557A JP2014099714A (ja) | 2012-11-13 | 2012-11-13 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014099714A true JP2014099714A (ja) | 2014-05-29 |
Family
ID=50681359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012249557A Pending JP2014099714A (ja) | 2012-11-13 | 2012-11-13 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140132806A1 (ja) |
JP (1) | JP2014099714A (ja) |
CN (1) | CN103813054A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015130632A (ja) * | 2014-01-08 | 2015-07-16 | 株式会社リコー | 画像処理装置、送受信システム、画像処理方法、およびプログラム |
KR20150088139A (ko) * | 2014-01-23 | 2015-07-31 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 처리 시스템 |
CN112188181B (zh) * | 2019-07-02 | 2023-07-04 | 中强光电股份有限公司 | 图像显示设备、立体图像处理电路及其同步信号校正方法 |
-
2012
- 2012-11-13 JP JP2012249557A patent/JP2014099714A/ja active Pending
-
2013
- 2013-11-06 CN CN201310547568.0A patent/CN103813054A/zh active Pending
- 2013-11-06 US US14/073,540 patent/US20140132806A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20140132806A1 (en) | 2014-05-15 |
CN103813054A (zh) | 2014-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8009337B2 (en) | Image display apparatus, method, and program | |
JP4004346B2 (ja) | 撮像装置及びディストーション補正方法 | |
JP2020053771A (ja) | 画像処理装置、撮像装置 | |
JP6358847B2 (ja) | 表示処理装置および撮像装置 | |
JP2015053644A (ja) | 撮像装置 | |
US9554070B2 (en) | Imaging device for reducing pressure on data bus bandwidth | |
JP2007274504A (ja) | デジタルカメラ | |
JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
JP2014099714A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
US8908060B2 (en) | Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate | |
US9129405B2 (en) | Image processing apparatus and method | |
JP4225241B2 (ja) | 画像表示装置 | |
US8970766B2 (en) | Imaging device | |
JP2006279144A (ja) | 歪補正装置 | |
US11356603B2 (en) | Image capturing apparatus and control method therefor | |
JP5718029B2 (ja) | 撮像装置 | |
JP2014121024A (ja) | 撮像装置 | |
US11368624B2 (en) | Image capturing apparatus and control method thereof | |
JP2010028758A (ja) | 画像処理装置及び方法、プログラム、並びに撮像装置 | |
JP4697094B2 (ja) | 画像信号出力装置及びその制御方法 | |
US9648232B2 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
JP7110007B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記憶媒体 | |
JP2013126101A (ja) | 撮像装置および撮像方法 | |
JP5965173B2 (ja) | 動画像処理システム、画像処理装置、および動画像処理システムの動作方法 | |
JP6087631B2 (ja) | 画像信号処理装置及びその制御方法、並びに撮像装置 |