JP2013123229A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2013123229A JP2013123229A JP2012284632A JP2012284632A JP2013123229A JP 2013123229 A JP2013123229 A JP 2013123229A JP 2012284632 A JP2012284632 A JP 2012284632A JP 2012284632 A JP2012284632 A JP 2012284632A JP 2013123229 A JP2013123229 A JP 2013123229A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- target image
- distortion component
- rolling shutter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 104
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 256
- 239000013598 vector Substances 0.000 claims abstract description 185
- 238000005096 rolling process Methods 0.000 claims abstract description 130
- 238000003384 imaging method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 80
- 238000012937 correction Methods 0.000 claims description 69
- 230000006870 function Effects 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 21
- 230000008859 change Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000003702 image correction Methods 0.000 description 13
- 238000013519 translation Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置1は、画像入力部10、動きベクトル取得部11及び歪み成分推定部12を備える。画像入力部10は、処理対象の画像である対象画像を入力する。動きベクトル取得部11は、対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する。歪み成分推定部12は、動きベクトルに基づいて、対象画像のローリングシャッタ歪み成分を推定する。
【選択図】図1
Description
本実施形態に係る画像処理装置は、画像の歪みを補正する装置である。この画像処理装置は、例えば、撮像装置を移動させながら撮像する場合に発生するローリングシャッタ歪みを補正する場合に採用される。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、PDA(Personal Digital Assistant)等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、カメラ機能を備えた携帯端末に搭載される画像処理装置を説明する。
なお、数式(1)以外の手法でカメラモーションを取得してもよく、少なくともカメラ20の平行移動成分を取得できればよい。動きベクトル取得部11は、カメラモーション成分を歪み成分推定部12及び補正パラメータ算出部13へ出力する機能を有している。
上記数式(2)に示すように、Yの値が歪み成分に影響を与える。ここでαは歪み係数である。歪み係数αは、フレーム画像の1ラインを読み込む時間を、フレーム画像全体を読み込む時間と次のフレーム画像を読み込むまでの時間とを加算した値で除算して算出される値である。言い換えれば、歪み係数αは、フレーム画像の1ラインを読み込む時間を、当該フレーム画像の最初のラインを読み込んだ時刻から次のフレーム画像の最初のラインを読み込む時刻までの時間で除算して算出される値である。歪み係数αは、カメラ20に備わる画素センサの仕様や画素センサの駆動の設定により変化する。例えば、画素センサそれぞれにおいて、スキャンスピード、フレームレート、露光時間、画像サイズ、走査線の向き、ズーム倍率、f値、機械式手ブレ補正機構のON/OFF、フレームの撮像から出力までの時間、読み出し速度、読み出し方向等といった設定情報が異なる。このため、歪みの推定の前に、あらかじめ画素センサの様々な設定、撮像モード又は環境条件を含む撮像条件に対して算出しておく必要がある。
ここで、動き行列Mb→iが平行移動成分及び歪み成分のみであると仮定すると、歪み量は、以下の数式(4)のように近似することができる。
上記数式(5)を用いてフレーム間の動き成分(m02 i−1→i,m12 i−1→i)tを平行移動成分(dx i,dy i)tとしてもよい。また、動フレーム画像frameiの中心座標の平行移動量を(dx i,dy i)tとしてもよい。(dx i,dy i)tを算出することで、歪み係数αは、以下の数式(6),(7)で表すことができる。
ここで数式(8)で用いた以下の行列は、動き補正行列である。
動き補正前の座標(xb,yb,1)tは、歪みのある座標系である。ここで、補正パ動き補正前の座標(xb,yb,1)tを、歪みのない座標系(xb,yb,1)tへ一旦変換した後に、同一の動き補正行列による補正を適用するものとする。この場合、以下の数式(9)のように歪み量が表される。
数式(9)に数式(2)を代入すると以下の数式(10)に示すように、計算することができる。
上記数式(10)が、歪み補正及び動画手ブレ補正を同時に行うモデル式となる。なお上記数式(10)の平行移動成分(m02’b→i+m12’b→i・α・dx i,m12 b→i・α・dy i)tについては、歪み係数αの原点の位置に依存してバイアスをかける必要がある。
第2実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1とほぼ同様に構成され、歪み成分推定部12の一部機能が相違する。具体的には、歪み成分推定部12が、カメラ20から取得した情報に応じて複数のローリングシャッタ歪み成分のモデルを切り替えて使用する点が相違する。以下では、第1実施形態に係る画像処理装置1と相違する点を中心に説明し、重複する部分の説明は省略する。
上記数式(11)に示すように、Xの値が歪み成分に影響を与える。
第3実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1とほぼ同様に構成され、歪み成分推定部12の一部機能が相違する。具体的には、歪み成分推定部12が、ローリングシャッタ歪みの変化を検知する点、当該変化に応じて推定値を調整する点が相違する。以下では、第1実施形態に係る画像処理装置1と相違する点を中心に説明し、重複する部分の説明は省略する。
第4実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1とほぼ同様に構成され、動きベクトル取得部11の一部機能が相違する。具体的には、動きベクトル取得部11が、動きベクトルの変化を検知する点、当該変化に応じてカメラモーションを調整する点が相違する。以下では、第1実施形態に係る画像処理装置1と相違する点を中心に説明し、重複する部分の説明は省略する。
Claims (10)
- 画像を処理する画像処理装置であって、
処理対象の前記画像である対象画像を入力する画像入力部と、
前記対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する動きベクトル取得部と、
前記動きベクトルに基づいて、前記対象画像のローリングシャッタ歪み成分を推定する歪み成分推定部と、
前記ローリングシャッタ歪み成分に基づいて、前記対象画像を補正する補正部と、
を備え、
前記補正部は、前記ローリングシャッタ歪み成分の直前の履歴を格納する記録部を参照可能に構成され、前記記録部に格納された直前の前記ローリングシャッタ歪み成分と前記対象画像における前記ローリングシャッタ歪み成分との差分が所定値より大きい場合には、前記差分が小さくなるように前記対象画像における前記ローリングシャッタ歪み成分を調整する、
画像処理装置。 - 画像を処理する画像処理装置であって、
処理対象の前記画像である対象画像を入力する画像入力部と、
前記対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する動きベクトル取得部と、
前記動きベクトルに基づいて、前記対象画像のローリングシャッタ歪み成分を推定する歪み成分推定部と、
を備え、
前記動きベクトル取得部は、前記動きベクトルを格納する記録部を参照可能に構成され、前記記録部に格納された直前の前記動きベクトルと前記対象画像における前記動きベクトルとの差分が所定値より大きい場合には、前記差分が小さくなるように前記対象画像における前記動きベクトルを調整する、
画像処理装置。 - 前記歪み成分推定部は、前記動きベクトルの平行移動成分に基づいて、前記対象画像のローリングシャッタ歪み成分を推定する請求項1又は2に記載の画像処理装置。
- 前記歪み成分推定部は、前記動きベクトル、及び前記撮像装置の撮像条件の設定値に基づいて、前記ローリングシャッタ歪み成分を推定する請求項1〜3の何れか一項に記載の画像処理装置。
- 前記動きベクトル取得部は、前記対象画像の直前に撮像された画像である直前画像の直前に撮像された画像である直前画像を格納する記録部を参照可能に構成され、記録部に格納された直前画像及び前記対象画像に基づいて動きベクトルを取得する請求項1〜4の何れか一項に記載の画像処理装置。
- 前記動きベクトル取得部は、前記撮像装置に備わるジャイロセンサによって検出された動きベクトルを取得する請求項1〜4の何れか一項に記載の画像処理装置。
- 画像を処理する画像処理方法であって、
処理対象の前記画像である対象画像を入力する画像入力ステップと、
前記対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する動きベクトル取得ステップと、
前記動きベクトルに基づいて、前記対象画像のローリングシャッタ歪み成分を推定する歪み成分推定ステップと、
前記ローリングシャッタ歪み成分に基づいて、前記対象画像を補正する補正ステップと、
を備え、
前記補正ステップでは、前記ローリングシャッタ歪み成分の直前の履歴を格納する記録部を参照し、前記記録部に格納された直前の前記ローリングシャッタ歪み成分と前記対象画像における前記ローリングシャッタ歪み成分との差分が所定値より大きい場合には、前記差分が小さくなるように前記対象画像における前記ローリングシャッタ歪み成分を調整する、
画像処理方法。 - 画像を処理する画像処理方法であって、
処理対象の前記画像である対象画像を入力する画像入力ステップと、
前記対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する動きベクトル取得ステップと、
前記動きベクトルに基づいて、前記対象画像のローリングシャッタ歪み成分を推定する歪み成分推定ステップと、
を備え、
前記動きベクトル取得ステップでは、前記動きベクトルを格納する記録部を参照し、前記記録部に格納された直前の前記動きベクトルと前記対象画像における前記動きベクトルとの差分が所定値より大きい場合には、前記差分が小さくなるように前記対象画像における前記動きベクトルを調整する、
画像処理方法。 - 画像を処理するようにコンピュータを動作させる画像処理プログラムであって、
処理対象の前記画像である対象画像を入力する画像入力部、
前記対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する動きベクトル取得部、
前記動きベクトルに基づいて、前記対象画像のローリングシャッタ歪み成分を推定する歪み成分推定部、及び、
前記ローリングシャッタ歪み成分に基づいて、前記対象画像を補正する補正部として前記コンピュータを動作させ、
前記補正部は、前記ローリングシャッタ歪み成分の直前の履歴を格納する記録部を参照可能に構成され、前記記録部に格納された直前の前記ローリングシャッタ歪み成分と前記対象画像における前記ローリングシャッタ歪み成分との差分が所定値より大きい場合には、前記差分が小さくなるように前記対象画像における前記ローリングシャッタ歪み成分を調整することを特徴とする画像処理プログラム。 - 画像を処理するようにコンピュータを動作させる画像処理プログラムであって、
処理対象の前記画像である対象画像を入力する画像入力部、
前記対象画像を撮像した撮像装置が当該対象画像の撮像時において当該対象画像に描画された被写体に対して相対的に移動したことによって発生する動きベクトルを取得する動きベクトル取得部、及び、
前記動きベクトルに基づいて、前記対象画像のローリングシャッタ歪み成分を推定する歪み成分推定部として前記コンピュータを動作させ、
前記動きベクトル取得部は、前記動きベクトルを格納する記録部を参照可能に構成され、前記記録部に格納された直前の前記動きベクトルと前記対象画像における前記動きベクトルとの差分が所定値より大きい場合には、前記差分が小さくなるように前記対象画像における前記動きベクトルを調整することを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012284632A JP5401696B2 (ja) | 2012-12-27 | 2012-12-27 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012284632A JP5401696B2 (ja) | 2012-12-27 | 2012-12-27 | 画像処理装置、画像処理方法及び画像処理プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012557741A Division JP5531194B2 (ja) | 2011-07-06 | 2011-07-06 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013123229A true JP2013123229A (ja) | 2013-06-20 |
JP5401696B2 JP5401696B2 (ja) | 2014-01-29 |
Family
ID=48774934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012284632A Active JP5401696B2 (ja) | 2012-12-27 | 2012-12-27 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5401696B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016525842A (ja) * | 2013-07-24 | 2016-08-25 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | カメラ動き予測及び修正のための方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252753A (ja) * | 2004-03-05 | 2005-09-15 | Seiko Epson Corp | 画像処理装置、位置ずれ記憶方法、及びシーン記憶方法 |
JP2010193301A (ja) * | 2009-02-19 | 2010-09-02 | Sony Corp | 画像処理装置、角度変化推定方法、画像処理プログラム及び記録媒体 |
JP2011035891A (ja) * | 2009-07-08 | 2011-02-17 | Nikon Corp | 電子カメラ |
JP2011114649A (ja) * | 2009-11-27 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
-
2012
- 2012-12-27 JP JP2012284632A patent/JP5401696B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252753A (ja) * | 2004-03-05 | 2005-09-15 | Seiko Epson Corp | 画像処理装置、位置ずれ記憶方法、及びシーン記憶方法 |
JP2010193301A (ja) * | 2009-02-19 | 2010-09-02 | Sony Corp | 画像処理装置、角度変化推定方法、画像処理プログラム及び記録媒体 |
JP2011035891A (ja) * | 2009-07-08 | 2011-02-17 | Nikon Corp | 電子カメラ |
JP2011114649A (ja) * | 2009-11-27 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016525842A (ja) * | 2013-07-24 | 2016-08-25 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | カメラ動き予測及び修正のための方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5401696B2 (ja) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5531194B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5906493B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
JP4869049B2 (ja) | 補間フレーム画像作成方法および補間フレーム画像作成装置 | |
JP2014150443A (ja) | 撮像装置、その制御方法及びプログラム | |
JP5729237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5424068B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP2007243335A (ja) | 手振れ補正方法、手振れ補正装置および撮像装置 | |
JP4311668B2 (ja) | 撮像装置と撮像システムおよび画像の撮影方法 | |
WO2016152358A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6532328B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2018033080A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5401696B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6980480B2 (ja) | 撮像装置および制御方法 | |
CN110692235B (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP6223135B2 (ja) | 撮像装置およびその制御方法 | |
JP6671975B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータプログラム | |
JPWO2007026452A1 (ja) | 画像処理装置、及び画像処理方法 | |
JP5701733B2 (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2021044653A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP2018173746A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5401696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |