JP2013017155A - 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2013017155A JP2013017155A JP2012041715A JP2012041715A JP2013017155A JP 2013017155 A JP2013017155 A JP 2013017155A JP 2012041715 A JP2012041715 A JP 2012041715A JP 2012041715 A JP2012041715 A JP 2012041715A JP 2013017155 A JP2013017155 A JP 2013017155A
- Authority
- JP
- Japan
- Prior art keywords
- distortion
- image
- image processing
- component
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims abstract description 183
- 238000005096 rolling process Methods 0.000 claims abstract description 101
- 238000013519 translation Methods 0.000 claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 95
- 238000012545 processing Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 80
- 239000013598 vector Substances 0.000 abstract description 87
- 238000012937 correction Methods 0.000 description 52
- 230000006870 function Effects 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000003702 image correction Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置1は、画像入力部10、動きベクトル取得部11及び歪み成分推定部12を備える。画像入力部10は、複数のフレーム画像を入力する。動きベクトル取得部11は、2つのフレーム画像間の平行移動量を取得する。歪み成分推定部12は、フレーム画像間の動きを示す動き行列が平行移動成分及びローリングシャッタ歪み成分のみからなると近似し、平行移動量を用いてローリングシャッタ歪み成分に含まれる仮の歪み係数をフレーム画像ごとに算出し、算出された複数の仮の歪み係数を用いて歪み係数を推定する。
【選択図】図1
Description
本実施形態に係る画像処理装置は、画像の歪みを補正する装置である。この画像処理装置は、例えば、撮像装置を移動させながら撮像する場合に発生するローリングシャッタ歪みを補正する場合に採用される。本実施形態に係る画像処理装置は、例えば、携帯電話、デジタルカメラ、PDA(Personal Digital Assistant)等、リソースに制限のあるモバイル端末に好適に搭載されるものであるが、これらに限られるものではなく、例えば通常のコンピュータシステムに搭載されてもよい。なお、以下では、説明理解の容易性を考慮し、本発明に係る画像処理装置の一例として、カメラ機能を備えた携帯端末に搭載される画像処理装置を説明する。
なお、数式(1)以外の手法でカメラモーションを取得してもよく、少なくともカメラ20の平行移動成分を取得できればよい。動きベクトル取得部11は、カメラモーション成分を歪み成分推定部12及び補正パラメータ算出部13へ出力する機能を有している。
上記数式(2)に示すように、Yの値が歪み成分に影響を与える。ここでローリングシャッタ歪み成分に含まれるαは歪み係数である。歪み係数αは、フレーム画像の1ラインを読み込む時間を、フレーム画像全体を読み込む時間と次のフレーム画像を読み込むまでの時間とを加算した値で除算して算出される値である。言い換えれば、歪み係数αは、フレーム画像の1ラインを読み込む時間を、当該フレーム画像の最初のラインを読み込んだ時刻から次のフレーム画像の最初のラインを読み込む時刻までの時間で除算して算出される値である。歪み係数αは、カメラ20に備わる画素センサの仕様や画素センサの駆動の設定により変化する。例えば、画素センサそれぞれにおいて、スキャンスピード、フレームレート、露光時間、画像サイズ、走査線の向き、ズーム倍率、f値、機械式手ブレ補正機構のON/OFF、フレームの撮像から出力までの時間、読み出し速度、読み出し方向等といった設定情報が異なる。このため、歪みの推定の前に、あらかじめ画素センサの様々な設定、撮像モード又は環境条件を含む撮像条件に対して算出しておく必要がある。なお、画像センサにおいて、隣接ライン間の時間差をtL、隣接フレーム間の時間差をtFとすると、歪み係数αは以下の式で算出することができる。なお、隣接フレーム間の時間差tFについては、動フレーム画像列のフレームレートに基づいて導出することができる。
ここで、フレーム画像のライン数(画像の高さ)をNLとすると、以下の不等式が成り立つ。
上記不等式は以下のように変形することができる。
このように、フレーム画像のライン数NLが既知の場合には、歪み係数αの上限値を決定することができる。
ここで、動き行列Mb→iが平行移動成分及び歪み成分のみであると仮定すると、歪み量は、以下の数式(4)のように近似することができる。
上記数式(5)を用いてフレーム間の動き成分(m02 i−1→i,m12 i−1→i)tを平行移動成分(dx i,dy i)tとしてもよい。また、動フレーム画像frameiの中心座標の平行移動量を(dx i,dy i)tとしてもよい。また、連続するフレーム画像のうちフレーム画像frameiと直前のフレーム画像framei−1とを用いて第1の平行移動量を算出するとともに、フレーム画像frameiと直後のフレーム画像framei+1とを用いて第2の平行移動量を算出し、第1の平行移動量及び第2の平行移動量の平均(重み付け平均、多項式近似等)を用いて平行移動量を求めてもよい。平均の平行移動量を用いることで精度を向上させることができる。(dx i,dy i)tを算出することで、歪み係数αは、以下の数式(6),(7)で表すことができる。
ここで数式(8)で用いた以下の行列は、動き補正行列である。
動き補正前の座標(xb,yb,1)tは、歪みのある座標系である。ここで、補正パ動き補正前の座標(xb,yb,1)tを、歪みのない座標系(xb,yb,1)tへ一旦変換した後に、同一の動き補正行列による補正を適用するものとする。この場合、以下の数式(9)のように歪み量が表される。
数式(9)に数式(2)を代入すると以下の数式(10)に示すように、計算することができる。
上記数式(10)が、歪み補正及び動画手ブレ補正を同時に行うモデル式となる。なお上記数式(10)の平行移動成分(m02’b→i+m12’b→i・α・dx i,m12 b→i・α・dy i)tについては、歪み係数αの原点の位置に依存してバイアスをかける必要がある。
第2実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1とほぼ同様に構成され、歪み成分推定部12の一部機能が相違する。具体的には、歪み成分推定部12が、カメラ20から取得した情報に応じて複数のローリングシャッタ歪み成分のモデルを切り替えて使用する点が相違する。以下では、第1実施形態に係る画像処理装置1と相違する点を中心に説明し、重複する部分の説明は省略する。
上記数式(11)に示すように、Xの値が歪み成分に影響を与える。
数式(5)については走査順に関わらず同一となる。また、数式(6)、数式(7)については、走査順が変更されると、以下の数式(13)、数式(14)ように変更される。
その他の構成は第1実施形態と同様である。また、本実施形態に係る画像処理プログラムは、第1実施形態に係る画像処理プログラムと同様に構成される。
第3実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1とほぼ同様に構成され、歪み成分推定部12の一部機能が相違する。具体的には、歪み成分推定部12が、ローリングシャッタ歪みの変化を検知する点、当該変化に応じて推定値を調整する点が相違する。以下では、第1実施形態に係る画像処理装置1と相違する点を中心に説明し、重複する部分の説明は省略する。
第4実施形態に係る画像処理装置1は、第1実施形態に係る画像処理装置1とほぼ同様に構成され、動きベクトル取得部11の一部機能が相違する。具体的には、動きベクトル取得部11が、動きベクトルの変化を検知する点、当該変化に応じてカメラモーションを調整する点が相違する。以下では、第1実施形態に係る画像処理装置1と相違する点を中心に説明し、重複する部分の説明は省略する。
Claims (9)
- 連続する複数のフレーム画像を処理する画像処理装置であって、
前記複数のフレーム画像を入力する画像入力部と、
2つのフレーム画像間の平行移動量を取得する平行移動量取得部と、
フレーム画像間の動きを示す動き行列が平行移動成分及びローリングシャッタ歪み成分のみからなると近似し、前記平行移動量を用いて前記ローリングシャッタ歪み成分に含まれる仮の歪み係数をフレーム画像ごとに算出し、算出された複数の仮の歪み係数を用いて歪み係数を推定する歪み成分推定部と、
を備える画像処理装置。 - 前記歪み成分推定部は、前記複数の仮の歪み係数の平均値又は中央値が前記歪み係数であると推定する請求項1に記載の画像処理装置。
- 前記歪み成分推定部は、前記ローリングシャッタ歪み成分及び前記平行移動量を座標軸とする2次元平面上に前記仮の歪み係数をプロットし、回帰直線の傾きに基づいて前記歪み係数を推定する請求項1に記載の画像処理装置。
- 前記歪み成分推定部は、前記仮の歪み係数がフレーム画像のライン数の逆数よりも大きい場合には、当該フレーム画像の仮の歪み係数がフレーム画像のライン数の逆数であると補正する請求項1〜3の何れか一項に記載の画像処理装置。
- 前記歪み成分推定部は、前記仮の歪み係数がフレーム画像のライン数の逆数よりも大きい場合には、当該フレーム画像の仮の歪み係数を用いることなく前記歪み係数を推定する請求項1〜4の何れか一項に記載の画像処理装置。
- 前記歪み成分推定部は、推定された前記歪み係数がフレーム画像のライン数の逆数よりも大きい場合には、推定された前記歪み係数がフレーム画像のライン数の逆数であると補正する請求項1〜5の何れか一項に記載の画像処理装置。
- 連続する複数のフレーム画像を処理する画像処理方法であって、
前記複数のフレーム画像を入力する画像入力ステップと、
2つのフレーム画像間の平行移動量を取得する平行移動量取得ステップと、
フレーム画像間の動きを示す動き行列が平行移動成分及びローリングシャッタ歪み成分のみからなると近似し、前記平行移動量を用いて前記ローリングシャッタ歪み成分に含まれる仮の歪み係数をフレーム画像ごとに算出し、算出された複数の仮の歪み係数を用いて歪み係数を推定する歪み成分推定ステップと、
を備える画像処理方法。 - 連続する複数のフレーム画像を処理するようにコンピュータを動作させる画像処理プログラムであって、
前記複数のフレーム画像を入力する画像入力部、
2つのフレーム画像間の平行移動量を取得する平行移動量取得部、及び
フレーム画像間の動きを示す動き行列が平行移動成分及びローリングシャッタ歪み成分のみからなると近似し、前記平行移動量を用いて前記ローリングシャッタ歪み成分に含まれる仮の歪み係数をフレーム画像ごとに算出し、算出された複数の仮の歪み係数を用いて歪み係数を推定する歪み成分推定部、
として前記コンピュータを動作させることを特徴とする画像処理プログラム。 - 連続する複数のフレーム画像を処理するようにコンピュータを動作させる画像処理プログラムが記録された記憶媒体であって、
前記画像処理プログラムは、
前記複数のフレーム画像を入力する画像入力部、
2つのフレーム画像間の平行移動量を取得する平行移動量取得部、及び
フレーム画像間の動きを示す動き行列が平行移動成分及びローリングシャッタ歪み成分のみからなると近似し、前記平行移動量を用いて前記ローリングシャッタ歪み成分に含まれる仮の歪み係数をフレーム画像ごとに算出し、算出された複数の仮の歪み係数を用いて歪み係数を推定する歪み成分推定部、
として前記コンピュータを動作させることを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012041715A JP5424068B2 (ja) | 2011-07-06 | 2012-02-28 | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/065475 WO2013005316A1 (ja) | 2011-07-06 | 2011-07-06 | 画像処理装置、画像処理方法及び画像処理プログラム |
WOPCT/JP2011/065475 | 2011-07-06 | ||
JP2012041715A JP5424068B2 (ja) | 2011-07-06 | 2012-02-28 | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013017155A true JP2013017155A (ja) | 2013-01-24 |
JP5424068B2 JP5424068B2 (ja) | 2014-02-26 |
Family
ID=47689361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012041715A Active JP5424068B2 (ja) | 2011-07-06 | 2012-02-28 | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5424068B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150024733A (ko) * | 2013-08-27 | 2015-03-09 | 삼성테크윈 주식회사 | 왜곡제거장치 및 방법 |
JP2015220564A (ja) * | 2014-05-16 | 2015-12-07 | キヤノン株式会社 | 画像処理装置および撮像装置 |
KR101627795B1 (ko) * | 2014-12-24 | 2016-06-08 | 전자부품연구원 | 키-프레임과 자이로 스코프를 이용한 롤링-셔터 보정 방법 및 이를 적용한 촬영장치 |
KR20200010247A (ko) | 2017-05-17 | 2020-01-30 | 가부시키가이샤 크리프톤 | 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007180734A (ja) * | 2005-12-27 | 2007-07-12 | Megachips Lsi Solutions Inc | 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法 |
JP2010193302A (ja) * | 2009-02-19 | 2010-09-02 | Sony Corp | 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体 |
JP2011114649A (ja) * | 2009-11-27 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
-
2012
- 2012-02-28 JP JP2012041715A patent/JP5424068B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007180734A (ja) * | 2005-12-27 | 2007-07-12 | Megachips Lsi Solutions Inc | 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法 |
JP2010193302A (ja) * | 2009-02-19 | 2010-09-02 | Sony Corp | 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体 |
JP2011114649A (ja) * | 2009-11-27 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150024733A (ko) * | 2013-08-27 | 2015-03-09 | 삼성테크윈 주식회사 | 왜곡제거장치 및 방법 |
KR102003460B1 (ko) * | 2013-08-27 | 2019-07-24 | 한화테크윈 주식회사 | 왜곡제거장치 및 방법 |
JP2015220564A (ja) * | 2014-05-16 | 2015-12-07 | キヤノン株式会社 | 画像処理装置および撮像装置 |
KR101627795B1 (ko) * | 2014-12-24 | 2016-06-08 | 전자부품연구원 | 키-프레임과 자이로 스코프를 이용한 롤링-셔터 보정 방법 및 이를 적용한 촬영장치 |
KR20200010247A (ko) | 2017-05-17 | 2020-01-30 | 가부시키가이샤 크리프톤 | 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법 |
US11592656B2 (en) | 2017-05-17 | 2023-02-28 | Kripton Co., Ltd. | Image processing apparatus, image processing program, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5424068B2 (ja) | 2014-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5531194B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5906493B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
JP4869049B2 (ja) | 補間フレーム画像作成方法および補間フレーム画像作成装置 | |
JP2014150443A (ja) | 撮像装置、その制御方法及びプログラム | |
JP5729237B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5424068B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
JP4311668B2 (ja) | 撮像装置と撮像システムおよび画像の撮影方法 | |
WO2016152358A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6532328B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP2018033080A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5401696B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR101012481B1 (ko) | 동영상 손떨림 보정 장치 및 방법 | |
CN110692235B (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP6223135B2 (ja) | 撮像装置およびその制御方法 | |
JP5351200B2 (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP6671975B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータプログラム | |
JP5701733B2 (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2021044653A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP2018173746A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5424068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |