JP2015201714A - 撮像装置、画像処理方法及び制御プログラム - Google Patents

撮像装置、画像処理方法及び制御プログラム Download PDF

Info

Publication number
JP2015201714A
JP2015201714A JP2014078567A JP2014078567A JP2015201714A JP 2015201714 A JP2015201714 A JP 2015201714A JP 2014078567 A JP2014078567 A JP 2014078567A JP 2014078567 A JP2014078567 A JP 2014078567A JP 2015201714 A JP2015201714 A JP 2015201714A
Authority
JP
Japan
Prior art keywords
image
coordinate
correction amount
distortion
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014078567A
Other languages
English (en)
Other versions
JP6375131B2 (ja
Inventor
崇徳 福田
Takanori Fukuda
崇徳 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014078567A priority Critical patent/JP6375131B2/ja
Publication of JP2015201714A publication Critical patent/JP2015201714A/ja
Application granted granted Critical
Publication of JP6375131B2 publication Critical patent/JP6375131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】撮像装置において、収差や手ぶれによるFP歪を厳密に画像から取り除くことを可能とする技術を提供する。【解決手段】撮像光学系110により形成された被写体像から画像データを生成する撮像装置100において、制御部141は、撮像光学系110の収差により画像データに生じる第1の画像歪を補正するための第1の補正量を取得する。手ぶれ処理部121は、フォーカルプレーン蓄積を行う撮像素子111の蓄積動作中のぶれにより画像データに生じる第2の画像歪を補正するための第2の補正量を取得する。画像処理部130は、第1及び第2の画像歪を補正するために、画像データを構成する画素の座標値に関して座標の変換処理を実施し、第1の補正量に基づき変換する第1の変換動作と、第1変換動作により変換された座標値を第2の補正量に基づき変換する第2の変換動作とを実行する。【選択図】図1

Description

本発明は、デジタルスチルカメラ、ビデオカメラ等の撮像装置に関する。
昨今の撮像装置では、違和感のない動画像や静止画像を得るため、撮像素子からの画像に対して様々な幾何的な変形を行って出力することが一般的になっている。例えば、レンズの光学的な歪を画像処理によって補正するため、式による変形を行う、手ぶれにより画像位置がずれてしまうのを補正するため、平行移動や回転を行う等の処理を施している。
また、CMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を用いている場合には、フォーカルプレーン現象による画像の歪(以下、FP歪と記載)を生じる場合がある。FP歪を原因とした画像の違和感は少なくないことから、一部の撮像装置では、撮像された画像を変形することにより補正を行っているものもある。例えば、特許文献1に開示されている撮像装置では、撮像素子により取得した画像に対し、手ぶれによるFP歪を補正するとともに、レンズによる収差の補正を行っている。
特許第4310645号
上記特許文献1に開示されている手法では、収差や手ぶれによるFP歪を厳密に取り除くことはできない。
本発明は、撮像装置において、収差や手ぶれによるFP歪を厳密に画像から取り除くことを可能とする技術を提供することを目的とする。
本発明の一態様に係る撮像装置によれば、光学系により形成された被写体像から画像データを生成する撮像装置であって、フォーカルプレーン蓄積を行う撮像素子と、前記撮像装置に加わったぶれ量を出力する検出部と、前記光学系の収差により前記画像データに生じる第1の画像歪を補正するための第1の補正量を取得する第1の歪補正量取得部と、前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第2の画像歪を補正するための第2の補正量を取得する第2の歪補正量取得部と、前記第1及び第2の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換部と、を有し、前記座標変換部は、処理対象の座標値を前記第1の補正量に基づき変換する第1の変換動作と、この第1変換動作により変換された座標値を前記第2の補正量に基づき変換する第2の変換動作と、を実行可能に構成されていることを特徴とする。
また、本発明の一態様に係る画像処理方法によれば、フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する画像処理方法であって、前記被写体像を形成する光学系の収差により前記画像データに生じる第1の画像歪を補正するため、第1の補正量を取得する第1の歪補正量取得ステップと、前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第2の画像歪を補正するための第2の補正量を取得する第2の歪補正量取得ステップと、前記第1及び第2の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、を有し、前記座標変換ステップは、処理対象の座標値を前記第1の補正量に基づき変換する第1の変換ステップと、この第1の変換ステップにより変換された座標値を前記第2の補正量に基づき変換する第2の変換ステップと、を有することを特徴とする。
また、本発明の一態様に係る撮像装置の制御プログラムによれば、フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する撮像装置の制御プログラムであって、前記被写体像を形成する光学系の収差により前記画像データに生じる第1の画像歪を補正するため、第1の補正量を取得する第1の歪補正量取得ステップと、前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第2の画像歪を補正するための第2の補正量を取得する第2の歪補正量取得ステップと、前記第1及び第2の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、を有し、前記座標変換ステップは、処理対象の座標値を前記第1の補正量に基づき変換する第1の変換ステップと、この第1の変換ステップにより変換された座標値を前記第2の補正量に基づき変換する第2の変換ステップと、を有することを特徴とする。
本発明によれば、撮像装置において、収差や手ぶれによるFP歪を厳密に画像から取り除くことが可能となる。
第1の実施形態に係る撮像装置のブロック図である。 第1の実施形態に係る撮像装置の撮像動作を示したフローチャートである。 画像に現れる歪について説明する図である。 図3(b)の状態を1シャッターで撮像した場合の画像と、歪を除去した場合の画像とを模式的に示す図である。 第1の実施形態における画像の変形処理を示したフローチャートである。 歪なしの理想画像と収差及びFP歪が加わった画像、及び従来技術により歪を補正した画像を模式的に示す図である。 第1の実施形態に係る撮像装置による歪を除去する方法の各段階における画像を模式的に示す図である。 最終的に得られる補正画像を模式的に示す図である。 図5の処理フローの変形例である。 撮像装置の傾きについて説明する図である。 撮像装置に傾きがある場合に画像に現れる歪について説明する図である。 図11の状態を1シャッターで撮像した場合の画像を模式的に示す図である。 第2の実施形態に係る画像の変形処理を示したフローチャートである。 フレーム毎に画像に現れる歪が動きベクトルに与える影響について説明するための図である。 第3の実施形態に係る撮像装置による動きベクトルの算出処理を示したフローチャートである。 再設定前後の第1の画像のテンプレート領域及び第2の画像の測定領域を模式的に示す図である。
以下、本発明の実施の形態について、図面を参照して詳しく説明する。
<第1の実施形態>
図1は、本実施形態に係る撮像装置のブロック図である。図1に示す撮像装置100は、撮像光学系110、撮像素子111、A/D変換部112、制御部141、操作部142、メモリコントローラ143、メモリ144、表示処理部145、モニタ146、記録処理部147、手ぶれ検出部121、手ぶれ処理部120及び画像処理部130を有する。このうち、A/D変換部112、制御部141、メモリコントローラ143、表示処理部145、記録処理部147、手ぶれ処理部120及び画像処理部130が、互いに配線バス140を介して接続されている。
操作部142は、ユーザによる撮影開始や撮影終了等の各種操作を受け付ける。
制御部141は、操作部142やメモリコントローラ143等からの指令により、手ぶれ処理部120や画像処理部130、表示処理部145、記録処理部147に対する制御信号を送出する。また、制御部141は、撮像光学系110との通信により、現在の撮像光学系110の状態に関する情報を取得する。撮像光学系110の状態に関する状態には、収差を含む。撮像光学系110の状態に関する情報は、後述するように、収差を補正するための画像の変形処理に使用される。
撮像光学系110は、被写体を結像させるレンズ等からなる。撮像素子111は、CMOSセンサーからなり、フォーカルプレーン蓄積(ライン露光)を行って、撮像光学系110から入力される被写体像を光電変換して撮像信号を得る。A/D変換部112は、撮像素子111で得た撮像信号をアナログ値からデジタル値に変換(以下A/D変換という)する。
メモリコントローラ143は、A/D変換部112でA/D変換されたデジタルの画像データをメモリ144に記憶する。メモリ144に記憶された画像データは、バス配線140を通じて画像処理部130に送信される。
また、メモリ144には、本実施形態に係る歪の除去方法を含む撮像装置100の制御プログラムを記憶する。制御部141は、メモリ144からプログラムを読み出して実行することにより、後述する撮像動作や歪の除去処理等が実現される。
手ぶれ検出部121は、ジャイロセンサーや加速度センサー等からなり、撮像装置100の動き量を検出する。手ぶれ処理部120は、演算により、手ぶれ検出部121で検出した動き量に基づき、以後の処理に必要な動き量を抽出する。これは、手ぶれ検出部121において検出する動き量には、撮影者が意図するものであるかを問わず、撮像装置100の動いた量が含まれているためである。また、手ぶれ処理部120は、後段の処理において利用し易いよう、値の整形等も行う。このように、手ぶれ処理部120は、撮像素子111の蓄積動作中の手ぶれによって画像データに生じる画像の歪を補正するための補正量を取得し、取得した補正量を画像処理部130に送信する。手ぶれ処理部120において取得した補正量は、後述するように、FP歪を補正するための画像の変形処理に使用される。
画像処理部130は、歪補正量取得部131と座標変換部132とを有し、歪を補正するための画像の変形処理や、色、輝度等の調整処理を行い、表示処理部118や記録処理部147へと処理を施した画像データを送出する。このうち、歪補正量取得部131は、制御部141が光学撮像系110との通信等により取得した撮像光学系110の状態によって生じる歪を補正するための補正量(第1の補正量)と、手ぶれ処理部120において求めた手ぶれによる歪を補正するための補正量(第2の補正量)を取得する。座標変換部132は、収差やFP歪を補正するために、歪補正量取得部131にて取得した第1及び第2の補正量を用いて、画像データを構成する画素の座標値に関して変換処理を行う。具体的にどのような座標の変換処理を行うかについては、後に詳しく説明する。
表示処理部118は、モニタ146へと画像を表示させ、記録処理部147は、記録媒体148に画像データを記録する。
以下に、本実施形態に係る撮像装置100が、第1の補正量である撮像光学系110の状態に関する情報と、第2の補正量である手ぶれ量とを取得し、これを用いて歪を除去した画像を得る方法について、具体的に説明する。
図2は、本実施形態に係る撮像装置100の撮像動作を示したフローチャートである。撮像装置100の制御部141は、撮像装置100の電源がオン状態に切り替わり、撮像装置100が起動すると、図2に示す一連の処理を開始する。
処理が開始されると、まず、ステップS101で、制御部141は、撮影開始信号の受信待ち状態となる。開始信号は、例えば、操作部142におけるレリーズ操作をもって発行されるものとする。あるいは、制御部141が判断をし、撮像装置100の任意のタイミングで自動的に出力する構成としてもよい。開始信号を受信すると、ステップS102に進む。
ステップS102で、制御部141は、手ぶれ検出部121に対してぶれ量の測定を開始させる。以降のステップにおいても、手ぶれ検出部121は常に動作し、手ぶれ処理部120に対して撮像装置100の動き量を出力し続ける。
なお、本実施例においては、ステップS101で撮影開始信号を受信した後に手ぶれ検出部121がぶれ量の検出動作を開始する構成としているが、これに限定されるものではない。例えば、撮影開始信号の受信以前から手ぶれ検出部121を動作させる構成としてもよい。
ステップS103で、制御部141は、レンズデータを撮像光学系110から取得する。取得したレンズデータには、撮像光学系110の収差量が含まれる。撮像光学系110の収差量は、後述する画像の変形処理で使用する。
他の実施例では、メモリ等の記憶手段がレンズデータを保持しており、制御部141が記憶手段に保持されているレンズデータを取得する構成としてもよい。
ステップS104で、制御部141は、撮像素子111に対し、露光を開始させ、所定の露光時間をもって、露光を終了させる。露光時間は、ユーザの指示に基づき決定してもよいし、撮像装置100が決定してもよい。露光により撮像素子111において得られた撮像信号は、撮像素子111より読み出されてA/D変換され、得られる画像データは、メモリ144に記憶される。
ステップS105で、制御部141は、画像処理部130に対し、メモリ144から画像データを取得させる。
ステップS106で、制御部141は、手ぶれ処理部120から撮像装置100の動き量を取得する。ここで取得する撮像装置100の動き量は、上記のステップS104の露光のタイミングに対応しており、露光時間中の複数のサンプリングより算出された複数のデータからなる。
ステップS107で、制御部141は、画像処理部130に対し、画像の変形処理を実行させる。画像の変形処理においては、ステップS103で取得した撮像光学系110の収差量、ステップS106で取得した撮像装置100の動き量及びステップS105で取得した画像データを使用する。変形処理の詳細については、後に図5等を参照して詳しく説明する。
ステップS108で、制御部141は、変形処理の施された画像を画像処理部130から表示処理部118や記録処理部120に出力させる。
そして、ステップS109で、制御部141は、撮影終了信号を受信したか否かを判定する。ステップS101にて撮影開始信号を受信して以降に撮影終了信号を受信している場合には、ステップS110へと処理を移行させる。まだ撮影終了信号を受信していない場合は、ステップS103に戻り、上記の処理を繰り返す。終了信号は、例えば動画撮影の場合には、操作部142におけるユーザからの再度のレリーズ操作をもって発行される。シングルショットの静止画撮影の場合には、ステップS109の終了信号を受信したか否かの判定処理をなくし、直ちにステップS108からステップS110へと処理を移行させる構成としてもよい。
ステップS110で、制御部141は、手ぶれ検出部121の動作を停止させてぶれ量の測定を終了し、処理を終了する。他の実施例においては、ここでは手ぶれ検出部121の動作を終了させず、測定し続ける構成としてもよい。
撮像素子111にはCMOSセンサーを使用しているため、上記のステップS105の処理において取得した画像には、手ぶれによるFP歪が現れる。また、撮像光学系110の収差によっても、画像に歪が現れる。これについて、図3を参照して説明する。
図3は、画像に現れる歪について説明する図である。このうち、図3(a)は、手ぶれによる撮像面上の被写体の位置の変化を表す図であり、図3(b)は、これに更に撮像光学系110の収差が加わった場合の被写体の位置の変化を表す図である。
図3(a)に示すように、時刻t[秒]からt+Δt[秒]、t+2Δt[秒]と時間が経るにつれて、撮像装置100は手ぶれによって右下から左上へと移動した場合は、撮像面上の被写体の位置は、左上から右下へと移動する。
これに更に撮像光学系110の収差を考慮すると、被写体は、図3(b)に示すように、収差の量は、被写体が撮像範囲のいずれの位置にあるかにより異なってくる。このため、各時刻における被写体の変形は、異なったものとなる。
図4は、図3(b)の状態を1シャッターで撮像した場合の画像と、歪を除去した場合の画像とを模式的に示す図である。
ここでのシャッターとは、いわゆるローリングシャッター方式の電子シャッターであり、水平ライン毎に露光、読み出しタイミングのずれがあるものである。このため、図4(a)に示すように、収差にFP歪が加わり被写体がいびつに変形している。
なお、図4(a)においては、露光中に検出される手ぶれによる動きベクトル(手ぶれベクトル)を、水平ラインの露光タイミングに合わせて示している。つまり、第1ライン(t秒)から最終ライン(t+2Δt秒)へと露光時間が進むにつれて、手ぶれベクトルは右下から左上へと変化する。
図4(b)は、図4(b)に示す撮像により得られる画像から収差及びFP歪を除去した画像を示す。図4(a)の手ぶれベクトルに対し、大きさが同じで向きがこれとは逆の手ぶれ補正ベクトルを併せて示す。
撮像素子111にて取得される撮像信号を変換して得られる図4(a)の画像に対し、歪を補正する変形処理を加えることで、図4(b)の画像を生成する方法も考えられる。このような方法をとる場合は、図4(a)の画像上の座標Pに対し、これにおける手ぶれベクトルμ(P)と、その収差補正ベクトルd(P)とを合成した補正ベクトルμ(P)+d(P)をPに加算した位置
Q=P+(μ(P)+d(P))・・・(1)
へと移動する操作を行うことになる。
しかし、かかる手法で画像の変形処理を行うためには、処理座標のステップ幅を変形量すなわち手ぶれ補正ベクトル及び収差補正ベクトルを合成した補正ベクトルに応じて変化させていく必要があり、処理が煩雑となってしまう。
そこで、本実施形態においては、図4(b)の画像上の座標Qに対して以下の演算を行うことで、撮像により得られた画像の読み出し位置(図4(a)の画像上の座標Pが対応)を変化させ、画像の変形を補正する。
なお、上記の(1)式よりP=Q−(μ(P)+d(P))の演算を行うことで、画像の読み出し位置Pを容易に算出することができそうに見えるが、この演算によっては、読み出し位置Pを算出することはできない。補正ベクトル−(μ(P)+d(P))が、座標Pにより決定されるものであり、未知であるためである。
仮に、上記の特許文献1に開示されている手法を用いた場合には、読み出し位置Pについては、P=Q−(μ(Q)−d−1(Q))で表される。しかし、この補正ベクトル−(μ(Q)−d−1(Q))は、本来の補正ベクトルと異なる。すなわち、手ぶれベクトルμ(P)≠μ(Q)であるため、歪が大きい場合には、これによっては正しく補正することができない。
ここで、d−1(Q)は、収差ベクトルであり、Q=P+d(P)よりP=Q−d(P)であるから、P=Q+d−1(Q)の関係を有している。
そこで、本実施形態に係る撮像装置100において、歪のない画像上の座標Qと撮像により得られた画像上の読み出し位置Pとの関係を求めて、適切に歪を除去した画像を得る具体的な方法について、以下に説明する。
図5は、本実施形態における画像の変形処理を示したフローチャートである。図5においては、図2のステップS107の処理の詳細フローを示す。図5等を参照して、本実施形態における画像を変形して歪を補正した画像を得る方法について、具体的に説明する。
まず、図2のステップS107の画像の変形処理が開始すると、ステップS1で、制御部141から指示を受けて、画像処理部130は、処理対象の座標(図4(b)の座標Q)に対して収差を加えた座標を求める。撮像光学系110の収差は、レンズやズーム状態、フォーカス状態等により固有であるので、測定により予めその量を知ることが可能である。そこで、ステップS1においては、既知のベクトルd−1(Q)を用いることにより、収差を加えた座標
Q´=Q+d−1(Q)・・・(2−1)
により、座標Q´を求める。あるいは、未知の収差がある場合には、撮像により得られた画像データを解析することにより、ベクトルd−1(Q)を近似的に算出することは可能であるため、これを用いてもよい。
次に、ステップS2で、画像処理部130は、FP歪に関する演算を行うか否かを判定する。判定は、ユーザが指定した内容に基づくこととしてもよいし、撮像装置100において決定することとしてもよい。撮像装置100において決定する場合には、例えば、手ぶれベクトルが微小量であれば、演算を行わず、そうでなければ演算を行う、等の判定が考えられる。画像全体に同じ判定を用いてもよいし、処理対象の座標Qにより異なる判定をすることとしてもよい。また、詳しくは後述するが、このステップS2においてFP歪に関して再度演算を行うか否かの判定も行っており、図5の一連の演算を繰り返し実行することでより正確に読み出し位置を求めることができることから、いくつかの条件を組み合わせた判定としてもよい。
ステップS3では、画像処理部130は、ステップS1で算出した座標Q´に対して手ぶれベクトルを参照する。つまり、ベクトルμ(Q´)を求める。
ここで、手ぶれベクトルは、元々は手ぶれ検出部121にてあるサンプリングレートをもって取得した値であるため、全ての座標Q´に対しても値が存在するわけではない。そこで、値の存在しない座標Q´については、存在する値から補間を行うことで、適宜手ぶれベクトルμ(Q´)を算出する。補間は、手ぶれのパターンによって適切な方法を用いればよい。例えば、周波数の低い手ぶれが主である場合には、線形補間で十分である。より滑らかな補間を行う必要がある場合には、ラグランジュ補間やスプライン補間等を用いることもできる。例えば、手ぶれ処理部120においてある程度補間処理を実行しておき、ステップS3においては、画像処理部130が手ぶれ処理部120において求めた補間値の中から最も近い値を参照する構成としてもよい。このような構成とすることで、ステップS3において画像処理部130が実行する計算量を抑制することができる。
ステップS4で、画像処理部130は、FP歪に関する演算を実行する。具体的には、ステップS3において求めた手ぶれベクトルμ(Q´)を用いて、処理対象となる座標Qを補正する。これは、
=Q−μ(Q´)・・・(3−1)
によりQを求める操作である。
なお、ステップS4においては、手ぶれベクトルμ(Q´)を用いずに、大きさが同じで向きが逆の手ぶれ補正ベクトルμ−1(Q´)=−μ(Q´)を用いて、
=Q+μ―1(Q´)
によりQを求めることとしてもよい。
ステップS4の処理が完了すると、ステップS1に戻り、画像処理部130は、上記と同様の処理を実行する。ここでは、
Q´=Q+d−1(Q)・・・(2−2)
を算出し、座標Q´を求める。そして、処理を再びステップS2へと移行させる。
ステップS2では、画像処理部130は、先に座標Qについて行ったと同様に、先のステップS1において求めた(2−2)式より求まる座標Q´について、FP歪に関する演算を行うか否かを判定する。
ステップS2での座標Q´についての判定は、先の座標Qについての判定と同じ条件で行ってもよいし、異なる条件を用いてもよい。異なる条件により判定を行う場合は、例えば、FP歪に関する演算を実行した回数をカウントしておき、演算回数が所定のしきい値に達するまで演算を行う構成としてもよい。あるいは、ステップS1において1回前に算出した座標を記憶しておき、これと、今回ステップS1において算出した座標との差分が所定のしきい値以下となるまで演算を行う構成としてもよい。1回目の判定では常に真(ステップS2でYesの場合)、2回目の判定では常に偽(ステップS2でNoの場合)となるように、判定結果を固定しておく構成としてもよい。
図5に示す一連の処理が開始してから、ステップS4を実行した後にステップS1に戻り、2回目のステップS2の判定を行うまでの処理によって、FP歪及び撮像光学系110の収差をおよそ除去することは可能である。しかし、これ以降に更にステップS3に移行して、その後再びステップS1に戻り、収差及びFP歪の除去処理を複数回繰り返し実行することで、求まるQ´を所望の読み取り位置である座標Pにより近付けることが可能となる。これは、特に、FP歪が大きい場合に有効である。これについて、図6及び図7を参照して説明する。
図6は、歪なしの理想画像(Q)と収差及びFP歪が加わった画像(P)、及び従来技術により歪を補正した画像を模式的に示す図である。先に図4を参照して説明をしたように、撮像光学系110の収差及び手ぶれにより、図6(a)の理想画像(Q)に対し、実際に撮像される画像は、図6(b)に示すように、いびつに変形している。
なお、図6及び以降で説明する図7や図8及びその説明においては、上記の方法により座標の変換を行って画像の歪が除去されることの説明のため、例えばある画像上に座標Qがある場合には、その画像を「画像(Q)」と表記することとする。
収差及びFP歪によって変形した画像(P)を、上記式(1)よりP=Q−(μ(Q)−d−1(Q))を用いて座標変換し、補正した場合に得られる画像を、図6(c)に示す。図6(c)に示すように、かかる方法では、先に図4の説明においても述べたとおり、補正ベクトル−(μ(Q)−d−1(Q))は、本来の補正ベクトルと異なるため、正しく補正することができない。
図7は、本実施形態に係る撮像装置100による歪を除去する方法の各段階における画像を模式的に示す図である。
図7(1a)は、図6(b)の画像(P)に対し、上記(2−1)式によって収差を除去した画像(Q´)である。画像(Q´)は、図5においては最初にステップS1の処理を実行すると得られる。図6(b)の画像(P)に対し、例えば隅の領域では、樽状の歪が除去されていることがわかる。
図7(1b)は、図6(b)の画像(P)に対し、上記(3−1)式によって図6(b)からFP歪を除去した画像(Q)である。画像(Q)は、図5においては1回目のステップS4の処理を実行すると得られる。図7(1a)の画像(Q´)に対し、手ぶれによるFP歪が多少は抑えられている。
図7(2a)は、図7(1b)の画像(Q)に対し、上記(2−2)式によって収差を除去した画像(Q´)である。画像(Q´)は、図5においては2回目のステップS1の処理を実行すると得られる。図7(1b)の画像(Q)に対し、隅の領域では樽状の歪が除去されている。
図7(2b)は、図6(b)の画像(P)に対し、上記(3−1)式のQをQに、μ(Q´)をμ(Q´)に置き換えて得られる以下の式(3−2)
=Q−μ(Q´)・・・(3−2)
によってFP歪を除去した画像(Q)である。画像(Q)は、図5においては2回目のステップS4の処理を実行すると得られる。図7(2a)の画像(Q´)に対して手ぶれによる歪が抑えられているとともに、図7(1b)に示す1回目の手ぶれによるFP歪除去後の画像(Q)と比較しても、よりFP歪が抑制されていることがわかる。
以降も同様に、ステップS1及びステップS4においてそれぞれ収差及びFP歪を除去していくこととなる。
図5の説明に戻ると、画像処理部130は、2回目のステップS2において、座標Q´について再度FP歪に関する演算を行うと判定した場合には、ステップS3に進み、手ぶれベクトルμ(Q´)を求め、ステップS4で、Q=Q−μ(Q´)を求める。これらの演算をN回繰り返すと、ステップS4においては
=Q−μ(Q´N−1
が得られる。その後戻ったステップS1において、N+1回目の収差を加えた座標Q´を以下の式より算出する。
Q´=Q+d−1(Q)・・・(2−N)
N+1回目ステップS2の判定において、FP歪に関する演算は行わないと判定すると、上記(2−N)式より得られる座標Q´を最終的な結果として、すなわち、撮影画像の読み込み位置として、図5の処理を終了する。
図8は、図7の方法により最終的に得られる補正画像を模式的に示す図である。
図8においては、N=4の場合、すなわち、図5のステップS1乃至ステップS4の処理を4回繰り返した後に、ステップS1において5回目の収差を除去した画像(Q´)を示す。図7と比較して、ステップS1乃至ステップS4の処理を4回繰り返すことで、収差及びFP歪のいずれもが除去され、適切に補正されていることがわかる。
図9は、図5の処理フローの変形例である。図5の処理と同様の処理については、同一のステップ番号を付している。図9の処理フローにおいても、先に収差を補正し(ステップS1)、次にFP歪を補正する(ステップS4)点については図5と同様である。
図5の処理フローと異なる点は、ステップS4においてFP歪による補正を行った後に、最初のステップS2の判定に戻り、更なるFP歪に関する演算は行わない、と判定した場合に、更にステップS1´で、最後に収差を補正し、これを最終的な結果として処理を終了する点である。これは、本実施形態における歪の補正処理は、収差に対する補正ベクトルとFP歪に対する補正ベクトルとを合成して一度に座標変換を行うのでなく、段階的にそれぞれの歪に対する補正ベクトルを加えていき、最後に収差を補正する方法をとっていることによる。
すなわち、図5及び図9のいずれの処理フローであっても、まずは、処理対象を理想画像の座標Qとし、これに収差を補正するための補正ベクトルd−1(Q)を加えた座標(Q´)を得る。そして、次に、座標Qに「収差を加えた座標Q´についての手ぶれ補正ベクトル」を加えた座標Qを得ている。以降は、段階的に補正ベクトルを加えて得られた座標Qに対して、座標Qにおける収差を補正するための補正ベクトルd−1(Q)を加えて座標Q´を求め、座標Q´についての手ぶれ補正ベクトルd−1(Q´)を加えて座標Qn+1を求めていく。しかし、正しく補正を行うためには、最後に収差を補正するための補正ベクトルによって補正を行って、これを撮像画像の読み取り位置(すなわち座標P)とする必要がある。このため、図9の処理フローにおいては、最後にステップS1´の処理を実行する必要がある。
上記のとおり、図5または図9に示す一連の処理により得られた座標Q´は、座標Qに対応する画像の読み込み位置である。しかし、撮像により得られる画像P上には、座標Q´に画素値が存在するとは限らない。これは、撮像素子111により取得される画像は、空間的にある間隔をもってサンプリングされたものであることによる。したがって、必要な場合には、存在する画素値から補間を行って、適宜座標Q´における画素値を算出する。補間方法としては、出力する画像に応じて適切な方法を使用すればよい。例えば、バイリニア補間や、バイキュービック補間等が想定される。
以上説明した処理を画像全体にわたり行うことで、収差及びFP歪を除去した画像を取得することが可能となる。
以上のように、本実施形態によれば、従来技術のように収差を補正するベクトルとFP歪を補正するベクトルとを合成して除去する方法はとらず、理想画像の座標Qに、まず最初に収差を表すベクトルを加え、次に、FP歪による歪を表すベクトル(すなわち手ぶれ補正ベクトル)を加える。このような収差及びFP歪を加える処理をそれぞれ実行し、これを複数回繰り返した後に、最後に収差を表すベクトルを加えてこれを画像の読み取り位置、すなわち座標Pとする。これにより、手ぶれによるFP歪および収差を厳密に取り除いた画像を得ることが可能となる。
<第2の実施形態>
上記の実施形態においては、収差及びFP歪による画像の変形を補正している。これに対し、本実施形態においては、更に、画像の回転に代表されるような、他の幾何的な変形が加わった場合の画像の変形についても補正を行う。
以下に、上記の実施形態と異なる点を中心に、本実施形態に係る撮像装置について説明を行う。なお、本実施形態に係る撮像装置100の構成については、図1に示すとおりであり、上記の実施形態と同様である。また、撮像装置100の撮像動作の処理フローについても、先に図2を参照して説明したとおりであるので、これらの説明は省略する。
図10は、撮像装置100の傾きについて説明する図である。
図10に示すように、撮像装置100の鉛直軸回りの回転であるヨー回転、左右方向の回転であるロール回転、前後方向の回転であるピッチ回転のそれぞれの方向に撮像装置100が傾いている場合、画像が回転するだけでなく、台形に歪んで撮像されることとなる。
なお、図10に示すような撮像装置100の傾きについては、図1の手ぶれ検出部121においてこれを検出する。
図11は、撮像装置100に傾きがある場合に画像に現れる歪について説明する図である。ここでは、図3(b)に加えてアオリが加わった場合の画像について説明する図である。
図3(b)と比較すると、図11に示す画像においては、被写体が、撮像装置100のピッチ回転により、撮像装置100が上方にあおられたことにより、被写体の形状は、上底の方が下底よりも長い台形となっている。上記実施形態においても説明したとおり、被写体は、手ぶれによって撮像面上を左上から右下へと移動し、撮像光学系110の収差は撮像面上の位置により歪の量が異なってくる。このため、各時刻(t[秒]、t+Δt[秒]、及びt+2Δt[秒])における被写体の変形は、それぞれ異なったものとなる。
図12は、図11の状態を1シャッターで撮像した場合の画像を模式的に示す図である。収差とFP歪とのみが被写体の形状に影響している図4の画像と比較すると、撮像装置100のピッチ回転により、上辺と下辺とで長さも異なり、更に複雑な歪が現れている。このような画像を変形して歪を補正する処理の詳細について、図13を参照して具体的に説明する。
図13は、本実施形態に係る画像の変形処理を示したフローチャートである。図13においては、図2のステップS107の処理の詳細フローを示す。なお、上記の実施形態の画像の変形処理フローを示した図5や図9と同様の処理については、同一のステップ番号を付している。
まず、図2のステップS107の画像の変形処理が開始すると、ステップS0で、制御部141から指示を受けて、画像処理部130は、収差やFP歪を除いた画像の幾何学的変形に係わる演算を行う。ここでの「幾何学的変形」とは、撮像装置100自体の位置や状態が変化した結果生じる変形をいい、具体的には、撮像装置100の回転や並進、あるいは、より一般化したアフィン変形や射影変形等が挙げられる。
ステップS0において射影変形が実施される場合の具体例を説明する。
まず、手ぶれにより撮像装置100が被写体に対して傾いた状態にある場合、傾きの大きさは、手ぶれ検出部121によって取得され、手ぶれ処理部120により補正されるべき角度が算出される。画像処理部130は、手ぶれ処理部120から補正されるべき角度を受け取り、この角度を用いて、処理対象の座標Qに対して射影変換座標Qを算出する。
射影変換座標Qの算出に関しては、
Θ=TΘ・・・(4)
による。ここで、Θは、Qの斉次座標であり、
の場合に、λを任意乗数として、
である。任意乗数λには、焦点距離等を与えるのが一般的である。
上記Tは、射影変換行列である。例えば、ヨー回転θ、ピッチ回転θ、ロール回転θの角度を持つ場合は、Tは、次式で与えられる。
(4)式乃至(7)式により求まる座標Qを用いて、ステップS1以降の処理を行う。
例えば、撮像装置100の傾きがロール回転のみ限定されているような場合には、ステップS0において上記の処理を行う必要はなく、より簡単な回転のみを演算すればよい。具体的には、次式により座標Qが求まる。
これは、(7)式においてθ=θ=0とした場合に(4)式乃至(7)式から求まる。これと同様に、ピッチ回転のみの場合は、(7)式にθ=θ=0を代入し、ロール回転のみの場合は(7)式にθ=θ=0を代入して得られるTを用いて(4)式乃至(7)式を解くことにより、それぞれの場合の座標Qの演算を求めることができる。
画像の「幾何学的変形」に、更に手ぶれによる並進が加わっているような場合には、以下の式により演算を行えばよい。ここで、Sは、並進ベクトルであり、フレーム間のぶれ量を表す。
=Q+S
以上で挙げた座標Qの演算方法は、ステップS0おける演算の例であり、他の公知の演算を実施してもよいし、これらを組み合わせて実施してもよい。
図13のステップS1〜ステップS4までの処理については、上記の実施形態において、図5を参照して説明したとおりである。また、図13のステップS1〜ステップS4の処理の代わりに、図9に示す一連の処理を実行する構成としてもよい。
ステップS5で、画像処理部130は、ステップS5以前の処理により得られた座標Q´ に対し、被写体の位置や状態が変化した結果画像に生じる変形について処理する操作を実施する。ここで取り扱う変形としては、例えば、撮影中の不用意な被写体の移動や、生体に代表される被写体自体の自由な変形等が挙げられる。
被写体の変化が既知である場合には、その変化Ψを用いて、座標Q=Ψ(Q´)を算出する。変化が未知である場合であっても、例えばステップS5以前の処理により被写体変化以外の変形を除去した画像を生成しておき、これを解析することで、被写体の変化Ψを近似的に求めることが可能である。このようにして求まるΨを用いて、座標Q=Ψ(Q´)を算出すればよい。そして、処理対象の座標Qに対しては、撮像により得られた画像の読み込み位置をQとする。読み込み位置Qに値が存在しない場合には、上記実施形態と同様に、補間処理により画素値を算出する。
上記の処理を画像全体にわたって行うことで、撮像光学系110の歪及びFP歪に加えて、他の画像の変形についても厳密に除去した所望の画像を取得することが可能となる。
<第3の実施形態>
上記第1及び第2の実施形態は、画像に現れる収差やFP歪等を除去する方法に関する。これに対し、本実施形態においては、これら収差やFP歪等の影響を排除した動きベクトルを算出する。
以下に、上記の実施形態と異なる点を中心に、本実施形態に係る撮像装置について説明を行う。なお、本実施形態に係る撮像装置100の構成については、図1に示すとおりであり、上記の実施形態と同様である。
図14は、フレーム毎に画像に現れる歪が動きベクトルに与える影響について説明するための図である。
例えば、移動体の現在までの動きベクトルを基に未来の動きベクトルを予測することがある。この場合、歪の影響により、画像内の移動体の位置毎に動きベクトルの向きや大きさに変化が生じる。
また、フレーム間で歪が異なる場合には、歪を含んだ動きベクトルが実際の大きさよりも大きく(あるいは小さく)なってしまうことがある。図14には、あるフレームの画像(第1の画像)に現れる歪と、次のフレームの画像(第2の画像)に現れる歪とが異なる場合を例示する。この場合、2つのフレームから動きベクトルを求めると、実際の被写体の動き量に対し、求まる動きベクトルの大きさは、実際よりも大きくなっている。
従来技術によると、歪によって動きベクトルの大きさが実際の動き量よりも大きくなってしまうことを考慮に入れた場合、動きベクトルの探索範囲を広くとる必要がある。これに対し、本実施形態によれば、歪によって動きベクトルの探索範囲を拡大することなく、効率的に動きベクトルを算出する。
図15は、本実施形態に係る撮像装置100による動きベクトルの算出処理を示したフローチャートである。撮像装置100の制御部141は、図2の撮像動作によって動きベクトルの算出に利用する2つのフレーム画像(第1の画像及び第2の画像)のうち、第2の画像を取得すると、画像処理部130に指示をして、図15に示す一連の処理を開始させる。なお、第2の画像は、現在取得した画像であり、第1の画像は、第1の画像の1フレーム前に取得した画像である。
図15に示す一連の処理のうち、ステップS11〜ステップS16は、「第1の画像」の動きベクトル算出に利用する領域の座標を処理対象とする。ステップS17〜ステップS22は、「第2の画像」の動きベクトル算出において探索範囲とする領域の座標を処理対象とする。それぞれの処理により、第1及び第2の画像中の動きベクトルの算出に利用する所定の領域の座標について、収差やFP歪を加えていき、それぞれ撮像した画像の読み取り位置を求める。
まず、ステップS11で、制御部141から動きベクトルを算出する旨の指示を受けた画像処理部130は、第1の画像中に、テンプレート領域を設定する。テンプレート領域とは、第1の画像のうちの、動きベクトル算出処理において第2の画像と比較される領域である。
図16(a)左側に、ステップS11において設定したテンプレート領域を例示する。テンプレート領域は、任意に設定することができる。例えば、図16(a)左側に例示するように、テンプレート領域を規則的に配置してもよい。あるいは、画像を認識した上で、人物の顔の領域等の所定の位置のみに設定してもよい。設定する領域の数や大きさについても、任意に設定することができる。このステップS11以後の処理は、設定した領域の数だけ実行することになる。
ステップS12〜ステップS15の処理は、それぞれ図5のステップS1〜ステップS4の処理と同様である。
ステップS16で、画像処理部130は、ステップS16以前の処理で得られた座標Qt´ にテンプレート領域を再設定する。
図14の「第1の画像」についての再設定前後のテンプレート領域を、図16(a)に示す。上記のとおり、図16(a)の左側が再設定前の(図15のステップS11で設定した)テンプレート領域である。また、図16(a)の右側は、再設定後の(同ステップS16で設定した)テンプレート領域である。テンプレート領域についてステップS12乃至ステップS15の処理を施すことで、収差やFP歪に応じた位置にテンプレート領域が配置されることとなる。
テンプレート領域の枠上の座標のみについてステップS12〜ステップS15を実施し、ステップS16のテンプレート領域の再設定処理については、テンプレート領域の形状の変形も含めて再設定することとしてもよい。領域内の全座標を処理対象とするよりも、計算量を抑制しつつ、同等の効果を得ることが可能となる。
第2の画像については、ステップS17で、画像処理部130は、第2の画像中に測定領域を設定する。測定領域とは、第2の画像のうちの、動きベクトル算出処理における探索範囲となる領域をいう。
図16(b)左側に、ステップS17において設定した測定領域を例示する。図16(b)左側に例示するように、測定領域については、テンプレート領域と同様に、任意に設定可能である。例えば、被写体の動きが大きくない場合には、基準となるテンプレート領域としてステップS11において設定した位置と同じ位置に設定するのが一般的である。ステップS18以後の処理は、設定した領域の数だけ実行する。
ステップS18〜ステップS21の処理は、それぞれ図5のステップS1〜ステップS4(及び上記ステップS12〜ステップS15)の処理と同様である。
ステップS22で、画像処理部130は、ステップS22以前の処理で得られた座標Qs´ に測定領域を再設定する。図14の「第2の画像」についての再設定した測定領域を、図16(b)に示す。図16(b)の左側が再設定前の(図15のステップS17で設定した)測定領域、右側が再設定後の(同ステップS22で設定した)測定領域である。
一般的に、第1の画像と第2の画像とでは、歪が異なっている。このため、基準となるテンプレート領域の座標Qと測定領域の座標Qとして、同一の座標を設定しても、それぞれステップS16及びステップS22で得られる座標Qt´ とQs´ とは、一般的には、互いに異なったものとなる。
最後に、ステップS23で、画像処理部130は、再設定されたテンプレート領域と測定領域との相関を順次計算し、最も相関が高くなる位置を探し出して、これを動きベクトルとする。
上記においては、第1の画像のテンプレート領域及び第2の画像の測定領域をそれぞれ再設定する際に、収差及びFP歪を加えた座標を求めているが、これに、上記第2の実施形態のように、幾何学的変形を加えた座標を求める構成とすることもできる。
上記の方法により求めた動きベクトルは、撮像装置100の制御部141において画像内のある部分がどこに移動したかを認識するために利用し、例えば、自動追尾機能や顔認識機能に適用することができる。例えば上記第2の実施形態において説明したような、図13のステップS5において、被写体の変化Ψに利用することもできる。
本発明は、上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
100 撮像装置
110 撮像光学系
111 撮像素子
112 A/D変換部
120 手ぶれ処理部
121 手ぶれ検出部
130 画像処理部
131 歪補正量取得部
132 座標変換部
140 配線バス
141 制御部
142 操作部
143 メモリコントローラ
144 メモリ
145 表示処理部
146 モニタ
147 記録処理部
148 記録媒体

Claims (9)

  1. 光学系により形成された被写体像から画像データを生成する撮像装置であって、
    フォーカルプレーン蓄積を行う撮像素子と、
    前記撮像装置に加わったぶれ量を出力する検出部と、
    前記光学系の収差により前記画像データに生じる第1の画像歪を補正するための第1の補正量を取得する第1の歪補正量取得部と、
    前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第2の画像歪を補正するための第2の補正量を取得する第2の歪補正量取得部と、
    前記第1及び第2の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換部と、
    を有し、
    前記座標変換部は、
    処理対象の座標値を前記第1の補正量に基づき変換する第1の変換動作と、この第1変換動作により変換された座標値を前記第2の補正量に基づき変換する第2の変換動作と、を実行可能に構成されていることを特徴とする撮像装置。
  2. 前記座標変換部は、前記第1の変換動作及び前記第2の変換動作を繰り返し実行するかを判定する判定動作を更に実行可能に構成されていることを特徴とする請求項1に記載の撮像装置。
  3. 前記判定動作において、前記座標変換部は、前記撮像装置に加わったぶれ量の大きさに応じて前記第1と第2の変換動作を繰り返し実行するか判定することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記判定動作において、前記座標変換部は、繰り返し回数が所定の回数に達したか否かに基づき前記第1と第2の変換動作を繰り返し実行するか判定することを特徴とする請求項1または2に記載の撮像装置。
  5. 前記撮像装置の回転により前記画像データに生じた第3の歪を補正するための第3の補正量を取得する第3の歪補正量取得部と、
    を更に有し、
    前記座標変換部は、前記第3の歪補正量に基づく第3の変換動作を更に実行可能に構成され、この第3の変換動作を実行した後に、前記第1及び第2の変換動作を実施することを特徴とする請求項1乃至4に記載の撮像装置。
  6. 前記座標変換部は、前記第1及び第2の変換動作を01回以上繰り返し実行した後、最後に第1の変換動作によって前記第1の補正量に基づく変換処理を実行し、これを補正された座標値とすることを特徴とする請求項1乃至5に記載の撮像装置。
  7. 前記画像データを構成する画素の座標値より、動きベクトルを算出する動きベクトル算出部と、
    を更に有し、
    前記座標変換部は、第1のフレーム画像と第2のフレームの画像との間で動きベクトルを算出するときに、前記第1及び第2の画像のうち、動きベクトルの算出に利用する所定の領域内の座標値について、前記座標の変換処理を実施し、
    前記動きベクトル算出部は、前記座標変換部における座標の変換処理により得られた座標値を用いて、動きベクトルを算出する
    ことを特徴とする請求項6記載の撮像装置。
  8. フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する画像処理方法であって、
    前記被写体像を形成する光学系の収差により前記画像データに生じる第1の画像歪を補正するため、第1の補正量を取得する第1の歪補正量取得ステップと、
    前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第2の画像歪を補正するための第2の補正量を取得する第2の歪補正量取得ステップと、
    前記第1及び第2の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、
    を有し、
    前記座標変換ステップは、
    処理対象の座標値を前記第1の補正量に基づき変換する第1の変換ステップと、この第1の変換ステップにより変換された座標値を前記第2の補正量に基づき変換する第2の変換ステップと、を有することを特徴とする画像処理方法。
  9. フォーカルプレーン蓄積を行う撮像素子から出力された被写体像の画像データに生じた歪を補正する撮像装置の制御プログラムであって、
    前記被写体像を形成する光学系の収差により前記画像データに生じる第1の画像歪を補正するため、第1の補正量を取得する第1の歪補正量取得ステップと、
    前記撮像素子の蓄積動作中のぶれにより前記画像データに生じる第2の画像歪を補正するための第2の補正量を取得する第2の歪補正量取得ステップと、
    前記第1及び第2の画像歪を補正するために、前記画像データを構成する画素の座標値に関して座標の変換処理を実施する座標変換ステップと、
    を有し、
    前記座標変換ステップは、
    処理対象の座標値を前記第1の補正量に基づき変換する第1の変換ステップと、この第1の変換ステップにより変換された座標値を前記第2の補正量に基づき変換する第2の変換ステップと、を有することを特徴とする制御プログラム。
JP2014078567A 2014-04-07 2014-04-07 撮像装置、画像処理方法及び制御プログラム Active JP6375131B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014078567A JP6375131B2 (ja) 2014-04-07 2014-04-07 撮像装置、画像処理方法及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014078567A JP6375131B2 (ja) 2014-04-07 2014-04-07 撮像装置、画像処理方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2015201714A true JP2015201714A (ja) 2015-11-12
JP6375131B2 JP6375131B2 (ja) 2018-08-15

Family

ID=54552658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014078567A Active JP6375131B2 (ja) 2014-04-07 2014-04-07 撮像装置、画像処理方法及び制御プログラム

Country Status (1)

Country Link
JP (1) JP6375131B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329164A (zh) * 2020-02-28 2021-08-31 华为技术有限公司 一种镜头校正方法、装置、拍摄终端及存储介质
WO2022143851A1 (zh) * 2020-12-31 2022-07-07 维沃移动通信有限公司 摄像头模组及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034964A (ja) * 2005-07-29 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム
JP2007129587A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置、交換式レンズ装置、撮像制御方法、歪曲収差補正用データ処理方法、及びコンピュータプログラム
JP2011223367A (ja) * 2010-04-12 2011-11-04 Sanyo Electric Co Ltd 歪み補正装置
US20140078327A1 (en) * 2012-09-20 2014-03-20 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and method of controlling image capturing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034964A (ja) * 2005-07-29 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに3次元情報の復元及びレンズ歪パラメータの推定プログラム
JP2007129587A (ja) * 2005-11-04 2007-05-24 Canon Inc 撮像装置、交換式レンズ装置、撮像制御方法、歪曲収差補正用データ処理方法、及びコンピュータプログラム
JP2011223367A (ja) * 2010-04-12 2011-11-04 Sanyo Electric Co Ltd 歪み補正装置
US20140078327A1 (en) * 2012-09-20 2014-03-20 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and method of controlling image capturing apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329164A (zh) * 2020-02-28 2021-08-31 华为技术有限公司 一种镜头校正方法、装置、拍摄终端及存储介质
CN113329164B (zh) * 2020-02-28 2023-01-20 华为技术有限公司 一种镜头校正方法、装置、拍摄终端及存储介质
WO2022143851A1 (zh) * 2020-12-31 2022-07-07 维沃移动通信有限公司 摄像头模组及电子设备

Also Published As

Publication number Publication date
JP6375131B2 (ja) 2018-08-15

Similar Documents

Publication Publication Date Title
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US8289405B2 (en) Image processing apparatus and method thereof
KR102179731B1 (ko) 촬상 장치, 고체 촬상 소자, 카메라 모듈, 전자 기기, 및 촬상 방법
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
JP4926920B2 (ja) 防振画像処理装置及び防振画像処理方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP5226600B2 (ja) 画像変形装置およびその動作制御方法
JP6518115B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5729237B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2017098884A (ja) 移動検出装置、移動検出方法、及び、プログラム
US10715723B2 (en) Image processing apparatus, image acquisition system, image processing method, and image processing program
US10204400B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP6375131B2 (ja) 撮像装置、画像処理方法及び制御プログラム
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5788197B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
JP2017173920A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法
JP6671975B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータプログラム
JP2012124939A (ja) 撮像装置及び撮像装置の制御方法
JP6979859B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180723

R151 Written notification of patent or utility model registration

Ref document number: 6375131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250