JP2016134631A - 画像処理装置、撮像装置、画像処理方法 - Google Patents

Abstract

【課題】画像データを付加情報とともに記録する場合の情報量の増加を抑制すること。【解決手段】撮像センサ部１０１は、光学系１００を介して被写体を撮像する。圧縮部１０２は、撮像センサ部１０１から連続的に得られた画像データを圧縮して、記録部１０９に出力する。特徴量抽出部１０５は、画像データの画素ごとに特徴量を抽出し、座標選択部１０６は、特徴量の高い座標を複数選択する。動き検出部１０７は、座標選択部１０６によって選択された複数の座標に係る座標点の動きベクトルを検出する。幾何変形パラメータ生成部１０８は、動きベクトルと光学系１００のレンズ情報と各種センサ情報に基づいて幾何変形パラメータを生成する。記録部１０９は、圧縮部１０２によって圧縮された画像データ（フレームごとの画像データ）に幾何変形パラメータを関連付けて記録媒体へ記録する。【選択図】 図１

Description

本発明は、画像データを圧縮し、付加情報と関連付けて記録する技術に関する。

近年、シネマ撮影等において、記録した動画像データに対し、画質を損なわずに後から加工したいという要求が高まっている。そのような要求に応えるために、動画像についてＲＡＷ形式のデータを扱える装置が提案されている。例えば特許文献１に開示の装置では、動画撮影において、撮像センサから得られる現像前の画像データを現像せずに順次記録するＲＡＷ動画撮影を行う。ＲＡＷ現像処理を実施することによって、現像パラメータを後から変更でき、かつ画質を損なうことがない。

また、近年のカメラには、記録用の画像データを取得する撮像センサ以外のセンサとして、例えばカメラの動きや姿勢を検出するジャイロセンサ等が搭載されている。特許文献２に開示の装置では、センサ情報を記録動画データへ付加することによって、後からセンサ情報を用いた動画加工が可能である。

特開２０１１−２３３９８５号公報 特開２０１２−２４９１５８号公報

しかしながら、各種センサにより検出される情報を、そのまま画像データに付加したのでは、情報量が膨大になるという問題があった。さらには、撮影光学系を構成するレンズの移動または撮像センサの移動によって防振（像ブレ補正）を行う補正機構を搭載するカメラシステムがある。この場合、各種センサによる検出情報としての防振に関連する情報だけでなく、補正機構に関する情報も付加しなければならない。よって、さらに動画データの付加情報が多くなって情報量が肥大化するという問題があった。その他にも、光学系の収差を伴うレンズ機構を撮影者が操作することによって変化するレンズ特性の情報をも含める場合には、さらに付加情報が莫大になる。
本発明の目的は、画像データを付加情報とともに記録する場合の情報量の増加を抑制することである。

本発明に係る装置は、光学系を通して撮像された画像の画像データを圧縮する圧縮手段と、前記画像データを取得して画像の特徴量を抽出する抽出手段と、前記抽出手段により抽出される前記特徴量を取得し、前記特徴量が相対的に高い複数の座標を選択する座標選択手段と、前記座標選択手段によって選択された前記複数の座標に係る座標点の動きを検出する動き検出手段と、前記動き検出手段により検出された座標点の動きおよび前記光学系に係るレンズ情報を取得して幾何変形パラメータを生成する生成手段と、前記圧縮手段によって圧縮された画像データに対して、前記生成手段により生成された幾何変形パラメータを付加情報としてフレームごとに関連付けて記録する記録手段と、を備える。

本発明によれば、画像データを付加情報とともに記録する場合の情報量の増加を抑制することができる。

本発明の実施形態に係る装置の構成例を示すブロック図である。 ソーベルフィルタによる特徴点抽出の説明図である。 領域分割による座標選択処理の説明図である。 画像データと幾何変形による座標移動先との対応関係を示す図である。 像高の算出および歪曲収差補正の処理例を説明する図である。 出力時の座標走査の説明図である。 図４に対する幾何変形時の座標補間の説明図である。 記録媒体に記録されるファイルの構造を説明する図である。 フレームヘッダ領域に記録される幾何変形パラメータの説明図である。

以下に本発明の実施形態に係る好適な構成例ついて、図面を参照して説明する。
図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。光学系１００はレンズや絞りなどの光学部材を備える撮影光学系である。光学系１００は、レンズの光学収差を伴う光学系であり、手振れなどに対して像ブレ補正を行う光学補正機構を備える。撮像センサ部１０１は、光学系１００を介して集光された被写体像を光電変換して画像信号を出力する撮像素子を備える。

圧縮部１０２は、撮像センサ部１０１から連続的に得られる画像信号を取得し、画像データの圧縮処理を実行する。圧縮部１０２は、画像データに対してロスレス圧縮、またはロスが少ないロッシー圧縮を行う。なお、ロスレス圧縮のみを行う形態や、ロッシー圧縮のみを行う形態でも構わない。一般的な情報圧縮技術を用いればよく、圧縮のアルゴリズムについては本発明の特徴部分ではないため、説明を省略する。

現像部１０３は、撮像センサ部１０１から連続的に得られる画像信号を取得し、画像データの現像処理を実行する。一般的な撮像センサでは、ベイヤー配列等のモザイク状に結像され、この場合、現像部１０３はデモザイク処理や、ガンマ補正等を行い、表示部１０４にて表示可能な画像データへ変換する処理を行う。このような変換処理を、現像処理と呼ぶ。表示部１０４は、現像処理後の画像データにしたがって画像を表示する。つまり、現像部１０３によって現像処理が行われた画像データは、画像表示により撮影者に提示される。

特徴量抽出部１０５は、現像部１０３から現像処理後の画像データを取得し、画素ごとの特徴量を抽出する。特徴量の抽出では、画素ごとに画像の特徴量を計算して抽出する処理が行われる。この計算および抽出の詳細に関しては後述する。
座標選択部１０６は、特徴量抽出部１０５によって抽出された特徴量に基づいて、幾何変形パラメータを求める基準となる座標を選択する。特徴量抽出部１０５から取得される特徴量のデータのうち、特徴量の高い座標が優先的に複数選択される。座標選択処理の詳細に関しては後述する。動き検出部１０７は、座標選択部１０６によって選択された複数の座標の動きベクトルを検出する。具体的には、動き検出部１０７は、時系列にて１つ前の画像データと、現時点の画像データとを比較することにより、座標選択部１０６によって選択された座標の動きベクトルを検出する。

幾何変形パラメータ生成部１０８は、動き検出部１０７によって検出された動きベクトルと、光学系１００に備わるレンズ情報や各種センサ情報に基づいて、幾何変形パラメータを生成する。レンズ情報とは、光学系１００を構成するレンズ（ズームレンズ等）の特性や収差等の情報である。また各種センサ情報とは、装置の振れ検出信号を出力する角速度センサ等による検出情報である。具体的には、座標選択部１０６によって選択された座標に対して、電子防振および各種光学収差の幾何補正およびローリングシャッター歪補正により参照位置ズレ量が算出される。この参照位置ズレ量が幾何変形パラメータとして出力される。

記録部１０９は、圧縮部１０２によって圧縮された画像データ（圧縮画像データ）と、幾何変形パラメータ生成部１０８によって生成された幾何変形パラメータとを関連付けて、記録媒体へ記録する。関連付けられた圧縮画像データと幾何変形パラメータは、後述する所定のフォーマットに従って記録媒体に記録される。

像ブレ補正部１１０は、幾何変形パラメータ生成部１０８によって生成された幾何変形パラメータと、角速度センサ等による振れ検出信号を取得し、撮像センサ部１０１により取得される画像データから画像の動きを検出し、画像の像ブレを補正する。電子防振の場合、手振れなどの影響による像ブレを電子的処理（画像処理）によって補正する処理が実行される。また光学防振の場合には、補正レンズや撮像素子などの光学部材または光学素子の移動により像ブレを補正する処理が実行される。本実施形態では、電子防振と光学防振が併用される。

収差補正部１１１は、幾何変形パラメータ生成部１０８によって生成された幾何変形パラメータにしたがって光学収差の幾何補正処理を実行する。光学収差補正には、例えば歪曲収差補正や、倍率色収差補正等が含まれる。

ローリングシャッター歪補正部１１２は、幾何変形パラメータ生成部１０８によって生成された幾何変形パラメータを取得し、既知の方法でローリングシャッター歪を自動的に補正する。ローリングシャッター歪は、ローリングシャッター方式の撮像センサで動きの速い被写体等を撮影した場合に、被写体像に歪みが生じる現象である。ローリングシャッター歪補正部１１２はローリングシャッター歪の検出量に応じた歪補正量を算出し、撮像素子により取得された画像データを補正する。

次に、特徴量の抽出処理、および座標選択処理について詳説する。
特徴量については、画像にて動きが目立つ領域と、各種光学収差が目立つ領域と、ローリングシャッター歪が目立つ領域を兼ねるものとする。但し、これは、いずれも補正を実施する場合であり、ローリングシャッター歪補正を実施しない場合には、前記領域がローリングシャッター歪の目立つ領域を兼ねていなくても構わない。これらの領域は、おおむね被写体像のエッジ部分に目立つ傾向がある。このため、図２に示すようなソーベル（ｓｏｂｅｌ）フィルタの処理結果を用いるか、演算リソースに余裕があるシステムであればＨａｒｒｉｓオペレータやＳｈｉ・Ｔｏｍａｓｉの特徴量算出方法を用いると、より効果的である。本実施形態では、図２を参照して、ソーベルフィルタを用いる場合について説明する。ソーベルフィルタは空間１次微分を計算して輪郭を検出するフィルタである。

図２の画像データ２００は、図１において現像部１０３の出力する画像データに相当する。画像データ２００は水平ソーベルフィルタ２０１へ入力され、フィルタ処理されたデータは絶対値処理部２０３で絶対値に変換される。同様にして、垂直ソーベルフィルタ２０２は画像データ２００を処理し、フィルタ処理されたデータは、絶対値処理部２０４で絶対値に変換される。絶対値処理部２０３，２０４の各出力は、選択処理部２０５に入力され、いずれか大きい方の出力が選択される（大値選択）。つまり選択処理部２０５は、絶対値処理部２０３の出力値と絶対値処理部２０４の出力値とを比較し、大きい方を特徴量２０６として出力する。このように、複数のフィルタによってそれぞれ処理された出力値のうち、いずれかが選択されることで、特徴量が抽出される。

次に、図３を参照して、座標選択処理について説明する。本実施形態では、画像データ群を所定数の領域に分割し、分割された領域ごとに特徴量が最大となる座標を求める処理が実行される。図３は、画像データ群について水平方向（図３の左右方向）に４分割、垂直方向（図３の上下方向）に３分割を行った場合の矩形分割例を示す。座標選択部１０６は、分割領域３００の１つに付き、１つの分割領域内特徴最大点３０１を求める。図３では分割領域内特徴最大点（以下、特徴最大点という）３０１を黒点で示しており、その座標は該分割領域内で特徴量が最大値を示す座標である。なお本実施形態では、分割領域内で特徴量が相対的に高い座標として、特徴量の最大値をもつ単数の座標点を選択する処理を例示するが、必要に応じて複数の座標点を選択する処理を行っても構わない。

幾何変形パラメータ生成部１０８は、所望の幾何変形を行った場合に、前記特徴最大点３０１を参照する出力座標を求める。図４は対応関係のイメージを示す概念図であり、左側に幾何変形前の画像データ４００を示し、右側に幾何変形後の画像データ４０１を示す。画像データ４００上の座標は、図３にて説明した方法で選択された座標であり、幾何変形パラメータ生成部１０８は、当該座標に対応する幾何変形後の画像データ４０１上の点の座標を求める。この時に例えば、収差補正部１１１が歪曲収差補正を行う場合を想定する。この場合、光学系１００の補正機構によって画像の中心からずれている補正レンズの光軸中心座標に基づいて像高を求め、さらに現在のレンズの状態を把握して像高に対する歪量を求める算出処理が行われる。この処理によって補正量が取得される。図５を参照して、具体的な処理を説明する。図５（Ａ）は像高の算出処理を説明する図であり、図５（Ｂ）は歪曲収差補正量の算出処理を説明する図である。

図５（Ａ）に示す画像データ５００において、画像中心点５０１の座標を（Ｏｘ，Ｏｙ）と記し、光学系１００の補正機構による像ブレ補正で画像中心にずれが生じたときの中心ズレ量５０２を（Ｓｘ，Ｓｙ）と記す。画像上の着目座標５０３を（ｘ，ｙ）と記し、像高をｒと記すとき、像高算出の計算式５０４を以下に示す。

光学系１００の補正機構によるシフト移動量である、中心ズレ量（Ｓｘ，Ｓｙ）を考慮に入れて、像高ｒが算出される。

次に、図５（Ｂ）の歪曲収差補正量テーブル（５０５〜５０７参照）を参照して歪曲収差補正量を算出する処理が実行される。図５（Ｂ）の横軸は像高（単位：pixel）を表し、縦軸は歪曲収差補正量（単位：pixel）を表す。グラフ曲線５０５から５０７は、歪曲収差補正量テーブルの各データをグラフ化したものであり、ズーム位置ａ，ｂ，ｃのそれぞれに対応する歪曲収差補正量を例示している。現在のズーム位置に応じたグラフ曲線、つまり歪曲収差補正量テーブルが選択され、既に求めた像高ｒに対応する補正量ｄが、直接または補間計算によって算出される。

次に、補正量ｄをｘ軸方向とｙ軸方向の各成分に分解して着目座標５０３の各成分に加算する処理が実行される。以下の計算式を用いて、歪曲収差補正後の座標（ｘ^*，ｙ^*）が算出される。

上式中のarctan(Y，X)は、Y／Xの逆正接関数を表す。なお、倍率色収差補正を行う場合にも同様の処理が実行されるが、この場合にはＲ（赤）・Ｇ（緑）・Ｂ（青）の色成分ごとに中心ズレ量が異なるため、各色について個別に求める必要がある。

このように、幾何変形処理の入力画像の座標に対する出力座標を求める処理が行われた後、記録する圧縮画像（ＲＡＷ動画）に対して、算出された座標値のデータを関連付けて、記録媒体への記録処理が行われる。座標値のデータを画像データに関連付けて記録する場合の記録媒体上のファイルイメージの一例を図８に示す。記録動画データの先頭アドレスを基準として、以下の領域が配置される。
・ファイルヘッダ領域（８００）：ＲＡＷ動画の全フレーム数やフレームサイズ等の、ＲＡＷ動画全体に対して所定数存在する情報を記録した領域であり、記録ファイルの先頭に位置する。
・フレーム情報領域（８１０）：フレームヘッダ領域とフレーム画像データ領域とのペアで構成される領域である。

ファイルヘッダ領域８００に続くフレーム情報領域８１０については、記録フレーム数をｎとすると、ｎ個の領域が記録される。フレームヘッダ領域には、上記方法によって求めた幾何変形パラメータが記録され、フレーム画像データ領域にＲＡＷ圧縮画像データが記録される。例えば、第１フレーム情報領域は、フレーム１ヘッダ領域８０１とフレーム１画像データ領域８０２から構成される。この場合、フレーム１画像データ領域８０２に記録されている圧縮ＲＡＷ画像データに対応する幾何変形パラメータは、フレーム１ヘッダ領域８０１へ記録される。同様に、第２フレーム情報領域にて、フレーム２画像データ領域８０４に記録されている圧縮ＲＡＷ画像データに対応する幾何変形パラメータは、フレーム２ヘッダ領域８０３へ記録される。

各フレームヘッダ領域へ記録される幾何変形パラメータは、所定数の頂点における幾何変形時の移動量を示している。倍率色収差補正のように、色別に異なる幾何変形を行う処理を含む場合、幾何変形時の移動量は、Ｒ・Ｇ・Ｂ各色のそれぞれの移動量を示す情報を含む。他方、色別に異なる幾何変形を行わない（全色成分が同様の幾何変形である）場合には、幾何変形時の移動量は１つの移動量のみを示す。具体的には、図３の例では、画像データ群を水平方向に４分割し、垂直方向に３分割に分割して幾何変形パラメータを求める処理が行われ、４×３＝１２個の移動量情報が取得される。図９（Ａ）は、図３の領域分割に対応する領域インデックス９００を例示し、図３の分割領域のそれぞれに仮のインデックス（９１０から９１２参照）を付けた領域１から領域１２を示す。分割領域ごとに取得された移動量情報は、図９（Ｂ）に示すようにフレームヘッダ領域へ記録される。例えば、領域１のインデックス９１０に対応する幾何変形パラメータは、領域１のＲＡＷ画像上の座標９２０と、領域１の幾何変形後の座標９２１を有する。同様に、領域２のインデックス９１１に対応する幾何変形パラメータは、領域２のＲＡＷ画像上の座標９２２と、領域２の幾何変形後の座標９２３を有する。このように、記録するＲＡＷ動画上の特徴的な点であるＲＡＷ画像上の座標と、幾何変形による、当該特徴点の移動先の座標である幾何変形後の座標とを対にして、全領域（図９では領域１から領域１２）分のデータがフレームヘッダ領域へ記録される。その場合、座標データ（幾何変形パラメータ）については、全ての画像データにそれぞれ関連付けられて存在しても構わないし、または所定のフレーム間隔（例えば２フレームに１組等）で画像データに関連付けて記録しても構わない。本明細書では、上記の処理で取得された座標値を幾何変形パラメータと呼称するが、幾何変形そのものを簡略化する場合（例えば射影変換等に近似する場合）には、その変換係数などに加工した後のデータを記録媒体へ記録しても構わない。

次に記録された動画像の再生処理について説明する。
記録媒体にデータが記録されたＲＡＷ動画には、幾何変形の出力座標に対応する入力座標を示す幾何変形パラメータが関連付けられて記録されている。再生処理にて再生部１１３（図１参照）は、図６に示すように、出力座標に対して表示制御に合わせた順序で走査を行う。図６に例示する出力画像の座標空間６００において、左上から右への走査が上から下へ順次に行われていき、着目点での座標（着目座標６０１）である出力座標（ｘ，ｙ）に対応する入力座標が算出される。

図７は、幾何変形時の座標補間処理を説明する図であり、図４で求めて記録媒体へ記録した幾何変形パラメータをそのまま読み出す場合のイメージを示す。画像データ７００には、出力画像である幾何変形後の画像７０１のデータに関する着目座標やその近傍点の座標にそれぞれ対応する座標を例示する。座標点７０８に示す着目座標（ｘ，ｙ）と、その近傍点７０２から７０４における幾何変形パラメータとして座標ａ、座標ｂ、座標ｃをそれぞれ例示する。図７では、座標ａ、座標ｂ、座標ｃに示す３点を頂点とする第１の三角形ＴＲ_ａｂｃ（点線参照）内に存在する座標点７０８の着目座標（ｘ，ｙ）を例示する。出力位置に対応する入力画像（圧縮ＲＡＷ動画中の１枚の画像）上での位置を求めるために、着目座標（ｘ，ｙ）の近傍にある３点の座標ａ、座標ｂ、座標ｃを特定する処理が行われる。そして幾何変形パラメータである複数の座標がそれぞれ示す点により形成される図形（三角形ＴＲ_ａｂｃ）と、着目座標（ｘ，ｙ）との位置関係が算出される。着目座標（ｘ，ｙ）の近傍点７０２から７０４の各座標は、座標ａ、座標ｂ、座標ｃであり、画像データ７００においてそれぞれに対応する座標Ａ、座標Ｂ、座標Ｃを算出する処理が行われる。座標点７０２の座標ａに対応する入力画像上での座標点７０５の座標を座標Ａとする。座標点７０３の座標ｂに対応する入力画像上での座標点７０６の座標を座標Ｂとし、座標点７０４の座標ｃに対応する入力画像上での座標点７０７の座標を座標Ｃとする。座標Ａ、座標Ｂ、座標Ｃに示す３点を頂点とする第２の三角形ＴＲ_ＡＢＣ（点線参照）に対して、その内部に存在する座標点７０９の座標（Ｘ，Ｙ）を算出する処理が前記と同様に行われる。座標点７０９の座標（Ｘ，Ｙ）は、第１の三角形ＴＲ_ａｂｃの３頂点と第２の三角形ＴＲ_ＡＢＣの３頂点との対応関係において、着目座標（ｘ，ｙ）に対応する位置関係を示す点の座標として求めることができる。画像データ７００において、算出された座標（Ｘ，Ｙ）の位置における画素値を、出力画像７０１上での座標（ｘ，ｙ）での画素値として出力することにより、所望の幾何変形が達成される。このように図形を構成する座標点同士の位置関係を求めて、互いに対応する座標を算出する処理は、線形補間やスプライン補間等の、一般的な補間を用いて行われる。再生部１１３が出力するデータは、現像部１０３で現像処理されてから表示部１０４が画像表示を行う。

本実施形態では、ＲＡＷ動画像データに対して幾何補正を実施するに際して、幾何補正に必要な情報をすべて付加する必要がない。よって、低速で安価な記録媒体を利用できる。ＲＡＷ動画像データの加工時には、少ない演算量で像ブレ補正、各種収差補正、ローリングシャッター補正等の幾何補正を行えるので、付加情報を含めたデータの記録量の肥大化を抑制することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 圧縮部
１０３ 現像部
１０５ 特徴量抽出部
１０６ 座標選択部
１０７ 動き検出部
１０８ 幾何変形パラメータ生成部
１０９ 記録部
１１０ 像ブレ補正部
１１１ 収差補正部
１１２ ローリングシャッター歪補正部
１１３ 再生部

Claims (12)

1. 光学系を通して撮像された画像の画像データを圧縮する圧縮手段と、
   前記画像データを取得して画像の特徴量を抽出する抽出手段と、
   前記抽出手段により抽出される前記特徴量を取得し、前記特徴量が相対的に高い複数の座標を選択する座標選択手段と、
   前記座標選択手段によって選択された前記複数の座標に係る座標点の動きを検出する動き検出手段と、
   前記動き検出手段により検出された座標点の動きおよび前記光学系に係るレンズ情報を取得して幾何変形パラメータを生成する生成手段と、
   前記圧縮手段によって圧縮された画像データに対して、前記生成手段により生成された幾何変形パラメータを付加情報としてフレームごとに関連付けて記録する記録手段と、を備えることを特徴とする画像処理装置。
2. 前記座標選択手段は、前記画像データに係る画像の領域を分割し、分割された領域ごとに前記特徴量を前記抽出手段から取得して前記複数の座標を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段は、
   前記画像データを処理する複数のフィルタ手段と、
   前記複数のフィルタ手段の出力値を比較して１つを選択し、前記特徴量として出力する選択手段を備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記光学系のレンズ情報は、レンズの位置および歪曲収差もしくは倍率色収差の情報を含み、
   前記幾何変形パラメータは、画像の像ブレを補正する処理および歪曲収差もしくは倍率色収差の補正に用いるパラメータを兼ねており、幾何変形における複数の座標点の移動量を示すことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 振れ検出信号を出力する振れ検出手段をさらに備え、
   前記生成手段は、前記振れ検出信号を取得して前記幾何変形パラメータを生成し、
   前記幾何変形パラメータは、画像の像ブレを補正する処理およびローリングシャッター歪補正に用いるパラメータを兼ねることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記記録手段は、前記幾何変形パラメータを記録媒体に記録する際に、前記画像データの座標を示す複数の座標データと、該座標データのそれぞれに対する幾何変形後の座標データとを対にしたデータを、前記圧縮手段によって圧縮された、現像処理が行われていない画像データとともに記録することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 請求項１から６のいずれか１項に記載の画像処理装置と、
   前記光学系を通して撮像した画像の画像データを出力する撮像手段を備えることを特徴とする撮像装置。
8. 前記幾何変形パラメータを用いて、前記画像の像ブレを補正する補正手段を備えることを特徴とする請求項７に記載の撮像装置。
9. 前記幾何変形パラメータを用いて、前記光学系のレンズの歪曲収差または倍率色収差を補正する収差補正手段を備えることを特徴とする請求項７または８に記載の撮像装置。
10. 前記幾何変形パラメータを用いて、ローリングシャッター歪補正を行う歪補正手段を備えることを特徴とする請求項７から９のいずれか１項に記載の撮像装置。
11. 請求項１から６のいずれか１項に記載の画像処理装置と、
    前記光学系を通して撮像した画像の画像データを出力する撮像手段と、
    圧縮された画像データおよび幾何変形パラメータを取得し、幾何変形時に座標補間処理を行って画素値を出力する再生手段と、を備えることを特徴とする撮像装置。
12. 画像処理装置にて画像処理および記録処理を実行する画像処理方法であって、
    光学系を通して撮像された画像の画像データを圧縮する圧縮工程と、
    前記画像データを取得して画像の特徴量を抽出する抽出工程と、
    前記抽出工程で抽出された前記特徴量を取得し、前記特徴量が相対的に高い複数の座標を選択する座標選択工程と、
    前記座標選択工程で選択された前記複数の座標に係る座標点の動きを検出する動き検出工程と、
    前記動き検出工程で検出された座標点の動きおよび前記光学系に係るレンズ情報を取得して幾何変形パラメータを生成する生成工程と、
    前記圧縮工程で圧縮された画像データに対して、前記生成工程で生成された幾何変形パラメータを付加情報としてフレームごとに関連付けて記録する記録工程と、を有することを特徴とする画像処理方法。
    
    
    
    
    
    

Images