JP2007306500A - 画像傾き補正装置及び画像傾き補正方法 - Google Patents

Abstract

【課題】傾きセンサなどを用いることなく、撮影画像の傾きを補正しうる画像傾き補正装置及びこれを有する撮像装置を提供する。
【解決手段】撮影によって得られた元画像及び元画像を回転させた回転画像を評価画像とし、評価画像ごとに、画像内の鉛直線に平行な軸７０に対する評価画像の傾きを評価する。そして、その評価結果に基づいて、傾きが少なくなるように元画像を回転補正する。具体的には、評価画像の水平エッジ成分をマトリクス状に算出し、該水平エッジ成分の大きさを垂直方向に射影することにより垂直射影値Ｑ_V［ｎ］を算出する。そして、この垂直射影値Ｑ_V［ｎ］の水平方向の高域成分の大きさが増加する方向に元画像を回転補正する。垂直エッジ成分に応じた水平射影値Ｑ_H［ｍ］を用いた場合も同様である。
【選択図】図１４

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置にて撮影された画像の傾きを補正するための画像傾き補正装置及び画像傾き補正方法に関する。また、本発明は、その画像傾き補正装置を備えた撮像装置に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて、被写体を撮影する際、被写体に気をとられて撮影した画像が傾くことがある。特に、動画を撮影する場合においては、撮影を継続するにつれて意図せず撮像装置が傾き、撮影画像が傾いてしまうことが多い。

このような画像の傾きは、撮影装置上、パーソナルコンピュータ上またはテレビジョン装置上での再生時や、印刷後などに、初めて気づくことも多く、その場合は改めて取り直すといったこともできない。また、傾いた画像は、一般的にあまり見栄えの良いものとは言えず、記録媒体に記録しておくべき画像として適切ではない。

この種の傾きを補正するべく、撮像装置の傾きを検出するための傾きセンサなどを撮像装置に設ける手法が提案されている（例えば、下記特許文献１参照）。

特開２００５−３４８２１２号公報

しかしながら、撮像装置の傾きを検出するために傾きセンサを設けるとなると、当然の如く、撮像装置の大型化及びコストアップを招く。

そこで本発明は、傾きセンサなどを用いることなく、撮影画像の傾きを補正しうる画像傾き補正装置及びこれを有する撮像装置を提供することを目的とする。また、本発明は、傾きセンサなどを用いることなく、撮影画像の傾きを補正しうる画像傾き補正方法を提供することを目的とする。

上記目的を達成するために本発明に係る画像傾き補正装置は、撮像手段にて得られた撮影画像の傾きを変更した回転画像を出力する画像回転手段と、前記回転画像を評価画像に含め、前記撮影画像を表す撮像信号に基づいて、前記評価画像の所定軸に対する傾きを評価する傾き評価手段と、を備え、前記傾き評価手段による評価結果に基づいて、前記所定軸に対する前記撮影画像の傾きを回転補正した傾き補正画像を出力することを特徴とする。

撮影信号に基づいて撮影画像の傾きが評価され、その評価結果に基づいて回転補正が施されるため、傾きセンサ等は不要である。尚、所定軸とは、例えば、撮影画像または評価画像における「鉛直線に平行な軸」である。所定軸を、「鉛直線に平行な軸」が定まれば自動的に定まる任意の軸と捉えても良い。例えば、撮影画像または評価画像における「水平線に平行な軸」と捉えても良い。

具体的には例えば、前記傾き評価手段は、前記評価画像の水平エッジ成分及び垂直エッジ成分の少なくとも一方に基づいて前記評価画像の傾きを評価する。

また例えば、前記傾き評価手段は、前記評価画像の水平エッジ成分をマトリクス状に算出する水平エッジ成分算出手段と、算出した前記水平エッジ成分の大きさを垂直方向に射影することにより垂直射影値を算出する垂直射影手段と、を有し、当該画像傾き補正装置は、前記垂直射影値の水平方向の高域成分の大きさが増加する方向に前記撮影画像を回転補正することによって、前記傾き補正画像を得る。

また例えば、前記傾き評価手段は、前記評価画像の垂直エッジ成分をマトリクス状に算出する垂直エッジ成分算出手段と、算出した前記垂直エッジ成分の大きさを水平方向に射影することにより水平射影値を算出する水平射影手段と、を有し、当該画像傾き補正装置は、前記水平射影値の垂直方向の高域成分の大きさが増加する方向に前記撮影画像を回転補正することによって、前記傾き補正画像を得る。

また例えば、前記評価画像の水平エッジ成分をマトリクス状に算出する水平エッジ成分算出手段と、算出した前記水平エッジ成分の大きさを垂直方向に射影することにより垂直射影値を算出する垂直射影手段と、を有して、前記垂直射影値の水平方向の高域成分の大きさを積算することにより垂直評価値を算出する垂直評価値算出手段と、前記評価画像の垂直エッジ成分をマトリクス状に算出する垂直エッジ成分算出手段と、算出した前記垂直エッジ成分の大きさを水平方向に射影することにより水平射影値を算出する水平射影手段と、を有して、前記水平射影値の垂直方向の高域成分の大きさを積算することにより水平評価値を算出する水平評価値算出手段とを、前記傾き評価手段は備え、当該画像傾き補正装置は、前記垂直評価値及び前記水平評価値の少なくとも一方に基づいて、前記傾き補正画像を定める。

水平エッジ成分算出手段及び／又は垂直エッジ成分算出手段の処理の前に、任意の他の処理を設けることも可能である。

例えば、前記垂直評価値算出手段は、前記評価画像に対して垂直方向に平滑化処理を施す垂直平滑化手段を更に備え、前記水平エッジ成分算出手段は、前記垂直平滑化手段による平滑化処理後の前記評価画像における前記水平エッジ成分を算出し、前記水平評価値算出手段は、前記評価画像に対して水平方向に平滑化処理を施す水平平滑化手段を更に備え、前記垂直エッジ成分算出手段は、前記水平平滑化手段による平滑化処理後の前記評価画像における前記垂直エッジ成分を算出するようにしてもよい。

また例えば、前記評価画像の輝度値を垂直方向に射影することにより垂直射影値を算出する垂直射影手段を有して、前記垂直射影値の水平方向の高域成分の大きさを積算することにより垂直評価値を算出する垂直評価値算出手段と、前記評価画像の輝度値を水平方向に射影することにより水平射影値を算出する水平射影手段を有して、前記水平射影値の垂直方向の高域成分の大きさを積算することにより水平評価値を算出する水平評価値算出手段とを、前記傾き評価手段は備え、当該画像傾き補正装置は、前記垂直評価値及び前記水平評価値の少なくとも一方に基づいて、前記傾き補正画像を定めるようにしてもよい。

そして例えば、当該画像傾き補正装置は、前記垂直評価値と前記水平評価値を所定の比率で加算した結果に基づいて、前記傾き補正画像を定めるようにしてもよい。

これに代えて例えば、当該画像傾き補正装置は、前記垂直評価値と前記水平評価値を用いた比較処理を介して前記垂直評価値と前記水平評価値の内の一方を選択し、選択した評価値に基づいて、前記傾き補正画像を定めるようにしてもよい。

また例えば、前記回転画像は、回転前の前記撮影画像に内包される、前記撮影画像の縦横比に応じた縦横比を有する方形領域内の画像にて形成される。

また、上記の何れかに記載の画像傾き補正装置と、撮像手段と、を設けた撮像装置を構成すると良い。

上記目的を達成するために本発明に係る画像傾き補正方法は、撮像手段にて得られた撮影画像の傾きを変更した回転画像を評価画像に含め、前記撮影画像を表す撮像信号に基づいて、前記評価画像の所定軸に対する傾きを評価し、その評価結果に基づいて、前記所定軸に対する前記撮影画像の傾きを回転補正することを特徴とする。

そして例えば、上記画像傾き補正方法では、前記評価画像の水平エッジ成分及び垂直エッジ成分の少なくとも一方に基づいて前記評価画像の傾きを評価する。

本発明によれば、傾きセンサ等を設けることなく、撮影画像の傾きを補正することが可能である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付す。

図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＤＲＡＭ（Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路（ビデオ出力回路）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部（再生手段）２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。

バス２４には、撮像部１１、ＡＦＥ１２、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９、映像出力回路２０、音声出力回路２１及びＣＰＵ２３が接続されている。バス２４に接続された各部位は、バス２４を介して、各種の信号（データ）のやり取りを行う。

バス２５には、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＤＲＡＭ１７に接続されている。バス２５に接続された各部位は、バス２５を介して、各種の信号（データ）のやり取りを行う。

ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。

ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、必要に応じて、信号処理時に一時的に各種のデータ（デジタル信号）をＤＲＡＭ１７に記録する。

メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。メモリカード１８は、撮像装置１に対して着脱自在となっている。メモリカード１８の記録内容は、メモリカード１８の端子を介して又は撮像装置１に設けられた通信用コネクタ部（不図示）を介して、外部のパーソナルコンピュータ等によって自在に読み出し可能である。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または２以上のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。

図２は、図１の撮像部１１の内部構成図である。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。

被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。

撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。

撮像素子３３は、カラー撮影の可能な、単板式の撮像素子となっている。撮像素子３３を構成する各画素には、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の何れかのカラーフィルタ（不図示）が設けられている。尚、撮像素子３３として、３板式の撮像素子を採用することも可能である。

ＡＦＥ１２は、撮像部１１の出力信号（即ち、撮像素子３３の出力信号）であるアナログの上記電気信号を増幅する増幅回路（不図示）と、増幅された電気信号をデジタル信号に変換するＡ／Ｄ（アナログ−デジタル）変換回路（不図示）と、を備える。ＡＦＥ１２によってデジタル信号に変換された撮像部１１の出力信号は、順次、映像信号処理部１３に送られる。また、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて上記増幅回路の増幅度を調整する。

以下、撮像部１１またはＡＦＥ１２から出力される、被写体に応じた信号を、撮像信号と呼ぶ。

映像信号処理部１３は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる撮影画像（映像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。

マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。

圧縮処理部１６は、映像信号処理部１３からの映像信号を、ＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Joint Photographic Experts Group）等の所定の圧縮方式を用いて圧縮する。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、ＡＡＣ（Advanced Audio Coding）等の所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて、時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。

録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。１つのフレームにて１つのフレーム画像が得られる。各フレームの長さは、例えば１／６０秒である。この場合、１／６０秒の周期にて順次取得されるフレーム画像の集まり（ストリーム画像）が、動画を構成する。

撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。

撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像（即ちフレーム画像）が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。

また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。

再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。

映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。

また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。

尚、映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出回路、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出回路、画像の動きを検出する動き検出回路などを含む（全て不図示）。ＣＰＵ２３は、ＡＦ評価値に応じ、図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３の撮像面（受光面）に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じ、図２のドライバ３４を介して絞り３２の開口量（及びＡＦＥ１２の増幅回路の増幅度）を調節することにより、受光量（画像の明るさ）を制御する。また、サムネイル画像も映像信号処理部１３にて生成される。

図３（ａ）及び（ｂ）に、撮影画像の例を示す。図３（ａ）及び（ｂ）において、軸７０は、撮影画像（及び後述する回転画像）における「鉛直線に平行な軸」である。図３（ａ）に示す撮影画像の垂直方向は軸７０に平行であるが、図３（ｂ）に示す撮影画像の垂直方向は軸７０と平行ではない。つまり、図３（ａ）に示す撮影画像は軸７０に対して傾いていないが、図３（ｂ）に示す撮影画像は軸７０に対して傾いている。図１の撮像装置１は、このような撮影画像の傾きを補正する傾き補正機能を備えている。

本明細書において、特に記述しない限り、「傾き」とは、画像内における「鉛直線に平行な軸」に対する、画像の垂直方向の傾きを意味する。ここにおける「画像」には、後述の「評価画像」が含まれる。勿論、その傾きは、画像内における「水平線に平行な軸」に対する、画像の水平方向の傾き等と等価である。

この傾き補正機能を実現するための構成ブロック図を図４に示す。傾き補正機能は、主として図４の傾き補正部４０によって実現される。傾き補正部４０は、画像回転部４３と傾き評価部４４とを備える。図４に示す傾き補正部４０、色同時化処理部４１及びＭＴＸ回路４２は、図１の映像信号処理部１３に備えられる。

色同時化処理部４１は、ＡＦＥ１２から送られてきた撮像信号に対して、いわゆる色同時化処理を行い、これによって撮影画像を構成する各画素に対するＧ信号、Ｒ信号及びＢ信号を生成する。ＭＴＸ回路４２は、色同時化処理部４１にて生成されたＧ、Ｒ及びＢ信号を、マトリクス演算を介して、輝度信号Ｙ並びに色差信号Ｕ及びＶに変換する。この変換によって得られた輝度信号Ｙ並びに色差信号Ｕ及びＶは、ＤＲＡＭ１７に書き込まれる。以下、輝度信号Ｙ、色差信号Ｕ及び色差信号Ｖを、夫々、Ｙ信号、Ｕ信号及びＶ信号と呼ぶ。

画像回転部４３は、ＤＲＡＭ１７から、撮影画像を表すＹ、Ｕ及びＶ信号を読み出す。そして、その撮影画像を回転させることによって回転画像を生成し、この回転画像を表すＹ、Ｕ及びＶ信号を出力する。但し、画像回転部４３は、撮影画像を回転させていない画像、即ち撮影画像そのものを表すＹ、Ｕ及びＶ信号を出力することもできる。尚、撮影画像そのものを表すＹ、Ｕ及びＶ信号を出力する場合は、画像回転部４３を介することなく、ＭＴＸ回路４２の出力信号またはＤＲＡＭ１７から読み出した信号をそのまま、それらの信号を必要とする部位（傾き評価部４４など）に供給するようにしても良い。

また、以下の説明において、画像回転部４３による回転処理が施されていない撮影画像そのものを、特に「元画像」と呼ぶ。

傾き評価部４４は、画像回転部４３から出力される、回転画像を表すＹ信号に基づいて、回転画像の傾きの指標となる傾き評価値を算出する。また、傾き評価部４４は、元画像を表すＹ信号に基づいて、元画像の傾きの指標となる傾き評価値を算出する。算出された傾き評価値は、例えばＣＰＵ２３に送られ、その傾き評価値に基づいた適切な傾き補正が行われる。

詳細は後述の説明から明らかとなるが、傾き評価値は、元画像または回転画像の傾きに応じた値を有し、通常、その傾きがゼロに近づくほど大きな値をとる。

このため、動画撮影時においては、例えばＣＰＵ２３が、傾き評価値が常に最大値付近で保たれるように、所謂山登り制御を用いて画像回転部４３による画像の回転の回転角を制御する。そして、傾き補正部４０は、その回転によって得られた回転画像（或いは、場合によっては元画像そのもの）を傾き補正画像として出力する。また、静止画撮影時においては、傾き評価値が最大値をとるような回転の回転角を求め、その回転によって得られた回転画像（或いは、場合によっては元画像そのもの）を、傾き補正画像として出力する。これらの手順の詳細は、後に説明する。

［回転画像の生成法］
まず、図５を参照して、画像回転部４３による回転画像の生成法について説明する。図５において、符号７１は、長方形の画像形状を有する元画像を表し、符号７２は、元画像７１から得られる回転画像を表す。回転画像７２は、元画像７１の中心を回転の中心として元画像７１を角度θだけ回転させた画像の中央部分を切り出した画像に相当する。図５は、元画像７１を反時計回りに角度θだけ回転させた場合を示している。角度θを、以下、回転角θと呼ぶ。

元画像７１の画像形状と回転画像７２の画像形状は、相似の関係にある。従って、元画像７１及び回転画像７２の画像形状の縦横比は同じである。但し、それらの縦横比は同じ程度であれば良く、厳密に同じである必要はない（即ち、同等であればよい）。そして、元画像７１の画像形状としての長方形の長辺の中点同士を結ぶ直線７３と、回転画像７２の画像形状としての長方形の長辺の中点同士を結ぶ直線７４とは、回転角θにて交わることになる。

更にまた、回転画像７２は元画像７１に内包される。つまり、元画像７１の画像形状を表す長方形の内部に、回転画像７２の画像形状を表す長方形は存在する。この際、回転画像７２の大きさをできるだけ大きくとる（即ち最大にする）ことが望ましい。

図６に示す如く、元画像７１は、（Ｍ×Ｎ）個の画素をマトリクス状に配列した二次元画像である。元画像７１は、水平方向にＮ個の画素、垂直方向にＭ個の画素を配列して構成される。そして、図４のＭＴＸ回路４２にて、各画素ごとに、Ｙ、Ｕ及びＶ信号が生成される。尚、Ｍ及びＮは、２以上の任意の整数であり、例えば、Ｍ＝４８０且つＮ＝６４０である。

回転画像７２も、（Ｍ×Ｎ）個の画素をマトリクス状に配列した二次元画像として生成され、水平方向にＮ個の画素、垂直方向にＭ個の画素を配列して構成される。但し、回転画像７２にとっての水平方向及び垂直方向は、元画像７１にとってのそれらと異なる（回転角θだけ傾いている）。画像回転部４３は、回転画像７２を構成する各画素についてのＹ、Ｕ及びＶ信号を生成する。

図７に、元画像７１又は回転画像７２を構成する各画素の配列を表す。各画素の配列を、画像の原点Ｘを基準としたＭ行Ｎ列の行列として捉え、各画素をＰ［ｍ，ｎ］で表す。ここで、ｍは１〜Ｍの間の各整数をとり、ｎは１〜Ｎの間の各整数をとる。また、図８は、各画素Ｐ［ｍ，ｎ］に対応するＹ信号を模式的に表したものである。画素Ｐ［ｍ，ｎ］のＹ信号の値をＹ［ｍ，ｎ］で表す。Ｙ［ｍ，ｎ］が増加するに従って、対応する画素Ｐ［ｍ，ｎ］の輝度は増加する。

画像回転部４３は、回転画像７２の各画素Ｐ［ｍ，ｎ］のＹ、Ｕ及びＶ信号を算出するために、その算出に必要な元画像７１のＹ信号等を、図６の符号７５に示されるようなスキャン方向に沿ってＤＲＡＭ１７から順次読み出し、読み出した信号を用いて回転画像７２を生成する。

例えば、回転画像７２の各画素Ｐ［ｍ，ｎ］についてのＹ、Ｕ及びＶ信号は、元画像のＹ、Ｕ及びＶ信号に基づき、補間処理等を介して算出される。より具体的には例えば、図９に示す如く、回転画像７２を構成する或る画素７６が、元画像７１を構成する４つの画素Ｐ［１００、１００］、Ｐ［１００、１０１］、Ｐ［１０１、１００］及びＰ［１０１、１０１］にて形成される四角形のちょうど中心に位置している場合、その画素７６のＹ信号の値は、Ｙ［１００、１００］、Ｙ［１００、１０１］、Ｙ［１０１、１００］及びＹ［１０１、１０１］の平均値とされる。その画素７６が、上記四角形の中心からずれている場合は、勿論、そのずれ量に応じた加重平均演算がなされる。回転画像７２のＵ及びＶ信号についても、Ｙ信号と同様に算出される。

［傾き評価値の算出法］
次に、図４の傾き評価部４４による傾き評価値の算出法について説明する。図１０は、傾き評価部４４の内部ブロック図の一例である。図１０の傾き評価部４４は、水平エッジ抽出部４６ａ、垂直射影部４７ａ及び高域成分積算部４８ａと、垂直エッジ抽出部４６ｂ、水平射影部４７ｂ及び高域成分積算部４８ｂと、傾き評価値算出部４９と、から構成される。傾き評価部４４には、画像回転部４３から或いはＤＲＡＭ１７等から、回転画像または元画像のＹ信号が供給される。

傾き評価部４４は、回転画像及び元画像を「評価画像」として取り扱い、評価画像ごとに、評価画像のＹ信号に基づいて評価画像の傾きに応じた傾き評価値を算出する。ここにおける傾きとは、上述したように、例えば、評価画像内における「鉛直線に平行な軸」に対する、評価画像の垂直方向の傾きを意味する。

或る１つの評価画像に着目して、図１０の傾き評価部４４の機能を説明する。

水平エッジ抽出部４６ａは、評価画像の水平エッジ成分（即ち、水平方向のエッジ成分）を抽出する。この水平エッジ成分の抽出は、画素ごとに行われ、画素Ｐ［ｍ，ｎ］に対応して抽出された水平エッジ成分を、Ｅ_H［ｍ，ｎ］にて表記する。

水平エッジ成分の抽出は、水平エッジ抽出部４６ａへの入力値を一次微分または二次微分することにより、行われる。例えば、注目画素と注目画素の左右隣接画素のＹ信号に基づき、図１１にて示されるようなフィルタを用いて、水平エッジ成分の抽出が行われる。つまり、この場合、注目画素をＰ［ｍ，ｎ］とすると、下記式（１）に従って、その注目画素に対応する水平エッジ成分Ｅ_H［ｍ，ｎ］が算出される。以下、具体例として、水平ラインごとに、ｎが１及びＮである場合を除いた合計（Ｎ−２）個の水平エッジ成分Ｅ_H［ｍ，ｎ］が算出されたと仮定する。この場合、評価画像内で、（Ｍ×（Ｎ−２））個の水平エッジ成分がマトリクス状に算出されることになる。

垂直射影部４７ａは、水平エッジ成分Ｅ_H［ｍ，ｎ］の大きさ（即ち、絶対値）を垂直方向に射影することにより、垂直ラインごとに垂直射影値を算出する。画素Ｐ［１，ｎ］〜Ｐ［Ｍ，ｎ］に対応する垂直ラインの垂直射影値をＱ_V［ｎ］にて表記すると、垂直射影値Ｑ_V［ｎ］は下記式（２）に従って算出される。即ち、垂直射影値Ｑ_V［ｎ］は、水平エッジ成分Ｅ_H［１，ｎ］〜Ｅ_H［Ｍ，ｎ］の絶対値の積算値とされる。水平ラインごとに（Ｎ−２）個の水平エッジ成分Ｅ_H［ｍ，ｎ］が算出されるため、合計（Ｎ−２）個の垂直射影値Ｑ_V［２］〜Ｑ_V［Ｎ−１］が算出されることになる。

高域成分積算部（高域成分抽出積算部）４８ａは、垂直ラインごとに算出された垂直射影値Ｑ_V［ｎ］の水平方向の高域成分を抽出し、各高域成分の大きさ（即ち、絶対値）を積算することにより垂直評価値α_Vを算出する。

垂直射影値Ｑ_V［ｎ］の水平方向の高域成分の抽出は、例えば水平方向における垂直射影値Ｑ_V［ｎ］の二次微分をとることにより、行われる。例えば図１１にて示されるようなフィルタを用いる。つまり、垂直射影値Ｑ_V［ｎ］の水平方向の高域成分をＱ_{HPF_V}［ｎ］にて表記すると、下記式（３）に従って、Ｑ_{HPF_V}［ｎ］が算出される。この場合、垂直射影値Ｑ_V［ｎ］の個数が合計（Ｎ−２）個であるので、合計（Ｎ−４）個の高域成分Ｑ_{HPF_V}［２］〜Ｑ_{HPF_V}［Ｎ−２］が算出される。

そして、高域成分積算部４８ａは、算出した高域成分Ｑ_{HPF_V}［ｎ］の絶対値を積算することにより、垂直評価値α_Vを算出する。高域成分の個数が（Ｎ−４）個の場合、垂直評価値α_Vは、下記式（４）に従って算出されることになる。

垂直エッジ抽出部４６ｂ、水平射影部４７ｂ及び高域成分積算部４８ｂから成る水平評価値算出部の機能は、水平エッジ抽出部４６ａ、垂直射影部４７ａ及び高域成分積算部４８ａから成る垂直評価値算出部の機能と同様である。但し、水平評価値算出部と垂直評価値算出部との間で、水平方向と垂直方向の取り扱いが逆になっている。

垂直エッジ抽出部４６ｂは、評価画像の垂直エッジ成分（即ち、垂直方向のエッジ成分）を抽出する。この垂直エッジ成分の抽出は、画素ごとに行われ、画素Ｐ［ｍ，ｎ］に対応して抽出された垂直エッジ成分を、Ｅ_V［ｍ，ｎ］にて表記する。垂直エッジ抽出部４６ｂは、例えば、図１２にて示されるようなフィルタに対応する下記式（５）に従って、各垂直エッジ成分Ｅ_V［ｍ，ｎ］を算出する。この場合、評価画像内で、（（Ｍ−２）×Ｎ）個の垂直エッジ成分がマトリクス状に算出されることになる。

水平射影部４７ｂは、垂直エッジ成分Ｅ_V［ｍ，ｎ］の大きさ（即ち、絶対値）を水平方向に射影することにより、水平ラインごとに水平射影値を算出する。画素Ｐ［ｍ，１］〜Ｐ［ｍ，Ｎ］に対応する水平ラインの水平射影値をＱ_H［ｍ］にて表記すると、水平射影値Ｑ_H［ｍ］は下記式（６）に従って算出される。即ち、水平射影値Ｑ_H［ｍ］は、垂直エッジ成分Ｅ_V［ｍ，１］〜Ｅ_V［ｍ，Ｎ］の絶対値の積算値とされる。

高域成分積算部（高域成分抽出積算部）４８ｂは、水平ラインごとに算出された水泳射影値Ｑ_H［ｍ］の垂直方向の高域成分を抽出し、各高域成分の大きさ（即ち、絶対値）を積算することにより水平評価値α_Hを算出する。水平射影値Ｑ_H［ｍ］の垂直方向の高域成分をＱ_{HPF_H}［ｍ］にて表記する。例えば、図１２にて示されるようなフィルタに対応する下記式（７）に従って、Ｑ_{HPF_H}［ｍ］が算出される。

そして、高域成分積算部４８ｂは、算出した高域成分Ｑ_{HPF_H}［ｍ］の絶対値を積算することにより、水平評価値α_Hを算出する。高域成分の個数が、ｍが１、２、（Ｍ−１）及びＭである場合を除いた（Ｍ−４）個の場合、水平評価値α_Hは、下記式（８）に従って算出されることになる。

傾き評価値算出部４９は、垂直評価値α_V及び水平評価値α_Hを参照し、下記式（９）に従って、評価画像の傾きに応じた傾き評価値αを算出する。ここで、ｋ_V及びｋ_Hは、予め設定される係数であり、それらの値は、例えば画像の縦横比を考慮して設定される。例えば、Ｍ＝４８０且つＮ＝６４０の場合、ｋ_V＝３且つｋ_H＝４とする。尚、詳細は後述するが、傾き評価値αが、垂直評価値α_V及び水平評価値α_Hの何れか一方のみによって表されるような変形も可能である。

ここで、図１３を参照して、垂直評価値α_V及び水平評価値α_Hが意味するものについて考察する。或る評価画像７８内に、垂直方向の輝度のステップエッジ７９が多く存在していた場合を考える（但し、図面の簡略化上、３つのステップエッジ７９のみを図示）。ステップエッジ７９には水平エッジ成分が多く含まれているため、図１３に示す如く、ステップエッジ７９に沿った垂直ラインに対応する垂直射影値Ｑ_V［ｎ］は大きな値を有すると共に垂直射影値Ｑ_V［ｎ］は水平方向に多くの高域成分を含むことになる。従って、この場合、垂直評価値α_Vは比較的大きな値となる。

勿論、ステップエッジ以外のエッジが垂直方向に沿って多く存在する場合も、垂直評価値α_Vは大きくなる。同様に、水平方向に沿ったエッジが多く存在する場合、水平評価値α_Hは比較的大きくなる。

撮像装置１にとっての被写界を画像として捉えた場合、その被写界には、通常、鉛直線及び水平線に平行なエッジが多く含まれている。例えば、建造物、家具、直立姿勢の人物、地平線などを画像として捉えた場合、それらには鉛直線及び（又は）水平線に平行なエッジが多く含まれている。一方において、ユーザは、それらを被写体に含めた撮影を行うことが多い。従って、垂直評価値α_V及び（又は）水平評価値α_Hが増加する方向に元画像の回転補正すれば、画像の傾きが望ましい方向に補正されるはずである。

図１４（ａ）、（ｂ）及び（ｃ）は、夫々、同一の元画像に対して異なる回転角の回転補正を施すことによって得られた評価画像及びそれに対応する垂直射影値Ｑ_V［ｎ］及び水平射影値Ｑ_H［ｍ］を表している。図１４（ａ）に示す評価画像の垂直方向は、その評価画像における鉛直線に平行な軸７０と平行となっており、この場合、図１４（ａ）に示す如く、垂直射影値Ｑ_V［ｎ］は大きな値を有すると共に水平方向に多くの高域成分を含み、且つ、水平射影値Ｑ_H［ｍ］も大きな値を有すると共に垂直方向に多くの高域成分を含む。このため、図１４（ａ）に示す評価画像に対応する垂直評価値α_V及び水平評価値α_Hは比較的大きな値を有することになる。

一方、図１４（ｂ）及び（ｃ）に示す評価画像の垂直方向は、夫々、その評価画像における鉛直線に平行な軸７０に対して傾いており、この結果、それらの垂直射影値Ｑ_V［ｎ］は小さな値を有すると共に垂直射影値Ｑ_V［ｎ］の水平方向の高域成分は少なく、且つ、水平射影値Ｑ_H［ｍ］も小さな値を有すると共に水平射影値Ｑ_H［ｍ］の垂直方向の高域成分は少ない。このため、図１４（ｂ）及び（ｃ）に示す評価画像に対応する垂直評価値α_V及び水平評価値α_Hは比較的小さな値を有することになる。

これに着目し、垂直射影値Ｑ_V［ｎ］の水平方向の高域成分の大きさに応じた垂直評価値α_Vが増加する方向に、或いは、水平射影値Ｑ_H［ｍ］の垂直方向の高域成分の大きさに応じた水平評価値α_Hが増加する方向に、或いは、それらの双方が増加する方向に、元画像を回転補正することによって、傾き補正画像としての回転画像を得るようにする。実際には、垂直評価値α_V及び（又は）水平評価値α_Hを基に算出される傾き評価値αが増加する方向に元画像を回転補正することによって、傾き補正画像としての回転画像を得る。得られた傾き補正画像は、図１の圧縮処理部１６を介してメモリカード１８に記録され、また、表示部２７に表示される。

上記のような傾き補正機能を備えることにより、撮影者は撮像装置１の筐体（不図示）の傾きをあまり気にすることなく撮影ができる。この結果、被写体の動きの追尾に集中することができ、撮影者への負荷が軽減される。

傾き評価値αの算出法には、上述した以外にも様々な変形手法が存在するが、変形手法の説明は後に譲り、先に、動画撮影時及び静止画撮影時における傾き補正の動作手順について説明する。

［動画撮影時の傾き補正動作手順］
まず、動画撮影時における傾き補正の動作手順について、図１５を参照して説明する。尚、図１５に示す処理は、例えば、図１の録画ボタン２６ａが押下されたことによって動画撮影が開始された後のみに行われる。但し、図１５に示す処理を、動画撮影が行われていない状態（例えば撮影モードにおいて動画撮影の開始指示を待機している状態）において行うようにしても良い。また、以下の説明において、反時計回りの回転に対応する回転角θは負の角度を、時計回りの回転に対応する回転角θは正の角度をとるものとする。

撮像装置１に設けられた電源スイッチ（不図示）に対する操作によって撮像装置１内の各部に対する電源が起動すると、回転角θに初期値として０°が代入され（ステップＳ１）、ＴＧ２２は、垂直同期信号を所定の周期（例えば１／６０秒）にて逐次生成する。ステップＳ２では、ＴＧ２２から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点でＴＧ２２から出力される。ＴＧ２２から垂直同期信号が出力された場合はステップＳ３に移行し、出力されていない場合はステップＳ２の処理が繰り返される。

ステップＳ３では、元画像を表す撮像信号がＡＦＥ１２から取り出される。続くステップＳ４において、その撮像信号は色同時化処理部４１及びＭＴＸ回路４２を介してＹ、Ｕ及びＶ信号に変換され、それらはＤＲＡＭ１７に記録される。

次に、ステップＳ５において、画像回転部４３は、回転角θに応じてＤＲＡＭ１７から元画像のＹ、Ｕ及びＶ信号を読み出す。そして、ステップＳ６において、読み出したＹ、Ｕ及びＶ信号に基づきつつ、元画像を回転角θにて回転させた画像の中央部分を切り出して、回転画像（図５の画像７２に対応）を生成する。生成された回転画像は、傾き補正画像として図４の傾き補正部４０（図１の映像信号処理部１３）から出力され、その傾き補正画像は動画撮影時において圧縮処理部１６を介してメモリカード１８に記録される。

ステップＳ６に続くステップＳ７において、傾き評価部４４は、ステップＳ６にて生成された回転画像を評価画像として取り扱い、その評価画像についての傾き評価値αを算出する。ステップＳ７の処理の後、ステップＳ８において、ステップＳ１の処理を経ての傾き評価値αの算出が１回目であるか否かが判断される。１回目である場合はステップＳ９に移行し（ステップＳ８のＹｅｓ）、回転角θに対して時計回り方向に１°を加える。これにより、θ＝１°となる。この後、ステップＳ２に戻ってステップＳ２からステップＳ８の処理が再度繰り返される。

ステップＳ１の処理を経ての傾き評価値αの算出が２回目以降である場合は（ステップＳ８のＮｏ）、ステップＳ８からステップＳ１０に移行し、ステップＳ７にて算出された、今回の傾き評価値αと前回の傾き評価値αとの比較が行われる。前回の傾き評価値αに対して、今回の傾き評価値αが増加していた場合はステップＳ１１に移行し（ステップＳ１０のＹｅｓ）、減少していた場合はステップＳ１２に移行する（ステップＳ１０のＮｏ）。

尚、図示していないが、今回の傾き評価値αと前回の傾き評価値αとの差が、ゼロ又は所定値以下である場合は、ステップＳ１１又はステップＳ１２の処理を行うことなく、ステップＳ２に戻るようにしても良い。

回転角θは、ステップＳ９、Ｓ１１又はＳ１２にて逐次変更されるが、ステップＳ１１では、回転角θに対して前回と同じ方向に１°を加える。例えば、前回、ステップＳ９、Ｓ１１又はＳ１２において、回転角θに対して時計回り方向に１°が加えられていた場合は、今回のステップＳ１１において、回転角θに対して時計回り方向に１°を加える。ステップＳ１１を終えると、ステップＳ２に戻る。

ステップＳ１２では、回転角θに対して前回と逆方向に１°を加える。例えば、前回、ステップＳ９、Ｓ１１又はＳ１２において、回転角θに対して時計回り方向に１°が加えられていた場合は、今回のステップＳ１２において、回転角θに対して反時計回り方向に１°を加える。ステップＳ１２を終えると、ステップＳ２に戻る。

上述のように回転角θを制御することにより、フレーム毎に生成される傾き補正画像に対応する傾き評価値αが最大値付近に保たれる。つまり、傾き評価値αに対する所謂山登り制御が実現される。これにより、撮像装置１の筐体（不図示）が傾くことによって生じる撮影画像の傾きが自動的に補正される。

尚、ステップＳ８〜Ｓ１２の処理は、例えば、図１のＣＰＵ２３或いは図４の傾き補正部４０或いはそれらの双方によって、行われる。また、回転角θの変動範囲に制限を定めるようにしても良い。例えば、常に、−１０°≦θ≦１０°が成立するように、回転角θの変動範囲に制限を定める。この場合、ステップＳ１１又はＳ１２の処理を実行することによって、−１０°≦θ≦１０°が満たされなくなる場合は、ステップＳ１１又はＳ１２において、上述した処理は禁止され、回転角θは前回の角度（−１０°または１０°）のままとされる。

［静止画撮影時の傾き補正動作手順］
次に、静止画撮影時における傾き補正の動作手順について、図１６を参照して説明する。動画撮影時における傾き補正の動作手順にて示したステップと同一（或いは類似）のステップには、同一の記号を付す。

撮像装置１に設けられた電源スイッチ（不図示）に対する操作によって撮像装置１内の各部に対する電源が起動すると、ＴＧ２２は、垂直同期信号を所定の周期（例えば１／６０秒）にて逐次生成する。ステップＳ２では、ＴＧ２２から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点でＴＧ２２から出力される。ＴＧ２２から垂直同期信号が出力された場合はステップＳ２１に移行し、出力されていない場合はステップＳ２の処理が繰り返される。

ステップＳ２１では、図１のシャッタボタン２６ｂが押下されたか否かが判断され、シャッタボタン２６ｂが押下された場合はステップＳ３に移行する一方、押下されていない場合はステップＳ２に戻る。

ステップＳ３では、元画像を表す撮像信号がＡＦＥ１２から取り出される。続くステップＳ４において、その撮像信号は色同時化処理部４１及びＭＴＸ回路４２を介してＹ、Ｕ及びＶ信号に変換され、それらはＤＲＡＭ１７に記録される。

ステップＳ４に続くステップ２２では、回転角θに初期値として−１０°が代入され、ステップＳ５に移行する。ステップＳ５において、画像回転部４３は、回転角θに応じてＤＲＡＭ１７から元画像のＹ、Ｕ及びＶ信号を読み出す。そして、ステップＳ６において、読み出したＹ、Ｕ及びＶ信号に基づきつつ、元画像を回転角θにて回転させた画像の中央部分を切り出して、回転画像（図５の画像７２に対応）を生成する。動画撮影時と異なり、ここで生成された回転画像は、傾き補正部４０から出力される傾き補正画像とは一致しない（但し、最終的に一致する場合もある）。

ステップＳ６に続くステップＳ７において、傾き評価部４４は、ステップＳ６にて生成された回転画像を評価画像として取り扱い、その評価画像についての傾き評価値αを算出してステップＳ２３に移行する。

ステップＳ５、Ｓ６、Ｓ７、Ｓ２３、Ｓ２４及びＳ２５から成るループ処理によって、同一の元画像に対し、最終的に２１個の傾き補正値αが算出されることになるが、ステップＳ２３では、現時点での傾き補正値αの最大値を検出し、その最大値を与える回転角θを記憶しておく。ステップＳ２３の処理の後、ステップＳ２４では、同一の元画像に対して傾き評価値αの算出が２１回行われたかが判断される。即ち、−１０°≦θ≦１０°の範囲内の１度刻みの回転角θに対応する、合計２１個の傾き評価値αの算出が実行されたかが判断される。

まだ、２１個の傾き評価値αが算出されていない場合はステップＳ２５に移行して、回転角θに正の１°を加え、ステップＳ５に戻る。一方、２１個の傾き評価値αが算出された場合はステップＳ２６に移行する。

ステップＳ２６では、傾き評価値αに最大値を与える回転角θとしてステップＳ２３において記憶された回転角θを、傾き補正画像生成用の回転角θとして特定し、ステップＳ２７に移行する。例えば、同一の元画像に対して算出された合計２１個の傾き評価値αの内、θ＝＋５°における傾き評価値αが最大であった場合は、傾き補正画像生成用の回転角θは、＋５°とされる。

ステップＳ２７では、ステップＳ２６において特定された傾き補正画像生成用の回転角θに応じて、画像回転部４３が、ＤＲＡＭ１７から元画像のＹ、Ｕ及びＶ信号を読み出す。そして、ステップＳ２７にて読み出したＹ、Ｕ及びＶ信号に基づきつつ、ステップＳ２８において、元画像を補正画像生成用の回転角θにて回転させた画像の中央部分を切り出して、回転画像を生成する。ステップＳ２８にて生成された回転画像は、傾き補正部４０から傾き補正画像として出力され、圧縮処理部を介してメモリカード１８に記録される（ステップＳ２９）。

上述のように、最大の傾き評価値αを与える回転角θを求め、求めた回転角θにて最終的な傾き補正画像を、メモリカード１８に記録すべき静止画として、生成する。これにより、撮像装置１の筐体（不図示）が傾くことによって生じる撮影画像の傾きが自動的に補正される。

尚、ステップＳ２３〜Ｓ２６の処理は、例えば、図１のＣＰＵ２３或いは図４の傾き補正部４０或いはそれらの双方によって、行われる。また、上述の例では、回転角θを、−１０°≦θ≦１０°の範囲内で変動させているが、その変動範囲は自由に変更可能である。

［傾き評価値の算出法の変形例］
次に、傾き評価値αの算出法の変形例について説明する。例として、第１、第２及び第３変形算出法を説明する。

―――第１変形算出法―――
図１０に示す、水平エッジ抽出部４６ａ及び垂直エッジ抽出部４６ｂの前段に、平滑化処理を施すためのＬＰＦ（ローパスフィルタ）を設けるようにしてもよい。この変形例を第１変形算出法として説明する。この変形を施した傾き評価部４４ａの内部ブロック図を図１７に示す。図４における傾き評価部４４を傾き評価部４４ａにて置換することが可能である。

傾き評価部４４ａは、図１０の傾き評価部４４における水平エッジ抽出部４６ａ及び垂直エッジ抽出部４６ｂの前段に、夫々、垂直ＬＰＦ４５ａ及び水平ＬＰＦ４５ｂを新たに設けた点で、図１０の傾き評価部４４と相違しており、その他の点において両者は一致している。従って、垂直ＬＰＦ４５ａ及び水平ＬＰＦ４５ｂの機能についてのみ説明を行う。

垂直ＬＰＦ４５ａは、評価画像の各画素のＹ信号に対して垂直方向の空間フィルタリングを行う。この空間フィルタリングは平滑化処理であり、これによって、評価画像のＹ信号の垂直方向の低域成分が抽出される。平滑化処理の注目画素をＰ［ｍ，ｎ］とした場合、例えば、下記式（１０）に従って、垂直ＬＰＦ４５ａから出力される平滑化処理後のＹ信号Ｙ_VL［ｍ，ｎ］は算出される。ここで、ｋ₁、ｋ₂、ｋ₃、ｋ₄及びｋ₅は、予め設定される係数である。

水平ＬＰＦ４５ｂは、垂直ＬＰＦ４５ａと同様のものである。但し、水平ＬＰＦ４５ｂにおける空間フィルタリングの方向は水平方向となっている。つまり、水平ＬＰＦ４５ｂは、評価画像の各画素のＹ信号に対して水平方向の平滑化処理を行い、これによって評価画像のＹ信号の水平方向の低域成分を抽出する。平滑化処理の注目画素をＰ［ｍ，ｎ］とした場合、例えば、下記式（１１）に従って、水平ＬＰＦ４５ｂから出力される平滑化処理後のＹ信号Ｙ_HL［ｍ，ｎ］は算出される。

垂直ＬＰＦ４５ａは、垂直方向の平滑化処理後のＹ信号Ｙ_VL［ｍ，ｎ］を水平エッジ抽出部４６ａに出力し、水平ＬＰＦ４５ｂは、水平方向の平滑化処理後のＹ信号Ｙ_HL［ｍ，ｎ］を垂直エッジ抽出部４６ｂに出力する。水平エッジ抽出部４６ａは、Ｙ信号Ｙ_VL［ｍ，ｎ］をＹ［ｍ，ｎ］として取り扱って、上記式（１）などを用い、水平エッジ成分Ｅ_H［ｍ，ｎ］を算出する。垂直エッジ抽出部４６ｂは、Ｙ信号Ｙ_HL［ｍ，ｎ］をＹ［ｍ，ｎ］として取り扱って、上記式（５）などを用い、垂直エッジ成分Ｅ_V［ｍ，ｎ］を算出する。

上記のような垂直ＬＰＦ４５ａ及び４５ｂを設けることにより、評価画像内に含まれるノイズ成分が適切に除去され、傾き補正の精度を向上させることができる。

―――第２変形算出法―――
次に、第２変形算出法として、傾き評価部の別の構成を説明する。図１８は、第２変形算出法に係る傾き評価部４４ｂの内部ブロック図である。図４における傾き評価部４４を傾き評価部４４ｂにて置換することが可能である。

傾き評価部４４ｂは、垂直射影部５１ａ、水平射影部５１ｂ、高域成分積算部５２ａ及び５２ｂ、傾き評価値算出部４９を有して構成される。

垂直射影部５１ａは、評価画像の輝度値であるＹ信号Ｙ［ｍ，ｎ］を垂直方向に射影することにより、垂直ラインごとに垂直射影値を算出する。この垂直射影値は、図１０又は図１７の垂直射影部４７ａによって算出される垂直射影値とは異なるのではあるが、説明の便宜上、垂直射影部５１ａが算出する垂直射影値を、垂直射影部４７ａのそれと同じくＱ_V［ｎ］と表記する。垂直射影部５１ａは、下記式（１２）に従って、垂直ラインごとに垂直射影値Ｑ_V［ｎ］を算出する。算出された垂直射影値Ｑ_V［ｎ］は、高域成分積算部５２ａに与えられる。

水平射影部５１ｂは、評価画像の輝度値であるＹ信号Ｙ［ｍ，ｎ］を水平方向に射影することにより、水平ラインごとに水平射影値を算出する。この水平射影値は、図１０又は図１７の水平射影部４７ｂによって算出される水平射影値とは異なるのではあるが、説明の便宜上、水平射影部５１ｂが算出する水平射影値を、水平射影部４７ｂのそれと同じくＱ_H［ｍ］と表記する。水平射影部５１ｂは、下記式（１３）に従って、水平ラインごとに水平射影値Ｑ_H［ｍ］を算出する。算出された水平射影値Ｑ_H［ｍ］は、高域成分積算部５２ｂに与えられる。

高域成分積算部５２ａ及び５２ｂの機能は、図１０又は図１７に示す、高域成分積算部４８ａ及び４８ｂの機能と同じである。即ち、例えば、高域成分積算部５２ａは、上記の式（３）及び（４）に従って垂直評価値α_Vを算出し、高域成分積算部５２ｂは、上記の式（７）及び（８）に従って水平評価値α_Hを算出する。図１８の傾き評価値算出部４９は、図１０又は図１７におけるそれと同じものである。

図１３に示すようなステップエッジ７９が評価画像内に存在していた場合、垂直射影部５１ａによって算出される垂直射影値Ｑ_V［ｎ］は、水平方向に高域成分を多く含むことになる。水平射影値Ｑ_H［ｍ］についても同様である。このため、図１８のように構成した傾き評価部４４ｂを用いても、上記と同様の効果が得られる。

―――第３変形算出法―――
次に、図１０、図１７又は図１８の傾き評価値算出部４９における傾き評価値αの算出法の変形例を、第３変形算出法として説明する。

図１０を用いた上記の説明では、上記式（９）に従って傾き評価値αを算出すると説明し、典型的な例として、「Ｍ＝４８０且つＮ＝６４０の場合、ｋ_V＝３且つｋ_H＝４とする」と例示した。この係数ｋ_Vをより大きな値に設定するようにしても構わない（或いは、係数ｋ_Hをより小さな値に設定するようにしても構わない）。例えば、Ｍ＝４８０且つＮ＝６４０の場合、ｋ_V＝５且つｋ_H＝４とする。これにより、傾き評価値αに対する垂直評価値α_Vの寄与度が増加する。

ユーザは、撮像装置１の筐体（不図示）をパンまたはチルトさせつつ、動画撮影などを行うことが多いが、この際、水平方向に沿ったエッジに対応する垂直エッジ成分（水平評価値α_H）は比較的容易に変化する。実際は水平線に対して平行なエッジ（例えば窓枠の上下）でも、見る角度や距離によって、そのエッジは水平には見えないからである。

一方において、そのような場合でも、垂直方向に沿ったエッジに対応する水平エッジ成分（垂直評価値α_V）の変化は少ない。つまり、見る角度や距離が多少違っても、実際に鉛直線に対して平行なエッジ（例えば窓枠の左右）は画像内においても鉛直線と平行となる。これを考慮し、傾き評価値αに対する垂直評価値α_Vの寄与度を増加させる。これにより、傾き補正の精度向上が期待できる。

また、上記の事情を考慮して、垂直評価値α_Vそのものを傾き評価値αとして採用することも可能である。この場合、水平評価値α_Hを算出するための部位（図１０の垂直エッジ抽出部４６ｂ等）は省略可能である。

また、上記とは逆に、水平方向に沿ったエッジが比較的多い被写体を撮影することが分かっている場合などにおいては、傾き評価値αに対する水平評価値α_Hの寄与度を増加させることも可能である。例えば、Ｍ＝４８０且つＮ＝６４０の場合、ｋ_V＝３且つｋ_H＝５とする。或いは、水平評価値α_Hそのものを傾き評価値αとして採用することも可能である。

また、垂直評価値α_Vと水平評価値α_Hを用いた比較結果に基づいて、垂直評価値α_Vと水平評価値α_Hの内の一方を選択し、選択した一方の評価値のみに基づいて、傾き評価値αを算出するようにしてもよい。例えば、ｋ_V・α_Vとｋ_H・α_Hとを比較する。Ｍ＝４８０且つＮ＝６４０の場合、例えば、ｋ_V＝３且つｋ_H＝４である。

そして、「ｋ_V・α_V＞ｋ_H・α_H」が成立する場合には、ｋ_V・α_V（或いはα_Vそのもの）を傾き評価値αとして算出する。「ｋ_V・α_V＞ｋ_H・α_H」が成立する場合には、画像内に垂直評価値α_Vの算出の基となる水平エッジ成分が比較的多く含まれる。従って、水平エッジ成分に対応する垂直評価値α_Vに基づいて傾き評価値αを算出した方が、より良い精度で傾き補正を実行できる。逆に「ｋ_V・α_V＜ｋ_H・α_H」が成立する場合には、ｋ_H・α_H（或いはα_Hそのもの）を傾き評価値αとして算出するとよい。

尚、動画撮影時において、上記の比較は、例えば傾き評価値αの算出の度に（図１５のステップＳ７の処理の度に）行われる。また、１つの動画を撮影する際に、最初だけ、上記の比較を行って垂直評価値α_Vと水平評価値α_Hの何れか一方を選択するようにしてもよい。この場合、その動画の撮影が終了するまで、選択した結果は保持される（つまり、傾き評価値αの算出に当たり、垂直評価値α_Vと水平評価値α_Hの内、選択された同じ評価値が常に用いられる）。

また、１つの静止画を撮影する際、図１６を参照して説明したように合計２１個の傾き評価値αが算出されるが、同一の静止画に対応する合計２１個の傾き評価値αの算出基は同じにする。つまり例えば、或る１つの静止画に関し、上記の比較に基づいて垂直評価値α_Vを選択したのであれば、その静止画に対応する合計２１個の傾き評価値αを全て垂直評価値α_Vに基づいて算出するようにする。静止画撮影時において、上記の比較は、例えば元画像（即ち、θ＝０°）を評価画像とした状態で行われ、それを実現するために、図１６に示す動作手順は適宜変更される。

［他の変形等］
尚、上述した第１、第２及び第３変形算出法は、矛盾なき限り、自由に組み合わせ可能である。また、上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

また、図１８の傾き評価部４４ｂには、直接的にエッジ抽出を行う部位が設けられてはいないが、傾き評価部４４ｂによって算出される傾き評価値αには、結果的には、水平エッジ成分及び（又は）垂直エッジ成分が反映されることになる。つまり、傾き評価部４４ｂも、傾き評価部４４及び４４ａと同様、評価画像の水平エッジ成分及び（又は）垂直エッジ成分に基づいて評価画像の傾きを評価し、その結果を、傾き評価値αとして出力するものである。

更に、上述してきた説明から明らかなように、傾き評価部４４、４４ａ及び４４ｂの何れを採用したとしても、傾き評価値αは、評価画像における水平エッジ成分の水平方向の高域成分及び（又は）垂直エッジ成分の垂直方向の高域成分を反映した値となる。そして、図１の撮像装置１は、それらの高域成分の大きさが増加する方向に回転補正を行うことによって傾き補正画像を得る。

尚、傾き補正部４０は、或いは、傾き補正部４０とＣＰＵ２３は、画像傾き補正装置を形成する。

また、図１の撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、上記画像傾き補正装置の機能、図４の傾き補正部４０の機能、図１０の傾き評価部４４の機能、図１７の傾き評価部４４ａの機能、及び／又は図１８の傾き評価部４４ｂの機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能であり、また、それらの各機能を撮像装置の外部にて実現することも可能である。

ソフトウェアを用いて、傾き補正部４０、傾き評価部４４、４４ａ、４４ｂの機能を実現する場合、図４、図１０、図１７、図１８は、それらの機能ブロック図を表すことになる。また、上記画像傾き補正装置にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

図１０の傾き評価部４４において、水平エッジ抽出部４６ａ（水平エッジ成分算出手段）、垂直射影部４７ａ及び高域成分積算部４８ａは、垂直評価値算出手段を形成し、垂直エッジ抽出部４６ｂ（垂直エッジ成分算出手段）、水平射影部４７ｂ及び高域成分積算部４８ｂは、水平評価値算出手段を形成する。図１７の傾き評価部４４ａにおいては、垂直評価値算出手段に更に垂直ＬＰＦ４５ａ（垂直平滑化手段）が含まれ、水平評価値算出手段に更に水平ＬＰＦ４５ｂ（水平平滑化手段）が含まれる。また、図１８においては、垂直射影部５１ａと高域成分積算部５２ａによって垂直評価値算出手段が形成され、水平射影部５１ｂと高域成分積算部５２ｂによって水平評価値算出手段が形成される。

本発明の実施の形態に係る撮像装置の全体ブロック図である 図１の撮像部の内部構成図である。 図１の撮像装置による撮影画像例である。 図１の撮像装置の傾き補正機能を実現するための構成ブロック図である。 図４の画像回転部によって生成される回転画像を説明するための図である。 図４の画像回転部によって生成される回転画像を説明するための図である。 図１の撮像装置における元画像又は回転画像の画素の配列を示す図である。 図７の各画素に対応するＹ信号を表す図である。 図４の画像回転部によって生成される回転画像を説明するための図である。 図４の傾き評価部の内部ブロック図である。 図１０の水平エッジ抽出部などで利用されるフィルタの例を示す図である。 図１０の垂直エッジ抽出部などで利用されるフィルタの例を示す図である。 評価画像内のステップエッジと、図１０の垂直射影部によって算出される垂直射影値と、の関係を表す図である。 評価画像と垂直射影値及び水平射影値との関係を説明するための図である。 図１の傾き補正部による、動画撮影時の傾き補正手順を表すフローチャートである。 図１の傾き補正部による、静止画撮影時の傾き補正手順を表すフローチャートである。 図１０の傾き評価部の変形例を示す図である。 図１０の傾き評価部の変形例を示す図である。

符号の説明

１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 映像信号処理部
１７ ＤＲＡＭ
４０ 傾き補正部
４３ 画像回転部
４４、４４ａ、４４ｂ 傾き評価部
４５ａ 垂直ＬＰＦ
４５ｂ 水平ＬＰＦ
４６ａ 水平エッジ抽出部
４６ｂ 垂直エッジ抽出部、
４７ａ、５１ａ 垂直射影部
４７ｂ、５１ｂ 水平射影部
４８ａ、４８ｂ、５２ａ、５２ｂ 高域成分積算部
４９ 傾き評価値算出部

Claims (9)

1. 撮像手段にて得られた撮影画像の傾きを変更した回転画像を出力する画像回転手段と、
   前記回転画像を評価画像に含め、前記撮影画像を表す撮像信号に基づいて、前記評価画像の所定軸に対する傾きを評価する傾き評価手段と、を備え、
   前記傾き評価手段による評価結果に基づいて、前記所定軸に対する前記撮影画像の傾きを回転補正した傾き補正画像を出力する
   ことを特徴とする画像傾き補正装置。
2. 前記傾き評価手段は、前記評価画像の水平エッジ成分及び垂直エッジ成分の少なくとも一方に基づいて前記評価画像の傾きを評価する
   ことを特徴とする請求項１に記載の画像傾き補正装置。
3. 前記傾き評価手段は、前記評価画像の水平エッジ成分をマトリクス状に算出する水平エッジ成分算出手段と、算出した前記水平エッジ成分の大きさを垂直方向に射影することにより垂直射影値を算出する垂直射影手段と、を有し、
   当該画像傾き補正装置は、前記垂直射影値の水平方向の高域成分の大きさが増加する方向に前記撮影画像を回転補正することによって、前記傾き補正画像を得る
   ことを特徴とする請求項１に記載の画像傾き補正装置。
4. 前記傾き評価手段は、前記評価画像の垂直エッジ成分をマトリクス状に算出する垂直エッジ成分算出手段と、算出した前記垂直エッジ成分の大きさを水平方向に射影することにより水平射影値を算出する水平射影手段と、を有し、
   当該画像傾き補正装置は、前記水平射影値の垂直方向の高域成分の大きさが増加する方向に前記撮影画像を回転補正することによって、前記傾き補正画像を得る
   ことを特徴とする請求項１または請求項３に記載の画像傾き補正装置。
5. 前記評価画像の水平エッジ成分をマトリクス状に算出する水平エッジ成分算出手段と、算出した前記水平エッジ成分の大きさを垂直方向に射影することにより垂直射影値を算出する垂直射影手段と、を有して、前記垂直射影値の水平方向の高域成分の大きさを積算することにより垂直評価値を算出する垂直評価値算出手段と、
   前記評価画像の垂直エッジ成分をマトリクス状に算出する垂直エッジ成分算出手段と、算出した前記垂直エッジ成分の大きさを水平方向に射影することにより水平射影値を算出する水平射影手段と、を有して、前記水平射影値の垂直方向の高域成分の大きさを積算することにより水平評価値を算出する水平評価値算出手段とを、
   前記傾き評価手段は備え、
   当該画像傾き補正装置は、前記垂直評価値及び前記水平評価値の少なくとも一方に基づいて、前記傾き補正画像を定める
   ことを特徴とする請求項１に記載の画像傾き補正装置。
6. 前記回転画像は、回転前の前記撮影画像に内包される、前記撮影画像の縦横比に応じた縦横比を有する方形領域内の画像にて形成される
   ことを特徴とする請求項１〜請求項５の何れかに記載の画像傾き補正装置。
7. 撮像手段と、
   請求項１〜請求項６の何れかに記載の画像傾き補正装置と、
   を備えたことを特徴とする撮像装置。
8. 撮像手段にて得られた撮影画像の傾きを変更した回転画像を評価画像に含め、前記撮影画像を表す撮像信号に基づいて、前記評価画像の所定軸に対する傾きを評価し、
   その評価結果に基づいて、前記所定軸に対する前記撮影画像の傾きを回転補正する
   ことを特徴とする画像傾き補正方法。
9. 前記評価画像の水平エッジ成分及び垂直エッジ成分の少なくとも一方に基づいて前記評価画像の傾きを評価する
   ことを特徴とする請求項８に記載の画像傾き補正方法。