JP2008060827A - 画像処理方法、撮像装置、画像処理装置およびプログラム - Google Patents

Abstract

【課題】背景とのコントラストが低い被写体についてもあおり補正ができ、かつ、不要な領域を含まないで画像を保存することのできる画像処理方法を得る。
【解決手段】
あおり補正を行う画像処理方法であって、あおり補正の対象となる被写体とあおり補正に利用する基準図形である四辺形抽出ステップ（ステップＳ１２）と、前記画像データを、前記基準図形を含まない領域にトリミングするトリミングステップ（ステップＳ１３）と、前記基準図形に基づき変換行列を算出し、前記トリミングを行った画像データを、前記変換行列を用いて射影変換する射影変換ステップ（ステップＳ１４）と、を含む。
【選択図】 図３

Description

本発明は、画像処理方法、撮像装置、画像処理装置およびプログラムに関するものであり、特に入力画像にあおり補正を実施する画像処理方法、撮像装置、画像処理装置およびプログラムに関する。

デジタルカメラは撮影した画像を即座に閲覧、印刷できるという特徴を持つ。そのため、時刻表やポスターなどのメモ代わりとしてデジタルカメラによる撮影が行われるようになってきている。しかし、デジタルカメラで撮影された時刻表やポスターは撮影する位置によりあおり（台形ひずみ）が生じてしまう。その結果、撮影された時刻表やポスターは読みづらく、画像を再利用するために最適ではなかった。

そのため、たとえば、下記特許文献１〜４に開示されている技術により、撮影画像から撮影対象（被写体）の四辺形を抽出し、その四辺形の画像からあおり角を推定し、正対した位置から撮影した画像に変換する画像処理（あおり補正）が行われている。しかし、下記特許文献１〜３で開示されている画像処理手法では、背景と被写体を判別するために画像のコントラストを利用している。そのため、例えば白い机の上に白い印刷用紙を置いた場合などは、コントラストが低く背景と被写体を分離できず、撮影画像から被写体である四辺形を抽出することができないという問題があった。

この問題を解決するため、被写体となる文書などが載置されている平面の近隣に、四辺形のマーカを載置する方法が考えられる。しかし、マーカを載置した場合、保存される画像にマーカを含んでしまい、保存画像の２次利用を行う際に不便である。

さらに、下記特許文献１〜３で開示されている画像処理手法では、あおり補正対象の領域は四辺形に限られていた。一方、下記特許文献４に開示されている画像処理手法は、撮影画像から、被写体平面の相対角度を推定するための画像要素や画像要素間の関係を撮影者が指示するものである。この技術を用いれば、四辺形以外の被写体についてもあおり補正が可能であるが、一方で、撮影者の操作が煩雑になるという問題があった。

特開２００５−１２２３２８号公報 特開２００５−１４３０９２号公報 特開２００４−３６３７３６号公報 特開平１１−２３８１２３号公報

本発明は、上記に鑑みてなされたものであって、撮影者が煩雑な操作をすることなしに、背景とのコントラストが低い被写体についてもあおり補正ができ、かつ、マーカ等の不要な領域を含まずに保存することができる画像処理方法、撮像装置、画像処理装置およびプログラムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、あおり補正を行う画像処理方法であって、あおり補正の対象となる被写体とあおり補正に利用する基準図形とを含む画像データから前記基準図形を抽出する基準図形抽出ステップと、前記画像データを、前記基準図形を含まない領域にトリミングするトリミングステップと、前記基準図形に基づき変換行列を算出する変換行列算出ステップと、前記画像データを、前記変換行列を用いて射影変換する射影変換ステップと、を含むことを特徴とする。

また、請求項２にかかる発明は、前記射影変換ステップにおいては、トリミングされた画像を、前記射影変換することを特徴とする。

また、請求項３にかかる発明は、前記トリミングステップにおいては、前記射影変換された画像データを、前記基準図形を含まない領域にトリミングすることを特徴とする。

また、請求項４にかかる発明は、前記トリミングする領域を、画像全体領域から前記基準図形を含む矩形領域を除いた領域としたことを特徴とする。

また、請求項５にかかる発明は、前記トリミングステップのトリミング領域は、ユーザからの領域指定をうけることにより決定することを特徴とする。

また、請求項６にかかる発明は、あおり補正を行う撮像装置であって、あおり補正の対象となる被写体とあおり補正に利用する基準図形とを含む撮影対象領域を撮像する撮像手段と、前記撮像手段により撮像された画像データから前記基準図形を抽出する基準図形抽出手段と、前記画像データを、前記基準図形を含まない領域にトリミングするトリミング手段と、前記基準図形に基づき変換行列を算出する変換行列算出手段と、前記画像データを、前記変換行列を用いて射影変換する射影変換手段と、を備えることを特徴とする。

また、請求項７にかかる発明は、前記射影変換手段は、トリミングされた画像を、前記射影変換することを特徴とする。

また、請求項８にかかる発明は、前記トリミング手段は、前記射影変換された画像データを、前記基準図形を含まない領域にトリミングすることを特徴とする。

また、請求項９にかかる発明は、ユーザの操作により選択された前記撮影対象領域の一部の領域であるデジタルズーム領域を拡大縮小するデジタルズーム手段、を備え、前記トリミング手段は、ユーザがデジタルズーム領域中からデジタルズーム手段の操作に基づき指定した領域にトリミングすることを特徴とする。

また、請求項１０にかかる発明は、前記撮影対象領域と前記デジタルズーム領域を同時に表示する表示手段、を備えることを特徴とする。

また、請求項１１にかかる発明は、ユーザの操作により焦点距離を変更できる光学ズーム手段と、撮影対象領域を仮設定する撮影対象領域仮設定手段と、を備え、前記基準図形抽出手段は、仮設定された撮影対象領域の画像データから基準図形を抽出し、前記光学ズーム手段は、前記仮設定された撮影対象領域において、前記基準図形抽出手段により基準図形が抽出されない場合には、自動的にズームアウトを行うことを特徴とする。

また、請求項１２にかかる発明は、あおり補正を行う画像処理装置であって、あおり補正の対象となる被写体とあおり補正に利用する基準図形とを含む画像データから前記基準図形を抽出する基準図形抽出手段と、前記画像データを、前記基準図形を含まない領域にトリミングするトリミング手段と、前記基準図形に基づき変換行列を算出する変換行列算出手段と、前記画像データを、前記変換行列を用いて射影変換する射影変換手段と、を備えることを特徴とする。

また、請求項１３にかかる発明は、請求項１に記載のあおり補正を行う画像処理方法をコンピュータに実行させることを特徴とする。

請求項１にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

また、請求項２にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。さらに、トリミングをしてから射影変換をすることにしたので処理時間が短くなるという効果を奏する。

また、請求項３にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

また、請求項４にかかる発明によれば、マーカ等を含む矩形部分を除いた領域を保存するようにしたので、トリミング領域が容易に設定できるという効果を奏する。

また、請求項５にかかる発明によれば、ユーザがトリミング領域を指定するようにしたので、ユーザ要求に応じたトリミング領域が設定できるという効果を奏する。

また、請求項６にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

また、請求項７にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。さらに、トリミングをしてから射影変換をすることにしたので処理時間が短くなるという効果を奏する。

また、請求項８にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

また、請求項９にかかる発明によれば、ユーザがデジタルズームによりトリミング領域を指定するようにしたので、ユーザ要求に応じたトリミング領域が設定できるという効果を奏する。

また、請求項１０にかかる発明によれば、撮影領域とデジタルズーム領域を同時に表示するようにしたので、ユーザがトリミング領域の指定を容易に設定できるという効果を奏する。

また、請求項１１にかかる発明によれば、光学ズームを用いて撮影領域を仮設定し、基準図形が仮撮影領域に含まれない場合には、自動でズームアウトするようにしたので、ユーザが基準図形を含む撮影領域を容易に設定できるという効果を奏する。

また、請求項１２にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

また、請求項１３にかかる発明によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施し、マーカ等を含む部分を除いた領域を保存するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理方法、撮像装置、画像処理装置およびプログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態にかかる撮像装置１の構成例を示すブロック図である。撮像装置１は、撮像部１１、カメラ信号処理部１２、ＣＰＵ（Central Processing Unit）１３、フレームメモリ１４、Ｉ／Ｆ（インタフェース）１５、表示部１６、外部記憶装置１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８で構成されている。

撮像部１１は、レンズ２０、絞り２１、シャッター２２、光電変換素子２３及び前処理部２４より構成されている。撮像部１１には、例えば、一般に市販されている「デジタルカメラ」またはその一部を利用してもよい。光電変換素子２３には、例えば、ＣＣＤ（電荷結合素子）が使用される。また、前処理部２４は、プリアンプやＡＧＣ（自動利得制御）などのアナログ信号処理器や、Ａ／Ｄ変換器を備えており、光電変換素子２３から出力されたアナログ映像信号に対して増幅・クランプなどの前処理をした後、上記アナログ映像信号をデジタル映像信号に変換する。

カメラ信号処理部１２は、デジタル信号処理プロセッサ（ＤＳＰ）などにより構成されており、前処理部２４から出力されたデジタル映像信号に対して画像圧縮などの画像処理を行う。ＣＰＵ１３は、マイクロコンピュータなどにより構成され、カメラ信号処理部１２および撮像部１１の制御などを行う。フレームメモリ１４は、カメラ信号処理部１２の処理に利用されるメモリであり、一般的にＶＲＡＭ，ＳＲＡＭ，ＤＲＡＭなどの半導体メモリが使用される。Ｉ／Ｆ１５は、カメラ信号処理部１２、表示部１６、外部記憶装置１７の間を仲介する。

表示部１６は、例えば、液晶表示装置などであり、画像信号の表示を行う。外部記憶装置１７はカメラ信号処理部１２において画像圧縮などの信号処理が施された後の画像信号が保存される記憶装置で、ＩＣメモリカードや光磁気ディスクなどが使用される。ＲＯＭ１８は、プログラムなどの固定された情報が格納されているメモリである。

カメラ信号処理部１２において画像圧縮などの信号処理が施された画像信号は、Ｉ／Ｆ１５を介して外部記憶装置１７に保存される。本実施の形態では、外部記憶部１７であるＩＣメモリカードや光磁気ディスクなどに画像信号を保存しているが、モデムカードやＩＳＤＮカードを利用して、ネットワークを経由して画像信号を遠隔地の記録媒体に直接送信してもよい。また、外部記憶装置１７に記録された圧縮された画像信号の読み出しは、カメラ信号処理部１２がＩ／Ｆ１５を介して外部記憶装置１７から画像信号を取得し、画像信号に画像伸張を施すことにより行われる。

また、外部記憶装置１７およびフレームメモリ１４から読み出された画像信号の表示は、カメラ信号処理部１２において画像信号に対してＤ／Ａ変換や増幅などの信号処理を施した後、Ｉ／Ｆ１５を介して表示部１６に送信することによって行われる。

つづいて、本実施の形態にかかるあおり補正プログラムの動作について、図を用いて説明する。図２は、本実施の形態のあおり補正プログラムにかかる機能ブロック図である。あおり補正プログラムは、ＲＯＭ１８に記憶されており、カメラ信号処理部１２で実行される。あおり補正プログラムは、図２に示すとおり、画像を入力として入力画像から四辺形を抽出する四辺形抽出部２５と、四辺形抽出部２５により抽出された四辺形を基に画像のトリミングを行うトリミング部２６と、四辺形抽出部２５により抽出された四辺形の形状から射影変換行列を算出し、画像に対して射影変換を施す射影変換処理部２７とで構成される。

なお、本実施の形態では、マーカとして使用する形状の代表例として四辺形を画像から抽出しているが、マーカとして使用する形状は、これに限定されるものではない。マーカ自体の形状が既知であり、マーカの実際の形状と撮影された画像中のマーカの形状とに基づいて、あおり補正角を算出することができればよい。なお、あおり補正角の算出を簡単にする観点からは、実施の形態のような四辺形や、丸などの単純な形状であることが好ましい。四辺形抽出部２５を、例えば「特開平３−９４３８３号公報」で開示されているような技術を用いた形状抽出部とし、マーカの形状をあらかじめ撮像装置内の形状抽出部に登録しておくことにより、四辺形以外の任意の形状に関しても対応することができる。

図３に、本実施の形態にかかるあおり補正処理のフローチャートを示す。図３に基づいて、あおり補正処理を説明する。まず、撮像部１１により撮影された画像が、外部記憶装置１７に入力される（ステップＳ１１）。次に、撮影された画像に対して、四辺形抽出部２５が、マーカとして用いるための四辺形の抽出を行う(ステップＳ１２)。四辺形抽出部２５の四辺形抽出処理については、高速化の工夫がされた処理であることが望ましいが、一般的なハフ変換を用いた抽出方法でもよい。なお、四辺形抽出部２５の四辺形抽出処理において四辺形が複数抽出される可能性もある。その際は、そのなかからひとつを選択する。選択方法としては、たとえば、四辺形に対して評価値を設定しておき、最も評価値の高いものを選ぶ方法、抽出された複数の四辺形を表示して撮影者が１つの四辺形を選択できる方法などがある。評価値は、たとえば、四辺形の大きさやコントラストの強さなどを考慮して決定する。

図４は、被写体１０１の近隣に、四辺形抽出部２５にて容易に抽出できるような四辺形のマーカ１０２を配置して撮影した画像の例である。この図に示す画像１００が撮影された場合は、マーカ１０２がステップＳ１２で抽出される。

次に、トリミング部２６が、ステップＳ１２で抽出された四辺形（マーカ）が含まれないようにトリミングを行う(ステップＳ１３)。図５は、図４で示した画像１００のトリミング領域を説明する図である。トリミング部２６は、まず、ステップＳ１２で得られた四辺形（図４の例ではマーカ１０２）を含む矩形領域（図５の例では非トリミング領域１０４）を除いたトリミング領域を求め、その後、画像１００から非トリミング領域を除いた領域をトリミング領域（図５の例では、トリミング領域１０３）として特定する。そして、このトリミング領域に対してトリミングを行う。

次に、射影変換処理部２７が、ステップＳ１２で抽出された四辺形（マーカ）に基づいて、あおり補正のための射影変換行列を算出する（ステップＳ１４）。そして、トリミング部２６で得られたトリミング領域２７に対して、この射影変換行列を用いて射影変換を施し、変換された画像を外部記憶装置１７に保存する。

なお、本実施の形態では、トリミング部２６にて、トリミング領域を算出した後に、射影変換処理部２７により射影変換を行ったが、射影変換処理部２７により射影変換を行って得た射影変換画像に対して、マーカである四辺形を含む矩形領域以外の部分をトリミングし、外部記憶装置１７に保存してもよい。

また、本実施の形態では、マーカを撮像部１１の撮像領域にある任意の物体のなかから選択したが、撮像部１１とは別に、撮像部１１と同時に撮像を行う偏光フィルタを保持した撮像部を備えることとし、透明な偏光板でできた物体などを、マーカとして利用することもできる。この場合、マーカは偏光フィルタを保持した撮像部の撮像画像のみに含まれ、偏光フィルタのない撮像部１１の撮像画像には含まれないため、トリミングは不要となる。

以上のように、本実施の形態によれば、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施したので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施できるという効果を奏する。また、マーカ等を含む部分を除いた領域を保存するようにしたので、補正後保存画像に不要なマーカが含まれないという効果を奏する。

（第２の実施の形態）
図６は、本発明の第２の実施の形態にかかる撮像装置１ａの構成例を示すブロック図である。実施の形態１と同様の部分については、図１と同一の符号を付して説明を省略する。本実施の形態では、フレームメモリ１４，外部記憶装置１７，ＲＯＭ１８の代わりに、それぞれフレームメモリ１４ａ，外部記憶装置１７ａ，ＲＯＭ１８ａを備える。

図７は本実施の形態の撮像装置１ａの機器構成例の背面図である。撮像装置１の背面には、表示部３０、ズームインアウトボタン３１、シャッターボタン３２、ファインダー３３、上ボタン３４、左ボタン３５、下ボタン３６、右ボタン３７、決定ボタン３８が設けられている。表示部３０は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、撮影した画像のプレビュー画やメモリカードなどから読み出した再生画像などを表示可能である。また、撮影者は、表示部３０に表示されたメニューや設定項目などを見ながら、上ボタン３４、左ボタン３５、下ボタン３６、右ボタン３７、決定ボタン３８を操作することにより、メニューの選択や各メニューにおける各種項目の設定などもできる。ズームインアウトボタン３１は、たとえば、左右方向に操作可能であり、左側に操作することで光学ズーム機能がズームイン方向へ、右方向に操作することで、光学ズーム機能がズームアウト方向に駆動される。

撮影者は、ファインダー３３または表示部３０に映し出されるリアルタイム画像（スルー画）を確認しながら、ズームインアウトボタン３１を操作することにより画角を決定し、シャッターボタン３２を押下して撮影を行う。

つづいて、本実施の形態にかかるあおり補正プログラムの動作について、図を用いて説明する。図８は、本実施の形態の本実施の形態のあおり補正プログラムにかかる機能ブロック図である。あおり補正プログラムは、ＲＯＭ１８ａに格納されカメラ信号処理部１２で実行されるものであり、四辺形抽出部２５ａ，トリミング部２６ａ，射影変換処理部２７ａ，で構成される。また、あおり補正プログラムは、フレームメモリ１４ａのトリミング領域記憶部２８と外部記憶装置１７ａの処理画像記憶部２９を参照する。

四辺形抽出部２５ａは入力画像から四辺形を抽出し、トリミング部２６ａは撮影者がデジタルズームにより選択したトリミング領域をフレームメモリ１４ａのトリミング領域記憶部２８に格納し、射影変換処理部２７ａは四辺形抽出部２５ａにより抽出された四辺形の形状から射影変換行列を算出する。トリミング領域記憶部２８は、前述のとおり撮影者により選択されたトリミング領域を保存するためのメモリである。また、処理画像記憶部２９は、射影変換処理部２７ａにより処理された画像を記憶する。

図９は、被写体１０５の近隣に、四辺形抽出部２５ａにて容易に抽出できる四辺形のマーカ１０６を配置して撮影した画像の例である。

図１０に、本実施の形態にかかるあおり補正処理のフローチャートを示す。図８，図１０を用いて、図９の画像を例に本実施の形態のあおり補正処理手順について説明する。

まず、撮影者は、あおり補正を所望する被写体１０５と、マーカ１０６を机の上に置き、表示部３０に映し出されるリアルタイム画像を見ながら、被写体１０５とマーカ１０６が撮影領域に入るように、必要に応じてズームインアウトボタン３１などを操作して撮影範囲を決定する（ステップＳ２１）。なお、マーカ１０６は、四辺形抽出部２５ａによって抽出されるのに適切な四辺形を指すが、四辺形抽出部２５ａにより抽出される四辺形であれば、マーカ１０６をわざわざ用意する必要はなく、被写体の周りに存在する適当な四辺形を利用してもよい。

次に、撮影者はデジタルズームを設定する（ステップＳ２２）。デジタルズームの操作は、たとえば、デジタルズームインの動作が割り振られている左ボタン３５、デジタルズームアウトの動作が割り振られている右ボタン３７を押下することにより行う。このとき、表示部３０には、たとえば、図１１のように、撮影対象の全体領域のうちデジタルズーム領域１０７外の輝度値を、撮影画像の輝度値よりも一定値低くして表示することによりデジタルズーム領域１０７を撮影者が認識できるようにする。なお、本実施の形態では、デジタルズーム領域１０７外の輝度値を低くすることにより、デジタルズーム領域１０７を識別するが、デジタルズーム領域１０７が撮影者に認識できれば、他の表示方法でもよい。撮影者は、この表示画像をみながら、デジタルズームの領域を決定ボタンの操作などにより決定する。

次に、撮影者はシャッターボタン３２を押下することにより撮影を行う（ステップＳ２３）。このとき、シャッターボタン３２の押下を受けて、トリミング部２６ａは、選択されたデジタルズーム領域の画像をトリミング領域画像としてトリミング領域記憶部２８に保存する。続いて、撮影された全体画像に対して四辺形抽出部２１ａにより、四辺形領域抽出が行われる（ステップＳ２４）。四辺形抽出部２１ａは、実施の形態１の四辺形抽出部と同様の機能を有し、マーカとして使用する１つの四辺形を決定する。なお、本実施の形態では撮影された全体画像に対して、四辺形抽出部２１ａにより四辺形抽出を行うが、全体画像からトリミング領域記憶部２８に記憶されたトリミング領域を除いた領域に対して四辺形抽出を行ってもよい。図９の画像の例では、四辺形抽出部２１ａによりマーカ１０６がマーカとして用いる四辺形として抽出、決定される。

次に、射影変換処理部２７ａは、四辺形抽出部２１ａで抽出・選択された四辺形（図９の例ではマーカ１０６）に基づいて、あおり補正のための射影変換行列を算出する。次に、算出された射影変換行列を用いて、トリミング領域記憶部２８に保存されている画像を読み出し射影変換を施す（ステップＳ２５）。そして処理後の画像を処理画像記憶部２９に保存する。図１１に示した撮影例において、射影変換処理後に保存される画像の例を図１２に示す。

以上のように、本実施の形態によれば、撮影者がデジタルズームを用いて被写体の領域を選択し、被写体以外の四辺形をマーカとして自動抽出して被写体のあおり補正を実施するようにしたので、被写体と背景とのコントラストが低い場合についても任意の形状の被写体について、撮影者の煩雑な操作を必要とせずにあおり補正が実施でき、かつ、撮影者の保存した領域のみが保存できるという効果を奏する。

なお、第２の実施の形態にかかる撮像装置１ａのこれ以外の構成および処理は、第１の実施の形態にかかる撮像装置１ａの構成および処理と同様とする。

（第３の実施の形態）
図１３は、本発明の第３の実施の形態にかかる撮像装置１ｂの構成例を示すブロック図である。実施の形態１と同様の部分については、図１と同一の符号を付して説明を省略する。本実施の形態では、外部記憶装置１７，ＲＯＭ１８の代わりに、それぞれ外部記憶装置１７ｂ，ＲＯＭ１８ｂを備える。

つづいて、本実施の形態にかかるあおり補正プログラムの動作について、図を用いて説明する。図１４は、本実施の形態の本実施の形態のあおり補正プログラムにかかる機能ブロック図である。あおり補正プログラムは、ＲＯＭ１８ｂに格納されカメラ信号処理部１２で実行される。また、射影変換処理部２６ｂ，トリミング領域算出部２７ｂで構成される。

四辺形抽出部２１ｂは入力画像から四辺形を抽出し、射影変換処理部２６ｂは四辺形抽出部２１ｂにより抽出された四辺形の形状から射影変換行列を算出し、画像に対して射影変換を施し、トリミング領域算出部２７ｂは入力画像からトリミング領域を算出する。処理画像記憶部２９ａは、射影変換処理部２６ｂにより処理された画像を記憶するための外部記憶装置１７ｂの領域である。

図１５に、本実施の形態にかかるあおり補正処理のフローチャートを示す。また、本実施の形態の機器構成例は図７に示した実施の形態２と同様である。以下、図７，図１４，図１５を用いて、本実施の形態のあおり補正処理手順について説明する。

まず、撮影者は撮影を希望する撮影範囲を、表示部３０に映し出されるリアルタイム画像を見ながら、必要に応じてズームインアウトボタン３１などを利用して、希望する撮影範囲を決定し表示させる(ステップＳ３１)。そのとき表示部３０に表示される画像例を図１６に示す。図１６の例では、被写体１０８は楕円形をしたメモ用紙であり、そのメモ用紙を、あおり角を持つ位置から撮影するときの画像である。

撮影者がシャッターボタン３２を半押しすると（ステップＳ３２）、撮影範囲（表示部３０に表示されている範囲）の画像（リアルタイム画像）に対して四辺形抽出部２１ｂが四辺形抽出処理を行う（ステップＳ３３）。

四辺形抽出部２１ｂの処理により四辺形が一つも得られなかった場合は、自動的に光学ズームを一段階ズームアウトする（ステップＳ３４）。そして、表示部３０に、たとえば、図１７のように、“補正処理できません。シャッターボタンを再度押してください”という文字を数秒間、リアルタイム画像に重畳表示する。そして、ステップＳ３１に戻り撮影者は再度、シャッターボタン３２を半押しする（ステップＳ３２）。そして、再び、ステップＳ３３のリアルタイム画像に対して四辺形抽出部２１ｂが四辺形抽出処理を行う（ステップＳ３３）。その結果、四辺形抽出部２１ｂの処理により四辺形が得らない場合には、再度、ステップＳ３４、ステップＳ３１、ステップＳ３２、ステップＳ３３の処理を繰り返す。以降、ステップＳ３３の処理で四辺形が得られるまで、Ｓ３４、ステップＳ３１、ステップＳ３２、ステップＳ３３を繰り返す。

四辺形抽出部２１ｂの処理で四辺形が得られた場合のリアルタイム画像例を図１８に示す。図１８は、図１７の撮影範囲例から、自動ズームアウト（ステップＳ３４）により、周辺にある四辺形が撮影範囲に含まれるようになった例である。

ステップＳ３３において、四辺形抽出部２１ｂにより四辺形（図１８の例では四辺形１０９）が抽出された場合には、図１９に示すように表示部３０に“シャッターボタンを押してください”の文字が重畳される。そして、撮影者はシャッターボタン３２を半押し状態から、さらに押下しシャッターボタン３２を押し切る（ステップＳ３５）。

次に、四辺形抽出部２１ｂは撮影画像に対して四辺形抽出を行う（ステップＳ３６）。四辺形抽出部２１ｂは、実施の形態１の四辺形抽出部と同様の機能を有し、マーカとして使用する１つの四辺形を抽出する。図１８の例では四辺形１０９が抽出される。

次に、四辺形抽出部２１ｂで抽出した四辺形（図１８の例では四辺形１０９）を用いて、トリミング領域算出部２７ｂが、画像のトリミングを行う（ステップＳ３７）。まず、トリミング領域算出部２７ｂは、全体撮像領域から、四辺形を含む矩形領域を除いた領域を、初期トリミング領域１１０として設定する（図２０）。

次に、射影変換処理部２６ｂとトリミング領域算出部２７ｂは、四辺形抽出部２１ｂで抽出した四辺形に基づいて、射影変換を次のように行う（ステップＳ３８）。本実施の形態では、あおり補正後の保存される画像が矩形となるように射影変換を行う。

まず、射影変換処理部２６ｂは、前記四辺形に基づいてあおり補正のための変換行列２００を算出する。次に、トリミング領域算出部２７ｂは、初期トリミング領域１１０を、射影変換行列２００を用いて射影変換した変換後初期トリミング領域１１１を算出する（図２１）。そして、変換後初期トリミング領域１１１に内接する矩形である変換後内接トリミング領域１１２を算出する。次に、射影変換行列２００の逆行列である射影変換行列２０１を求める。次に、変換後内接トリミング領域１１２を、射影変換行列２０１を用いて逆変換した領域を算出し、算出した領域を内接トリミング領域１１３とする(図２２)。そして、射影変換処理部２６ｂは、算出された内接トリミング領域１１３に対応する入力画像に対して射影変換を施す。最後に、射影変換処理部２６ｂは、射影変換した画像を処理画像記憶部２４ａに保存する。

なお、本実施の形態では、トリミング領域算出部２７ｂが、内接トリミング領域１１３を作成するようにしたが、図２３のように、変換後内接トリミング領域１１２のかわりに変換後外接トリミング領域１１５を求め、射影変換行列２０１により外接トリミング領域１１５を作成してもよい。また、実施の形態１と同様に初期トリミング領域１１０を直接射影変換してもよい。

なお、本実施の形態では、撮影画像に対して四辺形抽出を行って射影変換行列を求めたが、ステップＳ３３の四辺形抽出（シャッター半押しの状態）によって抽出された四辺形を用いて射影変換行列を求めるようにしてもよい。この方法の場合には、半押しの状態とシャッターと押し切った状態とで、あおり補正の条件が同じになるよう撮像位置を保つ必要がある。たとえば、撮像装置１ｂを三脚などに固定しておいて、四辺形抽出をするまでは撮影範囲にマーカを置いておき、その後マーカを取り除く動作を行うことで実現できる。この方法によれば、トリミングすることなく、不要なマーカを画像内から除去できる。

以上のように、本実施の形態によれば、撮影者がデジタルズームを用いて撮影領域を選択し、マーカとなる四辺形を含まない場合にはズームアウト後に再選択するようにし、トリミング後にあおり補正を実施するようにしたので、煩雑な操作を必要とせずにあおり補正が実施でき、かつ、補正後保存画像に不要なマーカが含まれないという効果を奏する。

なお、第３の実施の形態にかかる撮像装置１ｂのこれ以外の構成および処理は、第１の実施の形態にかかる撮像装置１または第２の実施の形態の撮像装置１ａの構成および処理と同様とする。

（第４の実施の形態）
図２４は、本発明の第４の実施の形態にかかる画像処理装置２の構成例を示すブロック図である。実施の形態１と同様の部分については、図１と同一の符号を付して説明を省略する。本実施の形態の画像処理装置２は、実施の形態１の撮像装置のうち撮像部を除いたものである。

デジタルカメラなどで撮影されたあおり補正前の入力画像は、撮影後に外部記憶装置１７に保存される。以降の処理は実施の形態１と同様である。

なお、本実施の形態では、画像処理装置を専用のハードウェアとしているが、汎用コンピュータなどのハードウェア資源を利用して実現することも可能である。

以上のように、本実施の形態によれば、画像処理装置であおり補正を行うこととしたので、高速にあおり補正を実施することができるという効果を奏する。

本発明は、画像処理方法、撮像装置、画像処理装置およびプログラムに有用であり、特に入力画像にあおり補正を実施する画像処理方法、撮像装置、画像処理装置およびプログラムに有用である。

第１の実施の形態の撮像装置の機能構成例を示すブロック図である。 第１の実施の形態のあおり補正プログラムにかかる機能構成例を示すブロック図である。 第１の実施の形態のフローチャートである。 被写体の横にマーカを配置して撮影した画像例を示す図である。 第１の実施の形態のトリミング領域を説明する図である。 第２の実施の形態の撮像装置の機能構成例を示すブロック図である。 第２の実施の形態の機器構成例の背面図である。 第２の実施の形態のあおり補正プログラムにかかる機能構成例を示すブロック図である。 被写体の近傍にマーカをおいた撮影画像例を示す図である。 第２の実施の形態のフローチャートである。 第２の実施のデジタルズーム領域の表示例を示す図である。 第２の実施の射影変換後の保存画像例を示す図である。 第３の実施の形態の撮像装置の機能構成例を示すブロック図である。 第３の実施の形態のあおり補正プログラムにかかる機能構成例を示すブロック図である。 第３の実施の形態のフローチャートである。 マーカとなる四辺形を含まない撮影画像例を示す図である。 第３の実施の形態の警告表示例を示す図である。 マーカとなる四辺形を含むメッセージ画像例を示す図である。 第３の実施の形態の表示例を示す図である。 第３の実施の初期トリミング領域を説明する図である。 初期トリミング領域の射影変換を説明する図である。 変換後内接トリミング領域と内接トリミング領域を説明する図である。 変換後外接トリミング領域と外接トリミング領域を説明する図である。 第４の実施の形態の画像処理装置の機能構成例を示すブロック図である。

符号の説明

１，１ａ，１ｂ 撮像装置
２ 画像処理
１１ 撮像部
１２ カメラ信号処理部
１３ ＣＰＵ
１４ フレームメモリ
１５ Ｉ／Ｆ
１６ 表示部
１７ 外部記憶装置
１８ ＲＯＭ
２０ レンズ
２１ 絞り
２２ シャッター
２３ 光電変換素子
２４ 前処理部
２５，２５ａ，２５ｂ 四辺形抽出部
２６，２６ａ トリミング部
２６ｂ トリミング領域算出部
２７，２７ａ 射影変換処理部
２８ トリミング領域記憶部
２９，２９ａ 処理画像記憶部
３０ 表示部
３１ ズームインアウトボタン
３２ シャッターボタン
３３ ファインダー
３４ 上ボタン
３５ 右ボタン
３６ 下ボタン
３７ 右ボタン
３８ 決定ボタン
１００ 画像
１０１，１０５，１０８ 被写体
１０２，１０６ マーカ
１０３ トリミング領域
１０４ 非トリミング領域
１０７ デジタルズーム領域
１０９ 四辺形
１１０ 初期トリミング領域
１１１ 変換後初期トリミング領域
１１２ 変換後内接トリミング領域
１１３ 内接トリミング領域
１１４ 変換後外接トリミング領域
１１５ 外接トリミング領域
２００，２０１ 変換行列

Claims (13)

1. あおり補正を行う画像処理方法であって、
   あおり補正の対象となる被写体とあおり補正に利用する基準図形とを含む画像データから前記基準図形を抽出する基準図形抽出ステップと、
   前記画像データを、前記基準図形を含まない領域にトリミングするトリミングステップと、
   前記基準図形に基づき変換行列を算出する変換行列算出ステップと、
   前記画像データを、前記変換行列を用いて射影変換する射影変換ステップと、
   を含むことを特徴とする画像処理方法。
2. 前記射影変換ステップにおいては、トリミングされた画像を、前記射影変換することを特徴とする請求項１に記載の画像処理方法。
3. 前記トリミングステップにおいては、前記射影変換された画像データを、前記基準図形を含まない領域にトリミングすることを特徴とする請求項１に記載の画像処理方法。
4. 前記トリミングする領域を、画像全体領域から前記基準図形を含む矩形領域を除いた領域としたことを特徴とする請求項１または２に記載の画像処理方法。
5. 前記トリミングステップのトリミング領域は、ユーザからの領域指定をうけることにより決定することを特徴とする請求項１または２に記載の画像処理方法。
6. あおり補正を行う撮像装置であって、
   あおり補正の対象となる被写体とあおり補正に利用する基準図形とを含む撮影対象領域を撮像する撮像手段と、
   前記撮像手段により撮像された画像データから前記基準図形を抽出する基準図形抽出手段と、
   前記画像データを、前記基準図形を含まない領域にトリミングするトリミング手段と、
   前記基準図形に基づき変換行列を算出する変換行列算出手段と、
   前記画像データを、前記変換行列を用いて射影変換する射影変換手段と、
   を備えることを特徴とする撮像装置。
7. 前記射影変換手段は、トリミングされた画像を、前記射影変換することを特徴とする請求項６に記載の撮像装置。
8. 前記トリミング手段は、前記射影変換された画像データを、前記基準図形を含まない領域にトリミングすることを特徴とする請求項６に記載の撮像装置。
9. ユーザの操作により選択された前記撮影対象領域の一部の領域であるデジタルズーム領域を拡大縮小するデジタルズーム手段、
   を備え、
   前記トリミング手段は、ユーザがデジタルズーム領域中からデジタルズーム手段の操作に基づき指定した領域にトリミングすることを特徴とする請求項６〜８いずれか１つに記載の撮像装置。
10. 前記撮影対象領域と前記デジタルズーム領域を同時に表示する表示手段、
    を備えることを特徴とする請求項９に記載の撮像装置。
11. ユーザの操作により焦点距離を変更できる光学ズーム手段と、
    撮影対象領域を仮設定する撮影対象領域仮設定手段と、
    を備え、
    前記基準図形抽出手段は、仮設定された撮影対象領域の画像データから基準図形を抽出し、
    前記光学ズーム手段は、前記仮設定された撮影対象領域において、前記基準図形抽出手段により基準図形が抽出されない場合には、自動的にズームアウトを行うことを特徴とする請求項６〜８のいずれか１つに記載の撮像装置。
12. あおり補正を行う画像処理装置であって、
    あおり補正の対象となる被写体とあおり補正に利用する基準図形とを含む画像データから前記基準図形を抽出する基準図形抽出手段と、
    前記画像データを、前記基準図形を含まない領域にトリミングするトリミング手段と、
    前記基準図形に基づき変換行列を算出する変換行列算出手段と、
    前記画像データを、前記変換行列を用いて射影変換する射影変換手段と、
    を備えることを特徴とする画像処理装置。
13. 請求項１に記載のあおり補正を行う画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images