JP2005038021A

JP2005038021A - 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム

Info

Publication number: JP2005038021A
Application number: JP2003197372A
Authority: JP
Inventors: Yushi Hasegawa; 雄史長谷川; Takashi Kitaguchi; 貴史北口; Norihiko Murata; 憲彦村田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-07-15
Filing date: 2003-07-15
Publication date: 2005-02-10

Abstract

【課題】平面形状の被写体を正面から撮影して得られる基準正面画像を算出または選択して、該基準正面画像を用いて、１つの視点のみから撮影された他の画像に対してあおり補正を施す画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラムを提供する。
【解決手段】画像処理装置が有する行列取得手段２１は、異なる２以上の視点から被写体を撮影した二視点画像をあおり補正し、あおり補正されて得た基準正面画像の平面形状を形状検出手段２２が検出する。形状検出手段２２はまた、１つの視点から撮影された他の撮影画像の形状を検出する。あおり補正手段２４は、検出された基準正面画像の形状情報、および検出された他の撮影画像の形状情報に基づいて、他の撮影画像の射影変換行列を求めてあおり補正処理を施す。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラムに関し、特に平面形状をなす被写体を斜めから撮影して生ずる画像のあおり歪みを補正する画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラムに関する。
【０００２】
【従来の技術】
電子技術の飛躍的な進歩によって、デジタルカメラの価格が安価になるとともに普及が急速に進んでいる。デジタルカメラは小型で持ち運びしやすく、デジタル画像であるので便利なアプリケーションの開発が行われている。中でも、パノラマ画像の作成、画像あおり補正などのアプリケーションが開発されて、撮影した画像を補正することが可能になり始めている。例えば会議でホワイトボードやスライドの映写画像などをデジタルカメラで撮影して資料として残すことが、広く行われている。この場合、ホワイトボードやスライドは平面形状の被写体であり、平面形状をなした被写体を撮影すると、通常、撮像装置の撮像面と平面形状の被写体との位置関係が平行でなくかつ正面同士で対向していないために、撮影画像にいわゆる「あおり歪み」を生じる。この、あおり歪みを補正するあおり補正の工夫が今までにいくつかなされてきた。
【０００３】
例えば、カメラの撮像面と被写体とのなす傾斜角を入力する角度設定部と、被写体までの距離を測定する測距部とを設け、角度設定部を介して入力された傾斜角と被写体面距離とに基づいて、被写体を正面から見た画像に一致するように撮影された画像を補正するデジタルカメラの発明がある。この発明によるデジタルカメラは、斜め方向から撮った写真画像を正面から撮った画像に見えるように補正することができるとしている（特許文献１参照）。
【０００４】
また、他の発明は、プロジェクタなどの投影装置を使用して複数のマークを画面上に投影し、前記マークを撮像装置で撮影した画像に対して射影変換処理を実行することにより、投影される被写体平面の位置姿勢情報を算出する位置検出装置がある。その発明による位置検出装置は、表示されている画像の部分的な撮像範囲であっても、少ないデータに基づいた簡単な関係式を用いて表示画像上の被検出位置の位置検出を可能とする小型で軽量な位置検出装置であるとしている（特許文献２参照）。
【０００５】
またさらに、他の発明は、平面形状をなす被写体を、異なる視点から撮影した画像間の対応点を取得し、その対応点情報から射影変換行列を算出し、画像あおり補正を施す画像処理装置である。この発明による画像処理装置は、簡易な画像処理方式によって適正な画像を得ることができるとしている（特許文献３参照）。
【０００６】
【特許文献１】
特開平９−２８９６００号公報
【特許文献２】
特開２００１−３２５０６９号公報
【特許文献３】
特開２００１−１７７７１６号公報
【０００７】
【発明が解決しようとする課題】
あおり補正についてみると、従来例によれば、被写体の平面形状が不明である場合においては、異なる視点から同一の被写体を撮影した２枚以上の画像群がないと、射影変換により画像撮像手段の撮影位置関係を算出できなく、画像あおり補正を施すことはできない。
【０００８】
しかし、一般にプレゼンテーション会場などで発表されているスライド画像を取り込む際には、視聴席が決められていて撮影者が移動できない場合や、スライドチェンジが早いことが多いため、各スライドに対して異なる視点から２枚以上撮影することは実際上、困難である。このような困難な点があるため、画像あおり補正を可能にする射影変換処理機能を備えた撮像装置であっても、プレゼンテーション会場などで実際に画像あおり補正機能を使用する機会はそれほど多くはなく、実用性に乏しかった。
【０００９】
例えば、上記の特開平９−２８９６００号公報の発明においては、カメラの撮像面と被写体とのなす傾斜角を手動作業により設定しなければならないのであるが、正確に傾斜角を入力することは非常に困難であって、補正画像の正確さと操作の利便性に欠けるという問題点があった。
【００１０】
また、上記の特開２００１−３２５０６９号公報の発明においては、投影装置によって画面上に投影された複数のマークを基準にして、投影される被写体平面の位置姿勢情報を算出するのであるため、投影装置によって複数のマークが投影面に投影されていなければ被写体平面の位置姿勢情報を算出することができないので、実用性に欠けるという問題点があった。
【００１１】
さらにまた、上記の特開２００１−１７７７１６号公報の発明においては、撮影した画像のあおり補正を精度良く実行することはできるが、画像あおり補正を実行するためには異なる２つの視点から同一の被写体を撮影した画像が必要であった。しかし、例えばプレゼンテーション会場のスライド画像の撮影時などでは同一のスライドを異なる２以上の場所から撮影することは実際上は非常に困難であるため、画像あおり補正処理を実行するための画像を取得することが実際上は難しく、実用性に欠けるという問題点があった。
【００１２】
この解決策として、プレゼンテーション会場などで連続的にスライドを撮影するときには、撮像部が動かないと仮定して、プレゼンテーションが始まる前に映写されたスライドなどの被写体を異なる撮影場所から２枚以上撮影して射影変換行列を求めて、その射影変換行列を使用することにより、その後に撮影される１つの視点からの撮影画像に対して射影変換する手法も考えられる。しかしながら、撮像部を動かさないで連続的にスライドを撮影するには、三脚などの固定手段が必要となり、使い勝手が悪くなる。実用性を高めるためには、三脚などで撮像部が固定されていない条件下で、より少ない撮影回数で画像あおり補正を実行できるようにする必要があるが、その必要性を満たす利便性のある簡易な撮像方式が今までなかった。
【００１３】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、投影されたスライドなどの平面形状をなす被写体を撮影して得られる画像に対して、簡易な操作で正確なあおり補正処理を行うことができる利便性の高い画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラムを提供することである。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、被写体を異なる２つの視点から撮像手段によって撮影した二視点画像を含む複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理装置であって、撮影された前記画像の形状情報を検出する形状検出手段と、前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、前記形状検出手段により検出される前記二視点画像の形状情報から、前記行列取得手段により算出された前記二視点画像の射影変換行列を用いて前記二視点画像にあおり補正処理を施して基準正面画像を取得し、前記形状検出手段により検出される前記基準正面画像の形状情報および前記二視点画像以外の他の画像の形状情報から、前記行列取得手段により算出される前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、を備えたことを特徴とする。
【００１５】
この請求項１の発明によれば、形状検出手段により検出される二視点画像の形状情報から行列取得手段によって二視点画像の射影変換行列を求め、その射影変換行列を用いて二視点画像にあおり補正処理を行って正面位置から撮影した基準正面画像を得て、得られた基準正面画像の形状情報および二視点画像以外の他の画像の形状情報から、他の画像の射影変換行列を求め、他の画像に対してあおり補正処理を施す。この構成により、１枚の撮影画像に対して、毎回異なる２つ以上の視点から撮影する必要無しに、通常の一つの視点からの撮影だけであおり補正処理を施すことができるので、少ない撮影回数と簡便な操作で、正確なあおり補正が可能な利便性の高い画像処理装置を提供できる。
【００１６】
また、請求項２にかかる発明は、被写体を撮像手段によって撮影した複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理装置であって、撮影された前記画像の形状情報を検出する形状検出手段と、前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、前記画像の中から正面位置から撮影された基準正面画像を判定して選択する画像判定手段と、前記形状検出手段が検出する前記画像判定手段による選択の前記基準正面画像の形状情報、および前記基準正面画像以外の他の画像の形状情報から、前記行列取得手段が算出する前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、を備えたことを特徴とする。
【００１７】
この請求項２の発明によれば、画像判定手段が画像の中から正面位置から撮影した基準正面画像を判定して選択し、形状検出手段が選択された基準正面画像の形状情報を検出し、また基準正面画像以外の他の画像の形状情報を検出し、それら形状情報に基づいて行列取得手段が他の画像の射影変換行列を求め、あおり補正手段が他の画像に対してあおり補正処理を施す。この構成により、正面から撮影された画像が選択された場合、該判定された正面画像を用いて、１つの視点からの撮影のみの他の画像に対してあおり補正を施せるので、少ない撮影回数で簡易な操作により迅速な処理速度で正確なあおり補正を施すことができる利便性の高い画像処理装置を提供できる。
【００１８】
また、請求項３にかかる発明は、請求項２に記載の画像処理装置において、前記画像判定手段は、操作者からの入力を受け付けて、撮影された前記画像が正面から撮影された前記基準正面画像であるとの指定を行う入力手段を有することを特徴とする。
【００１９】
この請求項３の発明によれば、画像判定手段は、操作者からの入力を受け付けて撮影された画像が正面から撮影された基準正面画像であるとの指定を行う入力手段を有する。この構成により、操作者が正面から撮影された画像として基準正面画像を指定し入力することによって、その画像を基準正面画像として用い、１つの視点からの撮影のみの他の画像に対してあおり補正を施せるので、少ない撮影回数でも、簡易な操作により迅速で正確なあおり補正を施すことができる利便性の高い画像処理装置を提供できる。
【００２０】
また、請求項４にかかる発明は、請求項１〜３のいずれか１つに記載の画像処理装置において、撮影された前記画像情報には、撮影時の前記撮像手段の姿勢情報が含まれ、前記姿勢情報を検出する姿勢検出手段を、さらに備え、前記あおり補正手段は、前記基準正面画像の前記射影変換行列および前記姿勢検出手段により検出される前記撮像手段の前記基準正面画像取得時の姿勢情報の少なくとも１つから前記被写体の法線方向を算出し、算出された前記被写体の法線方向、および前記撮像手段の前記他の画像取得時の姿勢情報を用いて、前記他の撮影画像にあおり補正処理を施すことを特徴とする。
【００２１】
この請求項４の発明によれば、撮影画像を取得する撮像手段の姿勢情報を検出する姿勢検出手段を備え、あおり補正手段は、基準正面画像の射影変換行列、および姿勢検出手段により検出される撮像手段の基準正面画像取得時の姿勢情報の少なくとも１つから被写体の法線方向を算出し、算出された被写体の法線方向、および姿勢検出手段により検出される撮像手段の他の画像取得時の姿勢情報を用いて、他の撮影画像にあおり補正処理を施す。この構成により、基準正面画像の射影変換または基準正面画像取得時の撮像手段の姿勢情報を用いて他の画像にあおり補正処理を施すことができるので、一の視点のみから撮影された他の画像に対して、煩わしい操作を必要とせず正確なあおり補正処理が可能な利便性の高い画像処理装置を提供できる。
【００２２】
また、請求項５にかかる発明は、請求項１〜４のいずれか１つに記載の画像処理装置において、撮影コマ数に対して変化する前記被写体画像の形状変化量を検出し、前記形状変化量が所定の閾値以上であるか否かを判定して、前記画像のあおり補正を施すように指示する変化量判定手段を、さらに備えたことを特徴とする。
【００２３】
この請求項５の発明によれば、撮影コマ数に対して変化する被写体画像の形状変化量を検出し、形状変化量が所定の閾値以上であるか否かを判定して、画像のあおり補正を施すように指示する変化量判定手段を、さらに備える。この構成によって、自動的にあおり補正すべきでない画像を判定できるので、煩わしい操作無しに、必要に応じた正確なあおり補正処理が可能な利便性の高い画像処理装置を提供できる。
【００２４】
また、請求項６にかかる発明は、請求項１〜５のいずれか１つに記載の画像処理装置において、影した前記複数の画像について、操作者からの画像あおり補正処理を実行するか否かの選択の入力を受け付け、実行選択の入力を受け付けた場合、前記あおり補正手段にあおり補正を実行させるよう指示する選択手段を、さらに備えたことを特徴とする。
【００２５】
この請求項６の発明によれば、撮影した複数の画像について、操作者からの画像あおり補正処理を実行するか否かの選択の入力を受け付けて、あおり補正手段にあおり補正を実行させるよう指示する選択手段を、さらに備える。この構成によって、あおり補正処理を施すか否かをユーザに選択させることができるので、正確なあおり補正処理が可能でユーザーフレンドリーな利便性の高い画像処理装置を提供できる。
【００２６】
また、請求項７にかかる発明は、被写体を異なる２つの視点から撮影した二視点画像を含む複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像入力装置であって、前記画像を撮影する撮像手段と、撮影された前記画像の形状情報を検出する形状検出手段と、前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、前記形状検出手段により検出される前記二視点画像の形状情報から、前記行列取得手段により算出された前記二視点画像の射影変換行列を用いて前記二視点画像にあおり補正処理を施して基準正面画像を取得し、前記形状検出手段により検出される前記基準正面画像の形状情報および前記二視点画像以外の他の画像の形状情報から、前記行列取得手段により算出される前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、を備えたことを特徴とする。
【００２７】
この請求項７の発明によれば、撮像手段によって撮影された画像の中から二視点画像を選び、形状検出手段により検出される二視点画像の形状情報から行列取得手段によって二視点画像の射影変換行列を求め、その射影変換行列を用いて二視点画像にあおり補正処理を行って正面位置から撮影した基準正面画像を得て、得られた基準正面画像の形状情報および二視点画像以外の他の画像の形状情報から、他の画像の射影変換行列を求め、他の画像に対してあおり補正処理を施す。この構成により、１枚の撮影画像に対して、毎回異なる２つ以上の視点から撮影する必要無しに、通常の一つの視点からの撮影だけであおり補正処理を施すことができるので、少ない撮影回数と簡便な操作で、正確なあおり補正が可能な利便性の高い画像入力装置を提供できる。
【００２８】
また、請求項８にかかる発明は、被写体を撮影した複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像入力装置であって、前記画像を撮影する撮像手段と、撮影された前記画像の形状情報を検出する形状検出手段と、前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、前記画像の中から正面位置から撮影された基準正面画像を判定して選択する画像判定手段と、前記形状検出手段が検出する前記画像判定手段による選択の前記基準正面画像の形状情報、および前記基準正面画像以外の他の画像の形状情報から、前記行列取得手段が算出する前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、を備えたことを特徴とする。
【００２９】
この請求項８の発明によれば、撮像手段が撮影した画像から、画像判定手段が正面位置から撮影した基準正面画像を判定して選択し、形状検出手段が選択された基準正面画像の形状情報を検出し、また基準正面画像以外の他の画像の形状情報を検出し、それら形状情報に基づいて行列取得手段が他の画像の射影変換行列を求め、あおり補正手段が他の画像に対してあおり補正処理を施す。この構成により、正面から撮影された画像が選択されて、該判定された正面画像を用いて、１つの視点からの撮影のみの他の画像に対してあおり補正を施せるので、少ない撮影回数で簡易な操作により迅速な処理速度で正確なあおり補正を施すことができる利便性の高い画像入力装置を提供できる。
【００３０】
また、請求項９にかかる発明は、請求項８に記載の画像入力装置において、前記画像判定手段は、操作者からの入力を受け付けて、撮影された前記画像が正面から撮影された前記基準正面画像であるとの指定を行う入力手段を有することを特徴とする。
【００３１】
この請求項９の発明によれば、画像判定手段は、操作者からの入力を受け付けて撮影された画像が正面から撮影された基準正面画像であるとの指定を行う入力手段を有する。この構成により、操作者が正面から撮影された画像として基準正面画像を指定し入力することによって、その画像を基準正面画像として用い、１つの視点からの撮影のみの他の画像に対してあおり補正を施せるので、少ない撮影回数でも、簡易な操作により迅速で正確なあおり補正を施すことができる利便性の高い画像入力装置を提供できる。
【００３２】
また、請求項１０にかかる発明は、請求項７〜９のいずれか１つに記載の画像入力装置において、前記撮像手段が撮影するときの姿勢情報を検出する姿勢検出手段を、さらに備え、前記あおり補正手段は、前記基準正面画像の前記射影変換行列および前記姿勢検出手段により検出される前記撮像手段の前記基準正面画像取得時の姿勢情報の少なくとも１つから前記被写体の法線方向を算出し、算出された前記被写体の法線方向、および前記撮像手段の前記他の画像取得時の姿勢情報を用いて、前記他の撮影画像にあおり補正処理を施すことを特徴とする。
【００３３】
この請求項１０の発明によれば、撮影画像を取得する撮像手段の姿勢情報を検出する姿勢検出手段を備え、あおり補正手段は、基準正面画像の射影変換行列、および姿勢検出手段により検出される撮像手段の基準正面画像取得時の姿勢情報の少なくとも１つから被写体の法線方向を算出し、算出された被写体の法線方向、および姿勢検出手段により検出される撮像手段の他の画像取得時の姿勢情報を用いて、他の撮影画像にあおり補正処理を施す。この構成により、基準正面画像の射影変換または基準正面画像取得時の撮像手段の姿勢情報を用いて他の画像にあおり補正処理を施すことができるので、一の視点のみから撮影された他の画像に対して、煩わしい操作を必要とせず正確なあおり補正処理が可能な利便性の高い画像入力装置を提供できる。
【００３４】
また、請求項１１にかかる発明は、請求項７〜１０のいずれか１つに記載の画像入力装置において、撮影コマ数に対して変化する前記被写体画像の形状変化量を検出し、前記形状変化量が所定の閾値以上であるか否かを判定して、前記画像のあおり補正を施すように指示する変化量判定手段を、さらに備えたことを特徴とする。
【００３５】
この請求項１１の発明によれば、撮像手段が撮影する撮影コマ数に対して変化する被写体画像の形状変化量を検出し、形状変化量が所定の閾値以上であるか否かを判定して、画像のあおり補正を施すように指示する変化量判定手段を、さらに備える。この構成によって、自動的にあおり補正すべきでない画像を判定できるので、煩わしい操作無しに、必要に応じた正確なあおり補正処理が可能な利便性の高い画像入力装置を提供できる。
【００３６】
また、請求項１２にかかる発明は、請求項７〜１１のいずれか１つに記載の画像入力装置において、撮影した前記複数の画像について、操作者からの画像あおり補正処理を実行するか否かの選択の入力を受け付け、実行選択の入力を受け付けた場合、前記あおり補正手段にあおり補正を実行させるよう指示する選択手段を、さらに備えたことを特徴とする。
【００３７】
この請求項１２の発明によれば、撮影した複数の画像について、操作者からの画像あおり補正処理を実行するか否かの選択の入力を受け付けて、あおり補正手段にあおり補正を実行させるよう指示する選択手段を、さらに備える。この構成によって、あおり補正処理を施すか否かをユーザに選択させることができるので、正確なあおり補正処理が可能でユーザーフレンドリーな利便性の高い画像入力装置を提供できる。
【００３８】
また、請求項１３にかかる発明は、撮像手段により被写体を異なる２つの視点から撮影した二視点画像を含む複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理方法であって、前記二視点画像の形状情報を検出してあおり補正処理を施す射影変換行列を算出し、射影変換して基準正面画像を取得する基準射影変換工程と、撮影された前記画像の形状情報を検出する形状検出工程と、前記形状検出工程によって検出された前記基準正面画像の形状情報および前記二視点画像以外の他の画像の形状情報から算出される前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正工程と、を含むことを特徴とする。
【００３９】
この請求項１３の発明によれば、二視点画像の形状情報を検出してあおり補正処理を施す射影変換行列を求めて射影変換し基準正面画像を得る基準射影変換工程と、画像の形状情報を検出する形状検出工程と、基準正面画像の形状情報、および二視点画像以外の他の画像の形状情報から、他の画像にあおり補正処理を施す射影変換行列を求めて射影変換してあおり補正処理を施すあおり補正工程と、を含む。この構成によって、毎回異なる２つ以上の視点で撮影する必要無くして、通常の一の視点からの撮影画像に対してあおり補正処理を施すことができるので、少ない撮影回数で正確なあおり補正が可能な利便性の高い画像処理方法を提供できる。
【００４０】
また、請求項１４にかかる発明は、被写体を撮像手段によって撮影した複数の画像の中の正面から撮影した基準正面画像を用いて、前記基準正面画像以外の他の画像に対して、正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理方法であって、前記複数の画像から前記基準正面画像を判定して選択する画像判定工程と、撮影された前記画像の形状情報を検出する形状検出工程と、前記形状検出工程によって検出される前記基準正面画像の形状情報および前記他の画像の形状情報から、前記他の画像に対してあおり補正処理を施す射影変換行列を算出して前記他の画像にあおり補正処理を施すあおり補正工程と、を含むことを特徴とする。
【００４１】
この請求項１４の発明によれば、複数の画像から基準正面画像を判定して選択する画像判定工程と、画像の形状情報を検出する形状検出工程と、検出された基準正面画像および他の画像の形状情報から、他の画像に対してあおり補正処理を施す射影変換行列を求めて、他の画像に射影変換によりあおり補正処理を施すあおり補正工程と、を含む。この構成によって、正面から撮影した基準正面画像が選択されてそれを基準にして、他の画像にあおり補正処理を施すことができるので、一の視点のみから撮影された他の画像に対して、煩わしい操作を必要とせず正確なあおり補正処理が可能な利便性の高い画像処理方法を提供できる。
【００４２】
また、請求項１５にかかる発明は、請求項１４に記載の画像処理方法において、前記画像判定工程は、撮影された前記画像について、外部からの入力を受け付けて前記画像が前記基準正面画像であるとの指定を行う正面入力工程を、さらに含むことを特徴とする。
【００４３】
この請求項１５の発明によれば、画像判定工程は、撮影された画像について、外部からの入力を受け付けて画像が基準正面画像であるとの指定を行う正面入力工程を、さらに含む。この構成によって、正面撮影画像をユーザによる入力で選択できるので、簡易な操作により迅速な処理速度で正確なあおり補正を施すことができる利便性の高い画像処理方法を提供できる。
【００４４】
また、請求項１６にかかる発明は、請求項１３〜１５のいずれか１つに記載の画像処理方法において、前記撮像手段の撮影時における前記撮像手段の姿勢情報を検出する姿勢検出工程と、前記基準正面画像の射影変換行列および前記姿勢検出手段によって検出された前記基準正面画像取得時の前記撮像手段の姿勢情報の少なくとも１つから、前記被写体の法線方向を算出する法線算出工程と、をさらに含み、前記あおり補正工程が、前記法線算出工程によって算出された前記被写体の法線方向、および前記姿勢検出工程によって検出される前記撮像手段の前記他の画像取得時の姿勢情報を用いて、前記他の画像にあおり補正処理を施すことを特徴とする。
【００４５】
この請求項１６の発明によれば、撮像手段の姿勢情報を検出する姿勢検出工程と、基準正面画像の射影変換行列、および基準正面画像取得時の撮像手段の姿勢情報の少なくとも１つから、被写体の法線方向を算出する法線算出工程と、をさらに含み、あおり補正工程が、算出された被写体の法線方向、および撮像手段の他の画像取得時の姿勢情報を用いて、他の画像にあおり補正処理を施す。この構成により、撮像手段の姿勢情報を取得して他の画像にあおり補正処理を施すことができるので、一の視点のみから撮影された他の画像に対して、煩わしい操作を必要とせず正確なあおり補正処理が可能な利便性の高い画像処理方法を提供できる。
【００４６】
また、請求項１７にかかる発明は、請求項１３〜１６のいずれか１つに記載の画像処理方法において、前記複数の画像の撮影コマ数に対する前記画像の形状変化量を検出し、前記形状変化量が所定の閾値以上であるか否かを判定して、前記他の画像に対してあおり補正を施すように指示する変化量判定工程を、さらに含むことを特徴とする。
【００４７】
この請求項１７の発明によれば、複数の画像の撮影コマ数に対する画像の形状変化量を検出して所定の閾値以上であるか否かを判定し、他の画像に対してあおり補正を施すように指示する変化量判定工程を、さらに含む。この構成によって、自動的にあおり補正すべきでない画像を判定できる利便性の高い画像処理方法を提供できる。
【００４８】
また、請求項１８にかかる発明は、請求項１３〜１７のいずれか１つに記載の画像処理方法をコンピュータが実行することを特徴とする画像処理プログラムであるので、請求項７〜１１のいずれか１つに記載の画像処理方法をコンピュータで実行できる。
【００４９】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像入力装置、画像処理方法、およびその方法をコンピュータに実行させるプログラムの好適な実施の形態を、実施の形態１〜４に分けて詳細に説明する。
【００５０】
一般に、平面形状をなす被写体をカメラで撮像すると、被写体と撮像装置の撮像面とのなす角度や、撮像装置の光軸と被写体との交点位置によって、撮影された画像に「あおり歪み」と呼ぶ歪みが生じる。本発明は、このあおり歪みを補正処理することができる画像処理装置である。
【００５１】
本発明による画像処理装置は、デジタルカメラによって撮影された画像をあおり補正処理する画像処理用コンピュータとして、説明する。但し、デジタルカメラ自体があおり補正処理機能を一体的に有する画像入力装置の構成は、後述する。
【００５２】
ここで扱う被写体は平面形状、あるいは略平面形状をなした被写体であり、例えばスクリーンおよびスクリーンに映し出された映像や、ポスターなど各種の外周形状をなす平面形状の被写体である。
【００５３】
ここでいう被写体を正面から撮影した画像とは、例えばスクリーンに映し出された映像をスクリーの矩形を基準にして最もあおり歪みのない位置で撮影する画像のことである。一般的には、スクリーンの法線方向とデジタルカメラの光軸方向を合わせて、かつデジタルカメラのファインダーの縦横の枠（あるいは液晶モニタ）とスクリーンの縦横のフレームラインとが最も平行になる位置から撮影する画像である。あおり補正とは、斜めから撮影した画像に対して、このような位置から撮影したであろう画像に補正する補正のことである。
【００５４】
［実施の形態１］
（１．１．実施の形態１による画像処理装置の概要）
本発明の実施の形態１による画像処理装置においては、先ず、平面形状をなす被写体に対して、少なくとも２以上の視点から撮像された２以上の画像を二視点画像として採用する。そして、この二視点画像に基づいて二視点画像に対して正面から撮影して得た基準正面画像に変換するあおり補正処理を行う。このあおり補正処理を施すための射影変換行列を、二視点画像の形状を検出してそれを用い、算出する。そして、算出された射影変換行列を用いて二視点画像に対してあおり処理を行う。
【００５５】
次に、被写体に対して１つの視点のみから撮影された他の撮影による画像に対して、該他の撮影による画像と上記あおり処理を施された基準正面画像とを用いて、他の撮影画像の射影変換行列を算出する。そして、他の撮影画像に対して、該他の撮影画像の射影変換行列を施して、あおり補正を行うものである。
【００５６】
上記二視点画像は、被写体の他の撮影に利用できるので、最初に撮影されることが望ましい。しかし、必ずしも最初でなくても良く、例えば撮影した画像データを記憶しておいて後であおり補正する場合には、１つの被写体画像に対して２点以上の視点から撮影した２以上の撮影データを適宜選択して用いればよい。
【００５７】
こうして、少なくとも１つの画像に対して２以上の視点から撮影した２以上の画像である二視点画像を用いて、射影行列を算出してあおり変換処理を施すことによって、新たな撮影の都度、新ためて２点以上の視点で同一の被写体を撮影しなくても、１点のみの撮影（即ち該被写体に対して１度だけの撮影）によって、あおり歪みを受けた画像に対して、効率的にあおり補正を施して正面位置から撮影した画像に変換することができる。
【００５８】
図１は、本発明の実施の形態１による画像処理装置の機能的ブロック図である。図２は実施の形態１による画像処理装置を説明する図である。実施の形態１による画像処理装置は、デジタルカメラ１０と接続した画像処理用コンピュータ２０として構成する。デジタルカメラ１０は、撮像部１１と、第１記憶部１２と、画像情報転送部１３とを備える。画像処理用コンピュータ２０は、射影変換部２１と、平面形状検出部２２と、平面形状記憶部２３と、あおり補正部２４と、第２記録部２５とを備える。
【００５９】
ここで、平面形状検出部２２は本発明の形状検出手段を構成し、以下それぞれ射影変換部２１は行列取得手段を、そしてあおり補正部２４はあおり補正手段を構成する。
【００６０】
ここで、デジタルカメラ１０の撮像部１１は、被写体の画像情報を取得する。第１記録部１２は、撮像部１１で撮影した画像情報を記録し、例えば半導体メモリ、ＨＤＤ、磁気テープ、ＤＶＤ−ＲＷで構成される。画像情報転送部１３は、第１記録部１２で記録された画像データを画像処理用コンピュータ２０に転送する。データの転送方式は有線方数例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＳＣＳＩ、およびＩＥＥＥ１３９４）や無線方数例えば無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ）による転送方式が可能である。あるいは、記憶メディアをデジタルカメラ１０から画像処理用コンピュータ２０に差し替えることによって、画像情報を移し替えることもできる。ここで画像情報転送部１３から射影変換部２１に転送される画像情報は、少なくとも２箇所以上の視点、即ち異なる撮影位置から被写体を撮影した２以上の画像（二視点画像）が、少なくとも１セット（２回の撮影分）必要である。
【００６１】
画像処理用コンピュータ２０の射影変換部２１は、デジタルカメラ１０の画像情報転送部１３から転送された二視点画像情報に基づいて、射影変換行列を求めて、画像あおり補正処理を施し、あおり補正された画像情報を平面形状検出部２２に出力する。ここで、二視点画像があおり補正されて正面位置から撮影された画像に補正処理された画像を基準正面画像と称する。
【００６２】
平面形状検出部２２は、二視点画像が、あおり補正を施されて射影変換部２１から出力された基準正面画像から被写体の平面形状を検出する。そして、検出した被写体画像の平面形状情報を、平面形状記録部２３に出力する。平面形状記録部２３は、平面形状検出部２２で出力した平面形状情報を記録し、あおり補正部２４に出力する。
【００６３】
あおり補正部２４は、平面形状記録部２３から出力される基準正面画像情報を受信するとともに、画像情報転送部１３から出力される二視点画像以外の他の撮影による被写体の画像情報を受信する。そして、基準正面画像情報と他の撮影画像情報とを用いて、他の撮影による被写体の画像に対してあおり補正処理を行う射影変換行列を求め、他の撮影による画像に対して求めた射影変換行列を使ってあおり補正処理を施し、あおり補正後の他の撮影による画像情報を第２記録部２５に出力する。
【００６４】
第２記録部２５は、あおり補正部２４で出力されたあおり補正処理後の画像情報を記録する。第２記録部２５は、例えば半導体メモリ、ＨＤＤ、磁気テープ、ＤＶＤ−ＲＷで構成される。
【００６５】
（１．２．デジタルカメラのハードウェア構成）
ここで説明している実施の形態は、デジタルカメラからのデータを利用して画像をあおり補正処理する画像処理装置である。以下デジタルカメラについて説明する。
【００６６】
図３は、実施の形態１に用いるデジタルカメラのハードウェア構成の１例を示す図である。デジタルカメラ１０のハードウェア構成は、固定レンズ１０１、ズームレンズ１０２、絞り機構１０３、フォーカスレンズ１０５、シャッタ１０４、撮像素子１０６、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関二重サンプリング）回路１０７、Ａ／Ｄ変換器１０８、ＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）１０９、ＩＰＰ（ＩｍａｇｅＰｒｅ−Ｐｒｏｃｅｓｓｏｒ）１１０、画像バッファメモリ１１１、およびＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１２を備える。
【００６７】
ここで被写体の像は、固定レンズ１０１、ズームレンズ１０２、絞り機構１０３、およびフォーカスレンズ１０５を介して入射し、シャッタ１０４により露光時間が制御され、撮像素子１０６上に投影される。撮像素子１０６からの画像信号はＣＤＳ回路１０７でサンプリングされた後、Ａ／Ｄ変換器１０８でデジタル信号化される。この時、タイミングはＴＧ１０９で生成される。画像信号はその後、ＩＰＰ１１０でアパーチャ補正などの画像処理、および圧縮などの処理を施し、一時的に画像バッファメモリ１１１に保存される。一時的に画像バッファメモリ１１１に保存された画像情報は、外部通信機器１１８を介して外部機器に転送されて保存される。各ユニットの動作は、ＭＰＵ１１２にて制御される。
【００６８】
（１．３．画像処理用コンピュータのハードウェア構成）
図４は、実施の形態１による画像処理用コンピュータのハードウェア構成の１例を示す図である。画像処理用コンピュータ２０は画像処理の各部における制御および処理を行うＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）２０１と、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓｄｙｎａｍｉｃｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）２０２と、ＨＤＤ（ｈａｒｄｄｉｓｋｄｒｉｖｅ）２０３と、例えばマウスであるポインティングデバイス、キーボード、およびボタンの各種入力インタフェース（以下Ｉ／Ｆと略す）２０４と、表示Ｉ／Ｆ２０６と、表示Ｉ／Ｆを介して接続される例えばＣＲＴ（ｃａｔｈｏｄｅｒａｙｔｕｂｅ）であるディスプレイ２０９と、例えばＣＤ−ＲＷ（ｃｏｍｐａｃｔｄｉｓｋｒｅｗｒｉｔａｂｌｅ）ドライブからなる記録装置２０７と、撮像部１１およびプリンタである外部機器並びにインターネット（電気通信回線）と有線又は無線接続するための外部Ｉ／Ｆ２０８とを、バス２１０を介して接続して構成される。
【００６９】
ＳＤＲＡＭ２０２は、ＣＰＵ２０１の作業領域として利用されるとともに、本発明における画像処理方法の各工程を実行するための処理プログラムや、その他制御プログラムなどの固定情報の記録領域として利用される。処理プログラムは、例えば記録装置２０７を介してＳＤＲＡＭ２０２にロードされ、又はＨＤＤ２０３に一旦保存された後に必要なときにＳＤＲＡＭ２０２にロードされ、又は外部Ｉ／Ｆ２０８に接続された電気通信回線を介してＳＤＲＡＭ２０２にロードされる。処理の対象となる画像は、記録装置２０７又は外部Ｉ／Ｆ２０８に接続された撮像部１１を介して入力される。
【００７０】
（１．４．あおり補正処理動作）
（１．４．１．あおり補正処理方法の概要）
本発明の実施の形態１による画像処理装置、即ち画像処理用コンピュータにおけるあおり補正処理は、平面形状をなす被写体に対して、少なくとも１つの被写体に対する２以上の視点（撮像装置の撮影位置）から撮像した２以上の画像（二視点画像）を用いて、上記二視点画像以外の１つの視点から撮影された他の撮影による画像に対しても、あおり補正を行うものである。具体例としては、例えばスライド画像を映写された被写体に対して、そのスライドのコマが変わらないうちに２つ以上の異なる視点（撮影位置）から撮影した二視点画像を用いてスライド画像の正面画像を取得し、他の１点から撮影した画像に対してもあおり補正処理を施すのである。
【００７１】
そのため、ここではあおり補正処理に用いる射影行列など、画像情報の数学的処理について説明するが、このような数学的手法は既に公知のものである。
【００７２】
異なる視点（撮影位置）からデジタルカメラ１０によって撮影された２以上の二視点画像情報は、画像情報転送部１３を介して、画像処理用コンピュータ２０における平面形状検出部２２に転送される。平面形状検出部２２は、２つの画像情報における画像の対応点、または画像面に投影された被写体平面形状の四隅の位置情報を検出する。射影変換部２１は、対応点位置情報又は被写体平面形状の四隅の位置情報を用いて射影変換行列を求める。また、平面形状をなす被写体の平面における法線方向を算出し、正面から被写体を撮影した場合に得られる画像情報に変換する。
【００７３】
（１．４．２．二視点画像の特徴点の抽出）
図５は、実施の形態１による画像処理装置で、被写体平面形状の四隅の位置情報の検出を説明する図である。例えば、スライドの映写画面を撮影すると、一般にゆがんだ四角形の画像が得られる。これがあおり歪みを受けた撮影画像である。スライドの場合は例えば、スライドスクリーンの角の４点が、被写体の四隅の点として特徴的な点となる。ただし、このような角の４点でなければならないことはなく、それぞれの平面形状に特徴的な点を選択することができる。
【００７４】
まず、二視点画像に対して射影変換部２１が施す射影変換処理、即ち、あおり補正処理に関して説明する。
【００７５】
被写体平面形状の四隅を検出する前段階の処理として、撮影画像に撮影される被写体領域と背景領域との領域分割を実行する。領域分割の方法としては、「画像の処理と認識」（安居院猛・長尾智晴共著、昭和堂）に記載されているように、（ａ）領域成長法や領域分割法のように画像上でクラスタリングを行う方法、（ｂ）ヒストグラムによる領域分割など特徴空間上でクラスタリングを行う方法、（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、（ｄ）テクスチャ解析を用いる方法、などが適用できる。領域分割を実行した後、撮影画像の端から被写体を探索して被写体平面形状における四隅を検出する。また、被写体輪郭線の曲率を算出することによって被写体の平面形状の凸部分を検出することも可能である。曲率の算出方法の例としては、数１式のガウス曲率ｒを用いる方法が挙げられる。
【００７６】
【数１】

ここで行列式Ｈは数２式で示すヘッセ行列である。
【００７７】
【数２】

【００７８】
ただし、
Ｉ_ｘ，Ｉ_ｙは画像値Ｉのｘ方向の一次微分，画像値Ｉのｙ方向の一次微分であり、Ｉ_ｘｘ，Ｉ_ｙｙは画像値Ｉのｘ方向の二次微分，画像値Ｉのｙ方向の二次微分であり、
Ｉ_ｘｙは画像値Ｉのｘ方向とｙ方向への一次微分である。
【００７９】
以上により、画像面に投影された被写体平面形状の四隅の位置情報を検出する。ここで被写体の平面形状の検出として四隅の位置情報の検出を用いた。
【００８０】
（１．４．３．二視点画像の特徴点の対応の検出）
図６は、実施の形態１による画像処理装置において、二視点画像における対応点の検出を説明する図であり、（ａ）は画像Ａの画像対応点の検出を示し、（ｂ）は画像Ｂの画像対応点の検出を示す。ここで画像Ａおよび画像Ｂはそれぞれ異なる２つの視点から撮影された二視点画像である。
【００８１】
まず、図６に示された画像Ａ内にある画像情報から、特徴量の抽出を行って特徴点を検出する。画像情報から特徴量の抽出および特徴点検出方法の一例としては従来から多くの研究がなされている（例えば「三次元ビジョン」（著者徐剛、辻三郎、共立出版）の３章）。
【００８２】
画像Ａから抽出した特徴量を元にして、画像Ａの特徴点に対応する対応点を、画像Ｂにおいて検出する。対応点検出方法の一例として、相互相関によるブロックマッチングにより対応点を検出する手法を示す。画像Ａにおけるｉ番目の特徴点（ｘ_ｉ０，ｙ_ｉ０）と、画像Ｂにおける点（ｘ_ｉ０＋ｄｘ，ｙ_ｉ０＋ｄｙ）との対応付けを、図７に示すように（２Ｎ＋１）（２Ｐ＋１）の相関窓を用いたブロックマッチングで行う。ここでＮ、Ｐは相関窓の大きさを表す任意に定めた定数であり、相関窓を設定する画素の数である。即ち、２Ｎ＋１はｘ_ｉ０を中心にした水平方向の探索点の個数であり、２Ｐ＋１はｙ_ｉ０を中心にした垂直方向の探索点の個数である。この場合の相互相関値Ｓｉは次式で計算される。
【００８３】
【数３】

【００８４】
ここで、数３式における各記号の意味は以下の通りである。
Ｉ_Ａ（ｘ，ｙ）：画像Ａの点における濃度
Ｉ_Ｂ（ｘ，ｙ）：画像Ｂの点における濃度
Ｉ_Ａ（ｘ，ｙ）：画像Ａの点を中心とする（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度
Ｉ_Ｂ（ｘ，ｙ）：画像Ｂの点を中心とする（２Ｎ＋１）（２Ｐ＋１）の相関窓における平均濃度
Ｋ：定数
各特徴点に対して、相互相関値Ｓｉを最大にする対応点を順次検出することによって、二視点画像である画像Ａと画像Ｂ間の対応点を検出する。
【００８５】
（１．４．４．二視点画像の射影変換行列Ｂの求め方）
次に検出した対応点の位置情報、例えば被写体平面形状の四隅の位置情報から二視点画像に対してあおり補正を施す射影変換行列Ｂを求める方法を示す。この射影変換行列Ｂを求める方法は、公知技術であるので（例えば特開平２００１−１７７７１６号公報（実施例００４５〜００５２）、および特開平２００１−１３４７５１号公報（実施例００４６〜００７１））、以下簡略に説明する。
【００８６】
画像Ａにおける画像座標系での点（ｕ，ｖ）と画像Ｂにおける画像座標系での点（ｕ’，ｖ’）が対応関係にある場合、射影変換を数式で表すと以下の数４式のようになる。
【００８７】
【数４】

【００８８】
数４式における８つの未知数ｂ_１〜ｂ_８を、
【００８９】
【数５】

と、行列Ｂとしてまとめ、これを射影変換行列と呼ぶ。
【００９０】
射影変換行列Ｂを求めるには、画像Ａと画像Ｂとの間の４組以上の特徴点（ｕ_ｉ，ｖ_ｉ）と、それらの対応点（ｕ_ｉ’，ｖ_ｉ’）（ｉ＝１，…，Ｎ；Ｎ≧４）、または画像Ａに投影される被写体平面形状の四隅の位置情報（ｕ_ｉ，ｖ_ｉ），と画像Ｂに投影される被写体平面形状の四隅の位置情報（ｕ_ｉ’，ｖ_ｉ’）（ｉ＝４）とを用いる。被写体平面形状の四隅の位置を数４式に代入するときには、４点の位置対応情報しかないので数４式を解析的に計算できるが、画像間の対応点を数４式に代入する場合には、位置対応情報が４点以上取得できることと、画像に重畳するノイズ等の誤差を考慮して、以下に示す最小２乗演算を用いて解くことになる。
【００９１】
【数６】

【００９２】
数６式は以下のように変形される。
【００９３】
【数７】

【００９４】
さらに、数７式は、以下のようにベクトルのノルムの形で書き換えられる。
【００９５】
【数８】

【００９６】
すなわち、数８式は次のように表すことができる。
【００９７】
【数９】

【００９８】
数９式の形で表される最小２乗（自乗）問題は、一般に次式を解けば解が得られる。
【００９９】
【数１０】

したがって、係数ｂ_１〜ｂ_８は対応付けの組を用いて、線形計算により求めることができる。
【０１００】
ここで求めた射影変換行列Ｂは、画像座標系を基準とした射影変換行列であるので、以下の数１１式のようにカメラ内部行列Ａを用いて、ワールド座標系を基準とした行列Ｈを算出する。
【０１０１】
【数１１】

【０１０２】
カメラ内部行列Ａは、
【０１０３】
【数１２】

であり、ここでｆは焦点距離、ｕ_０，ｖ_０は画面中心位置、ｋ_ｕ，ｋ_ｖは画素密度を示す。
【０１０４】
また、行列Ｈ^Ｔと姿勢情報Ｒ（回転行列）および並進成分情報ｔ（並進ベクトル）は、「２画像からの平面の３次元運動の計算」（情報処理学会研究報告９４−ＣＶ−９０（１９９４）、著者森尻智昭、小野寺康浩、金谷健一）の論文により以下の数１３式が成り立つことが示されている。
【０１０５】
【数１３】

【０１０６】
ここでｓ’はスケールを両辺で一致させるための定数値を、ｎは画像座標系を基準にした被写体平面の法線方向を示す。ただし、被写体面の距離を表す変数ｄと並進ベクトルｔの大きさのスケールは不定であるので、
【０１０７】
【数１４】

と仮定する。
【０１０８】
次に、被写体平面形状の法線方向ｎを表す３つのパラメータ｛ａ，ｂ，ｃ｝を用いて、撮影時の撮像部１１の向き（ｚ軸向き）と単位法線方向ｎのベクトルとの関係を表す回転行列Ｒ’を求める。回転行列Ｒ’を使用すると、次の関係式が成立する。
【０１０９】
【数１５】

【０１１０】
数１５式を満たす回転行列Ｒ’は多数存在するが、ここでは回転行列Ｒ’を次式のように定義する。
【０１１１】
【数１６】

【０１１２】
【数１７】

【０１１３】
ここでカメラ座標系を、ｙ軸回りにβだけ回転し、その回転によりできる座標系をｘ_１ｙ_１ｚ_１座標系とする。そして、カメラ座標系を、ｘ_１軸回りにαだけ回転し、その回転によりできる座標系をｘ_２ｙ_２ｚ_２座標系とする。
【０１１４】
この時、ａ^２＋ｂ^２＋ｃ^２＝１、および数１５式〜数１７式を用いると、回転角α、およびβは次式のように導出される。
【０１１５】
【数１８】

【０１１６】
以上で求められた回転角αおよびβを、数１７式および数１６式に代入することにより、Ｒ’を一意に定めることができる。
【０１１７】
（１．４．５．二視点画像に対するあおり補正処理）
図８は、実施の形態１による画像処理装置の画像あおり補正処理を説明する図である。これまで述べた手順で求められた回転行列Ｒ’、および被写体平面形状の法線方向ｎを用いて、二視点画像の画像のあおり補正処理を実行する。この動作を図７を参照して説明すると、二視点画像の１つである撮影画像Ａ上の任意の点に対応する視線ベクトルｘを延長し、被投影面と交差する点Ｐこそが、正面方向から被写体を撮影したときに得られる画像へ変換処理を施した画像座標である。図７のｋはカメラの光学中心ｏから被投影面までの距離を表す拡大係数であり、被投影面に向かって撮影画像Ａを投影することによりあおり歪みを補正するので、ｋはあおり歪みを補正した画像の大きさを規定する。この動作は以下のようにして行われる。
【０１１８】
まず、撮影画像上の視線ベクトルｘを、回転行列Ｒ’によりｘｙｚ座標系を回転させてできる座標系基準の視線ベクトルｘ”に変換する。
【０１１９】
【数１９】

但し、ｓはｘ”の第３成分を１に定めるための定数である。
【０１２０】
次に、視線ベクトルｘ”の第１成分および第２成分を、拡大係数ｋだけスケール倍する。
【０１２１】
【数２０】

【０１２２】
数２０式の拡張ベクトルｍ”のＵ座標、Ｖ座標が、点（ｘ，ｙ）のあおり補正後の画像座標となる。
【０１２３】
以上より少なくとも２視点以上から撮影された二視点画像情報から、射影変換行列を作成して正面から被写体を撮影したときに得られる画像（基準正面画像）情報へ変換した。以上の説明は二視点画像から変換された基準正面画像についての説明である。
【０１２４】
（１．４．６．あおり補正処理された基準正面画像の平面形状検出）
次に、以上の二視点画像によって求められたあおり補正処理された画像、即ち正面から撮影して得られる平面画像である基準正面画像の形状の検出について説明する。
【０１２５】
平面形状検出部２２による平面形状検出処理は、射影変換部２１で出力される射影変換後（あおり処理後）の基準正面画像の画像情報を用いて、被写体の平面形状を検出する。被写体平面形状の検出方法の１例としては、図６に示したような被写体平面形状の四隅を検出する方法が挙げられる。
【０１２６】
被写体平面形状の四隅を検出する前処理として、撮影画像に撮影される被写体領域と背景領域との領域分割を実行する。領域分割の方法としては、「画像の処理と認識」（安居院猛・長尾智晴共著、昭和堂）に記載されているように、（ａ）領域成長法や領域分割法のように画像上でクラスタリングを行う方法、（ｂ）ヒストグラムによる領域分割など、特徴空間上でクラスタリングを行う方法、（ｃ）輪郭線追跡などの画像中のエッジを用いる方法、（ｄ）テクスチャ解析を用いる方法などの領域分割方法がこの場合も適用できる。
【０１２７】
領域分割を実行した後、撮影画像の端から被写体を探索して被写体平面の四隅を検出しても良いし、被写体輪郭線の曲率を算出することによって被写体の平面形状の凸部分を検出しても良い。曲率の算出方法の例としては、数２１式のガウス曲率ｒなどが挙げられる。
【０１２８】
【数２１】

ここで行列式Ｈはヘッセ行列を示す（数２２式）。
【０１２９】
【数２２】

ただし、Ｉ_ｘ，Ｉ_ｙは画像値Ｉのｘ方向への一次微分，画像値Ｉのｙ方向への一次微分であり、Ｉ_ｘｘ，Ｉ_ｙｙは画像値Ｉのｘ方向への二次微分，画像値Ｉのｙ方向への二次微分であり、Ｉ_ｘｙは画像値Ｉのｘ方向とｙ方向への微分である。
【０１３０】
以上より、あおり補正を施された射影変換後の基準正面画像から被写体の平面形状を検出することができる。ここでは、平面形状の検出は被写体の四隅の位置の検出によって行った。また、被写体の平面形状を検出する処理は、射影変換後の画像を撮像部１１に取り付けた液晶表示部に表示して、被写体平面の四隅の位置をユーザに指示させて入力を設定させて、設定された入力を受信するとしてもよい。平面形状検出部２２で検出した平面形状情報は、平面形状記憶部２３に記憶される。
【０１３１】
以上の射影変換処理と平面形状検出処理までが、画像変換前処理であり、二視点画像に対するあおり補正処理である。
【０１３２】
（１．４．７．被写体の他の撮影による他の画像のあおり補正）
次に、二視点画像以外の１つの視点からの撮影である被写体の他の撮影画像に対してあおり補正を行う動作を説明する。ここで、あおり補正部２４が他の撮影画像に対してあおり補正を実行する。あおり補正部２４による画像変換処理では、新たに被写体を撮影して得られる１の視点による撮影の画像情報（被写体の他の撮影による他の画像情報）に対して、平面形状記憶部２３に記憶されている平面形状情報を用いて、画像あおり補正処理を施し、正面方向から撮影したときに得られる画像情報に変換する。こうして、二視点画像以外は２以上の視点から撮影する必要なく、１つの視点のみから撮影されていたとしても、あおり補正を施すことができる。
【０１３３】
図８は、実施の形態１による画像補正装置において、他の撮影による画像情報での被写体の四隅の位置の算出を説明する図であり、（ａ）は二視点画像から得られた被写体の平面形状の四隅を示し、（ｂ）は新たに撮影した画像情報から得られた平面形状の四隅を示す。ここで、平面形状検出部２２が実行する平面形状検出方法と同様に、新たに撮影された被写体（他の撮影による被写体の画像）の四隅の位置が検出される。新たに撮影された被写体の四隅の位置と、画像変換前処理で得られた被写体の平面形状（＝基準正面画像）の四隅の位置との対応関係に基づいて、射影変換部２１が、他の撮影による被写体画像に対して射影変換処理を施す。具体的には、数４式に代入する画像Ａ，Ｂにおける点（ｕ，ｖ），（ｕ’，ｖ’）の代わりに、新たに撮影された被写体の四隅の位置と、画像変換前処理によって得られる被写体の平面形状の四隅の位置を、それぞれ（ｕ，ｖ），（ｕ’，ｖ’）に代入して射影変換行列を算出する（図８）。
【０１３４】
このように他の撮影による画像のための射影変換行列を算出することによって、新たに撮影した被写体平面形状が、画像変換前処理時に撮影された被写体平面形状と同様である場合には、同一の被写体を撮影した画像情報が１枚だけであったとしても画像あおり補正を実行し、正面から撮影したときに得られる画像情報に変換することができる。これによって、少ない撮影枚数で画像あおり補正を実行する画像処理装置を提供できる。
【０１３５】
また、新たに撮影した被写体の四隅の位置と画像変換前処理時に撮影された被写体平面形状の四隅の位置とにほとんど差がない場合には、あおり補正部２４の画像変換処理は射影変換処理を行わずに、四隅の位置を一致させるように画像を伸長させる処理を施すことができる。つまり、射影変換行列を求めなくとも良い。これにより、より簡易な方式で新たに撮影された被写体画像にあおり補正処理を施すことができる。
【０１３６】
（１．５．実施の形態１によるあおり補正処理方法）
図９は、実施の形態１によるあおり補正処理方法を示すフローチャートである。まず、少なくとも２箇所以上の視点から撮影された２以上の画像（二視点画像）情報を取得し、メモリに記憶させる（ステップＳ１００１）。
【０１３７】
次に、記憶された画像における二視点画像の平面形状の四隅の位置を以下の方法で検出する。即ち、ステップＳ１００１で得られた画像から、画像における背景領域と被写体領域の領域分割を実行し、領域分割によって求められた被写体輪郭線の曲率を算出し、算出された曲率情報から被写体の凸部分（コーナー部分）を検出し、四隅の位置とする（ステップＳ１００２）。
【０１３８】
次に、ステップＳ１００２で得られた被写体平面形状の四隅の位置情報を、数４）に代入して、射影変換行列Ｂを算出する（ステップＳ１００３）。得られた射影変換行列Ｂに基づいて、被写体平面の法線ベクトルを算出し、法線ベクトル方向から撮影したときの画像情報に変換することによって、画像情報を正面方向から撮影したときに得られる画像情報（あおり補正処理された画像情報）へ変換する（ステップＳ１００４）。
【０１３９】
次に、ステップＳ１００４で得られた射影変換後の画像から、背景領域と被写体領域の領域分割を実行し、被写体輪郭線の曲率を算出し、曲率情報から被写体の凸部分（コーナー部分）を検出して四隅の位置とする（ステップＳ１００５）。
【０１４０】
次に、スライドが切り替わるなどして撮影する被写体が変化して、新たに他の撮影による被写体の画像情報が取得されたかどうかを判定する（ステップＳ１００６）。判定の結果、新たな被写体画像情報が取得されなかった場合は（ステップＳ１００６のＮｏ）、そのまま終了する。
【０１４１】
新たな被写体画像（１つの視点から撮影された他の画像）が取得されたと判定された場合（ステップＳ１００６のＹｅｓ）、判定されて得られる新たな撮影画像から、ステップＳ１００５と同様の手順で被写体の四隅の位置を検出する（ステップＳ１００７）。
【０１４２】
ここで、ステップＳ１００５およびステップＳ１００７で得られた四隅の位置から、以下の手順で射影変換行列Ｂ’を求める。即ちまず、ステップＳ１００５およびステップＳ１００７で得られた被写体四隅の位置情報を対応付ける。そして、対応付けられた対応点の位置情報を数４式に代入して、射影変換行列Ｂ’を算出する（ステップＳ１００８）。
【０１４３】
ステップＳ１００８で得られた射影変換行列Ｂ’から、被写体平面の法線ベクトルを算出し、法線ベクトル方向から撮影したときの画像情報に変換することによって、新たに撮影した画像情報を正面方向から撮影したときに得られる画像情報へと変換する（ステップＳ１００９）。これで、新たに撮影された画像のあおり補正処理が施され、正面から撮影したときに得る画像が生成された。そして、ステップＳ１００９において射影変換された画像情報を、メモリに記録して（ステップＳ１０１０）、終了する。
【０１４４】
（１．６．効果）
以上、実施の形態１による画像処理装置によって、デジタルカメラによって異なる２つの視点から撮影した二視点画像があれば、その二視点画像の形状を検出し、検出された形状からあおり補正のための射影変換行列を求めて、該二視点画像に対してあおり補正処理をほどこして基準正面画像とする。そして、１つの視点のみから撮影された他の撮影画像がある場合は、該他の撮影画像から形状を検出し、検出された他の画像の形状と、求められた基準正面画像の形状とから、他の画像に対してあおり補正処理のための射影変換行列を求めて、他の画像に対して射影変換することにより、他の画像をあおり補正処理することができる。このあおり補正処理方式によって、二視点画像が１セットあるだけで、他の画像は１つの視点からのみ撮影された画像であったとしても、効率よくあおり補正を施すことができる。
【０１４５】
（１．７．あおり補正処理機能を備えたデジタルカメラ）
実施の形態１による画像入力装置は、以上説明した実施の形態１による画像処理装置（画像処理用コンピュータ）を備えたデジタルカメラとして構成する。
【０１４６】
図１０は、実施の形態１によるデジタルカメラの機能的ブロック図である。ここでは、デジタルカメラ１０本体の内部に射影変換部２１，平面形状検出部２２，平面形状記憶部２３、あおり補正部２４、および第二記憶部２５が組み込まれ、実質的に画像処理用コンピュータとしての機能を果たす。この構成によって、実施の形態１による画像処理装置が一体構成としてデジタルカメラに組み込まれた。このようにデジタルカメラに画像処理用コンピュータを組み込んで一体構成とすることによって、図１における画像情報転送部１３を不要とすることができる。また、一体構成とすることで、撮影と同時にあおり補正処理を行うあおり補正機能を有するデジタルカメラとして機能する。デジタルカメラそのもののハードウェア構成などの説明は、既に行った通りである。
【０１４７】
この構成によって、実施の形態１によるデジタルカメラが異なる２つの視点から撮影すれば、デジタルカメラはその二視点画像の形状を検出し、検出された形状からあおり補正のための射影変換行列を求めて、該二視点画像に対してあおり補正処理をほどこして基準正面画像とし、１つの視点のみから撮影された他の撮影画像に対してあおり補正処理のための射影変換行列を求めて、自動的および／または手動操作入力によってあおり補正処理することができる。このあおり補正処理機能付きのデジタルカメラを用いると、二視点画像を１セット（２カット）撮影するだけで、他の画像については１つの視点からのみ撮影し画像であったとしても、効率よくあおり補正を施すことができる。
【０１４８】
［実施の形態２］
実施の形態２による画像処理装置においては、撮影位置関係判定部によって、正面から撮影して得た画像であると判定された画像を用いて、１の視点のみから撮影された他の画像に対してあおり補正処理を施すものである。即ち、正面から撮影して得た画像を用いることによって、他の撮影による画像に対して、より簡略で迅速なあおり処理を施すことがでる。ここで、他の撮影による画像をあおり補正処理する方式は、射影変換を用いても良く、あるいは他の方式例えば、検出された４点から画像を圧縮および伸長させる方式でもよい。
【０１４９】
（２．１．実施の形態２による画像処理装置の概略構成）
図１１は、本発明の実施の形態２による画像処理装置の機能的ブロック図である。実施の形態２による画像処理装置は、実施の形態１による画像処理装置と同様にデジタルカメラ１０に接続された画像処理用コンピュータとして構成する。
【０１５０】
実施の形態２による画像処理用コンピュータ２０が、実施の形態１と異なる点は、実施の形態１において備えていた射影変換部２１がなく、実施の形態１において備えていなかった撮影位置関係判定部１４があることである。ここでは射影変換を用いない方式により説明する。しかし、射影変換を用いる実施の形態１による方式でも実施可能である。
【０１５１】
また、実施の形態１にあった画像情報転送部１３の代わりに実施の形態２においては、画像情報および判定結果転送部１５を備える。
【０１５２】
画像処理用コンピュータ２０の撮影位置関係判定部１４は、撮影された画像が正面方向から被写体を撮影した画像であるか否かを、即ち、撮影位置関係を判定する。ここで、撮影位置関係判定部１４は、画像処理用コンピュータ２０において備える構成にする。また、デジタルカメラ１０が画像処理用コンピュータ２０を備えた一体型の構成しても良いことは実施の形態１と同様である。その場合は、一体構成とすることによって画像情報および判定結果転送部１５を省略することができる。
【０１５３】
実施形態２による画像処理用コンピュータ２０に接続されたデジタルカメラ１０の第１記録部１２は、撮像部１１からの画像情報と、撮影位置関係判定部１４からの撮影位置関係判定結果を記録する。画像情報および判定結果転送部１５は、第１記録部１２に記録された画像情報および位置関係判定結果を画像処理用コンピュータ２０に転送する。
【０１５４】
画像処理用コンピュータ２０の平面形状検出部２２、平面形状記録部２３、あおり補正部２４、および第２記録部２５は、実施の形態１と同様の構成である。
【０１５５】
また、デジタルカメラ１０、画像処理用コンピュータ２０の基本的なハードウェア構成は、実施の形態１と同様である。
【０１５６】
ここで、平面形状検出部２２は請求項における形状検出手段を構成し、以下それぞれ撮影位置関係判定部１４は画像判定手段を、あおり補正部２４はあおり補正手段を、それぞれ構成する。
【０１５７】
（２．２．実施の形態２による画像処理装置の撮影位置関係判定部の動作）
ここで、実施の形態２において特徴的な撮影位置関係判定部１４が実行する撮影位置関係判定処理に関して説明する。画像処理用コンピュータ２０が備える撮影位置関係判定部１４は、被写体を正面方向から撮影したことを判定する撮影位置関係の判定を行う。正面から撮影したことを判定する方法の一例として、デジタルカメラ１０の撮像部１１の姿勢情報を検出した結果を利用する判定方法を示す。
【０１５８】
撮像部１１には加速度センサ、ジャイロセンサ、および磁気センサが装着されている。撮像部１１が撮影動作時にとる姿勢に関する情報である姿勢情報は、それらのセンサからの出力情報から算出する。姿勢情報の取得装置および算出方法の詳細な説明は、実施の形態３において行う。
【０１５９】
図１２は、実施の形態２によるデジタルカメラを用いる撮影を説明する図である。一般にプレゼンテーション会場のスライド資料を投影するスライドスクリーンなどは、地面に対して垂直に設置されることが多い。そのため図１２に示すように、スライド資料も垂直方向に表示される場合が多い。このため、撮像部１１の被写体画像の投影面が地面に対して垂直方向であれば、投影されたスライド画像などの被写体に対して正面方向から撮影できる可能性が高い。また、プレゼンテーションが始まって連続的にスライドを撮影しているときには、撮影者は着席している場合が多い。撮像部１１の撮像光学系の光学軸が鉛直線と垂直でない場合は、被写体に対して正面方向から撮影していない可能性が高い。以上の条件より、撮像部１１の姿勢情報によって、図１２に示すように撮像部１１が地面に対して垂直方向であると検出された場合には、被写体を正面から撮影したと判定する。撮像部１１が地面に対して垂直であるかどうかは、加速度センサの出力（重力方向）を取得することによって判定することができる。
【０１６０】
あるいは他の判定方法として、姿勢情報の変化により判定する方法も可能である。プレゼンテーション会場などにあるスライド画像の撮影では、図１２に示すように、例えば、初めに正面方向から被写体（スライド画像）を撮影しておいて、プレゼンテーションが開始した後に最初と異なる所定の位置から、所定の方向で連続的にスライド画像を撮影できることが想定される。連続的にスライド画像を撮影している際には、定められた席などに着席しながら撮影する場合が多いので、撮像部１１の姿勢情報の変化量は微小である。
【０１６１】
図１３は、実施の形態２によるデジタルカメラが被写体に対して正面以外から撮影する場合を説明する図である。正面から撮影したときのデジタルカメラの撮像部１１の姿勢情報（図１２）と、図１３に示されるように正面以外の位置から連続的に撮影しているときの撮像部１１の姿勢情報とから、姿勢情報の変化量が検出される。
【０１６２】
図１４は、撮影された画像番号に対するデジタルカメラの姿勢情報の変化量を示したグラフの１例である。ここで横軸は撮影された画像番号、即ち具体的にはフィルムのコマ数であるので離散量であり、縦軸は撮像部１１の撮影時点で検出された姿勢情報の変化量である。姿勢情報としては上記の各センサからの出力を用いる。即ち、加速度、方向、および磁気などである。
【０１６３】
ここで検出された姿勢情報の変化量とは、一回前に撮影されたときの姿勢情報と、今回撮影されたときの姿勢情報との差分値を示す。図１４の破線で囲まれた画像群（Ａ）のように、姿勢情報の変化量が微小である画像が連続して撮影されている場合には、その画像群はスライドなどの被写体を一定の方向（例えば図１３に示すような）から、連続的に撮影した画像であると判定できる。
【０１６４】
それに対して、画像群（Ａ）の直前に撮影された画像（他の破線で囲まれた画像Ｂ）は、スライドなどの被写体を、正面方向（図１２）から撮影した画像であると判定できる。その他の画像（破線ＣおよびＤで囲まれた画像）は、画像あおり補正すべき被写体とは無関係な被写体と判定できる。それ故、画像群Ｃに関しては、本発明の実施の形態２によるあおり補正処理を施さずにそのまま保存する。
【０１６５】
以上より実際に正面から撮影したコマがあった場合は、姿勢情報を利用することにより被写体が同じ位置から連続して撮影されたこと、および正面方向から撮影されたことを判定できる。
【０１６６】
（２．３．撮影位置関係の他の判定方式）
そのほかに、姿勢情報を用いずに正面方向から撮影したことを判定する方法の一例として、撮像部１１の画像投影面に投影される被写体形状の変化量を利用した判定方法を下記に示す。
【０１６７】
同一の平面形状である被写体をある一定の方向から撮影している際には、画像に投影される被写体形状にもあまり変化がない。この場合の被写体形状とは、例えばスライド撮影におけるスクリーンの外周形状を示し、被写体形状が変化しないということは、そこに映写される映像は随時変化しうるが、被写体の外周であるスクリーンの外周形状は変化しないという意味である。ところが、上記の固定されたある一定の方向と異なる方向から撮影した際には、画像に投影される被写体形状に変化が検出される。これより、画像に投影された被写体四隅の位置を実施の形態１に記載した平面形状検出方法と同様な方法で検出し、被写体四隅の位置変化量を比較することにより、実際に正面から撮影したコマがあった場合は、正面方向から撮影したことを判定することができる。
【０１６８】
図１５は、実施の形態２によるデジタルカメラによって、撮影した被写体の画像群における被写体四隅の位置変化量を示したグラフの１例である。ここで被写体の四隅の位置変化量とは、直前に撮影された被写体四隅の位置と今回撮影された被写体四隅の位置との差分値を示す。図１５の破線で囲まれた画像群（Ａ）のように、被写体四隅の位置変化量が微小である画像が連続して撮影されている場合には、その画像群はスライドなどの被写体をある所定の方向から連続的に撮影した（図１３）画像であると判定する。実際に正面から撮影したコマがあった場合は、画像群（Ａ）の直前に撮影された画像（Ｂ）はスライドなどの被写体を正面方向から撮影した（図１２）画像であると判定する。その他の画像（ＣおよびＤ）は、画像あおり補正する被写体とは無関係なその他の被写体と判定し、本発明によるあおり補正処理を施さずにそのまま保存する。以上により、実際に正面から撮影したコマがあった場合は、姿勢情報を利用せずに被写体を正面方向から撮影したことが判定できる。
【０１６９】
その他の正面画像判定方法としては、画像処理用コンピュータ２０において、ユーザが正面画像であると指定入力する正面入力スイッチ１４ａを設けて、正面入力スイッチ１４ａからの入力信号を、撮影位置関係判定部１４が受信することによって、撮影方向を判定しても良い。図１１に示す正面入力スイッチ１４ａは撮影位置関係判定部１４に入力信号を送信する。これにより、確実に操作者によって撮影の際に確実に基準正面画像を指定することができる。
【０１７０】
あるいは、デジタルカメラ１０にユーザが設定するための正面入力スイッチ１４ｂを設けて、正面方向撮影モードと任意方向撮影モードの切り替えスイッチを設けて、撮影時にユーザが設定入力できるようにすることもできる。正面方向撮影モードで撮影したことをユーザに表示するため、正面方向撮影モードで撮影したときには、ビープ音などをデジタルカメラ１０から発生させても良い。
【０１７１】
ここで、正面入力スイッチ１４ａ，１４ｂは、それぞれ本発明の入力手段を構成する。
【０１７２】
また、正面方向から被写体を撮影する回数は、一回である場合が多いので、正面方向撮影モードで被写体を撮影した場合には自動的に任意方向撮影モードに切り替えるような構成にすることが望ましい。ユーザに正面から撮影したことが撮影と同時に信号として送信されて撮影位置関係判定部１４が受信することによって、正面方向から撮影された画像であることを判定することができる。
【０１７３】
（２．４．画像形状の検出）
平面形状検出部２２は、撮影された画像形状を、実施の形態１に記載の平面形状検出処理と同様にして平面形状検出処理を行う。そして、撮影位置関係判定部１４によって、被写体が正面から撮影したと判定された画像情報の対応点を、実施の形態１に記載の平面形状検出処理と同様にして検出する。
【０１７４】
また、他の撮影による画像のあおり補正処理は、あおり補正部２４で実行される。あおり補正処理は、実施の形態１において説明した画像変換方法と同様な処理によって実行する。
【０１７５】
（２．５．実施の形態２によるあおり補正処理方法）
図１６は、実施の形態２による画像処理装置のあおり補正手順を示すフローチャートである。まず、撮影された画像情報群は、第１記録部１２が記憶される（ステップＳ１６０１）。そして、ステップＳ１６０１によって得られた画像情報群の中から、被写体を正面から撮影した画像情報が判定され選択される。判定方法は既に述べたように、姿勢情報の変化量を用いても、重力方向の傾きによる姿勢情報を用いても、あるいは画像に投影される被写体平面形状の変化量から選択する方式を用いても良い。また、手動による入力を受け付けた信号によって判定しても良い（ステップＳ１６０２）。
【０１７６】
次に、正面方向から撮影したと判定された画像を基準正面画像として、以下の手順によって被写体の四隅の位置を検出する。まず、判定された画像に対して背景領域と被写体領域の領域分割を実行し、分割された領域において、被写体輪郭線の曲率を算出し、算出された曲率情報から被写体の凸部分（コーナー部分）を検出して、四隅の位置とする（ステップＳ１６０３）。得られた被写体四隅の位置情報は、基準情報としてメモリに記録する（ステップＳ１６０４）。
【０１７７】
次に、基準正面画像でない他の画像情報における被写体の四隅の位置を検出する。その手順はまず、背景領域と被写体領域の領域分割を実行し、分割された領域において被写体輪郭線の曲率を算出し、算出された曲率情報から被写体の凸部分（コーナー部分）を検出し、四隅の位置とする（ステップＳ１６０５）。
【０１７８】
次に、ステップＳ１６０４で記録された基準正面画像の四隅の位置情報と、ステップＳ１６０５で得られたその他の撮影による被写体の四隅の位置情報とから、射影変換行列Ｂ’を算出する。その際、まずステップＳ１６０３およびＳ１６０５で得られた被写体四隅の位置情報の対応点を取得し、対応点の位置情報を数４式に代入して、射影変換行列Ｂ’を算出する（ステップＳ１６０６）。
【０１７９】
そして、ステップＳ１６０６で得られた射影変換行列Ｂ’により、被写体平面の法線ベクトルを算出し、法線ベクトル方向から撮影したときの画像情報に変換する。これにより、基準正面画像ではない他の撮影による画像情報を正面方向から撮影したときに得られる画像情報へと射影変換する（ステップＳ１６０７）。ステップＳ１６０７で射影変換処理された画像情報をメモリに記録する（ステップＳ１６０８）。ここで、他の撮影画像に対してあおり処理を施す方式として、実施の形態１で求めた射影変換を用いる方式を説明したが、他の方式、例えば、検出された４点に基づいて画像を圧縮および伸長することによって求める方式を用いてもよい。
【０１８０】
（２．６．効果）
こうして実施の形態２による画像処理処置では、複数の撮影された画像の中から自動で、あるいは手動で正面から撮影された正面撮影画像を判定して選択し、選択された正面撮影画像と、１つの視点のみから撮影された他の画像の形状情報に基づいて、他の撮影画像に対してあおり補正処理を施すので、異なる２つの視点から撮影された二視点画像を必要とせずに、撮影した画像に対して簡略な操作であおり補正処理を施して正面位置から撮影した画像に補正できる。これにより、簡便な操作によって、撮影画像に対して迅速かつ正確にあおり補正が可能となる。
【０１８１】
（２．７．実施の形態２によるあおり補正処理機能を備えたデジタルカメラ）
実施の形態２による画像入力装置は、以上説明した実施の形態２による画像処理装置（画像処理用コンピュータ）を備えたデジタルカメラとして構成する。
【０１８２】
図１７は、実施の形態２によるデジタルカメラの機能的ブロック図である。ここでは、デジタルカメラ１０２０本体の内部に，平面形状検出部２２，平面形状記憶部２３、あおり補正部２４、および第二記憶部２５が組み込まれて実質的に画像処理用コンピュータとしての機能を備える。この構成によって、実施の形態２による画像処理装置が一体構成としてデジタルカメラに組み込まれる。このようにデジタルカメラに画像処理用コンピュータを組み込んで一体構成とすることによって、図１１において用いたデジタルカメラ１０内の画像情報および判定結果転送部１５を不要とすることができる。また、画像処理用コンピュータ２０を一体構成で備えたことで、撮影と同時にあおり補正処理を行うあおり補正機能を有するデジタルカメラとして機能する。デジタルカメラそのものの主なハードウェア構成は、既に説明した通りである。
【０１８３】
この構成によって、実施の形態２によるデジタルカメラは、正面から撮影したと判断する画像を用いて基準正面画像とし、１つの視点のみから撮影された他の撮影画像に対してあおり補正処理することができる。このあおり補正処理機能付きのデジタルカメラを用いると、基準正面画像と判定できる画像を撮影しておけば、他の画像については１つの視点からのみ撮影し画像であったとしても、効率よくあおり補正を施すことができるデジタルカメラとなる。
【０１８４】
［実施の形態３］
（３．１．実施の形態３による画像処理装置の概略構成）
図１８は、実施の形態３による画像処理装置の機能的ブロック図である。実施の形態３による画像処理装置は、画像処理用コンピュータによって構成する。実施の形態３による画像処理装置が、実施の形態１と異なる点は、画像処理用コンピュータ２０に接続するデジタルカメラ１０が備える姿勢検出部１６からの姿勢情報を用いる点である。また、画像処理用コンピュータ２０は、実施の形態１が備えていた平面形状検出部２２および平面形状記憶部２３を備えていない。また実施の形態１において接続していたデジタルカメラ１０は画像情報転送部１３を備えていたが、ここではその代わりに、画像情報および姿勢情報転送部１７を備える。
【０１８５】
デジタルカメラ１０の姿勢検出部１６は、撮像部１１が撮影するときにとる姿勢に関する姿勢情報を検出し、検出した姿勢情報を、画像情報および姿勢情報転送部１７に出力する。
【０１８６】
後述するように、デジタルカメラ１０と画像処理用コンピュータ２０を一つの装置として、構成することは可能である。一つの装置とすることで、画像情報および姿勢情報転送部１７を削減することも可能である。
【０１８７】
デジタルカメラ１０の撮像部１１は、実施の形態１と同様な構成である。第１記録部１２は画像情報と姿勢情報とを記録し、画像情報および姿勢情報転送部１７は第１記録部１２に記録された画像情報および姿勢情報を画像処理用コンピュータ２０に転送する。
【０１８８】
画像処理用コンピュータ２０の射影変換部２１、およびあおり補正部２４、第２記録部２５は、実施の形態１と同様な構成である。
【０１８９】
図１９は、実施の形態３によるデジタルカメラのハードウェア構成の１例を示す図である。実施の形態３のデジタルカメラ１０は、撮像部１１と、姿勢検出部１６と画像情報および姿勢情報転送部１７とを備える。姿勢検出部１６は３軸加速度センサ１１５、３軸磁気センサ１１６、および第２Ａ／Ｄ変換器１１７を備える。また、画像情報および姿勢情報転送部１７は外部通信機器１１８を備える。
【０１９０】
被写体の像は、固定レンズ１０１、ズームレンズ１０２、絞り機構１０３、およびフォーカスレンズ１０５を通過し、シャッタ１０４により露光時間が制御されて、撮像素子１０６上に形成される。撮像素子１０６からの画像信号はＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関二重サンプリング）回路１０７でサンプリングされた後、Ａ／Ｄ変換器１０８でデジタル信号化される。この時のタイミングはＴＧ（ＴｉｍｉｎｇＧｅｎｅｒａｔｏｒ）１０９で生成される。画像信号はその後、ＩＰＰ（ＩｍａｇｅＰｒｅ−Ｐｒｏｃｅｓｓｏｒ）１１０でアパーチャ補正などの画像処理、圧縮処理を施され、一時的に画像バッファメモリ１１１に保存される。一時的に保存された画像情報は、ＭＰＵ１１２内にある第１記憶部１２に転送され保存される。各ユニットの動作は、ＭＰＵ１１２によって制御される。また、入力指示スイッチ１１３により、画像撮影開始が指示されると同時に、３軸加速度センサ１１５、３軸磁気センサ１１６からがそれぞれ３軸加速度および３軸磁気強度を検出する。検出されたセンサ出力信号は撮影された画像情報に添付され、第１記憶部１２に保存される。第１記憶部１２に保存されたデータは、外部通信機器１１８を通じて画像処理用コンピュータ２０と通信される。外部通信機器１１８としては、ＰＣ用の汎用インタフェース、例えば、ＲＳ−２３２Ｃ、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）、ＩＥＥＥ１３９４、ネットワークアダプタ、ＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈを用いる。
【０１９１】
画像処理用コンピュータ２０のハードウェア構成は、実施の形態１と同様としうるので、説明を省略する。
【０１９２】
（３．２．実施の形態３による画像処理装置の姿勢検出部）
３軸加速度センサと３軸磁気センサを備えた姿勢検出部１６は、撮像部１１の姿勢を検出する。姿勢検出部１６による撮像部１１の姿勢検出については公知技術であるので、簡単に説明する（詳細については例えば、特開平１１−３０６３６３号公報（段落００１５〜００２５、００３６〜００４２））。
【０１９３】
図２０は、デジタルカメラの撮像部の撮影座標系を説明する図である。図２１は、ワールド座標系を説明する図である。姿勢検出部１６は、ワールド座標系（ＸＹＺ座標）の向きと、撮影したときの撮像部１１に固有な装置座標系（ｘｙｚ座標）の向きとを比較することによって、撮像部１１の姿勢情報を検出する。まず、装置座標系とワールド座標系を以下のように定義する。
【０１９４】
（ａ）装置座標系：ｘｙｚ座標系（第１９図）
ｘ軸：画像面右向きを正
ｙ軸：画像面下向きを正
ｚ軸：光軸方向、対象に向かう向きを正
原点ｏ：撮像部１１の光学中心
ｆ：カメラの焦点距離、
ｐ：撮影部１１の光学中心から対応点までのベクトル成分
（ｂ）ワールド座標系：ＸＹＺ座標系（第２０図）
Ｙ軸：重力加速度の向きを正
Ｚ軸：磁気の向きを正
Ｘ軸：ＸＹＺの順に右手直交系をなす向き
【０１９５】
計算を単純化するために、撮像部１１の移動による生じる運動加速度は無視でき、重力加速度と磁場は直交し、かつ磁場は地磁気以外に存在しないと仮定する（厳密には地磁気の伏角が存在し、地磁気と重力加速度とは直交しないが、伏角が既知ならば地磁気の向きと重力加速度が直交する場合と同様に計算できる。また、三軸で地磁気を検出すれば伏角が未知でも姿勢情報を計算可能である）。すなわち、Ｘ軸を東向き、Ｚ軸を北向きに正にとる。
【０１９６】
ワールド座標系に対する装置座標系の向きを、ワールド座標系を基準とした以下の回転行列Ｒ（数２３式）で記述する。
【０１９７】
【数２３】

【０１９８】
ここで、α、β、γはそれぞれワールド座標系を基準とした、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角であり、この時、撮像部１１を、以下の順に回転させたことに相当する。ＸＹＺ座標系とｘｙｚ座標系が一致している状態から、
（１）撮像手段１１を、Ｚ軸回りにγだけ回転する。
（２）撮像手段１１を、Ｘ軸回りにαだけ回転する。
（３）撮像手段１１を、Ｙ軸回りにβだけ回転する。
【０１９９】
今、重力加速度ベクトルと地磁気ベクトルが、ワールド座標系においてそれぞれ、数２４式で表される。
【０２００】
【数２４】

【０２０１】
また、３軸加速度センサ、および３軸磁気センサによって検出された装置座標系を基準とした加速度ベクトル、地磁気ベクトルをそれぞれ
【０２０２】
【数２５】

とする。以上のｇとａ、およびＭとｍの関係は、回転行列Ｒを用いると以下の数２６式で記述される。
【０２０３】
【数２６】

数２６−２式より、Ｘ軸回りの回転角αとＺ軸回りの回転角γが計算される。
【０２０４】
【数２７】

【０２０５】
またＺ軸回りの回転角γが既知である場合、数２８式により、地磁気ベクトルｍからＸ軸回りの回転角αとＹ軸回りの回転角βが計算される。
【０２０６】
【数２８】

【０２０７】
但し、加速度ベクトルａで求めたＸ軸回りの回転角αを利用するならば、数２８−１式の計算は不要である。以上の計算により、撮像部の姿勢情報（α、β、γ、および回転行列Ｒ）および重力方向に対する撮像部１１の傾きを、三軸加速度センサと三軸磁気センサから検出することができる。
【０２０８】
（３．３．実施の形態３による画像処理装置のあおり補正動作）
射影変換部２１で実行される射影変換方法は実施の形態１に記載の射影変換方法と同様な方法で実行される。なお、射影変換処理を施す代わりに実施の形態２における撮影位置関係判定処理を施して、被写体平面形状の法線方向（数１３式のｎベクトル）を算出し、あおり補正部２４に出力しても良い。
【０２０９】
あおり補正部２４で実行する画像変換処理（あおり補正処理）について説明する。あおり補正部２４の画像変換処理では、射影変換部２１から出力される被写体平面形状の法線方向と、新たに被写体を撮影して得られる二視点画像以外の画像情報および撮像部１１の姿勢情報を用いて、新たに撮影された画像情報を正面方向から撮影したときに得られる画像情報に変換する。
【０２１０】
図２２は、撮像部１１、被写体、および地球上の座標系の関係を説明する図である。図２３および図２４は、被写体平面の法線方向と撮像部の撮影方向との関係を説明する図である。姿勢検出処理によって、射影変換処理に使用した画像を撮影した際の撮像部１１の向き（ｚ軸方向）が地球上でどの方向を向いているかを一意に検出することができるので（図２２）、数１９式の回転行列Ｒ’より被写体平面形状の法線方向ｎが地球上でどの方向を向いているかを一意に検出することができる（図２３）。これにより、新たに撮影した画像の姿勢情報から撮像部１１の向きと被写体平面形状の法線方向ｎとの関係を表す回転行列Ｒ”を数１５式〜数１９式の手順で算出する（図２４）。次に被写体平面形状の法線方向ｎと回転行列Ｒ”から数２０式、数２１式より新たに撮影した画像のあおり補正を実行し、正面方向から撮影したときに得られる画像情報へ変換する。
【０２１１】
図２５は、実施の形態３による画像処理用コンピュータのあおり補正手順を示すフローチャートである。まず、少なくとも２箇所以上の視点から撮影された画像情報（二視点画像）が取得されメモリに記録ｓれる（ステップＳ２４０１）。
【０２１２】
次に、ステップＳ２４０１で得られた画像に投影された被写体平面形状の四隅の位置を検出する。そのためには、得られた画像において背景領域と被写体領域の領域分割を実行し、被写体輪郭線の曲率を算出し、算出された曲率情報から被写体の凸部分（コーナー部分）を検出し、四隅の位置とする（ステップＳ２４０２）。
【０２１３】
次に、ステップＳ２４０２で得られた被写体平面形状の四隅の位置から、射影変換行列Ｂを算出する。なお、ここでは、姿勢情報を利用して対応点の位置情報を任意に２組以上採って撮像部１１の姿勢および並進成分情報を算出しても良い。そのためにまず、ステップＳ２４０２で得られた被写体平面形状の四隅の位置情報を取得し、取得された被写体平面形状の四隅の位置情報を数４式に代入して、射影変換行列Ｂを算出する。
【０２１４】
次に、ステップＳ２４０３で得られた射影変換行列Ｂより、被写体平面の法線方向を算出する（ステップＳ２４０４）。そして、撮像部１１の姿勢情報と回転行列Ｒ’から、地球上の座標系における被写体平面の法線方向ｎを算出する（ステップＳ２４０５）。
【０２１５】
ここで、新たに被写体が撮影されて、画像情報と撮像部の姿勢情報を取得したかどうかを判定する（ステップＳ２４０６）。ここで新たに撮影された被写体の画像情報とは、他の撮影による被写体画像のことであり、基準正面画像以外の画像である。例えばスライドが切替わって撮影する被写体の画像が変化した場合は、新たに被写体を撮影して、画像情報と撮像部１１の姿勢情報が取得されたと判定される（ステップＳ２４０６のＹｅｓ）。新たに被写体が撮影されなかった場合（ステップＳ２４０６のＮｏ）は、そのまま終了する。
【０２１６】
次に、ステップＳ２４０５で得られた被写体平面の法線方向ｎと、新たに撮影された時の撮像部１１の姿勢情報とから、撮像部１１の向き（ｚ軸方向）と被写体平面の法線方向ｎとの関係を表す回転行列Ｒ”を算出する（ステップＳ２４０７）。得られた回転行列Ｒ”と被写体平面の法線方向ｎを用いて、新たに撮影した画像情報を被写体の正面方向から撮影したときに得られる画像情報へ変換する（ステップＳ２４０８）。これによって、新たに撮影された画像情報に対して、あおり補正がなされた。ステップＳ２４０８で画像変換処理された画像情報をメモリに記録する（ステップＳ２４０９）。
【０２１７】
（３．４．実施の形態３による画像処理装置の奏する効果）
実施の形態３においては、撮像部の姿勢を検出して検出された姿勢情報と、基準正面画像の形状情報から射影変換行列を求めて被写体平面形状の法線方向を算出し、算出された法線方向と、新たに撮影された画像の形状情報とに基づいて、該新たに撮影された画像に対してあおり補正処理を施すことができるので、煩雑な操作を必要とせず基準座標ををもとにして、撮像姿勢情報を用いて自動的に他の撮影画像にあおり補正処理できる。
【０２１８】
（３．５．実施の形態３によるあおり補正処理機能を備えたデジタルカメラ）
実施の形態３による画像入力装置は、以上説明した実施の形態３による画像処理装置（画像処理用コンピュータ）を備えたデジタルカメラとして構成する。
【０２１９】
図２６は、実施の形態３によるデジタルカメラの機能的ブロック図である。ここでは、デジタルカメラ１０３０本体の内部に，射影変換部２１、あおり補正部２４、および第二記憶部２５が組み込まれ、実質的に画像処理用コンピュータを備える。この構成によって、実施の形態３による画像処理装置が一体構成としてデジタルカメラに組み込まれた。このようにデジタルカメラに画像処理用コンピュータを組み込んで一体構成とすることによって、図１８における画像情報および姿勢情報転送部１７を不要とすることができる。また、一体構成とすることで、撮影と同時に姿勢検出部１６が撮像部１１の位置を検出し、あおり補正処理を行うあおり補正機能を有するデジタルカメラとして機能する。デジタルカメラそのものの主なハードウェア構成などの説明は、既に行った通りであるので省略する。
【０２２０】
この構成によって、実施の形態３によるデジタルカメラは、姿勢検出部が撮像部の姿勢を検出してその姿勢情報を射影変換部に送り基準正面画像を取得してそれを基準に、１つの視点のみから撮影された他の撮影画像に対してあおり補正処理することができる。このあおり補正処理機能付きのデジタルカメラを用いると、姿勢検出部１６の自動的な姿勢検出によって基準正面画像のための二視点画像を１セット撮影しておけば、他の画像については１つの視点からのみ撮影した画像であったとしても、効率よく煩雑な操作無しに、あおり補正を施すことができる。
【０２２１】
［実施の形態４］
（４．１．実施の形態４による画像処理装置）
実施の形態４による画像処理装置は、これまでの実施例と同様、画像処理用コンピュータとして構成できる。また、例えば、プレゼンテーションのスライド画像を連続的に撮影している途中で、展示された参考商品など撮影する場合に対応して、処理するあおり補正処理を中断する処理を施すことができる。即ち、一連のスライド映写を撮影する途中で、展示された参考商品などを撮影した画像に対しては、自動的に画像あおり補正を実行しないようにする。そのため、射影変換後の画像に投影された被写体形状の変化量が、所定の閾値以上である場合には、展示された参考商品などを撮影した画像と判定し、判定された画像に対してあおり補正を実行しないようにする。ここで、所定の閾値は任意に設定可能とする。
【０２２２】
図２７は、実施の形態４による画像処理装置の機能的ブロック図である。実施の形態４による画像処理装置、即ち画像処理用コンピュータが、実施の形態１による画像処理装置と異なる点は、図２６に示したように平面形状変化判定部２６を備える点である。平面形状変化判定部２６は、あおり補正処理によって得られた他の撮影画像の形状変化量を測定し、所定の閾値以上であった場合は、その画像を一連の同じ被写体の画像とは見なさずに、あおり補正処理した画像を採用せず、あおり補正処理前の画像を採用する。
【０２２３】
ここで、デジタルカメラ１０に接続する画像処理用コンピュータ２０が、本発明の画像処理装置を構成する。
【０２２４】
ここで実施の形態４における画像処理装置の平面形状変化判定部２６は、本発明における変化量判定手段を構成する。
【０２２５】
図２９は、実施の形態４によるデジタルカメラによって撮影された画像における被写体形状の変化量の一例を示すグラフである。ここで被写体形状の変化量とは、一回前に撮影された被写体形状と今回撮影した被写体形状のとの差分値で表す。図２８の破線で囲まれた画像群（ＡおよびＢ）においては、被写体形状の変化量が所定の閾値以下の画像が連続して撮影されている。このような場合には、連続して撮影されている画像群は、スライドなどの被写体を連続的に撮影した画像であると判定する。撮影途中で被写体形状の変化量が所定の閾値以上である画像がある場合（破線Ｃで囲まれた画像）は、展示された参考商品などを撮影した画像であると判定する。
【０２２６】
また被写体形状の変化ではなく、撮像部１１の姿勢情報の変化を判定の基準にしても良い。この際の閾値の一例としては、撮像部１１の撮影角度が５°〜１０°変化した場合、展示された参考商品などを撮影した画像と判定する。
【０２２７】
以上により実施の形態４による画像処理装置においては、撮影画像における形状変化量を判定することによって、例えば一連のスライド映写画像を撮影した画像に対しては画像あおり補正を実行し、途中で展示された参考商品などを撮影した画像に対しては、自動的に画像あおり補正を実行しないようにすることができる。
【０２２８】
また、展示された参考商品などを撮影した画像に対して、画像あおり補正を実行しないようにするためには、画像処理用コンピュータ２０に画像あおり補正を実行するかしないかを切り替える切替スイッチ２７を設けて、ユーザが撮影した画像に対して画像あおり補正を実行するか否かを指定できるようにする。
【０２２９】
ここで切替スイッチ２７は、本発明の選択手段を構成する。
【０２３０】
あるいは、切替スイッチ２７は、デジタルカメラ１０側に設けることもできる。その際、画像あおり補正実行モードで撮影したことをユーザに知らせるため、画像あおり補正実行モードで撮影したことをデジタルカメラ１０に取り付けた液晶パネルなどに表示しても良い。ユーザに判定させることによって、間違いなく展示された参考商品などを撮影した画像に対しては、画像あおり補正を実行しないようにすることができる。
【０２３１】
（４．２．実施の形態４による画像処理方法）
図２９は、実施の形態４による画像処理装置のあおり補正処理手順を示すフローチャートである。まず、少なくとも２箇所以上の視点から撮影された２以上の画像情報（二視点画像）を取得しメモリに記録する（ステップＳ２６０１）。
【０２３２】
次に、ステップＳ２６０１で取得された画像における被写体画像から、背景領域と被写体領域の領域分割を実行し、被写体輪郭線の曲率を算出し、算出された曲率情報から被写体の凸部分（コーナー部分）を検出し、四隅の位置として、被写体の四隅の位置を検出する（ステップＳ２６０２）。
【０２３３】
ステップＳ２６０２で得られた被写体平面形状の四隅の位置情報を数４式に代入して、射影変換行列Ｂを算出する（ステップＳ２６０３）。得られた射影変換行列Ｂより、被写体平面の法線ベクトルを算出し、算出された法線ベクトル方向から撮影したときの画像情報に変換することにより、画像情報を正面方向から撮影したときに得られる画像情報へ変換する（ステップＳ２６０４）。ここで二視点画像に対してあおり補正がなされた。
【０２３４】
次にステップＳ２６０４で得られた画像から、背景領域と被写体領域の領域分割を実行し、被写体輪郭線の曲率を算出し、算出された曲率情報から被写体の凸部分（コーナー部分）を検出し、四隅の位置とする（ステップＳ２６０５）。
【０２３５】
ここで、スライドが切替わるなどして撮影する被写体が変化して、新たに被写体が撮影されて、画像情報を取得したかどうかを判定する（ステップＳ２６０６）。新たに被写体が撮影されて、画像情報を取得した場合（ステップＳ２６０６のＹｅｓ）、得られる新たに撮影された画像から、ステップＳ２６０５と同様の手順で被写体の四隅の位置を検出する（ステップＳ２７０７）。新たに撮影された被写体画像を取得していない場合は（ステップＳ２７０６のＮｏ）、そのまま終了する。
【０２３６】
ステップＳ２６０５およびステップＳ２６０７で得られた被写体の四隅の位置情報の対応点を取得し、取得した対応点の位置情報を数４式に代入して、射影変換行列Ｂ’を算出する（ステップＳ２６０８）。
【０２３７】
ステップＳ２６０８で得られた射影変換行列Ｂ’より、被写体平面の法線ベクトルを算出し、法線ベクトル方向から撮影したときの画像情報に射影変換することによって、新たに撮影した画像情報を正面方向から撮影したときに得られる画像情報へ射影変換する（ステップＳ２６０９）。こうして新たに撮影された被写体画像のあおり補正がなされた。
【０２３８】
ステップＳ２６０４で得られた画像情報とステップＳ２６０８から得られた画像情報から、画像に投影されている被写体形状の変化量が所定の閾値以上であるか否かを判定する（ステップＳ２６１０）。比較された被写体形状の変化量が所定の閾値以上であれば（ステップＳ２６１０のＹｅｓ）、次のステップＳ２６１１へ進み、所定の閾値より下であれば（ステップＳ２６１０のＮｏ）、ステップＳ２６１２に進む。なお被写体形状の変化量の一例としては、ステップＳ２６０５の手順より被写体の四隅の位置を検出して、ステップＳ２６０４とステップＳ２６０８で得られる被写体の四隅の位置変化量を比較しても良い。
【０２３９】
被写体形状の変化量が所定の閾値以上である場合は、ステップＳ２６０９で射影変換された画像を除去し、ステップＳ２６０６で取得した画像（射影変換前の画像）に置き換える（ステップＳ２６１１）。そして、ステップＳ２６０９又はステップＳ２６１１によって取得される画像情報をメモリに記録する（ステップＳ２６１２）。
【０２４０】
（４．３．効果）
以上により実施の形態４による画像処理装置においては、撮影画像における形状変化量を判定することによって、例えば一連のスライド映写画像を撮影した画像に対しては画像あおり補正を実行し、途中で展示された参考商品などを撮影した画像に対しては、自動的および／または手動により画像あおり補正を実行しないようにすることができる。即ち、自動的および／または手動によりあおり補正と通常処理モードとを判定して処理画像を保存できる画像処理装置を提供できる。
【０２４１】
（４．４．実施の形態４によるあおり補正処理機能を備えたデジタルカメラ）
実施の形態４による画像入力装置は、以上説明した実施の形態４による画像処理装置（画像処理用コンピュータ）を備えたデジタルカメラとして構成する。
【０２４２】
図３０は、実施の形態４によるデジタルカメラの機能的ブロック図である。ここでは、デジタルカメラ１０４０本体の内部に，射影変換部２１、平面形状検出部２２、平面形状記憶部２３、あおり補正部２４、平面形状変化判定部２６、および第二記憶部２５が組み込まれ、実質的に画像処理用コンピュータとしての機能を果たす。この構成によって、実施の形態４による画像処理用コンピュータが一体構成としてデジタルカメラに組み込まれる。このようにデジタルカメラに画像処理用コンピュータを組み込んで一体構成とすることによって、図２７における画像情報転送部１３を不要とすることができる。また、一体構成とすることで、撮影と同時に画像情報が射影変換部２１に送られて、既に述べた実施の形態４による画像処理に従って、あおり補正処理が行われる。それによってあおり補正機能を有するデジタルカメラとして機能する。デジタルカメラそのものの主なハードウェア構成などの説明は、既に行った通りであるので省略する。
【０２４３】
この構成によって、実施の形態４によるデジタルカメラは、撮影画像における形状変化量を判定することによって、例えば一連のスライド映写画像を撮影した画像に対しては画像あおり補正を実行し、途中で展示された参考商品などを撮影した画像に対しては、自動的に画像あおり補正を実行しないようにすることができる。即ち、撮影しながらであっても、自動的にあおり補正と通常処理モードとを判定して処理画像を保存できるデジタルを提供できる。
【０２４４】
（５．変形例）
ここで、本発明に係る撮像装置は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）や携帯情報端末に付属させることによってあおり補正処理機能を有するデジタルカメラとして実現することができる。また、近年、各種の処理プログラムを読み取ることにより、種々の機能を実現可能なデジタルカメラも登場している。また、向きが回動可能なカメラを具備したノート型ＰＣが普及するようになった。このような場合は、これらの情報機器に実施の形態１乃至４で説明した手順を実現する処理プログラムを実行させることにより、その機能を実現させることができる。
【０２４５】
例えば、カメラを具備したノート型ＰＣにおいて、上述プログラムを実行することにより実現可能である。ここでプログラムは、各種媒体やインターネット等の電気通信回線を介して読み取り可能なプログラムである。その場合、自動焦点機能を含む光学的撮像処理は、カメラの内部で実行される。一方、撮影モードの選択、撮影の開始・終了の制御、焦点検出動作の一時停止（上述の実施の形態における、レリーズＳＷの半押し操作に相当）、画像および焦点検出領域の表示は、ＰＣにおける所定のユーザー・インタフェースを介して行われる。その一例を以下に記すと、撮影モードの選択はカーソルキーにより、撮影の開始・終了の制御はリターンキーにより、焦点検出動作の一時停止はスペースキーにより、画像および焦点検出領域の表示は付属するＬＣＤに表示することにより、実行できる。
【０２４６】
ここで、デジタルカメラには、あおり補正を行わせるかどうかを走者者が選択して入力することができる切替スイッチ２７を、カメラ側に備えることができる。それによって、手動で、あおり補正するか否かを指定することができる。
【０２４７】
（６．本発明によるプログラムを格納した媒体）
図３１は、本発明によるあおり補正処理方法をコンピュータによって実行するプログラムを格納した媒体の実施例を示す図である。図３１に示されるように、該プログラムを格納したＣＤ−ＲＯＭ７２５を、カメラ７０４を具備したノート型ＰＣ７０３に装着し、適宜プログラムを実行させることによって、その機能を実現させることができる。また、該プログラムを格納したスマートメディア７２６を、それを読み取り可能なデジタルスチルカメラ７０１に装着し、適宜該プログラムを実行させることにより、その機能を実現させることができる。
【０２４８】
なお、該プログラムを格納する記録媒体は上記に限られず、例えばＣＤ−ＲＷやＤＶＤ−ＲＯＭ等の別の媒体であってもよいことはいうまでもない。
【０２４９】
【発明の効果】
以上説明したように、請求項１にかかる発明によれば、異なる２つの視点から撮影した二視点画像をもとにして、１つの視点のみからの撮影による他の画像に対してあおり補正を施せるので、少ない撮影回数で通常の１つの視点のみからの撮影画像に対してあおり補正を施すことができ、例えばプレゼンテーション会場のスライド画像の撮影などにおいて、二視点画像を少なくとも１セット（２回の撮影）取得しておけば、１つの視点のみから撮影した他の画像に対して、正確なあおり補正処理を施すことができるので、少ない撮影回数と簡易な操作で正確なあおり補正が可能な利便性の高い画像処理装置を提供できるという効果を奏する。
【０２５０】
また、請求項２にかかる発明によれば、正面から撮影されたと判定された正面画像を用いて、１つの視点からのみの撮影による他の画像に対してあおり補正を施すので、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像処理装置を提供できるという効果を奏する。
【０２５１】
また、請求項３にかかる発明によれば、正面から撮影した画像を基準正面画像としてユーザに選択させることができるので、正確に基準正面画像を選択でき、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像処理装置を提供できるという効果を奏する。
【０２５２】
また、請求項４にかかる発明によれば、撮像手段の姿勢情報を利用して、１つの視点のみから撮影された画像に対してあおり補正処理を施すので、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像処理装置を提供できるという効果を奏する。
【０２５３】
また、請求項５にかかる発明によれば、撮影画像における形状変化量と所定の閾値とを比較して、あおり補正を施さないようにすることができるので、自動的にあおり補正すべきでない画像を判定でき、例えばスライド映像の撮影をしている途中に別のサンプル商品などが置かれて撮影した場合、サンプル商品の画像に対しては自動的にあおり補正を施さないので、あおり補正処理を自動的に選択して実行できる利便性の高い画像処理装置を提供できるという効果を奏する。
【０２５４】
また、請求項６にかかる発明によれば、あおり補正処理を施すか否かをユーザが選択できるので、ユーザーフレンドリーな利便性の高いあおり補正処理機能を有した画像処理装置を提供できるという効果を奏する。
【０２５５】
また、請求項７にかかる発明によれば、異なる２つの視点から撮影した二視点画像をもとにして、１つの視点のみからの撮影による他の画像に対してあおり補正を施せるので、少ない撮影回数で通常の１つの視点のみからの撮影画像に対してあおり補正を施すことができ、例えばプレゼンテーション会場のスライド画像の撮影などにおいて、二視点画像を少なくとも１セット（２回の撮影）取得しておけば、１つの視点のみから撮影した他の画像に対して、正確なあおり補正処理を施すことができるので、少ない撮影回数と簡易な操作で正確なあおり補正が可能な利便性の高い画像入力装置を提供できるという効果を奏する。
【０２５６】
また、請求項８にかかる発明によれば、正面から撮影されたと判定された正面画像を用いて、１つの視点からのみの撮影による他の画像に対してあおり補正を施すので、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像入力装置を提供できるという効果を奏する。
【０２５７】
また、請求項９にかかる発明によれば、正面から撮影した画像を基準正面画像としてユーザに選択させることができるので、正確に基準正面画像を選択でき、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像入力装置を提供できるという効果を奏する。
【０２５８】
また、請求項１０にかかる発明によれば、撮像手段の姿勢情報を利用して、１つの視点のみから撮影された画像に対してあおり補正処理を施すので、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像入力装置を提供できるという効果を奏する。
【０２５９】
また、請求項１１にかかる発明によれば、撮影画像における形状変化量と所定の閾値とを比較して、あおり補正を施さないようにすることができるので、自動的にあおり補正すべきでない画像を判定でき、例えばスライド映像の撮影をしている途中に別のサンプル商品などが置かれて撮影した場合、サンプル商品の画像に対しては自動的にあおり補正を施さないので、あおり補正処理を自動的に選択して実行できる利便性の高い画像入力装置を提供できるという効果を奏する。
【０２６０】
また、請求項１２にかかる発明によれば、あおり補正処理を施すか否かをユーザが選択できるので、ユーザーフレンドリーな利便性の高いあおり補正処理機能を有した画像入力装置を提供できるという効果を奏する。
【０２６１】
また、請求項１３にかかる発明によれば、異なる２つの視点から撮影した二視点画像をもとにして、１つの視点のみからの撮影による他の画像に対してあおり補正を施せるので、少ない撮影回数で通常の１つの視点のみからの撮影画像に対してあおり補正を施すことができ、例えばプレゼンテーション会場のスライド画像の撮影などにおいては、二視点画像を少なくとも１セット（２回の撮影）取得しておけば、１つの視点の撮影による他の画像に対して、正確なあおり補正処理を施すことができるので、少ない撮影回数と簡易な操作で正確なあおり補正が可能な利便性の高い画像処理方法を提供できるという効果を奏する。
【０２６２】
また、請求項１４にかかる発明によれば、正面から撮影されたと判定され基準正面画像として選択された画像を用いて、１つの視点からの撮影のみの他の画像に対してあおり補正を施せるので、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像処理方法を提供できるという効果を奏する。
【０２６３】
また、請求項１５にかかる発明によれば、正面から撮影された基準正面画像をユーザに選択させるので、正確に基準正面画像を選択してそれに基づいて、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像処理方法を提供できるという効果を奏する。
【０２６４】
また、請求項１６にかかる発明によれば、撮像手段の姿勢情報を利用して１つの視点のみから撮影された他の画像に対してあおり補正処理を施すので、少ない撮影回数と簡易な操作によって迅速で正確なあおり補正が可能な利便性の高い画像処理方法を提供できるという効果を奏する。
【０２６５】
また、請求項１７にかかる発明によれば、撮影コマ数に対する撮影画像の形状変化量と、所定の閾値とを比較して、あおり補正を施さないようにすることができるので、自動的にあおり補正すべきでない画像を判定でき、例えばスライド映像の撮影をしている途中に別のサンプル商品などが置かれて撮影した場合、サンプル商品の画像に対しては自動的にあおり補正を施さないので、あおり補正処理を自動的に選択して実行できる利便性の高い画像処理方法を提供できるという効果を奏する。
【０２６６】
また、請求項１８にかかる発明によれば、請求項１３〜１７のいずれか１つに記載の画像処理方法をコンピュータが実行するプログラムを提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像処理装置の機能的ブロック図である。
【図２】実施の形態１による画像処理装置を説明する図である。
【図３】実施の形態１に用いるデジタルカメラのハードウェア構成の１例を示す図である。
【図４】実施の形態１による画像処理用コンピュータのハードウェア構成の１例を示す図である。
【図５】実施の形態１による画像処理装置で、被写体平面形状の四隅の位置情報の検出を説明する図である。
【図６】実施の形態１による画像処理装置において、２つの異なる視点から撮影した二視点画像における対応点の検出を説明する図であり、（ａ）は画像Ａの画像対応点の検出を示し、（ｂ）は画像Ｂの画像対応点の検出を示す。
【図７】実施の形態１による画像あおり補正処理を説明する図である。
【図８】実施の形態１による画像補正装置において、他の撮影による画像情報での被写体の四隅の位置の算出を説明する図であり、（ａ）は二視点画像から得られた被写体の平面形状の四隅を示し、（ｂ）は新たに撮影した画像情報から得られた平面形状の四隅を示す。
【図９】実施の形態１によるあおり補正処理方法を示すフローチャートである。
【図１０】実施の形態１によるデジタルカメラの機能的ブロック図である。
【図１１】本発明の実施の形態２による画像処理装置の機能的ブロック図である。
【図１２】実施の形態２によるデジタルカメラを用いる撮影を説明する図である。
【図１３】実施の形態２によるデジタルカメラが被写体に対して正面以外から撮影する場合を説明する図である。
【図１４】撮影された画像番号に対するデジタルカメラの姿勢情報の変化量を示したグラフの１例である。
【図１５】実施の形態２によるデジタルカメラによって撮影した画像群に対する被写体四隅の位置変化量を示したグラフの１例である。
【図１６】実施の形態２による画像処理装置のあおり補正手順を示すフローチャートである。
【図１７】実施の形態２によるデジタルカメラの機能的ブロック図である。
【図１８】実施の形態３による画像処理装置の機能的ブロック図である。
【図１９】実施の形態３による画像処理装置における撮像装置のハードウェア構成の１例を示す図である。
【図２０】デジタルカメラの撮像部の撮影座標系を説明する図である。
【図２１】ワールド座標系を説明する図である。
【図２２】撮像部、被写体、および地球上の座標系の関係を説明する図である。
【図２３】被写体平面の法線方向と撮像部の撮影方向との関係を説明する図である。
【図２４】被写体平面の法線方向と撮像部の撮影方向との関係を説明する図である。
【図２５】実施の形態３による画像処理装置のあおり補正手順を示すフローチャートである。
【図２６】実施の形態３によるデジタルカメラの機能的ブロック図である。
【図２７】本発明の実施の形態４による画像処理装置の機能的ブロック図である。
【図２８】実施の形態４によるデジタルカメラによって撮影された画像における被写体形状の変化量の一例を示すグラフである。
【図２９】実施の形態４による画像処理装置のあおり補正処理手順を示すフローチャートである。
【図３０】実施の形態４によるデジタルカメラの機能的ブロック図である。
【図３１】本発明によるあおり処理方法をコンピュータによって実行するプログラムを格納した媒体の実施例を示す図である。
【符号の説明】
１０撮像装置
１１撮像部
１２第１記憶部
１３画像情報転送部
１４撮影位置関係判定部
１４ａ，１４ｂ正面入力スイッチ
１５画像情報および判定結果転送部
１６姿勢検出部
１７画像情報および姿勢情報転送部
２０画像補正装置
２１射影変換部
２２平面形状検出部
２３平面形状記憶部
２４あおり補正部
２５第２記録部
２６平面形状変化判定部
２７切替スイッチ
１０１固定レンズ
１０２ズームレンズ
１０３絞り機構
１０４シャッタ
１０５フォーカスレンズ
１０６撮像素子
１０７ＣＤＳ回路
１０８Ａ／Ｄ変換器
１０９ＴＧ
１１０ＩＰＰ
１１１画像バッファメモリ
１１２ＭＰＵ
１１５３軸加速度センサ
１１６３軸磁気センサ
１１７第２Ａ／Ｄ変換器
１１８外部通信機器
２０１ＣＰＵ
２０２ＳＤＲＡＭ
２０３ＨＤＤ
２０４入力インタフェース
２０６表示Ｉ／Ｆ
２０７記録装置
２０８外部Ｉ／Ｆ
２０９ディスプレイ
２１０バス
１０１０実施の形態１によるデジタルカメラ
１０２０実施の形態２によるデジタルカメラ
１０３０実施の形態３によるデジタルカメラ
１０４０実施の形態４によるデジタルカメラ

Claims

被写体を異なる２つの視点から撮像手段によって撮影した二視点画像を含む複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理装置であって、
撮影された前記画像の形状情報を検出する形状検出手段と、
前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、
前記形状検出手段により検出される前記二視点画像の形状情報から、前記行列取得手段により算出された前記二視点画像の射影変換行列を用いて前記二視点画像にあおり補正処理を施して基準正面画像を取得し、前記形状検出手段により検出される前記基準正面画像の形状情報および前記二視点画像以外の他の画像の形状情報から、前記行列取得手段により算出される前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、
を備えたことを特徴とする画像処理装置。
被写体を撮像手段によって撮影した複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理装置であって、
撮影された前記画像の形状情報を検出する形状検出手段と、
前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、
前記画像の中から正面位置から撮影された基準正面画像を判定して選択する画像判定手段と、
前記形状検出手段が検出する前記画像判定手段による選択の前記基準正面画像の形状情報、および前記基準正面画像以外の他の画像の形状情報から、前記行列取得手段が算出する前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、
を備えたことを特徴とする画像処理装置。
前記画像判定手段は、操作者からの入力を受け付けて、撮影された前記画像が正面から撮影された前記基準正面画像であるとの指定を行う入力手段を有することを特徴とする請求項２に記載の画像処理装置。
撮影された前記画像情報には、撮影時の前記撮像手段の姿勢情報が含まれ、
前記姿勢情報を検出する姿勢検出手段を、さらに備え、
前記あおり補正手段は、
前記基準正面画像の前記射影変換行列および前記姿勢検出手段により検出される前記撮像手段の前記基準正面画像取得時の姿勢情報の少なくとも１つから前記被写体の法線方向を算出し、算出された前記被写体の法線方向、および前記撮像手段の前記他の画像取得時の姿勢情報を用いて、前記他の撮影画像にあおり補正処理を施すことを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
撮影コマ数に対して変化する前記被写体画像の形状変化量を検出し、前記形状変化量が所定の閾値以上であるか否かを判定して、前記画像のあおり補正を施すように指示する変化量判定手段を、さらに備えたことを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
撮影した前記複数の画像について、操作者からの画像あおり補正処理を実行するか否かの選択の入力を受け付け、実行選択の入力を受け付けた場合、前記あおり補正手段にあおり補正を実行させるよう指示する選択手段を、さらに備えたことを特徴とする請求項１〜５のいずれか１つに記載の画像処理装置。
被写体を異なる２つの視点から撮影した二視点画像を含む複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像入力装置であって、
前記画像を撮影する撮像手段と、
撮影された前記画像の形状情報を検出する形状検出手段と、
前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、
前記形状検出手段により検出される前記二視点画像の形状情報から、前記行列取得手段により算出された前記二視点画像の射影変換行列を用いて前記二視点画像にあおり補正処理を施して基準正面画像を取得し、前記形状検出手段により検出される前記基準正面画像の形状情報および前記二視点画像以外の他の画像の形状情報から、前記行列取得手段により算出される前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、
を備えたことを特徴とする画像入力装置。
被写体を撮影した複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像入力装置であって、
前記画像を撮影する撮像手段と、
撮影された前記画像の形状情報を検出する形状検出手段と、
前記形状検出手段により検出される前記画像の形状情報から射影変換行列を算出する行列取得手段と、
前記画像の中から正面位置から撮影された基準正面画像を判定して選択する画像判定手段と、
前記形状検出手段が検出する前記画像判定手段による選択の前記基準正面画像の形状情報、および前記基準正面画像以外の他の画像の形状情報から、前記行列取得手段が算出する前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正手段と、
を備えたことを特徴とする画像入力装置。
前記画像判定手段は、操作者からの入力を受け付けて、撮影された前記画像が正面から撮影された前記基準正面画像であるとの指定を行う入力手段を有することを特徴とする請求項８に記載の画像入力装置。
前記撮像手段が撮影するときの姿勢情報を検出する姿勢検出手段を、さらに備え、
前記あおり補正手段は、
前記基準正面画像の前記射影変換行列および前記姿勢検出手段により検出される前記撮像手段の前記基準正面画像取得時の姿勢情報の少なくとも１つから前記被写体の法線方向を算出し、算出された前記被写体の法線方向、および前記撮像手段の前記他の画像取得時の姿勢情報を用いて、前記他の撮影画像にあおり補正処理を施すことを特徴とする請求項７〜９のいずれか１つに記載の画像入力装置。
撮影コマ数に対して変化する前記被写体画像の形状変化量を検出し、前記形状変化量が所定の閾値以上であるか否かを判定して、前記画像のあおり補正を施すように指示する変化量判定手段を、さらに備えたことを特徴とする請求項７〜１０のいずれか１つに記載の画像入力装置。
撮影した前記複数の画像について、操作者からの画像あおり補正処理を実行するか否かの選択の入力を受け付け、実行選択の入力を受け付けた場合、前記あおり補正手段にあおり補正を実行させるよう指示する選択手段を、さらに備えたことを特徴とする請求項７〜１１のいずれか１つに記載の画像入力装置。
撮像手段により被写体を異なる２つの視点から撮影した二視点画像を含む複数の画像に対して、前記被写体を正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理方法であって、
前記二視点画像の形状情報を検出してあおり補正処理を施す射影変換行列を算出し、射影変換して基準正面画像を取得する基準射影変換工程と、
撮影された前記画像の形状情報を検出する形状検出工程と、
前記形状検出工程によって検出された前記基準正面画像の形状情報および前記二視点画像以外の他の画像の形状情報から算出される前記他の画像の射影変換行列を用いて、前記他の画像に対してあおり補正処理を施すあおり補正工程と、
を含むことを特徴とする画像処理方法。
被写体を撮像手段によって撮影した複数の画像の中の正面から撮影した基準正面画像を用いて、前記基準正面画像以外の他の画像に対して、正面位置から撮影した正面画像に補正するあおり補正処理を施す画像処理方法であって、
前記複数の画像から前記基準正面画像を判定して選択する画像判定工程と、
撮影された前記画像の形状情報を検出する形状検出工程と、
前記形状検出工程によって検出される前記基準正面画像の形状情報および前記他の画像の形状情報から、前記他の画像に対してあおり補正処理を施す射影変換行列を算出して前記他の画像にあおり補正処理を施すあおり補正工程と、
を含むことを特徴とする画像処理方法。
前記画像判定工程は、撮影された前記画像について、外部からの入力を受け付けて前記画像が前記基準正面画像であるとの指定を行う正面入力工程を、さらに含むことを特徴とする請求項１４に記載の画像処理方法。
前記撮像手段の撮影時における前記撮像手段の姿勢情報を検出する姿勢検出工程と、
前記基準正面画像の射影変換行列および前記姿勢検出手段によって検出された前記基準正面画像取得時の前記撮像手段の姿勢情報の少なくとも１つから、前記被写体の法線方向を算出する法線算出工程と、をさらに含み、
前記あおり補正工程が、
前記法線算出工程によって算出された前記被写体の法線方向、および前記姿勢検出工程によって検出される前記撮像手段の前記他の画像取得時の姿勢情報を用いて、前記他の画像にあおり補正処理を施すことを特徴とする請求項１３〜１５のいずれか１つに記載の画像処理方法。
前記複数の画像の撮影コマ数に対する前記画像の形状変化量を検出し、前記形状変化量が所定の閾値以上であるか否かを判定して、前記他の画像に対してあおり補正を施すように指示する変化量判定工程を、さらに含むことを特徴とする請求項１３〜１６のいずれか１つに記載の画像処理方法。
請求項１３〜１７のいずれか１つに記載の画像処理方法をコンピュータが実行することを特徴とする画像処理プログラム。