JP2018160809A - 画像処理装置、撮像システム、画像処理方法及びプログラム - Google Patents
画像処理装置、撮像システム、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018160809A JP2018160809A JP2017057247A JP2017057247A JP2018160809A JP 2018160809 A JP2018160809 A JP 2018160809A JP 2017057247 A JP2017057247 A JP 2017057247A JP 2017057247 A JP2017057247 A JP 2017057247A JP 2018160809 A JP2018160809 A JP 2018160809A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- wide
- motion
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 163
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000033001 locomotion Effects 0.000 claims abstract description 228
- 238000003702 image correction Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 62
- 230000001133 acceleration Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像したときの状況によって、広角画像からより好適な平面画像を得ることを可能にする。【解決手段】撮像装置１Ａにより撮像された広角画像を取得する画像取得手段と、撮像装置１Ａ又は被写体の動き情報を取得する動き情報取得手段と、動き情報に基づいて、広角画像の歪みの補正内容を決定する補正内容決定手段と、補正内容決定手段によって決定された補正内容に基づいて、広角画像の歪みを補正する画像補正手段と、を備える。【選択図】図１
Description
本発明は、広角画像の歪みを補正して平面画像を生成する画像処理装置、撮像システム、画像処理方法及びプログラムに関する。
従来、魚眼レンズを用いて撮影された魚眼画像等の広角画像を、平面画像へ変換する画像処理装置が知られている（例えば、特許文献１参照）。魚眼画像は、非常に広範囲を撮影して得られた画像データを円形の画像にして表示したものであるため、魚眼画像の端に向かうほど歪みは大きくなる。このような画像処理装置においては、魚眼画像を平面画像に変換する際に、できるだけ歪みが小さくなるように補正するのが一般的である。
しかしながら、平面画像においても歪みを残した方が好ましい場合もある。例えば、ウェアラブルなカメラを用いて撮影を行う場合に、カメラを装着したユーザーが走っている場合や、車で走行中の場合など、ユーザーが移動しているとき、あるいは動きのある被写体を撮影したときには、歪みの大きい画像の方が迫力のある画像になる。
本発明の課題は、撮像したときの状況によって、広角画像からより好適な平面画像を得ることを可能にすることである。
上記課題を解決するため、本発明に係る画像処理装置は、
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする。
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする。
本発明によれば、撮像したときの状況によって、広角画像からより好適な平面画像を得ることが可能となる。
[第１実施形態]
以下、図を参照して本発明を適用した第１実施形態について説明するが、本発明はこれらに限定されない。
以下、図を参照して本発明を適用した第１実施形態について説明するが、本発明はこれらに限定されない。
＜撮像システム１００の構成＞
図１に、撮像システム１００の全体構成例を示す。
撮像システム１００は、撮像装置１Ａの動き情報に基づいて広角画像の歪みを補正するシステムである。
図１に、撮像システム１００の全体構成例を示す。
撮像システム１００は、撮像装置１Ａの動き情報に基づいて広角画像の歪みを補正するシステムである。
図１に示すように、撮像システム１００は、撮像装置１Ａと、画像処理装置として機能する本体装置２Ａとが分離可能なセパレート型デジタルカメラから構成される。図１（ａ）は、撮像装置１Ａと本体装置２Ａとを一体的に組合せた状態を示し、図１（ｂ）は、撮像装置１Ａと本体装置２Ａとを分離した状態を示した図である。
撮像装置１Ａと本体装置２Ａとは、それぞれが利用可能な無線通信を用いてペアリングが可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）などを使用している。
撮像装置１Ａと本体装置２Ａとは、それぞれが利用可能な無線通信を用いてペアリングが可能なもので、無線通信としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）又はＢｌｕｅｔｏｏｔｈ（登録商標）などを使用している。
図２に、撮像装置１Ａの機能構成例を示す。
図２に示すように、撮像装置１Ａは、制御部１１、撮像部１２、動き検出部１３、通信Ｉ／Ｆ１４、記憶部１５、操作部１６、電源部１７などを備えて構成され、各部はバス１８を介して接続されている。
図２に示すように、撮像装置１Ａは、制御部１１、撮像部１２、動き検出部１３、通信Ｉ／Ｆ１４、記憶部１５、操作部１６、電源部１７などを備えて構成され、各部はバス１８を介して接続されている。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、電源部１７による電力供給によって動作する。
制御部１１は、記憶部１５に記憶されている各種プログラムとの協働により各種処理を実行し、撮像装置１Ａの動作を統括的に制御する。例えば、制御部１１は、通信Ｉ／Ｆ１４を介して受信した本体装置２Ａによる撮影指示に従って撮像部１２を制御し、広角画像を撮影させる。
制御部１１は、記憶部１５に記憶されている各種プログラムとの協働により各種処理を実行し、撮像装置１Ａの動作を統括的に制御する。例えば、制御部１１は、通信Ｉ／Ｆ１４を介して受信した本体装置２Ａによる撮影指示に従って撮像部１２を制御し、広角画像を撮影させる。
撮像部１２は、ＣＭＯＳ（Complementary MOS）又はＣＣＤ(Charge Coupled Device)センサーなどの撮像素子１２１と、魚眼レンズ１２２と、を備えたデジタルカメラであり、制御部１１の指示に従って画像を取得する。魚眼レンズ１２２は、例えば３枚構成のレンズ系からなり、画角が略１８０度の広範囲な撮像が可能な全周魚眼レンズである。魚眼レンズ１２２によって撮像された広角画像の全体は、円形の画像（以降、魚眼画像と表記）となる。
なお、本実施形態における撮像部１２は、通常の撮像レンズと魚眼レンズ１２２とが交換可能なものであって、図１は、通常の撮像レンズに代わって魚眼レンズ１２２が装着された状態を示している。
なお、本実施形態における撮像部１２は、通常の撮像レンズと魚眼レンズ１２２とが交換可能なものであって、図１は、通常の撮像レンズに代わって魚眼レンズ１２２が装着された状態を示している。
この場合、射影方式を採用しているために、魚眼レンズ１２２で撮像された魚眼画像は、その中心から端部に向かうほど、大きく歪んだものとなる。この魚眼レンズ１２２からの被写体像が撮像素子１２１に結像されると、撮像素子１２１によって光電変換された画像信号（アナログ値の信号）は、図示しないＡ／Ｄ変換部によってデジタル信号に変換されると共に、所定の画像表示処理が施された後、本体装置２Ａ側に送信されてモニタ表示される。
動き検出部１３は、撮像装置１Ａに加わる加速度を検出可能な３軸加速度センサーであり、互いに直交する３軸方向の加速度を検出し、３軸方向の各加速度成分（運動加速度データ）を制御部１１に伝達し、動き検知手段としての機能を実現する。また、動き検出部１３は、撮像装置１Ａの傾きを検出可能なジャイロセンサーであり、撮像装置１Ａを構える向き（傾きデータ）を検出して制御部１１に伝達し、動き検知手段としての機能を実現するものであってもよい。本実施形態では、動き検出部１３は、３軸加速度センサー及びジャイロセンサーの両方を有するものとする。
通信Ｉ／Ｆ１４は、外部機器との間でデータ送受信を行なうためのインターフェースである。
通信Ｉ／Ｆ１４は、本体装置２Ａとデータ送受信可能に接続され、制御部１１の制御下で本体装置２Ａにデジタルデータ化された魚眼画像やライブビュー画像を送信する。
通信Ｉ／Ｆ１４は、本体装置２Ａとデータ送受信可能に接続され、制御部１１の制御下で本体装置２Ａにデジタルデータ化された魚眼画像やライブビュー画像を送信する。
記憶部１５は、たとえばＲＯＭ（Read Only Memory）やフラッシュメモリなどで構成されており、前述のように各種プログラムや各種データなどが記憶されている。
操作部１６は、電源スイッチなどの基本的な操作キーを備えている。
電源部１７は、例えば、２次電池などから構成され、制御部１１に電力を供給する。
図３に、本体装置２Ａの機能構成例を示す。
図３に示すように、本体装置２Ａは、制御部２１、操作表示部２２、動き検出部２３、通信Ｉ／Ｆ２４、記憶部２５、操作部２６、電源部２７などを備えて構成され、各部はバス２８を介して接続されている。
本体装置２Ａは、撮像装置１Ａから送信された魚眼画像を再生する再生機能を有するとともに、画像処理装置としての機能を実現する。
図３に示すように、本体装置２Ａは、制御部２１、操作表示部２２、動き検出部２３、通信Ｉ／Ｆ２４、記憶部２５、操作部２６、電源部２７などを備えて構成され、各部はバス２８を介して接続されている。
本体装置２Ａは、撮像装置１Ａから送信された魚眼画像を再生する再生機能を有するとともに、画像処理装置としての機能を実現する。
制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などを備えて構成され、電源部１７による電力供給によって動作し、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、本体装置２Ａの動作を統括的に制御する。また、制御部１１は、操作部２６からの入力操作信号に応じた処理を実行し、入力操作信号を通信Ｉ／Ｆ２４を介して撮像装置１Ａに送信する。
制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、動き情報取得手段、画像補正手段、補正内容決定手段、強度決定手段、範囲決定手段、動き量判断手段としての機能を実現する。
制御部２１は、記憶部２５に記憶されている画像処理プログラムとの協働により画像解析処理を実行し、動き情報取得手段、画像補正手段、補正内容決定手段、強度決定手段、範囲決定手段、動き量判断手段としての機能を実現する。
操作表示部２２は、ディスプレイ２２１上にタッチパネル２２２が積層配置されて構成される。
ディスプレイ２２１はＬＣＤ（Liquid Crystal Display）などからなり、制御部２１から入力される表示信号の指示に従って、撮像装置１Ａによって撮影された画像をリアルタイムに表示するライブビュー画面や、撮影済みの魚眼画像の表示画面など、表示手段としての機能を実現する。
タッチパネル２２２は、各種のタッチキーを割り当て配置してその機能名を表示し、また指などによるタッチ操作を感知してそのタッチ位置に応じた操作信号を、入力信号として制御部２１に出力する。
ディスプレイ２２１はＬＣＤ（Liquid Crystal Display）などからなり、制御部２１から入力される表示信号の指示に従って、撮像装置１Ａによって撮影された画像をリアルタイムに表示するライブビュー画面や、撮影済みの魚眼画像の表示画面など、表示手段としての機能を実現する。
タッチパネル２２２は、各種のタッチキーを割り当て配置してその機能名を表示し、また指などによるタッチ操作を感知してそのタッチ位置に応じた操作信号を、入力信号として制御部２１に出力する。
動き検出部２３は、本体装置２Ａに加わる加速度を検出可能な３軸加速度センサーであり、互いに直交する３軸方向の加速度を検出し、３軸方向の各加速度成分（運動加速度データ）を制御部２１に伝達する。また、動き検出部２３は、本体装置２Ａの傾きを検出可能なジャイロセンサーであり、撮像装置１Ａと本体装置２Ａとを一体型として利用する際に、撮像装置１Ａを構える向き（傾きデータ）を検出して制御部１１に伝達し、動き検知手段としての機能を実現するものであってもよい。本実施形態では、動き検出部２３は、３軸加速度センサー及びジャイロセンサーの両方を有するものとする。
通信Ｉ／Ｆ２４は、撮像装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、魚眼画像やライブビュー画像の画像取得手段としての機能を実現する。
記憶部２５は、例えばＲＯＭ（Read Only Memory）やフラッシュメモリなどで構成されており、前述のように各種プログラムや各種データなどが記憶されている。なお、記憶部２５は、例えば、魚眼画像などを記録保存するＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリを含む構成であってもよく、通信機能を介してネットワークに接続されている状態においては、図示しない所定のサーバ装置側の記憶領域を含むものであってもよい。
操作部２６は、電源ボタン、レリーズボタン、露出やシャッタスピードなどの撮影条件を設定可能な設定ボタンなどの押しボタン式の操作キーを備えている。
電源部２７は、例えば、２次電池などから構成され、制御部２１に電力を供給する。
＜魚眼画像の歪み補正方法＞
以下、撮像システム１００における、魚眼画像の歪み補正方法について説明する。
以下、撮像システム１００における、魚眼画像の歪み補正方法について説明する。
上記説明したように、魚眼レンズ１２２によって撮像された画像は、射影方式により円形の魚眼画像として表示される。図４に、魚眼画像の一例を示す。
図４（ａ）は、撮像装置１Ａが停止した状態で撮影された魚眼画像３０ａであり、図中に示した枠内の画像を切り出し範囲３１ａとして切り出し、歪みを補正して表示したものが、図４（ｂ）に示す平面画像４０ａである。魚眼画像３０ａから平面画像４０ａを生成するためには、魚眼画像３０ａを構成する各画素の画素値及び座標を、平面画像４０ａを構成する各画素の画素値及び座標に変換する必要がある。
図４（ａ）は、撮像装置１Ａが停止した状態で撮影された魚眼画像３０ａであり、図中に示した枠内の画像を切り出し範囲３１ａとして切り出し、歪みを補正して表示したものが、図４（ｂ）に示す平面画像４０ａである。魚眼画像３０ａから平面画像４０ａを生成するためには、魚眼画像３０ａを構成する各画素の画素値及び座標を、平面画像４０ａを構成する各画素の画素値及び座標に変換する必要がある。
なお、魚眼画像３０ａから平面画像４０ａへの画素値の変換には、周知の演算を使用することができる。
ここで、本実施形態における撮像システム１００においては、撮影者の運動状態に基づいて魚眼画像の歪みの補正内容（（１）補正強度、（２）切り出し範囲等）を決定する。
（１）補正強度
本実施形態における撮像システム１００においては、撮影者の運動状態によって、補正強度を決定する。
上記のように撮像装置１Ａが停止している場合とは異なり、アクションシーンなど撮像装置１Ａを装着した撮影者が動いている場合には、歪みを残した画像の方がユーザーにとって好適な画像となることがある。
本実施形態における撮像システム１００においては、撮影者の運動状態によって、補正強度を決定する。
上記のように撮像装置１Ａが停止している場合とは異なり、アクションシーンなど撮像装置１Ａを装着した撮影者が動いている場合には、歪みを残した画像の方がユーザーにとって好適な画像となることがある。
図５（ａ）に示す魚眼画像３０ｂは、撮像装置１Ａを装着した撮影者が、魚眼画像３０ｂの中央方向に移動しながら、撮影者の前方の風景を撮影したものである。このような魚眼画像３０ｂから平面画像を生成する場合には、補正強度を下げて敢えて歪みを残した方が、撮影者の記憶に残っている映像に近いものとなり、迫力や臨場感が生まれる。
したがって、本実施形態における撮像システム１００においては、撮像装置１Ａを装着した撮影者が動いている場合に、撮影者の運動状態、即ち撮像装置１Ａの動き情報（撮像装置１Ａに加わる加速度：運動加速度データ）に基づいて、歪みの補正強度を決定するものとし、動きが大きい程補正強度を小さくする。なお、運動加速度データは、動き検出部２３としての３軸加速度センサーによって検出される。
具体的には、動き情報に対して所定の閾値（所定値）を設け、所定値を上回る場合の補正強度（第２の補正強度）を、所定値を下回る場合の補正強度（第１の補正強度）よりも小さくする、２段階の制御を行うことが可能である。また、閾値を複数設け、複数段階で補正強度を変更することも、もちろん可能である。
したがって、本実施形態における撮像システム１００においては、撮像装置１Ａを装着した撮影者が動いている場合に、撮影者の運動状態、即ち撮像装置１Ａの動き情報（撮像装置１Ａに加わる加速度：運動加速度データ）に基づいて、歪みの補正強度を決定するものとし、動きが大きい程補正強度を小さくする。なお、運動加速度データは、動き検出部２３としての３軸加速度センサーによって検出される。
具体的には、動き情報に対して所定の閾値（所定値）を設け、所定値を上回る場合の補正強度（第２の補正強度）を、所定値を下回る場合の補正強度（第１の補正強度）よりも小さくする、２段階の制御を行うことが可能である。また、閾値を複数設け、複数段階で補正強度を変更することも、もちろん可能である。
（２）切り出し範囲
本実施形態における撮像システム１００においては、撮像装置１Ａを構える向きに応じて、切り出し範囲を決定することも可能である。
例えば図６（ａ）のように、撮像装置１Ａを魚眼レンズ１２２の光軸方向を水平方向に向けたカメラ姿勢（水平構えの姿勢）で撮影者に装着した場合では、図５（ａ）に示すように魚眼画像３０ｂに対してその中央方向に向かって撮像装置１Ａが移動しているように撮影される。このような場合は、切り出し範囲を縦方向に大きくすると、よりユーザーの記憶に残る映像を広く抽出することができる。
また、図６（ｂ）のように、撮像装置１Ａを魚眼レンズ１２２の光軸方向を天頂方向（反重力方向）、又は天頂方向に対して所定の角度範囲内となる方向（略天頂方向）に向けたカメラ姿勢（垂直構えの姿勢）で撮影者に装着した場合では、魚眼画像３０ｂに対してのその魚眼画像の周辺部分が円周方向に移動するように撮影される。このような場合は、切り出し範囲を横方向に大きくすると、よりユーザーの記憶に残る映像を広く抽出することができる。
図５（ｂ）及び図５（ｃ）は、撮像装置１Ａを構える向きに応じた、切り出し範囲３１ｂの決定方法の概念図である。図６（ａ）のように水平構えの姿勢で撮影者に装着した場合、図５（ｂ）のように切り出し範囲３１ｂを縦方向に大きくする。また、図６（ｂ）のように垂直構えの姿勢で撮影者に装着した場合、図５（ｃ）のように切り出し範囲３１ｂを横方向に大きくする。即ち、撮像装置１Ａの動き情報（撮像装置１Ａの傾き：傾きデータ）に基づいて、平面画像４０ｂのアスペクト比を決定するものとする。なお、傾きデータは、動き検出部２３としてのジャイロセンサーによって検出される。
本実施形態における撮像システム１００においては、撮像装置１Ａを構える向きに応じて、切り出し範囲を決定することも可能である。
例えば図６（ａ）のように、撮像装置１Ａを魚眼レンズ１２２の光軸方向を水平方向に向けたカメラ姿勢（水平構えの姿勢）で撮影者に装着した場合では、図５（ａ）に示すように魚眼画像３０ｂに対してその中央方向に向かって撮像装置１Ａが移動しているように撮影される。このような場合は、切り出し範囲を縦方向に大きくすると、よりユーザーの記憶に残る映像を広く抽出することができる。
また、図６（ｂ）のように、撮像装置１Ａを魚眼レンズ１２２の光軸方向を天頂方向（反重力方向）、又は天頂方向に対して所定の角度範囲内となる方向（略天頂方向）に向けたカメラ姿勢（垂直構えの姿勢）で撮影者に装着した場合では、魚眼画像３０ｂに対してのその魚眼画像の周辺部分が円周方向に移動するように撮影される。このような場合は、切り出し範囲を横方向に大きくすると、よりユーザーの記憶に残る映像を広く抽出することができる。
図５（ｂ）及び図５（ｃ）は、撮像装置１Ａを構える向きに応じた、切り出し範囲３１ｂの決定方法の概念図である。図６（ａ）のように水平構えの姿勢で撮影者に装着した場合、図５（ｂ）のように切り出し範囲３１ｂを縦方向に大きくする。また、図６（ｂ）のように垂直構えの姿勢で撮影者に装着した場合、図５（ｃ）のように切り出し範囲３１ｂを横方向に大きくする。即ち、撮像装置１Ａの動き情報（撮像装置１Ａの傾き：傾きデータ）に基づいて、平面画像４０ｂのアスペクト比を決定するものとする。なお、傾きデータは、動き検出部２３としてのジャイロセンサーによって検出される。
＜撮像システム１００の動作＞
以下、撮像システム１００において、上記説明した魚眼画像から切り出し範囲を抽出し、歪みを補正した平面画像を生成する動作（魚眼画像補正処理）について説明する。
図７に、本体装置２Ａにおける魚眼画像補正処理のフローチャートを示す。図７に示す魚眼画像補正処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
以下、撮像システム１００において、上記説明した魚眼画像から切り出し範囲を抽出し、歪みを補正した平面画像を生成する動作（魚眼画像補正処理）について説明する。
図７に、本体装置２Ａにおける魚眼画像補正処理のフローチャートを示す。図７に示す魚眼画像補正処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
まず、制御部２１は、通信Ｉ／Ｆ２４を介して、撮像装置１Ａから魚眼画像のデジタルデータを取得すると（ステップＳ１）、ディスプレイ２２１に魚眼画像を表示する（ステップＳ２）。
次いで、制御部２１は、ユーザーによるタッチパネル２２２上の操作（タッチ操作）を検出し（ステップＳ３）、これに基づいて補正中心を特定する（ステップＳ４）。
これについて、図８（ａ）を用いて説明する。図８（ａ）に示すように、ディスプレイ２２１上に表示された魚眼画像３０ｃを確認したユーザーは、平面画像を取得したい関心領域をタッチ操作する。制御部２１は、タッチ操作を検出すると、タッチされた位置に存在する画素を補正中心Ｐ１として特定する。
これについて、図８（ａ）を用いて説明する。図８（ａ）に示すように、ディスプレイ２２１上に表示された魚眼画像３０ｃを確認したユーザーは、平面画像を取得したい関心領域をタッチ操作する。制御部２１は、タッチ操作を検出すると、タッチされた位置に存在する画素を補正中心Ｐ１として特定する。
次いで制御部２１は、歪み補正処理を実行する（ステップＳ５）。
図９に、ステップＳ５における処理の詳細フローを示す。ステップＳ５の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図９に、ステップＳ５における処理の詳細フローを示す。ステップＳ５の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ５では、まず、制御部２１は、撮像装置１Ａの動き情報を取得する（ステップＳ５１）。具体的には、撮像装置１Ａの動き情報は、動き検出部１３によって検出された、３軸方向の運動加速度データ及び傾きデータであり、制御部１１はこれに基づいて撮像装置１Ａの運動方向・運動速度や、撮像装置１Ａのカメラ姿勢を検出する。検出された運動加速度データ及び傾きデータは、通信Ｉ／Ｆ１４を介して本体装置２Ａに送信され、制御部２１は、通信Ｉ／Ｆ２４を介して運動加速度データ及び傾きデータを受信する。
次いで、制御部２１は、補正範囲を決定する（ステップＳ５２）。
図１０に、ステップＳ５２における処理の詳細フローを示す。ステップＳ５２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図１０に、ステップＳ５２における処理の詳細フローを示す。ステップＳ５２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ５２では、まず、制御部２１は、アスペクト比を決定する（ステップＳ５２１）。アスペクト比とは、魚眼画像補正処理によって得られる矩形の平面画像の、長辺と短辺の比率である。
これについて、図８（ｂ）を用いて説明する。ステップＳ４で特定された補正中心Ｐ１を中心として補正範囲を決定するが、平面画像の一辺となる方向をＡ、それに交わる他辺となる方向をＢとすると、ＡとＢの比率は撮像装置１Ａの動き情報（傾きデータ）をもとに決定される。即ち、撮像装置１Ａが水平構えの姿勢の場合、Ｂに対するＡの比率を大きくし、撮像装置１Ａが垂直構えの姿勢の場合、Ａに対するＢの比率を大きくする。
これについて、図８（ｂ）を用いて説明する。ステップＳ４で特定された補正中心Ｐ１を中心として補正範囲を決定するが、平面画像の一辺となる方向をＡ、それに交わる他辺となる方向をＢとすると、ＡとＢの比率は撮像装置１Ａの動き情報（傾きデータ）をもとに決定される。即ち、撮像装置１Ａが水平構えの姿勢の場合、Ｂに対するＡの比率を大きくし、撮像装置１Ａが垂直構えの姿勢の場合、Ａに対するＢの比率を大きくする。
アスペクト比が決定されると、次いで制御部２１は、切り出し範囲を決定する（ステップＳ５２２）。
図８（ｂ）に示すように、画像中心Ｏと補正中心Ｐ１を結ぶガイドｇ１を描画し、さらにガイドｇ１によって二分されるような頂角θを形成するように、ガイドｇ２及びｇ３を描画する。続いて、ガイドｇ２及びｇ３を利用して、ＡとＢの比率がステップＳ５２１で決定したアスペクト比となるような略台形の領域を切り出し、切り出し範囲３１ｃとする。
以上で、補正範囲の決定の処理が完了する。
図８（ｂ）に示すように、画像中心Ｏと補正中心Ｐ１を結ぶガイドｇ１を描画し、さらにガイドｇ１によって二分されるような頂角θを形成するように、ガイドｇ２及びｇ３を描画する。続いて、ガイドｇ２及びｇ３を利用して、ＡとＢの比率がステップＳ５２１で決定したアスペクト比となるような略台形の領域を切り出し、切り出し範囲３１ｃとする。
以上で、補正範囲の決定の処理が完了する。
続いて、図９のフローチャートに戻り、制御部２１は、切り出し範囲に対して台形補正処理を施す（ステップＳ５３）。台形補正処理は、一般的に用いられている周知技術を利用するため、詳細な説明は省略する。
次いで、制御部２１は、補正強度を決定する（ステップＳ５４）。
図１１に、ステップＳ５４における処理の詳細フローを示す。ステップＳ５４の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図１１に、ステップＳ５４における処理の詳細フローを示す。ステップＳ５４の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ５４では、まず、制御部２１は、撮像装置１Ａの動き情報に基づいて補正強度テーブルを参照し（ステップＳ５４１）、次いで切り出し範囲における各画素の平面画像における座標を演算する（ステップＳ５４２）。
これについて、図１２を用いて説明する。図１２は、魚眼画像３０から平面画像４０を合成する際の座標変換の概念図である。
図１２（ａ）は、魚眼画像３０ｃからステップＳ５２において決定した切り出し範囲３１ｃを表す。図中に数字１〜５で示された各画素の座標を、平面画像４０ｃに対応する画素の座標に変換する必要があるが、補正強度とは、この座標の変換の度合いを表す。
本実施形態においては、上記したように、制御部２１は、撮像装置１Ａの動き情報に基づいて補正強度を決定する。具体的には、ステップＳ５４で取得した運動加速度データの値が所定値より大きい場合の補正強度（第２の補正強度）を、運動加速度データの値が所定値以下の場合の補正強度（第１の補正強度）よりも小さくする。
図１２（ｂ）は、補正強度を大きくした場合、即ち歪みの小さい平面画像４０ｃを表示したものである。これに対し、図１２（ｃ）は、補正強度を小さくした場合、即ち歪みの大きい平面画像４０ｃを表示したものである。図から明らかなように、補正強度を大きくすることは、座標の変換の度合いを大きくすることであり、逆に補正強度を小さくすることは、座標の変換の度合いを小さくすることである。
図１２（ａ）は、魚眼画像３０ｃからステップＳ５２において決定した切り出し範囲３１ｃを表す。図中に数字１〜５で示された各画素の座標を、平面画像４０ｃに対応する画素の座標に変換する必要があるが、補正強度とは、この座標の変換の度合いを表す。
本実施形態においては、上記したように、制御部２１は、撮像装置１Ａの動き情報に基づいて補正強度を決定する。具体的には、ステップＳ５４で取得した運動加速度データの値が所定値より大きい場合の補正強度（第２の補正強度）を、運動加速度データの値が所定値以下の場合の補正強度（第１の補正強度）よりも小さくする。
図１２（ｂ）は、補正強度を大きくした場合、即ち歪みの小さい平面画像４０ｃを表示したものである。これに対し、図１２（ｃ）は、補正強度を小さくした場合、即ち歪みの大きい平面画像４０ｃを表示したものである。図から明らかなように、補正強度を大きくすることは、座標の変換の度合いを大きくすることであり、逆に補正強度を小さくすることは、座標の変換の度合いを小さくすることである。
なお、図１２（ｂ）の４０ｃと図１２（ｃ）の平面画像４０ｃとは補正強度が違うのにも関わらず、両者とも同様の形の矩形の平面画像となっているのは、歪み補正をした後に最終的には矩形の形状になるように周囲をトリミングした場合を例示しているためである。勿論、平面画像を矩形形状にする必要がなければ、周囲をトリミングしないものとしても良いし、又は、補正範囲の決定を行なう前に補正強度を決定しておき、この決定された補正強度に基づいて、歪み補正がなされた平面画像が矩形画像となるように補正範囲を決定するようにしても良い。
補正強度テーブルは、予め記憶部２５に格納されている、撮像装置１Ａの動き情報に対応する補正強度をテーブル化したデータである。補正強度として、補正前の切り出し範囲３１ｃにおける各画素が、補正後の平面画像４０ｃのどの座標に配置されるかを予め算出しておくことで、撮像装置１Ａの動き情報をもとに、平面画像４０ｃにおける各画素の座標を演算によって一義的に求めることができる。
補正強度が決定されると、図９のフローチャートに戻り、制御部２１は、各画素の補正を行う（ステップＳ５５）。ここでは、上記したように、周知の演算方法を利用してステップＳ５４における魚眼画像３０ｃの切り出し範囲３１ｃに対応する座標の画素を利用して、平面画像４０ｃに対応する座標値の画素を求める。
以上により、歪み補正処理が完了する。
以上により、歪み補正処理が完了する。
歪み補正処理が完了すると、図７のフローチャートに戻り、制御部２１は、ディスプレイ２２１上に、ステップＳ５の歪み補正処理によって得られた補正後の平面画像を表示する（ステップＳ６）。
以上が、魚眼画像補正処理である。
以上が、魚眼画像補正処理である。
＜魚眼画像補正処理の効果＞
以上説明したように、本実施形態における魚眼画像補正処理は、撮像装置１Ａによって取得された魚眼画像を、本体装置２Ａによって歪み補正する。本体装置２Ａは、動き検出部１３によって検出された撮像装置１Ａの動き情報に基づいて、補正内容を決定する。したがって、魚眼画像から、撮像装置１Ａの動きの状態に適した平面画像を取得することができる。
以上説明したように、本実施形態における魚眼画像補正処理は、撮像装置１Ａによって取得された魚眼画像を、本体装置２Ａによって歪み補正する。本体装置２Ａは、動き検出部１３によって検出された撮像装置１Ａの動き情報に基づいて、補正内容を決定する。したがって、魚眼画像から、撮像装置１Ａの動きの状態に適した平面画像を取得することができる。
また、本実施形態においては、撮像装置１Ａの動き情報に基づいて、補正強度を決定する。即ち、撮影者が撮像装置１Ａを身に着けている場合、撮影者の動きが大きい程歪みを大きくした平面画像を得ることができ、ユーザーの記憶に残る映像に近い、臨場感のある画像を提供することができる。
また、本実施形態においては、撮像装置１Ａの動き情報に基づいて、切り出し範囲を異ならせる。即ち、得られる平面画像のアスペクト比を、撮像装置１Ａのカメラ姿勢に応じて設定するため、撮影者が実際に見た映像により近付けることができ、臨場感のある画像を提供することができる。
また、本実施形態においては、運動加速度データを得るための動き検出部１３として、３軸加速度センサーを用いるものとした。これにより、比較的安価で簡易な構成で、撮像装置１Ａの速度検出を行うことができる。
なお、上記実施形態においては、動き情報に基づいて常に補正を行うものとしたが、これに限定されない。例えば、検出された動き量を、予め設定された所定の動き量と比較し、所定の動き量を超えた場合のみに補正を行うものとし、超えない場合には補正を行わないものとしてもよい。さらに、所定の動き量を超えた場合には、上記したように動き量に基づいた補正強度の設定を行うことも可能である。
即ち、補正内容には、上記した補正強度及び切り出し範囲の他に、歪み補正をするか否かの情報が含まれる。
即ち、補正内容には、上記した補正強度及び切り出し範囲の他に、歪み補正をするか否かの情報が含まれる。
また、上記実施形態においては、静止画の撮影について説明したが、動画撮影時においても同様の制御を行うことが可能である。この場合、全フレームに対して補正強度を一定とする第１処理、フレームごとに補正強度を変化させる第２処理、又は全フレームのうち動き量の大きいものに対してのみ補正強度を変化させる第３処理、等の制御を行うことが可能である。
例えば、第１処理として、全フレームの動き情報の平均値を算出し、当該平均値を用いて上記した歪み補正処理を実施することが可能である。この場合、全フレームに対して一律の補正処理を行うため、比較的簡便な処理によって本発明の効果を得ることができる。
また、第２処理として、複数の閾値を設定し、フレームごとに上記した歪み補正処理を実施することが可能である。したがって、フレームごとに撮像装置１Ａの動き情報に応じた補正強度を設定し、動きの大きいフレーム程歪みを大きくすることで、臨場感を得られる。
また、第３処理として、動き情報に所定の閾値を設け、フレームごとに当該閾値との比較を行い、閾値を超えたフレームに対してのみ歪み補正を実施することが可能である。したがって、第２処理よりも簡便な処理で、動きの大きいフレームについて臨場感のある画像を得ることができる。
なお、この３つの処理のうち、少なくとも一つの処理を行うようにプログラムされていてもよいし、各処理に対応するモードが準備されており、ユーザーがそのモードを切り替えるようにしてもよい。
例えば、第１処理として、全フレームの動き情報の平均値を算出し、当該平均値を用いて上記した歪み補正処理を実施することが可能である。この場合、全フレームに対して一律の補正処理を行うため、比較的簡便な処理によって本発明の効果を得ることができる。
また、第２処理として、複数の閾値を設定し、フレームごとに上記した歪み補正処理を実施することが可能である。したがって、フレームごとに撮像装置１Ａの動き情報に応じた補正強度を設定し、動きの大きいフレーム程歪みを大きくすることで、臨場感を得られる。
また、第３処理として、動き情報に所定の閾値を設け、フレームごとに当該閾値との比較を行い、閾値を超えたフレームに対してのみ歪み補正を実施することが可能である。したがって、第２処理よりも簡便な処理で、動きの大きいフレームについて臨場感のある画像を得ることができる。
なお、この３つの処理のうち、少なくとも一つの処理を行うようにプログラムされていてもよいし、各処理に対応するモードが準備されており、ユーザーがそのモードを切り替えるようにしてもよい。
また、上記実施形態における撮像システム１００においては、撮像装置１Ａを構える向きに応じて、切り出し範囲を決定するようにしているが、撮像装置１Ａで取得した画像を解析することで取得したユーザーの移動方向、または撮像装置１Ａや本体装置２Ａが有する動き検出部により検出されたユーザーの移動方向に応じて切り出し範囲を決定してもよい。
図５を参照して詳述すると、図５（ａ）に示すように魚眼画像３０ｂに対してユーザーが魚眼画像の下部から中央に向かって移動している場合（即ち、図５（ａ）における縦方向にユーザーが移動していると判断された場合）は図５（ｂ）のように切り出し範囲を縦方向に大きくすると、よりユーザーの記憶に残る映像を広く抽出することができる。また、例えば図５（ａ）に示す魚眼画像３０ｂに対してユーザーが魚眼画像の左から右へ、又は右から左へ移動していると検出された場合（即ち、図５（ａ）における横方向にユーザーが移動していると判定された場合）は、図５（ｃ）のように切り出し範囲を横方向に大きくするようにしても良い。
図５を参照して詳述すると、図５（ａ）に示すように魚眼画像３０ｂに対してユーザーが魚眼画像の下部から中央に向かって移動している場合（即ち、図５（ａ）における縦方向にユーザーが移動していると判断された場合）は図５（ｂ）のように切り出し範囲を縦方向に大きくすると、よりユーザーの記憶に残る映像を広く抽出することができる。また、例えば図５（ａ）に示す魚眼画像３０ｂに対してユーザーが魚眼画像の左から右へ、又は右から左へ移動していると検出された場合（即ち、図５（ａ）における横方向にユーザーが移動していると判定された場合）は、図５（ｃ）のように切り出し範囲を横方向に大きくするようにしても良い。
［第２実施形態］
以下、図を参照して本発明を適用した第２実施形態について説明するが、本発明はこれらに限定されない。なお、第１実施形態と同様の構成については同一の符号を付し、詳細な説明を省略する。
以下、図を参照して本発明を適用した第２実施形態について説明するが、本発明はこれらに限定されない。なお、第１実施形態と同様の構成については同一の符号を付し、詳細な説明を省略する。
第２実施形態に係る撮像システム１００は、撮像装置１Ａの動き情報に基づいて切り出し範囲を決定し、歪み補正を行うことなく平面画像を生成する。
切り出し範囲を変更することは、切り出した画像内の歪みの大きさを変更することと同義である。したがって、補正強度の変更の制御を搭載しない画像処理装置に対しても、動き情報に基づいた歪み量の変更を行うことが可能である。
この場合、制御部２１は切り出し手段として機能し、動き情報に基づいて切り出し範囲を決定する。
切り出し範囲を変更することは、切り出した画像内の歪みの大きさを変更することと同義である。したがって、補正強度の変更の制御を搭載しない画像処理装置に対しても、動き情報に基づいた歪み量の変更を行うことが可能である。
この場合、制御部２１は切り出し手段として機能し、動き情報に基づいて切り出し範囲を決定する。
＜撮像システム１００の動作＞
以下、撮像システム１００において、上記説明した魚眼画像から切り出し範囲を決定し、平面画像を生成する動作（魚眼画像切り出し処理）について説明する。
図１３に、本体装置２Ａにおける魚眼画像切り出し処理のフローチャートを示す。図１３に示す魚眼画像切り出し処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
以下、撮像システム１００において、上記説明した魚眼画像から切り出し範囲を決定し、平面画像を生成する動作（魚眼画像切り出し処理）について説明する。
図１３に、本体装置２Ａにおける魚眼画像切り出し処理のフローチャートを示す。図１３に示す魚眼画像切り出し処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図１３におけるステップＳ７〜Ｓ９における処理は、図７におけるステップＳ１〜Ｓ３における処理と同様であるため、説明を省略する。
ステップＳ１０では、制御部２１は、切り出し中心を特定する。
ここでは、図７のステップＳ４と同様の処理を行う。即ち、制御部２１は、ディスプレイ２２１上のタッチ操作を検出すると、タッチされた位置に存在する画素を切り出し中心Ｐ２として特定する。
ここでは、図７のステップＳ４と同様の処理を行う。即ち、制御部２１は、ディスプレイ２２１上のタッチ操作を検出すると、タッチされた位置に存在する画素を切り出し中心Ｐ２として特定する。
次いで制御部２１は、切り出し処理を実行する（ステップＳ１１）。
図１４に、ステップＳ１１における処理の詳細フローを示す。ステップＳ１１の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図１４に、ステップＳ１１における処理の詳細フローを示す。ステップＳ１１の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ１１では、まず、制御部２１は、撮像装置１Ａの動き情報を取得する（ステップＳ１１１）。具体的には、撮像装置１Ａの動き情報は、動き検出部１３によって検出された、３軸方向の運動加速度データ及び撮像装置１Ａの傾きデータであり、制御部１１はこれに基づいて撮像装置１Ａの運動方向・運動速度や、撮像装置１Ａのカメラ姿勢を検出する。検出された運動加速度データ及び傾きデータは、通信Ｉ／Ｆ１４を介して本体装置２Ａに送信され、制御部２１は、通信Ｉ／Ｆ２４を介して運動加速度データ及び傾きデータを受信する。
次いで、制御部２１は、切り出し範囲の大きさを決定する（ステップＳ１１２）。
切り出し範囲の大きさは、動き検出部１３によって検出された運動加速度データが大きい場合、即ち撮影者の動きが大きい場合には切り出し範囲を大きくし、運動加速度データが小さい場合、即ち撮影者の動きが小さい場合には切り出し範囲を小さくする。なお、切り出し範囲の大きさと運動加速度データの関係は予めテーブル化され、記憶部２５に格納されているものとしてもよい。
切り出し範囲の大きさは、動き検出部１３によって検出された運動加速度データが大きい場合、即ち撮影者の動きが大きい場合には切り出し範囲を大きくし、運動加速度データが小さい場合、即ち撮影者の動きが小さい場合には切り出し範囲を小さくする。なお、切り出し範囲の大きさと運動加速度データの関係は予めテーブル化され、記憶部２５に格納されているものとしてもよい。
切り出し範囲の大きさが決定されると、制御部２１は、切り出し範囲を決定する（ステップＳ１１３）。具体的には、制御部２１は、ステップＳ１１２で決定した切り出し範囲の大きさに基づいて、切り出し中心Ｐ２を中心とする矩形画像を切り出し範囲として決定する。
以上で、切り出し処理が完了する。
以上で、切り出し処理が完了する。
切り出し処理が完了すると、図１３のフローチャートに戻り、制御部２１は、ディスプレイ２２１上に、ステップＳ１１の切り出し処理によって得られた平面画像を表示する（ステップＳ１２）。
以上が、魚眼画像切り出し処理である。
以上が、魚眼画像切り出し処理である。
＜魚眼画像切り出し処理の効果＞
以上説明したように、本実施形態における魚眼画像切り出し処理は、撮像装置１Ａによって取得された魚眼画像を、動き検出部１３により検出された撮像装置１Ａの動き情報に基づいて、本体装置２Ａによって切り出し範囲を決定し、平面画像を得る。したがって、魚眼画像から、撮像装置１Ａの動きの状態に適した平面画像を取得することができる。
以上説明したように、本実施形態における魚眼画像切り出し処理は、撮像装置１Ａによって取得された魚眼画像を、動き検出部１３により検出された撮像装置１Ａの動き情報に基づいて、本体装置２Ａによって切り出し範囲を決定し、平面画像を得る。したがって、魚眼画像から、撮像装置１Ａの動きの状態に適した平面画像を取得することができる。
なお、本実施形態においては、動き情報（運動加速度データ）に基づいて切り出される平面画像の大きさを決定するものとしたが、この他にも、動き情報（傾きデータ）に基づいて切り出される平面画像のアスペクト比を決定するものとしてもよい。アスペクト比とは、魚眼画像切り出し処理によって得られる矩形の平面画像の長辺と短辺の比率であり、制御部２１は、第１実施形態と同様に、撮像装置１Ａを構える向きに応じてアスペクト比を決定する。なお、動き情報とアスペクト比の関係は予めテーブル化され、記憶部２５に格納されているものとしてもよい。
［他の実施形態］
以上、本発明に係る実施形態に基づいて具体的に説明したが、上記の実施形態は本発明の好適な一例であり、これに限定されない。
以上、本発明に係る実施形態に基づいて具体的に説明したが、上記の実施形態は本発明の好適な一例であり、これに限定されない。
例えば、上記実施形態においては、撮像装置１Ａと本体装置２Ａが分離可能なセパレート型のデジタルカメラを用いるものとしたが、これにより、撮像装置１Ａを固定した状態で、本体装置２Ａを保持した被写体の動きに基づいて補正処理を行うことなどが可能となり、本発明を適用可能な場面が広まるが、これに限定されず、撮像装置１Ａと本体装置２Ａが一体となったデジタルカメラについても、本発明を適用することは可能である。即ち、画像処理装置としてのデジタルカメラに、撮像装置１Ａが組み込まれるものとすることが可能である。
また、上記実施形態においては、動き検出部１３によって検出された撮像装置１Ａ（撮影者）の動きを検知するものとしたが、これに限定されない。例えば、魚眼画像に写される被写体の動きを解析することによって、相対的に撮像装置１Ａ（撮影者）の運動状態を算出することも可能である。
また、上記実施形態においては、傾きデータは動き検出部２３としてのジャイロセンサーによって検出されるものとしたが、これに限定されるものではない。例えば、被写体の動きを解析することによっても、カメラ姿勢（傾きデータ）を検出することは可能であり、この方法によると、ジャイロセンサーを有しない画像処理装置においても同様の処理を行うことができる。
また、上記実施形態においては、撮像装置１Ａの動き検出部１３を用いて、撮像装置１Ａの動きを検出するものとしたが、これに限定されず、本体装置２Ａの動き検出部２３を用いて、本体装置２Ａの動きを検出するものとしてもよい。
これにより、例えば、撮像装置１Ａを固定して本体装置２Ａを被写体が保持した状態で撮影を行う場合に上記の制御を適用することができる。即ち、被写体の運動状態が大きい程、補正強度を小さくし歪みの大きい画像とし、さらに被写体の運動方向に大きく切り出すことで、より臨場感のある画像として表現することができる。
また、動き検出部１３を本体装置２Ａから切り離して被写体に取り付け、無線通信を介して検出結果を本体装置２Ａに送信してもよい。
これにより、例えば、撮像装置１Ａを固定して本体装置２Ａを被写体が保持した状態で撮影を行う場合に上記の制御を適用することができる。即ち、被写体の運動状態が大きい程、補正強度を小さくし歪みの大きい画像とし、さらに被写体の運動方向に大きく切り出すことで、より臨場感のある画像として表現することができる。
また、動き検出部１３を本体装置２Ａから切り離して被写体に取り付け、無線通信を介して検出結果を本体装置２Ａに送信してもよい。
また、上記実施形態においては、広角画像として魚眼レンズを用いて撮影された魚眼画像の補正について説明した。魚眼画像の場合、歪みの大きい画像となるため、本発明の効果を最大限に発揮することができるが、これに限定されず、広角レンズを用いた歪みのある広角画像についても、上記の補正制御を行うことは可能である。
その他、撮像システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
［付記］
＜請求項１＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする画像処理装置。
＜請求項２＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段による前記広角画像の歪みの補正強度を前記補正内容として決定する強度決定手段を備え、
前記画像補正手段は、前記強度決定手段によって決定された補正強度に基づいて、前記広角画像の歪みを補正する
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記強度決定手段は、
前記動き情報に基づく動き量が所定値よりも小さい場合に、第１の補正強度に決定し、前記動き量が所定値以上の場合に、前記第１の補正強度よりも弱い第２の補正強度に決定する
ことを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記強度決定手段は、前記広角画像が動画である場合に、前記動画の全フレーム画像に対する補正強度を一定とする第１処理、前記動き情報に基づく動き量に応じてフレーム画像ごとに補正強度を変化させる第２処理、又は全フレーム画像のうち前記動き量が所定値以上のフレーム画像に対してのみ補正強度を変化させる第３処理のうち、何れか一つを決定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段によって補正される矩形画像の範囲を決定する範囲決定手段を備え、
前記画像補正手段は、前記範囲決定手段によって決定された前記矩形画像の範囲に対して、前記広角画像の歪みを補正する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記範囲決定手段は、前記動き情報に基づいて、前記矩形画像のアスペクト比を決定することを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記動き情報が、所定の動き量を超えたか否かを判断する動き量判断手段を備え、
前記補正内容決定手段は、
前記動き量判断手段によって、前記所定の動き量を超えたと判断された場合に、前記画像補正手段により前記広角画像を補正しないと決定し、前記動き量判断手段によって、前記所定の動き量を超えていないと判断された場合に、前記画像補正手段により前記広角画像を補正すると決定する
ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
＜請求項８＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、切り出される矩形画像の範囲を設定する範囲決定手段と、
前記切り出される矩形画像の範囲に基づいて、前記広角画像から矩形画像を切り出す切り出し手段と、
ことを特徴とする画像処理装置。
＜請求項９＞
前記広角画像は、魚眼レンズを用いて撮像された魚眼画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
＜請求項１０＞
前記動き情報取得手段は、前記広角画像の被写体の動きを解析することにより撮像装置又は被写体の動き情報を取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
＜請求項１１＞
広角画像を撮影する撮像装置を備えることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
＜請求項１２＞
広角画像を撮影する撮像装置と、
前記撮像装置又は被写体に取り付けられ、前記撮像装置又は被写体の動きを検知して動き情報を生成する動き検知手段と、
画像処理装置と、を備え、
前記画像処理装置は、
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする撮像システム。
＜請求項１３＞
前記動き検知手段は、加速度センサーであることを特徴とする請求項１２に記載の撮像システム。
＜請求項１４＞
画像処理装置が行う画像処理方法において、
撮像装置により撮像された広角画像を取得するステップと、
前記撮像装置及び/又は被写体の動き情報を取得するステップと、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定するステップと、
決定された補正内容に基づいて、前記広角画像の歪みを補正するステップと、
を有する画像処理方法。
＜請求項１５＞
画像処理装置のコンピューターを、
撮像装置により撮像された広角画像を取得する画像取得手段、
前記撮像装置及び／又は被写体の動き情報を取得する動き情報取得手段、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段、
として機能させるためのプログラム。
［付記］
＜請求項１＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする画像処理装置。
＜請求項２＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段による前記広角画像の歪みの補正強度を前記補正内容として決定する強度決定手段を備え、
前記画像補正手段は、前記強度決定手段によって決定された補正強度に基づいて、前記広角画像の歪みを補正する
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記強度決定手段は、
前記動き情報に基づく動き量が所定値よりも小さい場合に、第１の補正強度に決定し、前記動き量が所定値以上の場合に、前記第１の補正強度よりも弱い第２の補正強度に決定する
ことを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記強度決定手段は、前記広角画像が動画である場合に、前記動画の全フレーム画像に対する補正強度を一定とする第１処理、前記動き情報に基づく動き量に応じてフレーム画像ごとに補正強度を変化させる第２処理、又は全フレーム画像のうち前記動き量が所定値以上のフレーム画像に対してのみ補正強度を変化させる第３処理のうち、何れか一つを決定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段によって補正される矩形画像の範囲を決定する範囲決定手段を備え、
前記画像補正手段は、前記範囲決定手段によって決定された前記矩形画像の範囲に対して、前記広角画像の歪みを補正する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記範囲決定手段は、前記動き情報に基づいて、前記矩形画像のアスペクト比を決定することを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記動き情報が、所定の動き量を超えたか否かを判断する動き量判断手段を備え、
前記補正内容決定手段は、
前記動き量判断手段によって、前記所定の動き量を超えたと判断された場合に、前記画像補正手段により前記広角画像を補正しないと決定し、前記動き量判断手段によって、前記所定の動き量を超えていないと判断された場合に、前記画像補正手段により前記広角画像を補正すると決定する
ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
＜請求項８＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、切り出される矩形画像の範囲を設定する範囲決定手段と、
前記切り出される矩形画像の範囲に基づいて、前記広角画像から矩形画像を切り出す切り出し手段と、
ことを特徴とする画像処理装置。
＜請求項９＞
前記広角画像は、魚眼レンズを用いて撮像された魚眼画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
＜請求項１０＞
前記動き情報取得手段は、前記広角画像の被写体の動きを解析することにより撮像装置又は被写体の動き情報を取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
＜請求項１１＞
広角画像を撮影する撮像装置を備えることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
＜請求項１２＞
広角画像を撮影する撮像装置と、
前記撮像装置又は被写体に取り付けられ、前記撮像装置又は被写体の動きを検知して動き情報を生成する動き検知手段と、
画像処理装置と、を備え、
前記画像処理装置は、
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする撮像システム。
＜請求項１３＞
前記動き検知手段は、加速度センサーであることを特徴とする請求項１２に記載の撮像システム。
＜請求項１４＞
画像処理装置が行う画像処理方法において、
撮像装置により撮像された広角画像を取得するステップと、
前記撮像装置及び/又は被写体の動き情報を取得するステップと、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定するステップと、
決定された補正内容に基づいて、前記広角画像の歪みを補正するステップと、
を有する画像処理方法。
＜請求項１５＞
画像処理装置のコンピューターを、
撮像装置により撮像された広角画像を取得する画像取得手段、
前記撮像装置及び／又は被写体の動き情報を取得する動き情報取得手段、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段、
として機能させるためのプログラム。
１Ａ 撮像装置
１１ 制御部
１２ 撮像部
１２１ 撮像素子
１２２ 魚眼レンズ
１３ 動き検出部（動き検知手段）
１４ 通信Ｉ／Ｆ
２Ａ 本体装置（画像処理装置）
２１ 制御部（動き情報取得手段、画像補正手段、補正内容決定手段、強度決定手段、範囲決定手段、動き量判断手段、切り出し手段）
２２ 操作表示部
２２１ ディスプレイ
２２２ タッチパネル
２３ 動き検出部（動き検知手段）
２４ 通信Ｉ／Ｆ（画像取得手段）
３０ 魚眼画像（広角画像）
３１ 切り出し範囲
４０ 平面画像
１００ 撮像システム
１１ 制御部
１２ 撮像部
１２１ 撮像素子
１２２ 魚眼レンズ
１３ 動き検出部（動き検知手段）
１４ 通信Ｉ／Ｆ
２Ａ 本体装置（画像処理装置）
２１ 制御部（動き情報取得手段、画像補正手段、補正内容決定手段、強度決定手段、範囲決定手段、動き量判断手段、切り出し手段）
２２ 操作表示部
２２１ ディスプレイ
２２２ タッチパネル
２３ 動き検出部（動き検知手段）
２４ 通信Ｉ／Ｆ（画像取得手段）
３０ 魚眼画像（広角画像）
３１ 切り出し範囲
４０ 平面画像
１００ 撮像システム
その他、撮像システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする画像処理装置。
＜請求項２＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段による前記広角画像の歪みの補正強度を前記補正内容として決定する強度決定手段を備え、
前記画像補正手段は、前記強度決定手段によって決定された補正強度に基づいて、前記広角画像の歪みを補正する
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記強度決定手段は、
前記動き情報に基づく動き量が所定値よりも小さい場合に、第１の補正強度に決定し、前記動き量が所定値以上の場合に、前記第１の補正強度よりも弱い第２の補正強度に決定する
ことを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記強度決定手段は、前記広角画像が動画である場合に、前記動画の全フレーム画像に対する補正強度を一定とする第１処理、前記動き情報に基づく動き量に応じてフレーム画像ごとに補正強度を変化させる第２処理、又は全フレーム画像のうち前記動き量が所定値以上のフレーム画像に対してのみ補正強度を変化させる第３処理のうち、何れか一つを決定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段によって補正される矩形画像の範囲を決定する範囲決定手段を備え、
前記画像補正手段は、前記範囲決定手段によって決定された前記矩形画像の範囲に対して、前記広角画像の歪みを補正する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記範囲決定手段は、前記動き情報に基づいて、前記矩形画像のアスペクト比を決定することを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記動き情報が、所定の動き量を超えたか否かを判断する動き量判断手段を備え、
前記補正内容決定手段は、
前記動き量判断手段によって、前記所定の動き量を超えたと判断された場合に、前記画像補正手段により前記広角画像を補正しないと決定し、前記動き量判断手段によって、前記所定の動き量を超えていないと判断された場合に、前記画像補正手段により前記広角画像を補正すると決定する
ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
＜請求項８＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、切り出される矩形画像の範囲を設定する範囲決定手段と、
前記切り出される矩形画像の範囲に基づいて、前記広角画像から矩形画像を切り出す切り出し手段と、
ことを特徴とする画像処理装置。
＜請求項９＞
前記広角画像は、魚眼レンズを用いて撮像された魚眼画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
＜請求項１０＞
前記動き情報取得手段は、前記広角画像の被写体の動きを解析することにより撮像装置又は被写体の動き情報を取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
＜請求項１１＞
広角画像を撮影する撮像装置を備えることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
＜請求項１２＞
広角画像を撮影する撮像装置と、
前記撮像装置又は被写体に取り付けられ、前記撮像装置又は被写体の動きを検知して動き情報を生成する動き検知手段と、
画像処理装置と、を備え、
前記画像処理装置は、
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする撮像システム。
＜請求項１３＞
前記動き検知手段は、加速度センサーであることを特徴とする請求項１２に記載の撮像システム。
＜請求項１４＞
画像処理装置が行う画像処理方法において、
撮像装置により撮像された広角画像を取得するステップと、
前記撮像装置及び/又は被写体の動き情報を取得するステップと、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定するステップと、
決定された補正内容に基づいて、前記広角画像の歪みを補正するステップと、
を有する画像処理方法。
＜請求項１５＞
画像処理装置のコンピューターを、
撮像装置により撮像された広角画像を取得する画像取得手段、
前記撮像装置及び／又は被写体の動き情報を取得する動き情報取得手段、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段、
として機能させるためのプログラム。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする画像処理装置。
＜請求項２＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段による前記広角画像の歪みの補正強度を前記補正内容として決定する強度決定手段を備え、
前記画像補正手段は、前記強度決定手段によって決定された補正強度に基づいて、前記広角画像の歪みを補正する
ことを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記強度決定手段は、
前記動き情報に基づく動き量が所定値よりも小さい場合に、第１の補正強度に決定し、前記動き量が所定値以上の場合に、前記第１の補正強度よりも弱い第２の補正強度に決定する
ことを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記強度決定手段は、前記広角画像が動画である場合に、前記動画の全フレーム画像に対する補正強度を一定とする第１処理、前記動き情報に基づく動き量に応じてフレーム画像ごとに補正強度を変化させる第２処理、又は全フレーム画像のうち前記動き量が所定値以上のフレーム画像に対してのみ補正強度を変化させる第３処理のうち、何れか一つを決定する
ことを特徴とする請求項２又は３に記載の画像処理装置。
＜請求項５＞
前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段によって補正される矩形画像の範囲を決定する範囲決定手段を備え、
前記画像補正手段は、前記範囲決定手段によって決定された前記矩形画像の範囲に対して、前記広角画像の歪みを補正する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
＜請求項６＞
前記範囲決定手段は、前記動き情報に基づいて、前記矩形画像のアスペクト比を決定することを特徴とする請求項５に記載の画像処理装置。
＜請求項７＞
前記動き情報が、所定の動き量を超えたか否かを判断する動き量判断手段を備え、
前記補正内容決定手段は、
前記動き量判断手段によって、前記所定の動き量を超えたと判断された場合に、前記画像補正手段により前記広角画像を補正しないと決定し、前記動き量判断手段によって、前記所定の動き量を超えていないと判断された場合に、前記画像補正手段により前記広角画像を補正すると決定する
ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
＜請求項８＞
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、切り出される矩形画像の範囲を設定する範囲決定手段と、
前記切り出される矩形画像の範囲に基づいて、前記広角画像から矩形画像を切り出す切り出し手段と、
ことを特徴とする画像処理装置。
＜請求項９＞
前記広角画像は、魚眼レンズを用いて撮像された魚眼画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
＜請求項１０＞
前記動き情報取得手段は、前記広角画像の被写体の動きを解析することにより撮像装置又は被写体の動き情報を取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
＜請求項１１＞
広角画像を撮影する撮像装置を備えることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
＜請求項１２＞
広角画像を撮影する撮像装置と、
前記撮像装置又は被写体に取り付けられ、前記撮像装置又は被写体の動きを検知して動き情報を生成する動き検知手段と、
画像処理装置と、を備え、
前記画像処理装置は、
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする撮像システム。
＜請求項１３＞
前記動き検知手段は、加速度センサーであることを特徴とする請求項１２に記載の撮像システム。
＜請求項１４＞
画像処理装置が行う画像処理方法において、
撮像装置により撮像された広角画像を取得するステップと、
前記撮像装置及び/又は被写体の動き情報を取得するステップと、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定するステップと、
決定された補正内容に基づいて、前記広角画像の歪みを補正するステップと、
を有する画像処理方法。
＜請求項１５＞
画像処理装置のコンピューターを、
撮像装置により撮像された広角画像を取得する画像取得手段、
前記撮像装置及び／又は被写体の動き情報を取得する動き情報取得手段、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段、
として機能させるためのプログラム。
Claims (15)
- 撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする画像処理装置。 - 前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段による前記広角画像の歪みの補正強度を前記補正内容として決定する強度決定手段を備え、
前記画像補正手段は、前記強度決定手段によって決定された補正強度に基づいて、前記広角画像の歪みを補正する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記強度決定手段は、
前記動き情報に基づく動き量が所定値よりも小さい場合に、第１の補正強度に決定し、前記動き量が所定値以上の場合に、前記第１の補正強度よりも弱い第２の補正強度に決定する
ことを特徴とする請求項２に記載の画像処理装置。 - 前記強度決定手段は、前記広角画像が動画である場合に、前記動画の全フレーム画像に対する補正強度を一定とする第１処理、前記動き情報に基づく動き量に応じてフレーム画像ごとに補正強度を変化させる第２処理、又は全フレーム画像のうち前記動き量が所定値以上のフレーム画像に対してのみ補正強度を変化させる第３処理のうち、何れか一つを決定する
ことを特徴とする請求項２又は３に記載の画像処理装置。 - 前記補正内容決定手段は、前記動き情報に基づいて、前記画像補正手段によって補正される矩形画像の範囲を決定する範囲決定手段を備え、
前記画像補正手段は、前記範囲決定手段によって決定された前記矩形画像の範囲に対して、前記広角画像の歪みを補正する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。 - 前記範囲決定手段は、前記動き情報に基づいて、前記矩形画像のアスペクト比を決定することを特徴とする請求項５に記載の画像処理装置。
- 前記動き情報が、所定の動き量を超えたか否かを判断する動き量判断手段を備え、
前記補正内容決定手段は、
前記動き量判断手段によって、前記所定の動き量を超えたと判断された場合に、前記画像補正手段により前記広角画像を補正しないと決定し、前記動き量判断手段によって、前記所定の動き量を超えていないと判断された場合に、前記画像補正手段により前記広角画像を補正すると決定する
ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。 - 撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、切り出される矩形画像の範囲を設定する範囲決定手段と、
前記切り出される矩形画像の範囲に基づいて、前記広角画像から矩形画像を切り出す切り出し手段と、
ことを特徴とする画像処理装置。 - 前記広角画像は、魚眼レンズを用いて撮像された魚眼画像であることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
- 前記動き情報取得手段は、前記広角画像の被写体の動きを解析することにより撮像装置又は被写体の動き情報を取得することを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
- 広角画像を撮影する撮像装置を備えることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
- 広角画像を撮影する撮像装置と、
前記撮像装置又は被写体に取り付けられ、前記撮像装置又は被写体の動きを検知して動き情報を生成する動き検知手段と、
画像処理装置と、を備え、
前記画像処理装置は、
撮像装置により撮像された広角画像を取得する画像取得手段と、
前記撮像装置又は被写体の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段と、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段と、を備える
ことを特徴とする撮像システム。 - 前記動き検知手段は、加速度センサーであることを特徴とする請求項１２に記載の撮像システム。
- 画像処理装置が行う画像処理方法において、
撮像装置により撮像された広角画像を取得するステップと、
前記撮像装置及び/又は被写体の動き情報を取得するステップと、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定するステップと、
決定された補正内容に基づいて、前記広角画像の歪みを補正するステップと、
を有する画像処理方法。 - 画像処理装置のコンピューターを、
撮像装置により撮像された広角画像を取得する画像取得手段、
前記撮像装置及び／又は被写体の動き情報を取得する動き情報取得手段、
前記動き情報に基づいて、前記広角画像の歪みの補正内容を決定する補正内容決定手段、
前記補正内容決定手段によって決定された補正内容に基づいて、前記広角画像の歪みを補正する画像補正手段、
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017057247A JP6885133B2 (ja) | 2017-03-23 | 2017-03-23 | 画像処理装置、撮像システム、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017057247A JP6885133B2 (ja) | 2017-03-23 | 2017-03-23 | 画像処理装置、撮像システム、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018160809A true JP2018160809A (ja) | 2018-10-11 |
| JP6885133B2 JP6885133B2 (ja) | 2021-06-09 |
Family
ID=63795131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017057247A Active JP6885133B2 (ja) | 2017-03-23 | 2017-03-23 | 画像処理装置、撮像システム、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6885133B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022080737A1 (ko) * | 2020-10-14 | 2022-04-21 | 삼성전자 주식회사 | 이미지의 왜곡을 보정하는 방법 및 그 전자 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005167925A (ja) * | 2003-12-05 | 2005-06-23 | Matsushita Electric Ind Co Ltd | 監視カメラ装置 |
| JP2013135444A (ja) * | 2011-12-27 | 2013-07-08 | Canon Inc | 撮像装置およびその制御方法 |
| JP2014225864A (ja) * | 2013-04-15 | 2014-12-04 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2016111561A (ja) * | 2014-12-08 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
-
2017
- 2017-03-23 JP JP2017057247A patent/JP6885133B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005167925A (ja) * | 2003-12-05 | 2005-06-23 | Matsushita Electric Ind Co Ltd | 監視カメラ装置 |
| JP2013135444A (ja) * | 2011-12-27 | 2013-07-08 | Canon Inc | 撮像装置およびその制御方法 |
| JP2014225864A (ja) * | 2013-04-15 | 2014-12-04 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2016111561A (ja) * | 2014-12-08 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022080737A1 (ko) * | 2020-10-14 | 2022-04-21 | 삼성전자 주식회사 | 이미지의 왜곡을 보정하는 방법 및 그 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6885133B2 (ja) | 2021-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9007400B2 (en) | Image processing device, image processing method and computer-readable medium | |
| EP3920524A1 (en) | Image processing method and head-mounted display device | |
| CN108600576B (zh) | 图像处理装置、方法和系统以及计算机可读记录介质 | |
| US10609273B2 (en) | Image pickup device and method of tracking subject thereof | |
| US9413967B2 (en) | Apparatus and method for photographing an image using photographing guide | |
| EP2903258B1 (en) | Image-processing device and method, and image pickup device | |
| CN109218606B (zh) | 摄像控制设备、其控制方法及计算机可读介质 | |
| KR20170074742A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
| JP2015106252A (ja) | 顔向き検出装置及び３次元計測装置 | |
| WO2013168493A1 (ja) | 信号処理装置、撮像装置、信号補正方法 | |
| GB2557437A (en) | Display control apparatus and method of controlling display control apparatus | |
| WO2015118723A1 (ja) | 撮像装置及び合焦制御方法 | |
| JP6354442B2 (ja) | 撮像装置、制御方法及びプログラム | |
| CN115086547A (zh) | 摄像设备、便携式装置和校准器及其控制方法和存储介质 | |
| JP2016042629A (ja) | 撮影装置、撮影方法、およびプログラム | |
| JP5768193B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム | |
| WO2009100778A1 (en) | Improved rotation independent face detection. | |
| US20170026584A1 (en) | Image processing apparatus and method of operating the same | |
| JP5993164B2 (ja) | 通信機器、通信方法およびプログラム | |
| CN113302908B (zh) | 控制方法、手持云台、系统及计算机可读存储介质 | |
| JP6885133B2 (ja) | 画像処理装置、撮像システム、画像処理方法及びプログラム | |
| KR101822169B1 (ko) | 파노라마 영상을 제공하는 전자 장치 및 그 제어 방법 | |
| JP6701677B2 (ja) | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム | |
| JP2017199972A (ja) | 端末装置、情報取得システム、情報取得方法およびプログラム | |
| JP6354443B2 (ja) | 制御装置、制御システム、制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210426 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6885133 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |