JP2019102976A - 画像処理装置およびその制御方法、撮像装置、プログラム - Google Patents

Abstract

【課題】撮像された画像に対して視点を変更した画像を提供すること。【解決手段】全方位で撮像される全方位画像のデータを取得可能な撮像装置１００は、配信部１０７において、全方位画像の中心から視点を変更する指示信号を、ユーザインタフェース装置１１０の表示指示部１０８から受信する。画像形成部１０６は、指定された視点に応じて、全方位画像の最外の円周上の画像が全て維持されるように画像変形処理を行い、視点変更後の全方位画像のデータとデワープ処理された画像データを生成して配信部１０７に出力する。ユーザインタフェース装置１１０の表示部１０９は配信部１０７から、視点が変更された後の画像データを受信して全方位画像とデワープ処理された画像を画面に表示する。【選択図】 図１

Description

本発明は、撮像画像に対して視点を変更して画像変形を行う画像処理技術に関する。

ネットワークカメラシステムは、例えば監視を目的として、公共の建物や場所、銀行、店舗、ダム、基地、飛行場等の立入り禁止区域への侵入者または侵入物を検知する機能を有する。全方位で撮像される画像（以下、全方位画像という）を取得可能な、いわゆる全方位カメラは、３６０°の方位で取得した画像を処理して一度に画像を表示する。建物の天井や壁等に設置される全方位カメラは、その設置位置によって撮像範囲や視野が確定し、パンニングやチルティングがない固定位置で撮像が行われる。

全方位カメラにより撮像された画像は、ディスプレイ等の画面上で確認することができ、ユーザは全方位画像により設置環境の全体像を把握できる。さらには、全方位画像を分割して、平面画像に画像補正処理（デワープ処理）を施して表示する撮像装置があり、例えば全方位画像の一部を矩形画像に切り出してデワープ処理後の画像が表示される。全方位カメラは設置時に固定された視点を、設置後に変えることはできない。特許文献１では、全方位画像の表示に関して、デワープ処理での画像展開を行わずに、全方位画像を表示する上での画像回転の向きを変える方法が開示されている。全周画像に含まれる基準点が全周画像の中心に対して所定の向きに位置する全周画像の回転角度を算出する処理が行われる。

特開２０１４−２２５１０８号公報

しかしながら、特許文献１に開示の従来技術は、全周を含む画像を画像の中心に対して所定の向きに左右回転させることで、全周を含む画像を展開せずに利用するものであり、視点の角度を変えることはできない。例えば、壁に設置された全方位カメラの左右の向きを調整することを目的とする場合、全方位カメラの上向き、または下向きへの視点変更はできない。

一般的に全方位カメラは、パンニングやチルティングの機構部が無く、固定位置で撮像を行うので、天井や壁等に設置された全方位カメラの撮像面と設置面との間には傾きが発生し得る。この傾きにより、ユーザが撮像したい範囲とは異なる視点の画像範囲しか撮像できないという問題がある。例えば、全方位カメラの撮像面が設置面に対して傾きを有する場合、全方位画像の視点方向が設置面に垂直な方向からずれた方向となる。
本発明の目的は、撮像された画像に対して視点を変更した画像を提供することである。

本発明の一実施形態の装置は、撮像手段により撮像された撮像画像のデータを取得する取得手段と、前記撮像画像に係る視点を指定する指定手段と、前記指定手段によって指定された視点にしたがって前記撮像画像の画像変形処理により画像データを生成する生成手段と、前記生成手段により生成された画像データを出力する出力手段と、を備える。

本発明によれば、撮像された画像に対して視点を変更した画像を提供することできる。

本発明の実施形態におけるシステム構成図である。 撮像装置の画像例および設置例を示す模式図である。 全方位画像における被写体画像の説明図である。 全方位画像における視点変更時の被写体画像の説明図である。 全方位画像と視点変更についての説明図である。 全方位画像の視点変更処理のフローチャートである。 第２実施形態にて視点変更時の全方位画像とデワープ処理を説明する図である。 第２実施形態にて視点変更時の全方位画像と切り出し処理を説明する図である。 第２実施形態における全方位画像の視点変更処理のフローチャートである。

以下に、本発明の好ましい実施の形態を、添付図面に基づいて詳細に説明する。各実施形態では、魚眼レンズ等を用いた撮像光学系により広角で撮像された撮像画像のデータを処理する画像処理装置の一例として、全方位画像での視点を変えた座標系で画像表示することができる視点変更手段を備える撮像装置を示す。ネットワークカメラにおいて、撮像された全方位画像は、ユーザの意図する視点でＧＵＩ（グラフィカル・ユーザ・インタフェース）画面に表示される。なお、全方位画像は例示であって、広角撮影が可能な撮像部により取得される画像データを処理する画像処理装置や各種の情報処理装置に本発明を適用可能である。

［第１実施形態］
本実施形態では、全方位画像上で撮像装置の視点方向を変更したときの画像処理と、その処理結果である画像の表示処理について説明する。図１は、本実施形態のシステム構成図である。ネットワークカメラシステムは、撮像装置１００と、ユーザインタフェース（以下、ＵＩと略記する）装置１１０を備え、ネットワークにより互いに接続される。

撮像装置１００の撮像部は、ズームレンズ等を有する撮像光学系１０１と、撮像素子１０２を備える。撮像素子１０２の出力は、Ａ／Ｄ（アナログ／デジタル）変換処理部１０３が処理した後、現像処理部１０４が処理を引き継ぐ。データ記録部１０５は現像処理された画像データを記録する。画像形成部１０６は現像処理後のデータから全方位画像の画像形成を行い、配信部１０７に出力する。なお、図示は省略するが、撮像装置１００の制御を統括するシステム制御部が設けられている。また、撮像装置１００はズーム制御を行うが、パンニングやチルティングの動作制御は行わないものとする。

ＵＩ装置１１０は、表示指示部１０８と表示部１０９を備え、配信部１０７との間で信号の送受信を行う。例えば、ＵＩ装置１１０はネットワークを介して、ズーミング等のカメラ制御用のコマンドを発行して撮像装置１００に送信し、配信部１０７が当該コマンドを受信する。ズーム指示に関するコマンドにしたがって撮像光学系１０１ではズームレンズの駆動制御が行われる。つまり、撮像光学系１０１は被写体からの入射光を結像するための光学部材を備え、ズーム制御用のコマンドに応じたズーム動作を行う。

撮像素子１０２は撮像光学系１０１を通して受光した光像を光電変換し、電気信号を出力する。撮像素子１０２はＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサである。Ａ／Ｄ変換処理部１０３は、撮像素子１０２の出力するアナログ信号を変換して、デジタルデータを現像処理部１０４に出力する。現像処理部１０４は、現像処理を行って生成した画像データを出力する。本実施形態では撮像画像として、全方位画像を想定する。現像処理部１０４により現像処理された画像データは、画像形成部１０６へ出力されるとともに、データ記録部１０５に記録される。データ記録部１０５は、現像処理された画像データを保持する記録媒体を備える。

画像形成部１０６は、現像処理部１０４が現像処理した画像データを取得し、画像データから全方位画像を形成する。画像形成部１０６はさらに、全方位画像に対して視点変更処理、デワープ処理（座標変換と画像切り出し処理）を行い、画像データを生成する。配信部１０７は、全方位画像の視点変更処理、デワープ処理が行われた画像データを取得して、ネットワーク上で送信できるデータに圧縮した上で配信処理を実行する。

ＵＩ装置１１０は、ネットワークを介して配信部１０７から送信されたデータを受信する。表示部１０９は受信された画像データに対応する画像表示を行う。表示指示部１０８は、ユーザ操作による指示や設定に応じた制御コマンドを、ネットワークを介して配信部１０７へ送信する。表示指示部１０８はポインティングデバイス等の操作指示部材を備え、ユーザからのカメラ制御、全方位画像の表示方法、デワープ処理等に関する操作指示を受け付ける。本実施形態では配信部１０７の出力するデータにしたがって表示部１０９が画像表示を行う最も簡単な例を説明するが、配信部１０７の出力データに対して所定の処理を施してから表示部１０９が画像表示を行う実施形態でもよい。所定の処理とは、例えば侵入者または侵入物の画像を色分けや包囲枠で区別して表示させる後処理等であり、配信部１０７の出力先に応じた各種の画像処理である。

図２は、ネットワークカメラ２０１と、ＵＩ装置１１０としてのパーソナルコンピュータ（以下、ＰＣと略記する）２０２の例を示す模式図である。図２（Ａ）は画像例を示し、図２（Ｂ）は設置例を示す。ネットワークカメラ２０１は壁面に設置され、ネットワークカメラ２０１の横を通る人物や背景等を撮像する。ネットワークカメラ２０１とＰＣ２０２はネットワーク２００を介して接続され、相互に通信可能である。

図２（Ａ）に示す画像は、ＰＣ２０２のディスプレイ画面に、全方位画像を４分割してデワープ処理した画像の表示例を示している。楕円枠内の画像は、ネットワークカメラ２０１で撮像された全方位画像２０４を示す。全画像２０３は、全方位画像と無効画像を含んだディスプレイ上に表示される領域の画像を示す。画像２０５は、デワープ処理を行う場合に、全方位画像２０４を４分割した場合の画像を示す。４分割された画像領域を、ＡからＤの領域で示している。分割された４つの画像領域に対して、デワープ処理を行って展開した画像を画像２０６に示し、４つの部分画像Ａ，Ｂ，Ｃ，Ｄから構成される。なお、デワープ処理時の分割数４は一例であり、任意の分割数に応じて表示画像のレイアウトが変更される。

図３は、ネットワークカメラ２０１を壁面に設置した場合の、全方位画像２０４を示す模式図である。図３（Ａ）は画像例を示し、図３（Ｂ）はネットワークカメラ２０１と被写体３０１，３０３との位置関係を示す。ネットワークカメラ２０１の撮像面の中心から延長される視線３００上には、第１の被写体３０３が存在し、さらには第２の被写体３０１が存在する例を想定する。つまり、第１の被写体３０３は、ネットワークカメラ２０１の視点に対応する位置にあり、第２の被写体３０１は、視線３００よりも上側にずれた方向に位置している。

図３（Ａ）は、ネットワークカメラ２０１で撮像された全方位画像２０４を示す。画像３０２は、全方位画像における被写体３０１の画像を示し、画像３０４は、全方位画像における被写体３０３の画像を示す。被写体３０１の画像３０２は、視線３００よりも上側の位置で撮像された画像であるため、上部に歪んだ形状で表示される。

図４は、ネットワークカメラ２０１において被写体に対する視点を変更する場合の模式図である。図４（Ａ）は画像例を示し、図４（Ｂ）はネットワークカメラ２０１と被写体３０１，３０３との位置関係を示す。ネットワークカメラ２０１の視点が変更され、視線４００で示す方向に変わった場合、視線４００上に被写体３０１が位置し、その下側に被写体３０３が位置することになる。全方位画像２０４内の画像４０２は被写体３０１を撮像した画像であり、画像４０４は被写体３０３を撮像した画像である。被写体３０１，３０３はそれぞれ、全方位画像２０４内において対応する位置に表示される。ネットワークカメラ２０１自体の位置は変更されず、視点変更によって視線３００から視線４００への方向に変更されることで、主被写体が被写体３０３から被写体３０１に変わった撮像画像が取得される。

このように、ユーザが意図する観測や監視の対象である、撮像対象物に応じて視点を変更することで、対象物の視認が容易になる。つまり、被写体３０１の場合、ネットワークカメラ２０１の視点を変更して視線４００上で撮像対象物を捉えた方が、全方位画像での撮像対象物として認識しやすい。

図５は、全方位画像２０４を極座標系で表した場合の概念的な説明図である。図５（Ａ）は、円形の中心点５００を基準として同心円状に配置される複数の座標を模式的に示す。中心点５００は、例えば図３（Ｂ）に示すネットワークカメラ２０１の設置時の視点位置に対応する。図５（Ｂ）は、円形の中心点５００から視点を変更した場合の複数の座標を模式的に示す。

図５（Ａ）にて、円形の中心点５００から下方向に視点を変えた場合を想定し、変更後の視点の角度を角度５０１で示す。角度５０１の大きさに比例して、視点の中心からの変更角度が大きくなる。この変更角度が大きいほど、全方位画像２０４の同心円の画像変形による歪が大きくなる。図５（Ｂ）は、円形の中心点５００から視点が変更された場合に、視点の変更角度に応じた、同心状の複数の閉曲線を示す。つまり、変形した閉曲線群によって図５（Ａ）の同心円でそれぞれ示す範囲に対応する範囲を示している。同心円の変形に合わせた画像座標値を算出することによって、画像変形処理が行われる。

次に図６のフローチャートを参照して、視点変更の画像処理について説明する。
まず、撮像装置１００は撮像によって全方位画像のデータを取得してＵＩ装置１１０に画像データを送信し、表示部１０９が全方位画像を表示する（Ｓ１０１）。ユーザが表示指示部１０８を使用して、全方位画像の視点変更を指示したか否かが判定される（Ｓ１０２）。ユーザは視点を変更する場合、表示指示部１０８を用いて、全方位画像の中心に対して視点の変更操作を行う。例えば、ユーザは表示部１０９の画面に表示されている全方位画像を見ながら、ポインティングデバイスやキーボード等を操作して、所望の視点に変更したい角度を指定する。その際には全方位画像に対して視点変更が可能な設定範囲が表示される。つまり、画像変形による画像の歪み量が所定の閾値以下となるように設定範囲が予め決められているので、その設定範囲内でユーザにより、視点変更の操作が行われる。ユーザが視点変更の指示を行い、配信部１０７が視点変更の指示に関するコマンドを受信した場合、Ｓ１０３の処理に進み、視点変更の指示がない場合にはＳ１０８へ移行する。

Ｓ１０３では、ユーザの視点変更の指示情報が取得される。視点変更操作にポインティングデバイスを用いたＵＩ装置の場合には、ユーザがポインティングデバイスで画面上のポインタを動かす位置および移動量によって、視点の角度と方向の指示情報を取得することができる。またタッチパネルを備えるＵＩ装置ではユーザが手指で所望の視点に変更する操作を画面上で行うことにより、視点の指示情報を取得できる。操作指示のための手段および方法は任意である。

次に画像形成部１０６は、配信部１０７から視点変更の指示情報を取得し、視点変更の角度を判断して決定する（Ｓ１０４）。この角度は、撮像された全方位画像の中心点からの各画素に対する視点変更を行う場合の画像変形処理に必要な角度である。Ｓ１０４で決定された角度に応じて、画像形成部１０６は全方位画像の各画素に対しての変倍率を算出する（Ｓ１０５）。変倍率は全方位画像の各画素に対して算出され、各画素の位置およびＳ１０４で算出された角度に応じて変わる。

画像形成部１０６は、各画素に対する変倍率にしたがって、各画素に変倍処理を施して画像変形を行う（Ｓ１０６）。全方位画像における最外の円周上の画像を維持するように画像変形処理が行われる。画像変形処理における変倍方法については、線形変倍やバイリニア変倍がある。あるいは他の変倍方法でもかまわない。

Ｓ１０７では、Ｓ１０６の画像変形処理が全方位画像の各画素に対して完了したか否かについて判定処理が行われる。画像形成部１０６が全画素に対して画像変形処理を完了した場合、Ｓ１０８の処理に進み、完了していない場合にはＳ１０５に戻って処理を続行する。

Ｓ１０８で表示部１０９は全方位画像を画面に表示する。次のＳ１０９では、次の撮像データの更新があるかどうかの判断処理が実行される。撮像データの更新がある場合には、Ｓ１０１の処理に戻って処理を続行する。また、撮像データの更新が無い場合には、一連の処理を終了する。

本実施形態によれば、ユーザは、撮像された全方位画像を確認しながら、全方位画像の視点を容易に変更でき、画像変形処理された視認性の高い全方位画像により、画像全体を表示することができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、全方位画像上で撮像の視点方向を変更したときの撮像画像と、その撮像画像をデワープ処理して歪み補正を行った画像の表示および処理方法について説明する。以下では、第１実施形態との相違点を主に説明し、第１実施形態と同様の事項については説明を省略する。

図７は、本実施形態にて全方位画像の視点を変更したときの画像と、そのデワープ処理を実施した画像について説明する図である。図７（Ａ）は、全方位画像７００の基準となる画像中心点７０１から下方向に角度７０２の大きさで視点変更を実施するときの座標を模式的に示す。図７（Ｂ）は角度７０２での視点変更が実施された場合の、画像中心点７０１を中心とする同心状の閉曲線群による座標を模式的に示す。図７（Ｂ）では、視点が変更されたことで、図７（Ａ）で同心円状に位置していた画像位置が、下方向に歪んだ形状に変形している。各画素の変形に係る画像処理は、第１実施形態での画像変形処理と同じである。

図７（Ｃ）は、図７（Ｂ）に示す視点変更後の全方位画像に対して、４分割される領域７０３から７０６を示す。全方位画像７００は４領域に区分され、各領域の画像はデワープ処理される。図７（Ｄ）はデワープ処理された画像領域７０７から７１０を示す。デワープ処理前の領域７０３とデワープ処理後の画像領域７０７とが対応し、領域７０４と画像領域７０８、領域７０５と画像領域７０９、領域７０６と画像領域７１０が、それぞれに対応する。各画像領域については、デワープ処理によって歪み補正された画像データが生成される。なお、画像領域の分割数４は例示であって、分割数は任意である。また、デワープ処理を行う画像領域については、等分割した画像である必要はなく、一部の選択した矩形画像でも、かまわない。

図８は、全方位画像に対して一部の画像領域をユーザが選択し、その選択された領域内の画像をデワープ処理する場合の例を示す。図８（Ａ）は、全方位画像８００の基準である画像中心点８０１から下方向に角度８０２の大きさで視点変更を実施するときの座標を模式的に示す。図８（Ｂ）は角度８０２での視点変更を実施した場合の、画像中心点８０１を中心とする同心状の閉曲線群により座標を模式的に示す。図８（Ｂ）では、視点変更により、同心円状に位置していた画像位置が下方向に歪んだ形状に変形している。

図８（Ｃ）は、図８（Ｂ）に示す視点変更後の全方位画像に対して、領域８０３，８０４が指定された場合に画像データを抽出して展開する例を示す図である。この場合、領域８０３と８０４はユーザ操作によって指定された領域を示しており、これらの領域に対してデワープ処理が実行されて画像が展開される。図８（Ｄ）は、領域８０３，８０４に対するデワープ処理後の画像領域８０５，８０６を示す。デワープ処理前の領域８０３とデワープ処理後の画像領域８０５が対応し、領域８０４と画像領域８０６が対応しており、各画像領域に対応する画像データを抽出して展開する処理が実行される。デワープ処理を行う領域の指定数２は例示であり、ユーザは表示指示部１０８を使用して任意の指定数を指示し、画像抽出および表示処理を行わせることが可能である。

図９のフローチャートを参照して、本実施形態における画像処理について説明する。
まずネットワークカメラ２０１は、撮像により全方位画像のデータを取得し、ＵＩ装置１１０に画像データを送信する。表示部１０９は全方位画像を画面に表示する（Ｓ２０１）。次に、ユーザがＵＩ装置１１０内の表示指示部１０８を用いて、全方位画像に対してデワープ処理の指示を行ったか否かが判定される（Ｓ２０２）。デワープ処理の指示がある場合、Ｓ２０３に進み、デワープ処理の指示がない場合にはＳ２０７へ移行する。

Ｓ２０３では、デワープ処理の対象となる画像の分割数が、表示指示部１０８により指定される。画像形成部１０６は、Ｓ２０３で指定された分割数を配信部１０７から取得して分割数に応じた画像領域を判断し、全方位画像に対してデワープ処理の対象画像を切り出す処理を行う（Ｓ２０４）。さらに画像形成部１０６は、Ｓ２０４で切り出された画像に対してデワープ処理を実行して画像展開を行う（Ｓ２０５）。展開された画像データは、配信部１０７を介してＵＩ装置１１０へ送信される。表示部１０９は取得した画像データにしたがって画面に画像表示する（Ｓ２０６）。

Ｓ２０６の後、表示部１０９に表示された画像に対して、ユーザが視点変更の指示を行ったか否かについて判断処理が実行される（Ｓ２０７）。ユーザが視点変更の指示を行ったと判断された場合、Ｓ２０８に進み、視点変更の指示がない場合にはＳ２１７に移行する。Ｓ２０８で配信部１０７は、全方位画像の中心に対する視点変更の指示情報を取得する。視点変更の指示方法は、第１実施形態の場合と同様であり、ユーザが表示されている全方位画像を見ながら、ポインティングデバイス等で視点変更の角度や方向を指定する。

次に画像形成部１０６は、Ｓ２０８にて指定された視点変更の情報に基づき、視点変更の角度を判断して決定する（Ｓ２０９）。この角度は、撮像された全方位画像の中心点からの各画素に対して視点変更を行う場合に画像変形処理を実施するために必要な角度である。画像形成部１０６はＳ２０９で決定した角度に応じて、全方位画像の各画素に対する変倍率を算出する（Ｓ２１０）。画像変形の変倍率は、全方位画像の各画素の位置およびＳ２０９で判断された角度にしたがって算出される。

Ｓ２１１で画像形成部１０６は、Ｓ２１０で算出した変倍率にしたがって、各画素に対する変倍処理を実施して画像変形処理を行う（Ｓ２１１）。画像変形処理における変倍方法は線形変倍やバイリニア変倍等である。Ｓ２１２はＳ２１１の画像変形処理が各画素に対して全て実行されたか否かの判定処理である。全方位画像の全画素に対する処理が完了した場合、Ｓ２１３の処理に進み、完了していない場合にはＳ２１０へ戻って処理を続行する。

Ｓ２１３で画像形成部１０６は、Ｓ２０４で判断した画像の切り出し領域に対して、視点変更を行った結果である画像データを割り当てる。ここで画像形成部１０６は、視点変更後の画像データについて、画像の切り出し領域に対応する画像を判断する。そして画像形成部１０６は、Ｓ２１３で判断された画像領域の画像に対してデワープ処理を行って処理後の画像データを展開する（Ｓ２１４）。配信部１０７は、Ｓ２１４で生成された画像データおよび視点変更後の全方位画像のデータをＵＩ装置１１０へ送信する。

Ｓ２１５でＵＩ装置１１０は配信部１０７から画像データを受信し、表示部１０９は視点変更後の全方位画像を画面に表示する。さらに表示部１０９は、Ｓ２１４で生成された、歪み補正された画像を画面に表示する（Ｓ２１６）。

Ｓ２１７では、次の撮像データの更新があるか否かについての判断処理が実行される。撮像装置１００にて撮像データの更新がある場合、Ｓ２０１の処理に戻って処理を続行する。撮像データの更新が無い場合には一連の処理を終了する。なお、Ｓ２０７からＳ２１７へ移行する場合には、そのまま全方位画像の表示処理が行われ、次の撮像データの更新の判断処理が実行される。

本実施形態では、ユーザ操作にしたがって全方位画像に対して視点を変更した画像と、視点変更後の画像に対するデワープ処理を実行して展開された画像を表示することができる。

前記実施形態の画像処理装置によれば、全方位画像の最外の円周上の画像を全て維持しつつ、視点を任意の方向に変更して画像を表示することができる。撮像装置がパンニングやチルティングの機構部を備える必要はない。ユーザは広角撮影された画像全体に対して表示される画面内にて、所望の視点を選んで画像を視認できる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０６ 画像形成部
１０８ 表示指示部
１０９ 表示部

Claims (11)

1. 撮像手段により撮像された撮像画像のデータを取得する取得手段と、
   前記撮像画像に係る視点を指定する指定手段と、
   前記指定手段によって指定された視点にしたがって前記撮像画像の画像変形処理により画像データを生成する生成手段と、
   前記生成手段により生成された画像データを出力する出力手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記生成手段により生成された画像データの画像表示を行う表示手段を備え、
   前記撮像画像は前記撮像手段により広角で撮像される画像であり、
   前記生成手段は、前記撮像画像における最外の円周上の画像を維持する前記画像変形処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記指定手段は、前記撮像画像の中心点を基準とする視点の角度を指定する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記生成手段は、前記画像変形処理を行った画像を分割して歪みを補正した複数の画像データを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記出力手段は、前記生成手段が前記画像変形処理を行った画像のデータ、および前記複数の画像データを出力する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記出力手段から前記撮像画像のデータを取得して画像を表示する表示手段を備え、
   前記指定手段は、前記表示手段によって表示された前記撮像画像の中心点からの視点を指定することによって視点の変更を指示し、
   前記生成手段は前記指定手段によって変更を指示された視点の角度を決定して前記画像変形処理を行う
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記生成手段は、前記指定手段によって視点の変更が指示された場合、指示された視点の角度を決定して前記画像変形処理を行った画像のデータ、および当該画像を分割して歪みを補正した複数の画像のデータを生成し、前記表示手段は前記撮像画像および前記複数の画像の表示を更新する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記生成手段は、前記画像変形処理が行われた画像にて、前記指定手段によって指示された画像領域に対応する画像データを抽出し、前記出力手段は抽出された画像データを出力する
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置、および前記撮像手段を備える撮像装置。
10. 撮像手段により撮像された撮像画像のデータを取得する工程と、
    前記撮像画像に係る視点を指定する工程と、
    指定された視点にしたがって前記撮像画像の画像変形処理により画像データを生成する工程と、
    生成された画像データを出力する工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
11. 請求項１０に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。

Images