JP2005012619A

JP2005012619A - パノラマ画像生成装置

Info

Publication number: JP2005012619A
Application number: JP2003176171A
Authority: JP
Inventors: Naoki Kuwabara; 直樹桑原; Toshihiko Hata; 淑彦秦; Takao Shimayoshi; 隆夫嶋吉
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-06-20
Filing date: 2003-06-20
Publication date: 2005-01-13

Abstract

【課題】パノラマ画像生成に要する演算量の最適化を図ることによって、パノラマ画像生成に必要以上の時間がかかることを防止すること。
【解決手段】パノラマ画像生成装置５は、ネットワーク４を介して複数のカメラ１から、隣接する撮影範囲を撮影して得られる複数の画像を符号化された状態で入力する。パノラマ画像生成装置５においては、入力する複数の画像のそれぞれに対して補正処理を行うように構成されており、その補正処理を、画像が画素毎の画素値として表現される画素領域に復号化されるまでの符号化領域において実行させるか、又は、画像が画素毎の画素値に復号化された画素領域において実行させるかを決定する。そして決定された実行形態に基づいて画像に対する補正処理を行い、複数の画像のうちの他の画像から得られる画像と結合させることによってパノラマ画像を生成する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像を入力してひとつの画像に結合することによりパノラマ画像を生成するパノラマ画像生成装置に関するものであり、特に入力する複数の画像が符号化されている場合のパノラマ画像生成技術に関する。
【０００２】
【従来の技術】
近年、複数の画像をつなぎ合わせて一枚の高精細画像を作成するパノラマ画像生成技術に関する研究が盛んに行われている。
【０００３】
従来のパノラマ画像生成技術においては、例えば非特許文献１に示されるように、パノラマ画像の幾何学補正を行うため、複数のカメラのそれぞれについて予め、焦点距離、レンズ歪み、歪み中心、アスペクト比等のカメラパラメータを測定しておき、そのカメラパラメータに基づいて補正のための変換式を導出して、各画像に対する補正処理を行っている。
【０００４】
また、特許文献１に示される技術では、隣接して配置された２台のカメラそれぞれから一対の画像を取得して画像間の対応点を求め、対応点より求めた歪補正情報から、歪み、傾き、解像度差などに対する補正処理を行って、その補正後の画像対を結合することによってパノラマ画像が生成される。
【０００５】
これら従来の技術では、いかに違和感なく複数の画像を結合させるかという点を命題にして取り組んでおり、画像の幾何補正、輝度補正、色調補正、位置合わせ等といった各種画像補正処理を、画素毎のデータである画素値を処理対象として実行することにより、補正精度の向上が図られている。
【０００６】
【非特許文献１】
池田聖、外２名，「全方位型マルチカメラシステムのキャリブレーション」，情報科学技術フォーラム（ＦＩＴ），情報技術レターズ，Ｖｏｌ．１，ｐ．１４９−１５０，Ｓｅｐ．２００２．
【特許文献１】
特開２０００−９９７４０号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、ディジタル画像データは一般に圧縮符号化された状態で取り扱われることが多く、上記従来技術のように、画像補正処理において、画素値を処理対象とする画素領域（画素単位）で補正処理を行うように構成すると、補正処理のために、圧縮符号化された画像データに対して画素領域への復号処理を行う必要がある。例えば、画像データがＪＰＥＧ圧縮されている場合には、画素毎の画素値に対して補正処理を行う場合、可変長符号復号化処理、逆量子化処理及び逆ＤＣＴ変換処理といった復号処理を行う必要がある。このような復号処理においては様々な高速化手法が提案されているが、一般的には復号処理に要する演算量は多い。加えて、補正処理を画素単位で実行するように構成すると、補正処理に要する演算量も多くなることがある。
【０００８】
したがって、従来の技術では、圧縮符号化された画像データからパノラマ画像を生成するには演算量が非常に多くなり、演算器の回路規模を大きくする必要があった。
【０００９】
そこで、本発明は、上記のような問題点を解消するためになされたものであり、パノラマ画像生成に要する演算量の最適化を図ることによって、パノラマ画像生成に必要以上の時間がかかることを防止するパノラマ画像生成装置の提供を目的としている。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明にかかるパノラマ画像生成装置は、隣接する撮影範囲を撮影して得られる複数の画像を符号化された状態で入力する入力手段と、前記複数の画像のそれぞれに対して補正処理を行う補正手段と、前記補正処理を、画像が画素毎の画素値として表現される画素領域に復号化されるまでの符号化領域において実行させるか、又は、画像が画素毎の画素値に復号化された画素領域において実行させるかを決定する決定手段と、前記決定手段において決定された実行形態に基づき、前記補正手段において画像の補正を行い、前記複数の画像のうちの他の画像から得られる画像と結合させることによってパノラマ画像を生成する結合手段と、を備えて構成されるものである。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【００１２】
実施の形態１．
図１は、映像表示システムの一例を示すシステム構成図である。この映像表示システムは、ネットワーク４に対して複数のカメラが接続され、各カメラで取得される画像データを、ネットワーク４を介してパノラマ画像生成装置５に伝送することができるように構成されている。
【００１３】
カメラ１及びネットワークカメラ３は撮影動作によって撮影範囲内の電子的な画像データを生成するように構成され、カメラ１はネットワークエンコーダ（ＣＯＤＥＣ）２を介してネットワーク４に接続されており、ネットワークカメラ３は直接ネットワーク４に接続される。
【００１４】
ネットワークエンコーダ２はカメラ１から入力されるアナログ画像をＡ／Ｄ変換し、ＭＰＥＧやＪＰＥＧ等の圧縮符号化処理（以下、単に符号化処理ともいう。）を施した後、符号化画像データをネットワーク４へ出力する。ネットワークカメラ３は、カメラ１とネットワークエンコーダ２とが一体型となったものであり、ネットワークエンコーダ２と同様に、撮影によって得られる画像データに符号化処理を施してネットワーク４に出力する。
【００１５】
圧縮符号化処理では、例えば、画像データに対してまず直交変換処理（ＤＣＴ変換処理）を行って画像データを直交変換係数に変換し、それに対して量子化処理及び可変長符号化処理（ＶＬＣ）を順次に施して符号化画像データを生成する処理が行われる。
【００１６】
符号化画像データは、マルチキャスト等により常時ネットワーク４へ出力されたり、又は、パノラマ画像生成装置５からの要求に応じてユニキャストで出力される。
【００１７】
この映像表示システムにおいてネットワーク４に接続される複数のカメラは、カメラ１とネットワークエンコーダ２との構成によるカメラのみが複数台接続されたものであってもよいし、ネットワークカメラ３のみが複数台接続されたものであってもよい。以下においては、複数のカメラ１がネットワーク４に接続される場合を例示する。
【００１８】
パノラマ画像生成装置５は、例えば一般的なコンピュータ（ＰＣ）等によって構成され、ネットワーク４に接続された複数のカメラ１のそれぞれから符号化画像データを入力し、これら複数の画像からパノラマ画像を作成するものである。パノラマ画像生成装置５において作成されるパノラマ画像は、パノラマ画像生成装置５に接続されるモニタ装置６に出力されて表示できるとともに、ネットワーク４を経由してＧＵＩ端末７に対して出力される。
【００１９】
ＧＵＩ端末７もまた一般的なコンピュータ（ＰＣ）等によって構成され、ネットワーク４を介してパノラマ画像生成装置５から入力するパノラマ画像をモニタ装置８に表示する。
【００２０】
次に、カメラの配置例及びパノラマ画像生成装置５におけるパノラマ画像の生成概念について説明する。図２乃至図４はそれぞれカメラの配置例の一例を示す図である。
【００２１】
図２（ａ）は８台のカメラ１を円周上にほぼ等間隔で外向きに設置する例を示すものであり、これにより各カメラ１が配置された円周外側を撮影するようになっている。この場合、複数のカメラ１で取得される複数の画像をパノラマ画像生成装置５に入力し、パノラマ画像生成装置５においてこれら複数の入力画像をカメラ１の配置に従って並べると図２（ｂ）に示すような入力画像群１１が得られる。パノラマ画像生成装置５は、図２（ｂ）のような入力画像群１１からユーザ（観察者）によって指定される任意の視点１０に対応したパノラマ画像１２を生成する。すなわち、パノラマ画像１２は、視点１０を画像中心にして定められるパノラマ画像作成領域について、モニタ６の表示サイズ等、画像の出力サイズに適合した画像として生成される。例えば図２（ａ）において８台のカメラ１のうちのカメラ番号＃４と＃５との間に視点が定められたときには、図２（ｂ）に示すように、カメラ番号＃４と＃５のそれぞれのカメラ１で取得された画像が結合され、かつ視点１０を中心とするパノラマ画像１２が生成される。
【００２２】
また、図３（ａ）は８台のカメラ１を円周上にほぼ等間隔で内向きに設置する例を示すものであり、これにより各カメラ１が配置された円周内側を撮影するようになっている。このため、複数のカメラ１の内側中心部に被写体を配置すれば、各カメラ１によって被写体の周囲ほぼ全体の画像を取得することができる。この場合、複数のカメラ１で取得される複数の画像をパノラマ画像生成装置５に入力し、パノラマ画像生成装置５においてこれら複数の入力画像をカメラ１の配置に従って並べると図３（ｂ）に示すような入力画像群１１が得られる。パノラマ画像生成装置５は、上述した場合と同様に、図３（ｂ）のような入力画像群１１からユーザによって指定される任意の視点１０に対応したパノラマ画像１２を生成する。
【００２３】
また、図４（ａ）は６台のカメラ１を平面内で格子状に配置し、各カメラ１が同一の方向を撮影するように配置した例を示すものであり、これにより各カメラ１が配置された平面に垂直な方向を撮影するようになっている。この場合、複数のカメラ１で取得される複数の画像をパノラマ画像生成装置５に入力し、パノラマ画像生成装置５においてこれら複数の入力画像をカメラ１の配置に従って並べると図４（ｂ）に示すような入力画像群１１が得られる。パノラマ画像生成装置５は、上述した場合と同様に、図４（ｂ）のような入力画像群１１からユーザによって指定される任意の視点１０に対応したパノラマ画像１２を生成する。
【００２４】
図２乃至図４では、３タイプのカメラ配置例を示したが、この映像表示システムにおいて採用できるカメラ配置例はこれに限定されるものではない。また、隣接して配置されるカメラ１は互いに撮影範囲が一部重複するように配置されることが好ましい。また、パノラマ画像生成装置５のモニタ装置６やＧＵＩ端末７接続されるモニタ装置８において入力画像群１１の全体を表示可能な場合には、パノラマ画像生成装置５において入力画像群１１の全体からパノラマ画像１２が生成されることになり、この場合は視点１０の選択が不要になる。
【００２５】
次に、パノラマ画像生成装置５の構成について説明する。図５はパノラマ画像生成装置５における内部機能の構成例を示すブロック図である。パノラマ画像生成装置５は、ユーザによる視点位置の指示入力やその他の入力操作を電気信号に変換する、キーボード等で構成された操作入力部５ａと、内部コンピュータが所定のプログラムを実行することによって各種機能を実現する処理ユニット５ｂとを備えて構成される。ただし、処理ユニット５ｂに含まれる各種機能部が専用のハードウェア回路として実現されるものであっても構わない。また、視点位置等の電気信号をＧＵＩ端末７からネットワーク４を介して入力するようにしてもよい。また、後述するように、パノラマ画像生成装置５及びＧＵＩ端末７は、ＧＵＩアプリケーションソフトウェアを実行して、ユーザが視点位置等を指定する際の案内画面等を表示し、操作入力時にユーザ操作を補助するようになっている。
【００２６】
処理ユニット５ｂは、主として、操作入力部５ａやＧＵＩ端末７から入力するユーザからの指示を受け付ける要求受付部５１、複数のカメラ１のそれぞれに固有のカメラパラメータを記憶しておく記憶部５２、要求受付部５１からの画像処理要求等に基づいて画像処理の処理プロセスを決定する処理プロセス決定部５３、処理プロセス決定部５３において決定される処理プロセスに従って画像処理の各プロセスを順次実行する画像処理部５４、ネットワーク４を介して各カメラ１から符号化画像データを入力するデータ受信部５５、及び、画像処理部５４において生成されるパノラマ画像をモニタ装置６やＧＵＩ端末７等に出力するデータ出力部５６、を備えて構成される。
【００２７】
また画像処理部５４は、画像データ分離部２０、補正処理部２１、復号処理部２２、及び、画像データ結合部２３を備えており、各処理部において所定の画像処理が行われる。
【００２８】
特に復号処理部２２は、可変長符号復号化処理部（以下、ＶＬＤ部という。）２２１と、逆量子化部２２２と、逆ＤＣＴ部２２３とを備え、符号化画像データから元の画像データを復元するものである。すなわち、符号化画像データは、ＶＬＤ部２２１、逆量子化部２２２及び逆ＤＣＴ部２２３において順次処理されることにより、最終的に、１枚の画像が画素毎の画素値によって表現された画素領域の画像データに復元される。
【００２９】
また補正処理部２１は、図６に示すように、画像データに対して様々な画像補正処理を施すものであり、例えば、カメラ１の設置角度の違いを調整する傾き補正２１１や回転変換２１２、撮像面での撮像物の大きさや表示解像度を統一するために画像の拡大処理や縮小処理等を行う解像度変換２１３、レンズ歪を補正する歪補正２１５、色調を整える色調補正２１６、画像の必要な部分を取り出すクリッピング２１８、画像を平滑化するためのローパスフィルタ処理２１７、位置補正２１４がある。また、この他にも、カメラ毎の得られる画像の輝度レベルを統一化するための輝度レベル補正等があり、本実施形態において補正処理部２１で実行される補正処理の種類及び数は特に限定されない。
【００３０】
補正処理部２１では、通常これらの処理を組み合せて、逐次的に処理することによって一枚の補正画像を得る。上記の各種補正処理は、基本的に画像変換を行うものであり、その変換式は、レンズ歪、歪中心、アスペクト比、色特性といったカメラのパラメータや、結合させる画像間の撮影条件（撮影場所、角度、焦点距離、照度等）の関係により異なってくる。そこで、これらパラメータや撮影条件等を、例えば上記非特許文献１のように予め測定して記憶部５２に格納しておき、必要なときに記憶部５２から取得して各種補正処理が行われる。また、上記特許文献１に示されるように画像から計測することによって補正処理の変換式を特定するようにしてもよい。
【００３１】
画像処理部５４においては、連結の対象となる隣接画像毎に、上記のような補正処理を施して補正画像を作成し、それら補正画像を被写体が連続となるように適切な位置で結合することによって一枚のパノラマ画像が生成される。なお、隣接する補正画像どうしの結合は画像データ結合部２３において行われる。
【００３２】
また、連結対象となる各画像に対して実行される補正処理は画像毎に異なることがある。図７は、２つの画像からパノラマ画像を生成する処理ブロック図の一例である。図７においては、それぞれ異なるカメラ１から画像＃１及び画像＃２の２つの画像を入力し、画像＃１に対しては傾き補正２１１、回転変換２１２、解像度変換２１３及び位置補正２１４の４つの補正処理を施し、画像＃２に対してはクリッピング２１８、傾き補正２１１、回転変換２１２、解像度変換２１３及び位置補正２１４の５つの補正処理をそれぞれ逐次的に行い、画像＃１と画像＃２とのそれぞれについて得られる最終的な補正画像を画像データ結合部２３において結合させてパノラマ画像を出力する。この例に示すように、補正処理部２１において施される補正処理はカメラあるいは画像毎に異なる。すなわち、補正処理部２１において実行される補正処理は、カメラ個々の特性や画像の結合を行うカメラの組み合せによって変わるため、パノラマ画像の生成条件等の各種の要求に応じて処理プロセス決定部５３が決定する処理プロセスに基づき、カメラ毎にあるいは画像毎に必要な補正処理を選択して組み合わせるようになっている。
【００３３】
上記のような各種補正処理のうちには、例えば輝度レベル補正やローパスフィルタ処理のように、直交変換係数を用いて処理した方が、画素値を用いて画素単位で処理するよりも演算量が少なくなる補正処理が存在する。
【００３４】
また、一部の補正処理においては、入力する符号化画像データを画素領域へ復号する前に符号化領域上で処理した方がパノラマ画像の作成にかかる全体的な演算量を少なく抑えることができる。例えば、補正処理として解像度変換２１３等で画像の縮小変換を行うときには、画素領域で縮小するよりも符号化領域で縮小した方が、縮小処理に要する演算量が若干増加するものの復号処理に要する演算量が大幅に減少するため、全体的な演算量を少なくすることができる。
【００３５】
また、作成したパノラマ画像をファイルへ記録したり、ネットワークへ配信する場合には、一般にパノラマ画像を再符号化して出力することが望まれる。画像データを再符号化して出力する場合には、全ての補正処理を符号化領域上で実施できれば復号および再符号化処理が不要となる分、演算量が少なくなる。
【００３６】
なお、画素領域とは、画像データのデータ形式が画素毎に画素値が規定された状態をいい、符号化領域とは、画像データのデータ形式が画素毎の画素値以外で表現された状態であり、例えば画像データを直交変換係数で表現した状態、量子化処理が行われた状態、及び、可変長符号化処理によって符号化画像データとして表現された状態を含むものである。したがって、本明細書において、符号化データとは非画素値という意味であって、符号化されたビットストリームのみを指すものではなく、例えば直交変換係数のように符号化されたビットストリームから部分的に復号されたデータ、言い換えれば中間段階まで復号化されたデータをも含むものである。
【００３７】
前述のように、上記補正処理は言うなれば画像変換処理の集まりであり、符号化領域における画像変換処理については、文献「ＭａｎｉｐｕｌａｔｉｏｎａｎｄＣｏｍｐｏｓｉｔｉｎｇｏｆＭＣ−ＤＣＴＣｏｍｐｒｅｓｓｅｄＶｉｄｅｏ」ＩＥＥＥＪＯＵＲＮＡＬＯＮＳＥＬＥＣＴＥＤＡＲＥＡＳＩＮＣＯＭＭＵＮＩＣＡＴＩＯＮＳ，ＶＯＬ．１３ＮＯ．１，ＪＡＮＵＡＲＹ１９９５”等において既に幾つか述べられており、それら公知の技術を用いることができる。
【００３８】
本実施形態のパノラマ画像生成装置５においては、符号化画像データからパノラマ画像を作成する際に、符号化領域で行う補正処理と画素領域で行う補正処理とを決定する処理プロセス決定部５３を備え、補正処理部２１よって行われる、少なくとも一部又は全ての補正処理を符号化領域上で行うように構成される。
【００３９】
図８はパノラマ画像生成装置５における処理ブロックのプロセス構成例を示す図である。パノラマ画像生成装置５またはＧＵＩ端末７に実装されたＧＵＩアプリケーション４０は、例えば図２（ｂ）、図３（ｂ）及び図４（ｂ）のようにパノラマ画像の作成可能な領域（入力画像群１１に対応する領域）を表示し、パノラマ画像作成領域（パノラマ画像に映し出される領域）が指定できるようなインタフェースを提供する。これは、例えば、パノラマ画像の作成可能な領域に対してユーザが所望する領域をマウスのドラッグ操作によって指定することなどにより、実現される。また、このとき、パノラマ画像に要求する画質や、パノラマ画像生成のために許容される処理時間等についても指示される。
【００４０】
上記ＧＵＩアプリケーション４０においてパノラマ画像作成が指示されると、パノラマ画像生成装置５の要求受付部５１は、操作入力部５ａ又はＧＵＩ端末７から、そのパノラマ画像作成領域と、画質や許容処理時間といったパノラマ画像作成処理に対する要求事項とを入力する。
【００４１】
記憶部５２には、撮影場所や角度、画角といった撮影条件、撮影条件から求められる各カメラ１の撮影領域、レンズ歪、歪中心、アスペクト比といった補正に必要な各種カメラパラメータ、さらには符号化フォーマットといった符号化仕様等がカメラ１毎に格納されている。
【００４２】
処理プロセス決定部５３は、指定されたパノラマ画像作成領域と、記憶部５２に格納された撮影領域とに基づいて、パノラマ画像作成領域に対応した画像を撮影するカメラ群を特定し選択する。例えば、図４（ｂ）の入力画像群１１に示されるように、パノラマ画像の作成可能な領域がモニタ装置６又は８に表示されているとし、ユーザはＧＵＩアプリケーション４０を介して視点１０の位置を中心とするパノラマ画像作成領域を指示したとする。この場合、処理プロセス決定部５３は記憶部５２に格納された各カメラの撮影領域とパノラマ画像作成領域とを照らし合わせ、撮影領域に重なりを持つカメラ番号＃４及び＃５のカメラ１を選択する。以降、図８の説明においては、カメラ番号＃４及び＃５のカメラ１で撮影された画像（画像＃４，＃５）がパノラマ画像の作成対象として選択された場合を例示する。
【００４３】
次に処理プロセス決定部５３は、上記の要求事項で指定された画質や許容処理時間に基づき、カメラ毎に実施する補正処理およびその処理領域を決定する。すなわち、カメラ番号＃４のカメラ１で取得された画像＃４に対して実施する補正処理およびその処理領域、並びに、カメラ番号＃５のカメラ１で取得された画像＃５に対して実施する補正処理およびその処理領域、を決定する。なお、この決定方法については後述する。さらに、処理プロセス決定部５３は、これらの補正処理間をつなぎ合わせて、逐次処理する処理プロセスをカメラ毎に得られる個々の画像に対して完成させる。図８の例では、カメラ番号＃４の画像データ＃４に対する補正処理にはクリッピング２１８と歪補正２１５とが選択され、そのうちクリッピング２１８は符号化領域で実施するよう処理プロセスが作成され、歪補正２１５は画素領域で実施するように処理プロセスが作成されている。同様に、カメラ番号＃５の画像データ＃５に対しては、クリッピング２１８、解像度変換２１３、位置補正２１４及び歪補正２１５が補正処理として選択され、そのうちクリッピング２１８及び解像度変換２１３は符号化領域で実施するよう処理プロセスが作成され、位置補正２１４及び歪補正２１５は画素領域で実施するように処理プロセスが作成されている。
【００４４】
処理プロセス決定部５３によって処理プロセスが作成された後、画像データ受信部５５は、処理プロセス決定部５３によって選択されたカメラ１の画像データ（図８の例の場合は画像＃４及び＃５）をネットワーク４経由で受信する。
【００４５】
画像データ分離部２０は、画像データ受信部５５において受信される画像データをカメラ毎に分離する。分離後はカメラ毎に並列的に画像処理が行われる。
【００４６】
例えば、カメラ番号＃４から得られた画像データ＃４に対しては、復号処理部２２において部分復号処理を施す。部分復号処理は、例えば復号処理部２２においてＶＬＤ部２２１及び逆量子化部２２２での各処理を行うことによって、符号化画像データを直交変換係数に復元するものである。そして補正処理部２１が機能し、直交変換領域においてクリッピング２１８を行って必要な領域の画像データが取り出される。この画像データを復号処理部２２における逆ＤＣＴ変換によって画素値へ復号し、画素領域において再度補正処理部２１が機能して歪補正２１５が行われ、レンズ歪等の補正処理がなされ、その結果、画像＃４についての補正画像データが画像データ結合部２３に与えられる。
【００４７】
一方、カメラ番号＃５から得られた画像データ＃５に対しては、復号処理部２２において部分復号処理を施した後、符号化領域でクリッピング２１８、及び、画像＃４との撮像物の大きさを合わせるため解像度変換２１３が行われる。そして復号処理部２２の逆ＤＣＴ変換で画素値へ復号された後、位置補正２１４により画像＃４との結合位置が調整され、さらに歪補正２１５が行われて最終的な補正画像データが画像データ結合部２３に与えられる。
【００４８】
そして最後に、画像データ結合部２３において、カメラ番号＃４および＃５から得られたそれぞれの補正画像を連結することにより、指定されたパノラマ画像が作成される。このパノラマ画像はモニタ装置６又はＧＵＩ端末７に出力される。
【００４９】
次に処理プロセス決定部５３において、実施する補正処理とその処理領域を決定する方法について説明する。図８では２台のカメラ画像からパノラマ画像が作成される例を示したが、ここではより一般化してｍ台（ただし、ｍは２以上の整数）のカメラ画像からパノラマ画像が作成される例について述べる。
【００５０】
実施する補正処理とその処理領域は、操作入力部５ａ又はＧＵＩ端末７から要求される画質や処理時間によって決定されるが、一般的に画質と演算量はトレードオフの関係にあり、必ずしも画質及び処理時間の両要求を同時に満たせるわけではない。そのため双方の要求を満たせなかった場合に、補正処理とその処理領域を決定する上で、処理時間を重視する場合と、画質を重視する場合との２通りの処理が考えられる。
【００５１】
まず、処理時間を重視した場合について図９のフローチャートを参照しつつ説明する。処理プロセス決定部５３が処理を開始すると、複数のカメラ１のうちからパノラマ画像作成に必要なカメラ１が選択される（ステップＳ１０）。この結果、ｍ台のカメラ１が選択されたとする。以降のステップＳ１１〜Ｓ１６の処理は選択されたｍ台のカメラ毎の処理であり、ｍ台のカメラ全てについて実行される。始めに、ｍ台のカメラ１のうちから１台のカメラが選択され（ステップＳ１１）、最終的に生成すべきパノラマ画像の出力画質を、ＧＵＩアプリケーション４０から要求された画質に設定する（ステップＳ１２）。
【００５２】
そして、出力すべきパノラマ画像の画質に対応して、補正処理部２１で実施する補正処理と処理領域とを決定する（ステップＳ１３）。この決定の仕方としては、例えば表１のように、画質と、実施する補正処理との関係を予め定めたテーブルを記憶部５２等に記憶させておき、補正処理と処理領域とを決定する際にそのテーブルを参照するようにすればよい。この場合、テーブルは画像を結合させるカメラの組み合せ毎に用意されるのが好ましい。
【００５３】
【表１】

【００５４】
表１は、例えばカメラ＃４の画像と結合させる場合のカメラ＃５の画像に対し実施する補正処理と画質との対応を示している。表１には画質毎に、カメラ＃５の画像に施す補正処理およびその処理領域が記述されている。表１中、○は画素領域で補正処理することを意味し、△は符号化領域での補正処理することを意味する。×はその処理をスキップする（実施しない）ことを意味する。例えば、中画質が指定された場合には、傾き補正を画素領域で、色調補正と位置補正を符号化領域で実施し、回転変換は実施しないことが決定される。
【００５５】
ステップＳ１３で決まった補正処理の演算量は、処理対象となる画像の画素数がわかれば予め見積もることができるので、補正処理の全てに要する演算時間を予め求めることができる。そのため、ステップＳ１４では補正処理に要する処理時間が求められ、その処理時間と、ＧＵＩアプリケーション４０から指定された許容処理時間とを比較し、許容時間内で処理できる場合にはステップＳ１６に進み、処理できない場合にはステップＳ１５に進む。
【００５６】
そして許容時間内で処理できなかった場合は、出力するパノラマ画像の画質を一段低下させて（ステップＳ１５）、ステップＳ１３に戻り、画質を低下させた後の条件に基づき、あらためて補正処理部２１で実施する補正処理と処理領域とを決定する。これ以降、ステップＳ１３で決定される補正処理の全てに要する処理時間が許容時間内に収まるまでステップＳ１３〜Ｓ１５の処理が繰り返され、処理時間が許容時間内に収まればステップＳ１６に進む。
【００５７】
そしてｍ台の全てのカメラ１から得られる画像について補正処理が決定されるまで、ステップＳ１１〜Ｓ１６の処理を繰り返し、全てのカメラ１から得られる画像について補正処理が決定されれば、ステップＳ１７に進む。そしてｍ台の各カメラ１から得られる画像毎に決定された補正処理が逐次的に行われるように、各補正処理を結合させて処理プロセスを作成し、終了する（ステップＳ１７）。
【００５８】
このように図９のフローチャートでは、処理時間が許容処理時間を越える場合には、パノラマ画像の画質を低下させてでも処理時間が許容処理時間内に収まるように補正処理が決定されるので、処理プロセス決定部５３は補正処理に要する処理時間を優先させて補正処理の内容とその処理領域とを決定することになる。これにより、処理時間を優先させて、パノラマ画像生成に要する演算量の最適化が図られる。
【００５９】
次に、パノラマ画像の画質を重視した場合について図１０のフローチャートを参照しつつ説明する。処理時間（演算量）を重視した場合のフローとの大きな違いは、演算量ではなく、生成されるパノラマ画像の画質で判定を行い、要求される画質が満たされない場合には演算量が一段多いものを選ぶことである。
【００６０】
処理プロセス決定部５３が処理を開始すると、複数のカメラ１のうちからパノラマ画像作成に必要なカメラ１が選択される（ステップＳ２０）。この結果、ｍ台のカメラ１が選択されたとする。以降のステップＳ２１〜Ｓ２６の処理は選択されたｍ台のカメラ毎の処理であり、ｍ台のカメラ全てについて実行される。始めに、ｍ台のカメラ１のうちから１台のカメラが選択され（ステップＳ２１）、当該カメラから得られる画像に対する補正処理に必要な演算量を、ＧＵＩアプリケーション４０から指示された補正処理に許容される許容処理時間に基づいて設定する（ステップＳ２２）。
【００６１】
そして、出力すべきパノラマ画像の画質に対応して、補正処理部２１で実施する補正処理と処理領域とを決定する（ステップＳ２３）。この決定の仕方としては、例えば表２のように、画質と、実施する補正処理との関係を予め定めたテーブルを保持するなどすればよい。この場合、表１の場合と同様に、テーブルは画像を結合させるカメラの組み合せ毎に用意されるのが好ましく、またテーブルには演算量の少ない順に補正処理の内容を規定しておけばよい。
【００６２】
【表２】

【００６３】
表２は、表１と同様に、例えばカメラ＃４の画像と結合させる場合のカメラ＃５の画像に対し実施する補正処理と画質との対応を示している。表２には画質毎に、カメラ＃５の画像に施す補正処理およびその処理領域が記述されている。なお表２において、○、△および×は表１に示したものと同様である。例えば、演算量「７」が指定された場合には、傾き補正を画素領域で、回転変換と色調補正とを符号化領域で、それぞれ実施し、位置補正は実施しないことが決定される。
【００６４】
ステップＳ２３で決まった補正処理によって得られる補正画像の画質は、補正処理の内容や処理領域がわかれば予め推定することができるので、それによって最終的に生成されるパノラマ画像の画質を予め推定することができる。そのため、ステップＳ２４では、決定された補正処理による補正画像の画質からパノラマ画像の画質が求められ、その画質と、ＧＵＩアプリケーション４０から指定された要求画質とを比較し、要求画質よりも高い画質のパノラマ画像が得られる場合にはステップＳ２６に進み、要求画質よりも低い画質のパノラマ画像が得られる場合にはステップＳ２５に進む。
【００６５】
そして要求画質よりも低い画質のパノラマ画像が得られる場合は、補正処理に必要な演算量を一段増加させて（ステップＳ２５）、ステップＳ２３に戻り、演算量を増加させた後の条件に基づき、あらためて補正処理部２１で実施する補正処理と処理領域とを決定する。これ以降、ステップＳ２３で決定される補正処理を実行したときに、最終的に得られるパノラマ画像の画質が要求画質以上になるまでステップＳ２３〜Ｓ２５の処理が繰り返され、パノラマ画像の画質が要求画質以上になればステップＳ２６に進む。
【００６６】
そしてｍ台の全てのカメラ１から得られる画像について補正処理が決定されるまで、ステップＳ２１〜Ｓ２６の処理を繰り返し、全てのカメラ１から得られる画像について補正処理が決定されれば、ステップＳ２７に進む。そしてｍ台の各カメラ１から得られる画像毎に決定された補正処理が逐次的に行われるように、各補正処理を結合させて処理プロセスを作成し、終了する（ステップＳ２７）。
【００６７】
このように図１０のフローチャートでは、最終的に生成されるパノラマ画像の画質が要求される画質よりも低くなる場合には、補正処理の演算量を増加させて高画質な画像が得られるように補正処理が決定されるので、処理プロセス決定部５３は最終的に得られるパノラマ画像の画質を優先させて補正処理の内容とその処理領域とを決定することになる。これにより、画質を優先させて、パノラマ画像生成に要する演算量の最適化が図られる。
【００６８】
なお、上記においては特に補正処理の処理順序については触れなかったが、補正処理部２１において実行される補正処理の処理順序によっても演算量が変化することがある。例えば、画素数を減らすような補正処理は早い段階で行われる方が、その後に実行される補正処理での演算量は少なくなる。具体的には、クリッピング処理や解像度の縮小変換はそれ以降の補正処理の演算量を減らす。このため、これらの処理は比較的初期の段階で実施することが演算量の面からは望ましい。さらに、画素数が減少すると、復号処理部２２において実行される演算量も減るので、このような処理は符号化領域で実施した方が全体的な演算量を効果的に低減できる。一方、解像度を拡大する変換については、その後の処理は画素数増大により処理量が増加するため可能な限り後段側で行うことが演算量の面では望ましい。また、補正処理部２１において実行される補正処理の処理順序は、各補正画像の画質、延いてはパノラマ画像の画質に影響する可能性もある。そこで、例えば上述した補正処理部２１において実行される各補正処理と処理領域の対応表（表１、表２）に、演算量が少なくなる処理順序や画質を向上させる処理順序等も予め記述しておくことによって、処理プロセス決定部５３は補正処理部２１によって実行される各補正処理の処理順序を最良の処理順序に決定できる。
【００６９】
以上のようにして、処理プロセス決定部５３は最適な演算量でパノラマ画像を生成するための処理プロセスを作成する。図８ではパノラマ画像を生成するために２台のカメラ１が選択される場合について説明したが、より一般化したｍ台のカメラ画像からパノラマ画像を作成する際の構成図を図１１に示す。図１１においては、カメラ番号＃ｊ（ただし、１≦ｊ≦ｍ）から得られる画像＃ｊに対して、ｎ_ｊ個の補正処理がなされ、そのうちｋ_ｊ個の補正処理が符号化領域で行われ、（ｎ_ｊ−ｋ_ｊ）個の補正処理が画素領域で行われる場合を示している。なお、図１１に示す括弧内の数字ｊはカメラ番号＃ｊから得られる画像＃ｊに対する処理であることを意味し、補正処理部２１における＃数字は画像＃ｊに対する補正処理の順番を意味するものである。
【００７０】
図１１に示すように、ｍ台のカメラ１から入力する画像＃１〜＃ｍは画像データ分離部２０において分離され、復号処理部２２及び補正処理部２１において分離された各画像データが並列的に処理される。このとき、各画像データは、処理プロセス決定部５３で決定された処理プロセスに基づき、符号化領域及び画素領域のそれぞれで補正処理が実行されて、補正画像データとなる。画像データ結合部２３は各補正画像データを入力して結合させることにより、パノラマ画像を生成して出力する。
【００７１】
そして最終的に得られるパノラマ画像は、データ出力部５６から、モニタ装置６やＧＵＩ端末７等に出力され、モニタ装置６又は８に表示される。また、図示しないプリンタなどによってパノラマ画像を印刷するようにしてもよい。
【００７２】
以上のように、パノラマ画像生成装置５は、隣接する撮影範囲を撮影して得られる複数の画像を符号化された状態で入力し、それら複数の画像のそれぞれに対して補正処理を行うように構成されている。そして補正処理を、画像が画素毎の画素値として表現される画素領域に復号化されるまでの符号化領域において実行させるか（すなわち、画像が符号化された状態、若しくは、画像が画素毎の画素値として表現される画素領域に復号化されるまでの中間段階において実行させるか）、又は、画像が画素毎の画素値に復号化された画素領域において実行させるかを決定し、そこで決定された実行形態に基づいて画像の補正処理を行って得られる画像を、複数の画像のうちの他の画像から得られる画像と結合させることによってパノラマ画像を生成するようになっている。すなわち、パノラマ画像を生成するための最適な演算量が求められ、それに従った補正処理が実行されるので、パノラマ画像生成処理に必要以上の時間がかかることを防止することができる。
【００７３】
また、パノラマ画像生成装置５は、符号化された画像データからのパノラマ画像生成処理において、符号化領域で行う補正処理と画素領域で行う補正処理とを決定する処理プロセス決定部５３を備えており、一部または全ての補正処理を符号化領域で行うことができるようになっている。このように一部または全ての補正処理を符号化領域で行うことにより、パノラマ画像を生成する際の補正処理に要する演算量や復号処理等も含めたパノラマ画像生成処理に要する全体的な演算量を低減することができる。故に、演算処理の効率化が図られ、パノラマ画像を効率的に生成することができる。
【００７４】
また、ＧＵＩアプリケーション４０から指定された画質や処理時間に基づいて、符号化領域で行う補正処理を決定するため、ＧＵＩアプリケーション４０から指定された画質や処理時間をできるだけ遵守してパノラマ画像を作成することもできる。すなわち、表１に示したように補正処理と演算量とが対応づけられたテーブル情報を記憶しておき、処理プロセス決定部５３が、そのテーブルに基づいて補正処理に要する処理時間が所定時間内となるように、補正処理を符号化領域及び画素領域のいずれで実行させるかを決定することで、処理時間を優先させつつもより良い画質のパノラマ画像を得ることができる。また、表２に示したように補正処理と、パノラマ画像の画質とが対応づけられたテーブル情報を記憶しておき、処理プロセス決定部５３が、そのテーブルに基づいてパノラマ画像が所定画質以上となるように、補正処理を符号化領域及び画素領域のいずれで実行させるかを決定することで、パノラマ画像の画質を優先させつつもより効率的にパノラマ画像の生成を行うことができる。
【００７５】
実施の形態２．
実施の形態２は、図１に示す映像表示システムにおいて、パノラマ画像生成装置５の出力として再符号化したパノラマ画像を提供するものである。実施の形態１において作成されたパノラマ画像は、複数のカメラ１から得られる画像を連結して生成されるため、解像度が高くなって非常にデータ量が多くなることがある。このようなパノラマ画像をファイルとしてローカルディスク上に記録したり、ネットワーク配信する場合には、本実施の形態２のようにパノラマ画像を再度圧縮符号化して出力することが望ましい。
【００７６】
本実施の形態２におけるパノラマ画像生成装置５の構成について説明する。図１２はパノラマ画像生成装置５における内部機能の構成例を示すブロック図である。ただし、図１２において、実施の形態１で説明した構成部材と同様の機能を有するものについては同一符号を付しており、ここではそれらの説明を省略する。本実施形態のパノラマ画像生成装置５では、画像処理部５４において生成されるパノラマ画像を再符号化するために再符号化処理部２４が設けられる。他の構成は、実施の形態１で説明したものと同様である。
【００７７】
図１３は本実施の形態２におけるパノラマ画像生成装置５での処理ブロックのプロセス構成例を示す図であり、図８の場合と同様の場合を例示したものである。図１３に示すように、本実施の形態２におけるパノラマ画像生成装置５は、処理プロセス決定部５３によって補正処理部２１における各補正処理の一部若しくは全部を符号化領域で行うことを決定した後、画像処理部５４において、パノラマ画像作成対象となる各画像＃４及び＃５のそれぞれについて処理プロセスに即した画像処理を実行する。そして、画像データ結合部２３においてパノラマ画像が作成されると、そのパノラマ画像は再符号化処理部２４に与えられる。
【００７８】
再符号化処理部２４は、所定の符号化形式に圧縮符号化し、パノラマ画像を符号化して出力する。再符号化処理部２４における符号化形式として、例えばＪＰＥＧが指定された場合には、図１４に示すような再符号化処理が行われる。すなわち、パノラマ画像データに対して、まずＤＣＴ部２４１で直交変換処理（ＤＣＴ変換処理）を行ってパノラマ画像データを直交変換係数に変換し、それに対して量子化部２４２で量子化処理を施し、その後、ＶＬＣ部２４３で可変長符号化処理を施す。このような処理を行うことにより、ＪＰＥＧ規格に準拠してパノラマ画像が符号化画像データとして生成され、出力される。
【００７９】
次に、図１５は、画像＃４については全ての補正処理を符号化領域のうちの直交変換領域で行うことができる場合のプロセス構成例を示す図である。図１５に示すように、カメラ番号＃４から得られる画像＃４に対する全ての補正処理が直交変換領域で行えるとすれば、画像＃４に関しては直交変換領域までの部分復号を行えば良く、画素領域まで復元するための逆ＤＣＴ変換処理、および、再符号化の際のＤＣＴ変換処理は不要となる。このような場合、画像＃４は画素領域へ復号しないので、カメラ番号＃５から得られる画像＃５との画像結合処理は直交変換領域で行われることになる。
【００８０】
ここで、ＪＰＥＧやＭＰＥＧのような符号化方式を例にとって直交変換領域での画像の結合方法について説明する。一般的にＪＰＥＧやＭＰＥＧは８×８の二次元直交変換係数からなる輝度および色差情報のブロックをデータの最少構成単位としている。そして、これらのブロックが複数集まって構成されるマクロブロックが復号可能な最少構成単位となる。４：２：０フォーマットの場合のマクロブロックのブロック構成を図１６に示す。図１６において、Ｙは輝度情報、Ｃｂ，Ｃｒはそれぞれ青および赤の色差情報のブロックを表している。輝度情報Ｙについて示す「＃数字」は輝度情報ブロックの並び順を表している。また、ＭＢはマクロブロックを表すものである。したがって、１つのマクロブロックＭＢは、４個の輝度情報Ｙと色差情報Ｃｂ、Ｃｒとを含んで構成されることになる。
【００８１】
次にマクロブロックＭＢの並びについて図１７を用いて説明する。図１７においてマクロブロックＭＢの後の「＃数字」はマクロブロックＭＢの並び順を示している。一枚の画像フレームは、図１７に示されるようにマクロブロックＭＢがラスタスキャンの走査順に並んで構成されており、マクロブロックレベルでの並び順は画素領域と同じである。したがって、画像データ結合部２３において画像を結合させる場合もこのようなラスタスキャン順となるようマクロブロックＭＢを配置する。
【００８２】
水平方向に２枚の画像を結合させる場合の例を図１８に示す。図１８においてＭＢ（１）は画像＃１のマクロブロックを示しており、ＭＢ（２）は画像＃２のマクロブロックを示している。また、マクロブロックＭＢ（１）及びＭＢ（２）に続く「＃数字」は、画像＃１及び画像＃２のそれぞれにおけるマクロブロックの並び順を示している。図１８に示されるように、結合後の画像におけるマクロブロックの並び順は、例えば最上段のマクロブロックの場合には、ＭＢ（１）＃１→ＭＢ（１）＃２→…→ＭＢ（１）＃ｎ→ＭＢ（２）＃１→ＭＢ（２）＃２→…→ＭＢ（２）＃ｍとなる。ここで例えば２つの画像からパノラマ画像を作成する場合、画像の結合境界を一方のマクロブロックＭＢのアライメントに合わせるようにすれば、位置補正は一方の画像のみで済むようになるため、処理負荷を低減することができる。
【００８３】
画像データ結合部２３において上記のような結合処理が行われ、その結果、直交変換領域で表現されたパノラマ画像が生成される。図１５に戻り、直交変換領域で表現されたパノラマ画像は再符号化処理部２４に与えられ、量子化処理や可変長符号化処理といった部分再符号化処理が施されて、最終的に符号化されたパノラマ画像が出力される。すなわち、直交変換領域で表現されたパノラマ画像を再符号化して出力する際には、再符号化処理部２４においてＤＣＴ部２４１によるＤＣＴ変換処理は実行の必要がなくなることになる。
【００８４】
このように、複数のカメラ１から得られる複数の画像のうち、全ての補正処理を符号化領域で行うことができる場合には、その画像についての全ての補正処理を符号化領域で行うことにより、その画像については画素領域まで完全復号化する必要がなくなるとともに、再符号化時の符号化処理も低減することができる。そのため、より効率的にパノラマ画像を得ることができる。
【００８５】
また、図１５のプロセス構成例において、カメラ番号＃５から得られる画像＃５に対しても符号化領域で全ての補正処理が行われるのであれば、パノラマ画像生成装置５で実施される全ての補正処理が符号化領域上で行われることになる。この場合の構成図を図１９に示す。図１９においては、画像＃４および＃５の双方について補正処理が直交変換領域で行われる。このようにパノラマ画像を生成するための各画像＃４，＃５に対して必要な補正処理を全て符号化領域上で実施することによって逆ＤＣＴ変換およびＤＣＴ変換処理は完全に不要となる。逆ＤＣＴ変換処理及びＤＣＴ変換処理はその変換処理に要する演算量が非常に多いため、これらの処理を省くことにより演算効率が著しく向上し、効率的にパノラマ画像を生成することができる。
【００８６】
以上のように、本実施の形態２のパノラマ画像生成装置５においては、符号化された画像データから符号化したパノラマ画像を作成する場合に、一部または全ての補正処理を符号化領域で行うので、演算量の低減が図れるほか、全ての補正処理を符号化領域で実施することにより、復号化および再符号化の処理の少なくとも一部を省くことができるのでより一層演算量が低減されるという効果が発揮される。
【００８７】
また、本実施の形態２のパノラマ画像生成装置５からは、符号化されたパノラマ画像データが出力されることになるので、パノラマ画像をファイルとしてローカルディスクに記録したり、ネットワーク配信する場合などに、データ量が低減されて効率的な記録や配信が可能になる。
【００８８】
実施の形態３．
実施の形態３は、図１に示す映像表示システムにおいて、決められた大きさのウィンドウ（解像度）に指定された領域を縮尺変更して表示するものである。この場合、決められた解像度の中に指定された領域のパノラマ画像を納めなければならないので、各入力画像に対し出力解像度へ整合させるための拡縮処理が行われる。例えば、ウィンドウサイズよりも広い領域をパノラマ画像作成領域として指定すると、入力画像の解像度をダウンサンプリングしてパノラマ画像が作成されることになる。
【００８９】
本実施の形態３におけるパノラマ画像生成装置５の構成は、実施の形態１にて説明した図５に示したものと同様であり、また、ｍ台のカメラ画像からパノラマ画像を作成する際のプロセス構成例については図１１に示したものと同様である。ただし、本実施の形態３においては、ＧＵＩアプリケーション４０から受け付ける要求事項として、出力すべきパノラマ画像の解像度あるいは原画像との縮尺率が指定される。これにより、処理プロセス決定部５３は出力すべきパノラマ画像の解像度に適合させるために縮小変換処理又は拡大変換処理を補正処理として追加することになる。
【００９０】
この場合において、広域部分をパノラマ画像としてモニタ装置６などに表示させる場合は、多くのカメラ１から得られる画像がパノラマ画像の作成に使用されることになるため、各カメラ１から得られる画像の解像度は幾分低下させても問題とならなくなる。このため、各画像に対して実施される各補正処理は多少精度の悪いものであっても、最終的なパノラマ画像全体としてみれば、それらはあまり目立たなくなる。つまり、一般的には符号化領域で補正処理を行うと、ブロック境界において精度が低下する場合があるが、多くのカメラ１から得られる画像を用いて広域部分のパノラマ画像を生成するために、各画像に対して縮小変換を行った場合にはブロック境界における補正精度の低下はあまり目立たなくなる。
【００９１】
そこで本実施の形態３においては、各画像に対する縮小変換を行う場合、処理プロセス決定部５３がその縮尺率に応じて補正処理の処理領域を決定する。例えば、パノラマ画像生成のために結合対象となる画像数が増えて縮尺率が所定値よりも高くなると、それまで画素領域で行っていた補正処理を符号化領域で行うように変更したり、逆に縮尺率が所定値よりも低くなった場合には、符号化領域で行っていた処理を画素領域で行うように変更する。このように縮尺率に応じて補正処理の処理領域を動的に変更することで補正処理にかかる演算量を削減できる。
【００９２】
このような画像処理部５４における処理プロセスの決定方法の一例としては、例えば上述した表１や表２に示した、画質または演算量と補正処理との対応表を拡張して、縮尺率に応じた補正処理を定義しておけばよい。この例を表３に示す。
【００９３】
【表３】

【００９４】
上記表３のように各カメラから得られる画像の縮尺率に応じた補正処理を定義しておくことにより、処理プロセス決定部５３は、縮尺率に応じて各補正処理の処理領域を変更することができる。例えば、表３において高画質、縮尺率１／２で補正処理しているときに、縮尺率が１／１０に変更された場合、補正処理部２１によって実施される位置補正が、画素領域で実施される形態から符号化領域で実施される形態に変更され、全体的な補正処理に要する演算量が低減する。
【００９５】
以上のように、本実施の形態３のパノラマ画像生成装置５においては、パノラマ画像を作成する上でカメラ１から得られた画像に対して縮小変換処理を行う場合には一部の補正処理を符号化領域で行うように変更する。具体的には、縮小時の縮尺率が所定値よりも高い場合に、一部の補正処理を符号化領域で実行させるように決定する。これにより、画質をある程度維持しつつ補正処理にかかる演算量を削減でき、より効率的にパノラマ画像を生成できる。
【００９６】
実施の形態４．
実施の形態４は、図１に示す映像表示システムにおいて、いわゆる虫眼鏡型のパノラマ画像を提供するものである。実施の形態１および２ではパノラマ画像全体に対して画質指定することを想定していたが、観察の目的によってはパノラマ画像内の興味ある一部の領域（ＲＯＩ：Ｒｅｇｉｏｎｏｆｉｎｔｅｒｅｓｔ）のみを高画質で詳細に表示したいという要求がなされることがある。これを実現する方法の一つが、図２０に示す虫眼鏡型のパノラマ画像である。すなわち、実施の形態１および２では、図２０におけるパノラマ画像１０１が得られていたとすると、本実施の形態４では、指定された領域１０３の画像を高画質にし、他の領域は低画質にしてパノラマ画像１０２を生成するものである。
【００９７】
このようなパノラマ画像１０２の生成形態は、後述するように処理演算量や画像データ量を削減できるとともに、指定領域１０３を際立たせるといった視覚的効果が得られる。
【００９８】
このような画質差は、復号化および再符号化する際の量子化処理や割り当て符号量を高画質領域と低画質領域とで変更し、低画質領域では高画質領域よりも高周波成分を除去するような処理を行うことで実現できる。
【００９９】
次に本実施の形態４におけるパノラマ画像生成装置５の構成について説明する。本実施の形態４におけるパノラマ画像生成装置５の基本的な構成は図５に示したものと同様であり、また、ｍ台のカメラ画像からパノラマ画像を作成する際のプロセス構成例については図１１に示したものと同様である。ただし、本実施の形態４では、ＧＵＩアプリケーション４０を介してパノラマ画像作成領域のなかに高画質表示を行うための高画質領域が指定されることになる。
【０１００】
また、本実施の形態４のパノラマ画像生成装置５では、高画質指定された領域とそれ以外の領域とで、要求される画質が異なるため、高画質領域に含まれる画像と低画質領域に含まれる画像とで補正処理に精度差があってもよい。具体的には、低画質領域に含まれる画像は、符号化領域で補正処理を行うことで画質が悪くなっても問題は少ないが、高画質領域に含まれる画像は高画質にするために補正処理の高精度が要求される。そのため、高画質指定された領域に対しては画素領域で補正処理を施し、それ以外の領域に関しては符号化領域で補正処理を行うように構成することで、演算量を効果的に減らすことができる。
【０１０１】
また、同一のカメラ１から得られた画像であってもその画像中に高画質領域とそれ以外の領域との双方を含む場合がある。このように１つの入力画像中に高画質指定された領域とそうでない領域とを含む場合には、入力画像の領域に応じて高精度な補正処理を行うパスと、比較的精度の低いパスとに同一画像で処理プロセスが分かれることになる。例えば、２つのカメラ１の画像を合成してパノラマ画像を生成する場合に、一方のカメラの画像において高画質な領域と低画質な領域とを含む場合の処理プロセスの構成例を図２１に示す。
【０１０２】
図２１では、カメラ番号＃４から得られる画像＃４と、カメラ番号＃５から得られる画像＃５との２枚の画像からパノラマ画像が生成される場合を例示しており、画像＃４は全て高画質領域に含まれ、画像＃５には高画質領域に含まれる部分と低画質領域に含まれる部分とが併存する場合を例示している。
【０１０３】
処理プロセス決定部５３は、画像＃４に対する補正処理として、クリッピング２１８、解像度変換２１３、位置補正２１４及び歪補正２１５を行うことを決定し、さらに、クリッピング２１８及び解像度変換２１３については符号化領域上で実行し、位置補正２１４及び歪補正２１５については画素領域で実行することを決定したとする。この場合、画像＃４については図２１に示されるような処理プロセスが作成される。
【０１０４】
また、処理プロセス決定部５３は、画像＃５に対する補正処理として、クリッピング２１８、解像度変換２１３、位置補正２１４及び歪補正２１５を行うことを決定したとし、さらに、画像＃５のうちの高画質領域に含まれる部分については、クリッピング２１８及び解像度変換２１３を符号化領域上で実行し、位置補正２１４及び歪補正２１５を画素領域で実行することを決定し、画像＃５のうちの高画質領域に含まれない部分については、クリッピング２１８、解像度変換２１３、位置補正２１４及び歪補正２１５の全ての補正処理を符号化領域上で実行することを決定したとする。この場合、画像＃５については、図２１に示されるように、画像＃５のうちの高画質領域について適用される処理プロセスと、低画質領域について適用される処理プロセスと、の２つのパスが設定されることになる。
【０１０５】
図２１に示すように、本実施の形態４のパノラマ画像生成装置５においては、画像＃５に対する処理プロセスを切り替えるためのスイッチ２６，２７が設けられる。画像＃５に対して処理を行う場合、処理対象となるデータが高画質領域に含まれるときにはスイッチ２６，２７がそれぞれ上段側接点２８ａ，２９ａに接続され、高画質領域に含まれる画像成分に対しては、位置補正２１４及び歪補正２１５は画素領域で行われることになる。また、処理対象となるデータが高画質領域に含まれないときにはスイッチ２６，２７がそれぞれ下段側接点２８ｂ，２９ｂに接続され、高画質領域に含まれない画像成分に対しては、全ての補正処理が符号化領域で行われることになる。このように、図２１では、画像＃５に対する処理プロセスのうち、上段側の処理プロセスが高画質の領域に対する処理のパスであり、下段側が低画質な領域に対するパスとなっている。そして高画質が要求されない領域では全ての補正処理を符号化領域で行っているのに対し、高画質が要求される領域に対しては、位置補正２１４と歪補正２１５とを画素領域で行っている。
【０１０６】
このように本実施の形態４においては、低画質な領域に対して補正処理の精度を落とすことによって補正処理にかかる演算量を低減するように構成されている。
【０１０７】
なお、本実施の形態４においては、高画質指定する領域は形状や大きさにおいて特に制限を受けるものではなく、画素単位で指定しても良いし、ブロックやマクロブロック、カメラ毎に指定するなどしても良い。また、指定できる画質も高画質か低画質かの２段階だけではなく、何段階かの複数レベルがあっても良い。さらに画質指定する領域も一ヶ所だけではなく、同時に複数箇所あっても構わない。
【０１０８】
以上のように、本実施の形態４においては、上記のような虫眼鏡型のパノラマ画像を作成することによって、低画質な領域に対する補正処理の精度を落とすことで補正処理にかかる演算量を削減できるといった効果がある。例えば、パノラマ画像のなかに高画質領域と低画質領域とが設定される場合、低画質領域に対する補正処理は符号化領域で行われるように決定され、高画質領域に対する補正処理は画素領域で行われるように決定される。これにより、低画質領域に対しては、高画質領域に対して適用される補正処理よりも、符号化領域で実行される補正処理の数が多くなり、演算量を削減することができる。さらにパノラマ画像を表示する場合においても、指定される高画質領域を他の領域よりも際立たせた状態で表示できるといった視覚的効果が得られる。
【０１０９】
実施の形態５．
実施の形態５は、図１に示す映像表示システムにおいて、対話的なパノラマ画像の生成を応答性良く行うものである。これは実施の形態１〜４においてＧＵＩアプリケーション４０上でユーザがマウス操作やキー入力により、パノラマ画像生成領域や高画質表示領域を移動、変更させる指示を与えた場合に、その変化へリアルタイムに追従し、ユーザ（観察者）を待たせることなく指定されたパノラマ画像を迅速に提供するものである。このようにパノラマ画像作成指示から作成、表示までを短時間で行えるようにすることによってユーザはストレスなくカメラを切り替えて領域を観察できるようになり、固定焦点カメラが設置されている場合であっても仮想的なパン／チルト操作およびズーム操作を体感できる。実施の形態１〜４でもこのような機能の提供は可能であるが、仮に処理プロセスの決定や、画像配信前のネットワーク関連のネゴシエーションのような補正処理の前処理に時間が掛かってしまうと、いくら補正処理を高速化しても滑らかにパノラマ画像の作成領域を切り換えることができない。しかしながら、パン／チルト操作やズーム操作においてはパノラマ画像作成領域やズーム値は連続的に変化するので、ある程度は事前に次の要求領域を予測することができる。本実施の形態５では事前に次に要求され得る領域を予測することで、先行して次の処理プロセス候補を算出しておいたり、画像配信のネゴシエーションを行っておいたりすることで上記のような問題を改善するものである。
【０１１０】
図２２は、本実施の形態５におけるパノラマ画像生成装置５の構成を示す図である。なお、図２２では、図１１に示したものと同様の構成部材については同一符号を付しており、ここではそれらの説明を省略する。
【０１１１】
図２２において、要求予測部５７は過去のＧＵＩアプリケーション４０からの要求に基づいて次のパノラマ画像作成領域を予測する。例えば、複数のカメラ１によって撮影される撮影範囲内において、パノラマ画像作成領域を右方向に移動させる操作が行われた場合には、次回も右方向に移動させる操作が継続されるものと仮定して、パノラマ画像作成領域を予測する。また、複数のカメラ１によって撮影される撮影範囲内において、パノラマ画像作成領域を小さくするズーミング操作が行われた場合には、次回もズーミング操作が継続されるものと仮定して、さらに小さな領域のパノラマ画像作成領域を予測する。このように、要求予測部５７は、ＧＵＩアプリケーション４０を介して入力するパノラマ画像作成領域の変更指示が連続的に行われるものと仮定して次回のパノラマ画像作成領域を予測する。
【０１１２】
処理プロセス決定部５３は、複数のカメラ１のうちから、上記のようにして予測されたパノラマ画像作成領域のパノラマ画像生成に必要なカメラ１を選択し、処理プロセスを仮作成しておく。このとき、必要に応じて画像データ受信部５５は、次回のパノラマ画像作成のために選択されたカメラ１に対し、画像配信の際の符号化方式や解像度設定等のネゴシエーションを予め確立しておいてもよい。さらに、ネットワーク帯域等に余裕があれば、選択されたカメラ１からの画像受信も先行して行っておいてもよい。また、パノラマ画像生成装置５の演算器資源に余裕があれば仮作成された処理プロセスに基づく補正処理を予め事前に行っておいても構わない。
【０１１３】
以上のような先行処理を行っておき、その後のユーザ操作によってパノラマ画像作成領域が変更された場合に、上記の予測が的中していれば、既に準備した処理プロセスや、選択されたカメラ１とのネゴシエーション結果へ切り替えてパノラマ画像作成処理を開始する。このとき、事前に準備処理が完了しているので、ユーザ操作に基づくパノラマ画像の更新を迅速に行うことができる。
【０１１４】
一方、上記の予測が外れた場合には、他の実施の形態と同様に、処理プロセス決定部５３において再度プロセス決定からの処理が行われることになる。
【０１１５】
本実施の形態５においては、上記のように先行して次に要求されるであろうパノラマ画像作成領域を予測し、処理プロセスの形成や、選択されたカメラ１とのネゴシエーション等を予め行っておくことにより、パノラマ画像作成領域が変更されたとしても、迅速にあらたなパノラマ画像を出力することができ、応答性の高いパノラマ画像の更新が可能である。すなわち、本実施の形態５のパノラマ画像生成装置５では、要求予測部５７がパノラマ画像作成領域の変更操作を入力した場合に、該変更操作から次回の変更操作を予測して次回のパノラマ画像作成領域を予測するように構成され、処理プロセス決定部５３が、その予測結果に基づいて、予め補正処理の実行形態を決定しておくので、パノラマ画像作成領域が変更されたとしても、その変更に対して迅速に対処できるのである。
【０１１６】
変形例．
以上、本発明の実施の形態について説明したが、本発明は上述した内容に限定されるものではない。すなわち、本発明は上述した内容のものに種々の変形例が適用されたものであっても構わない。
【０１１７】
例えば、上記実施の形態１〜４においては画像データ分離部２０においてカメラ毎に画像が分離され、処理プロセスが形成され、並列処理がなされる旨を説明したが、このような処理プロセスはカメラ毎ではなく、マクロブロックやブロック、画素、あるいは特定領域毎であっても良い。一例を示すと、複数の画像を結合する結合部周辺では歪やずれが目立ちやすいので、結合部付近では精度良く補正しないと画質劣化が目立つことになる。そのため結合部付近では画素領域で補正し、その他の領域においては符号化領域で補正するといった手法を適用してもよい。この場合、画像データ分離部２０が入力画像を結合部付近の画像データと、それ以外の領域の画像データとに分離し、それ以降の処理プロセスを結合部付近とその他の領域とで分けることになる。
【０１１８】
また、上記実施の形態１〜４において、表１〜３を用いて実施する補正処理とその処理領域を説明したが、本発明においてはこれらの決め方はここに述べたものに限定されるわけではなく、その他の方式を用いてもよい。
【０１１９】
また、上記実施の形態１〜４においては画像は静止画だけではなく動画も対象であり、その符号化方式についてもＪＰＥＧやＭＰＥＧに限られたものではない。また、上記実施の形態１〜４においては複数の補正処理を逐次的に処理すると説明したが、これらを一つにまとめて実施しても何ら構わない。
【０１２０】
【発明の効果】
以上説明したように、本発明にかかるパノラマ画像生成装置によれば、パノラマ画像を生成するための画像の補正処理を、符号化領域及び画素領域のいずれにおいて実行させるかを決定し、その決定された実行形態に基づいて補正処理が実行されるため、パノラマ画像生成に要する演算量の最適化を図ることができ、パノラマ画像生成に必要以上の時間がかかることを防止できる。
【図面の簡単な説明】
【図１】映像表示システムの一例を示すシステム構成図である。
【図２】カメラの配置例の一例を示す図である。
【図３】カメラの配置例の他の例を示す図である。
【図４】カメラの配置例の他の例を示す図である。
【図５】パノラマ画像生成装置における内部機能の一構成例を示すブロック図である。
【図６】補正処理部において行われる様々な画像補正処理を示す図である。
【図７】２つの画像からパノラマ画像を生成する処理ブロック図の一例である。
【図８】パノラマ画像生成装置における処理ブロックのプロセス構成例を示す図である。
【図９】処理時間を重視した場合の処理プロセス決定シーケンスを示すフローチャートである。
【図１０】画質を重視した場合の処理プロセス決定シーケンスを示すフローチャートである。
【図１１】パノラマ画像生成装置における処理ブロックの一般的プロセス構成例を示す図である。
【図１２】パノラマ画像生成装置における内部機能の他の構成例を示すブロック図である。
【図１３】パノラマ画像生成装置での処理ブロックの他のプロセス構成例を示す図である。
【図１４】再符号化処理部の一構成例を示す図である。
【図１５】一部の画像に対する全ての補正処理を符号化領域のうちの直交変換領域で行う場合のプロセス構成例を示す図である。
【図１６】マクロブロックのブロック構成例を示す図である。
【図１７】マクロブロックの並びを示す図である。
【図１８】水平方向に２枚の画像を結合させる場合の結合例を示す図である。
【図１９】全ての補正処理を符号化領域で行う場合のプロセス構成例を示す図である。
【図２０】虫眼鏡型のパノラマ画像の一例を示す図である。
【図２１】一方の画像において高画質領域と低画質領域との双方を含む場合の処理プロセスの構成例を示す図である。
【図２２】パノラマ画像生成装置の他のプロセス構成例を示す図である。
【符号の説明】
１カメラ、３ネットワークカメラ、４ネットワーク、５パノラマ画像生成装置、２０画像データ分離部、２１補正処理部（補正手段）、２２復号処理部、２３画像データ結合部（結合手段）、２４再符号化処理部、５１要求受付部（指示入力手段）、５２記憶部、５３処理プロセス決定部（決定手段）、５４画像処理部、５５データ受信部（入力手段）、５６データ出力部（出力手段）、５７要求予測部（予測手段）。

Claims

隣接する撮影範囲を撮影して得られる複数の画像を符号化された状態で入力する入力手段と、
前記複数の画像のそれぞれに対して補正処理を行う補正手段と、
前記補正処理を、画像が画素毎の画素値として表現される画素領域に復号化されるまでの符号化領域において実行させるか、又は、画像が画素毎の画素値に復号化された画素領域において実行させるかを決定する決定手段と、
前記決定手段において決定された実行形態に基づき、前記補正手段において画像の補正を行い、前記複数の画像のうちの他の画像から得られる画像と結合させることによってパノラマ画像を生成する結合手段と、
を備えるパノラマ画像生成装置。
前記結合手段は、前記補正手段において前記補正処理の少なくとも一部が前記符号化領域で実行されて得られる画像を、前記複数の画像のうちの他の画像から得られる画像と結合させることによってパノラマ画像を生成することを特徴とするパノラマ画像生成装置。
前記補正処理と演算量とが対応づけられた情報を記憶する記憶手段をさらに備え、
前記決定手段が、前記情報に基づいて前記補正処理に要する時間が所定時間内となるように、前記補正処理を前記符号化領域及び前記画素領域のいずれで実行させるかを決定することを特徴とする請求項１又は２に記載のパノラマ画像生成装置。
前記補正処理と、前記パノラマ画像の画質とが対応づけられた情報を記憶する記憶手段をさらに備え、
前記決定手段が、前記情報に基づいて前記パノラマ画像が所定画質以上となるように、前記補正処理を前記符号化領域及び前記画素領域のいずれで実行させるかを決定することを特徴とする請求項１又は２に記載のパノラマ画像生成装置。
前記パノラマ画像を生成するために、前記複数の画像のうちの結合対象となる画像を縮小させる場合、前記決定手段は、縮尺率が所定値よりも高い場合に、前記補正処理を前記符号化領域で実行させるように決定することを特徴とする請求項１又は２に記載のパノラマ画像生成装置。
前記パノラマ画像のなかに高画質領域と低画質領域とが設定される場合、前記決定手段は、前記低画質領域に対する前記補正処理を前記符号化領域で実行させるように決定し、前記高画質領域に対する前記補正処理を前記画素領域で実行させるように決定することを特徴とする請求項１又は２に記載のパノラマ画像生成装置。
前記複数の画像のうちから、前記パノラマ画像を生成するためのパノラマ画像作成領域の変更操作に基づく指示を入力する指示入力手段と、
前記入力手段から前記パノラマ画像作成領域の変更操作を入力した場合、該変更操作から次回の変更操作を予測して次回のパノラマ画像作成領域を予測する予測手段と、をさらに備え、
前記決定手段は、前記予測手段の予測結果に基づいて、予め前記補正処理の実行形態を決定しておくことを特徴とする請求項１乃至５のいずれかに記載のパノラマ画像生成装置。