JP2019049824A

JP2019049824A - 画像処理装置、プログラムおよび方法

Info

Publication number: JP2019049824A
Application number: JP2017173220A
Authority: JP
Inventors: 結子福井; Yuiko Fukui
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-08
Filing date: 2017-09-08
Publication date: 2019-03-28
Anticipated expiration: 2037-09-08
Also published as: US20190080477A1; EP3454548B1; US10861188B2; KR102278200B1; CN109474792A; KR20190028305A; CN109474792B; EP3454548A1; JP6956574B2

Abstract

【課題】重複欠損領域により適切に対処可能な画像処理技術を提供する。【解決手段】画像処理装置は、所定の領域に向けられた複数の第１撮像手段からの複数の画像を合成して得られる合成画像を取得する第１取得手段と、所定の領域に向けられた第２撮像手段からの基準画像を取得する第２取得手段と、合成画像と基準画像とを比較する比較手段と、比較手段による比較結果を出力する出力手段と、を備える。【選択図】図１

Description

本発明は、画像処理装置、プログラムおよび方法に関する。

従来、合成画像を生成可能な撮像部と、広域撮影が可能な撮像部と、を備えた撮像装置がある。複数の撮影手段から合成画像を生成し、合成画像で認識できない詳細を広域撮影が可能な撮像部からの画像で確認することで、広域監視を実現できる。

しかしながら、複数の撮影手段の配置構成により、二重像が生じる領域と欠損が生じる領域とが、合成のつなぎ目部分に発生する。被写体の位置によっては、被写体に重複、欠損が生じ、被写体を正しく撮影できない場合も生じうる。以降、二重像が生じる領域と欠損が生じる領域とを、合わせて重複欠損領域と総称する。

上述の課題に対し、別の撮像装置で重複や欠損を補う方法がある。例えば特許文献１には、多数のカメラで構成される監視システムの欠損領域を検出し、欠損領域を防止するよう移動可能カメラに移動指示を出す方法が開示されている。

特開２０１５−２０４５１２号公報

しかしながら、特許文献１に開示された技術では、移動カメラの数が欠損領域の数よりも少ない場合、全ての欠損領域を常時撮影することはできない。また、特許文献１に開示された技術では、欠損領域の検出はできるが、欠損領域の位置を把握することはできない。

本発明はこうした課題に鑑みてなされたものであり、その目的は、重複欠損領域により適切に対処可能な画像処理技術の提供にある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、所定の領域に向けられた複数の第１撮像手段からの複数の画像を合成して得られる合成画像を取得する第１取得手段と、前記所定の領域に向けられた第２撮像手段からの基準画像を取得する第２取得手段と、前記合成画像と前記基準画像とを比較する比較手段と、前記比較手段による比較結果を出力する出力手段と、を備える。

本発明の別の態様は、方法である。この方法は、複数の第１撮像手段と第２撮像手段とを備える撮像装置を設置することと、前記複数の第１撮像手段からの複数の画像を合成して得られる合成画像と前記第２撮像手段からの基準画像との差分を表す表示と合わせて表示手段に表示される前記基準画像上で、関心対象が前記差分から外れるように前記表示を移動させることと、移動量に応じて前記撮像装置の姿勢を調整することと、を含む。

本発明によれば、重複欠損領域により適切に対処可能な画像処理技術を提供できる。

実施の形態に係るネットワークカメラシステムの模式図。図１の監視カメラユニットの機能および構成を示すブロック図。図３（ａ）は、各固定カメラの画角と被写体との位置関係を示す模式図。図３（ｂ）は、監視カメラユニットで撮像する被写体の模式図。図３（ｃ）は、多眼カメラで撮像領域を撮像した場合の多眼パノラマ画像を示す図。図４（ａ）は、多眼カメラで撮像領域を撮像した場合の多眼パノラマ画像を示す図。図４（ｂ）は、ＰＴＺカメラで同じ撮像領域を撮像した場合のＰＴＺパノラマ画像を示す図。図４（ｃ）は、重複部分および欠損部分の判定方法を示す説明図。図４（ｄ）は、重複部分および欠損部分の判定を行う順番を示す模式図。図４（ｅ）は、重複部分および欠損部分の生成方法を示す説明図。図２の比較部における一連の処理の流れを示すフローチャート。図６（ａ）、（ｂ）は、ディスプレイに表示された重複表示、欠損表示を伴うＰＴＺパノラマ画像を示す図。図７（ａ）は、移動前の欠損表示と移動後の欠損表示とを示す図。図７（ｂ）は、移動後の欠損表示を伴うＰＴＺパノラマ画像を示す図。図２の回転量算出部における一連の処理の流れを示すフローチャート。図９（ａ）は、ディスプレイに表示された重複表示を伴う多眼パノラマ画像を示す図。図９（ｂ）は、ディスプレイに表示された欠損表示を伴う補完多眼画像を示す図。図１の監視カメラユニットにおける一連の処理の流れを示すフローチャート。設置者が監視カメラユニットの姿勢を調整する際の手順を示すフローチャート。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、複数配置された固定カメラと広範囲の画像を生成可能なＰＴＺカメラとを備える監視カメラユニットを所望の通りに設置することを支援する画像処理装置が提供される。この画像処理装置は、複数の固定カメラからの複数の画像を合成して得られる合成画像を取得し、ＰＴＺカメラからの広範囲の画像（以下、基準画像と称す）を取得し、取得された合成画像の表示範囲と基準画像の表示範囲との差分を算出し、算出された差分を表す表示と合わせて基準画像をディスプレに表示させる。これにより、合成画像の重複領域や欠損領域を把握しやすくなり、被写体の位置と重複／欠損領域の位置とを考慮した形での、監視カメラユニットの設置位置や姿勢の調整を容易に実現することができる。

図１は、実施の形態に係るネットワークカメラシステム１０の模式図である。ネットワークカメラシステム１０は、監視カメラユニット１０６と、ワークステーション１２１と、を備える。監視カメラユニット１０６とワークステーション１２１とはネットワーク１２０を介して接続されている。ネットワーク１２０はインターネット、イントラネット、ＬＡＮ、ＷＡＮ、ＷｉＦｉ、公衆電話網、専用線、配線またはそれらの組み合わせであってもよく、無線ネットワークであっても有線ネットワークであってもよい。ワークステーション１２１はネットワーク１２０を介して監視カメラユニット１０６を管理するための管理装置である。ワークステーション１２１は、ディスプレイ１０４（例えば、ＬＣＤや有機ＥＬパネルなどの表示手段）と、操作部９０１と、を備える。操作部９０１はユーザの操作を受け付ける。操作部９０１は例えばキーボードやマウスやボタンやタッチパネルであってもよく、または公知の音声入力を受け付ける装置であってもよい。監視カメラユニットは操作部９０１に対してなされた指示をネットワーク１２０を介して受信する。なお、ディスプレイ１０４および操作部９０１のうちの少なくともひとつを監視カメラユニット１０６に設けてもよい。

監視カメラユニット１０６は多眼カメラ１０１とＰＴＺカメラ１０２とを備える。多眼カメラ１０１は複数（本実施の形態では四つ）の固定カメラ１０５を含む。多眼カメラ１０１およびＰＴＺカメラ１０２はいずれも監視カメラユニット１０６の筐体１２２に設けられている。多眼カメラ１０１に含まれる四つの固定カメラ１０５のそれぞれは筐体１２２に固定される。各固定カメラ１０５はズーム機能を有していてもよい。ＰＴＺカメラ１０２は筐体１２２に対して可動となるよう構成され、例えば公知のパン／チルト／ズーム機能を有していてもよい。

監視カメラユニット１０６が使用される際、多眼カメラ１０１およびＰＴＺカメラ１０２は実空間内の同じ領域（以下、撮像領域と称す）に向けられる。多眼カメラ１０１は四つの固定カメラ１０５で撮像領域を撮像し、得られた四つの画像を合成し、合成の結果得られる合成画像すなわち多眼パノラマ画像を出力する。ＰＴＺカメラ１０２はパン／チルト／ズーム機能を用いて撮像領域を撮像し、得られた基準画像すなわちＰＴＺパノラマ画像を出力する。

本実施の形態では、監視カメラユニット１０６を設置してその姿勢（例えば、方位角で表される角度）を調整する際、ＰＴＺパノラマ画像と多眼パノラマ画像との差分がディスプレイ１０４に表示される。設置者はその表示を参照し、撮像領域内の関心対象が差分から外れるように監視カメラユニット１０６の向きを調整することができる。

図２は、本実施の形態に係る監視カメラユニット１０６の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。

監視カメラユニット１０６はさらに処理部１２５を備える。監視カメラユニット１０６の各部材すなわち多眼カメラ１０１、ＰＴＺカメラ１０２、処理部１２５はそれぞれバス１２６に接続され、バス１２６を介して互いに通信可能に構成される。監視カメラユニット１０６は不図示のＲＯＭ、ＲＡＭ、ＨＤＤ等の揮発性または不揮発性のメモリを備えてもよい。

なお、本実施の形態では、処理部１２５、操作受付部１３１、回転量算出部９０２および多眼パノラマ補完部６０１をいずれも監視カメラユニット１０６に設ける場合について説明するが、これに限られない。例えば、処理部１２５、操作受付部１３１、回転量算出部９０２および多眼パノラマ補完部６０１のうちの少なくともひとつを、ワークステーション１２１に設けてもよい。処理部１２５がワークステーション１２１に設けられる場合は、監視カメラユニットはカメラからの画像をネットワーク１２０を介してワークステーション１２１に送信し、ワークステーション１２１から差分情報をネットワーク１２０を介して受信する。

処理部１２５は、多眼パノラマ取得部１２７と、ＰＴＺパノラマ取得部１２８と、比較部１２９と、表示制御部１３０と、操作受付部１３１と、回転量算出部９０２と、多眼パノラマ補完部６０１と、を備える。

多眼パノラマ取得部１２７は、撮像領域に向けられた四つの固定カメラ１０５からの四つの画像を合成して得られる多眼パノラマ画像を多眼カメラ１０１からバス１２６を介して取得する。

ＰＴＺパノラマ取得部１２８は、撮像領域に向けられたＰＴＺカメラ１０２からのＰＴＺパノラマ画像をＰＴＺカメラ１０２からバス１２６を介して取得する。

比較部１２９は、多眼パノラマ取得部１２７によって取得された多眼パノラマ画像とＰＴＺパノラマ取得部１２８によって取得されたＰＴＺパノラマ画像とを比較する。例えば比較部１２９は、多眼パノラマ画像とＰＴＺパノラマ画像との差分を特定する。撮像領域は、多眼カメラ１０１の死角となる死角領域および多眼カメラ１０１によって重複して撮像される重複領域を有する。比較部１２９によって特定される差分は死角領域および重複領域に対応する。

以下、図３（ａ）〜（ｃ）を参照して、多眼パノラマ画像とＰＴＺパノラマ画像との違いを説明する。図３（ａ）は、各固定カメラ１０５ａ〜１０５ｄの画角と被写体２０１ａ〜２０１ｄとの位置関係を示す模式図である。図３（ａ）は監視カメラユニット１０６を上から見た図に対応する。各固定カメラ１０５ａ〜１０５ｄの画角に入る個別撮像領域は全体の撮像領域２１０の一部である。なお、本実施の形態では、説明をより分かりやすくするために、奥行き等は無視する。また、本実施の形態では四枚の画像を合成しているが、合成枚数はこれに限られず、例えば固定カメラの数に応じて決定されてもよい。

多眼カメラ１０１の四つの固定カメラ１０５は周方向に離間して配置される。したがって、ある固定カメラ１０５ｂの個別撮像領域２０５ｂとその隣の固定カメラ１０５ｃの個別撮像領域２０５ｃとの間には、監視カメラユニット１０６に近いところで死角領域２０４が、遠いところで重複領域２０３が、生じる。死角領域２０４および重複領域２０３は隣接する個別撮像領域２０５ｂ、２０５ｃ間の境界２０２に沿って存在する。

図３（ｂ）は、監視カメラユニット１０６で撮像する被写体２０１ａ〜２０１ｄの模式図である。図３（ｂ）では一例として被写体２０１ａ〜２０１ｄを車としている。また、被写体２０１ａ〜２０１ｄは隣接する個別撮像領域２０５ｂ、２０５ｃ間の境界２０２に沿って並んでいるとする。ＰＴＺカメラ１０２で撮像領域２１０を撮像した場合、図３（ｂ）に示される通りのＰＴＺパノラマ画像が得られる。

図３（ｃ）は、多眼カメラ１０１で撮像領域２１０を撮像した場合の多眼パノラマ画像２０７を示す図である。多眼パノラマ画像２０７は、四つの固定カメラ１０５ａ〜１０５ｄがそれぞれの個別撮像領域を撮像することで得られる四つの画像２１２ａ〜２１２ｄを合成することで得られる。この画像の合成は公知の画像合成技術を用いて実現されてもよい。図３（ｃ）では、死角領域２０４および重複領域２０３の存在により被写体２０１ａ〜２０１ｄの像２１１ａ〜２１１ｄに重複と欠損とが生じている。被写体２０１ａは重複領域２０３に位置するので、隣接する固定カメラ１０５ｂ、１０５ｃの個別撮像領域２０５ｂ、２０５ｃの両方に入る。したがって、多眼パノラマ画像２０７上では被写体２０１ａは二重に表示される（像２１１ａ）。被写体２０１ｃ、２０１ｄは死角領域２０４に位置するので、隣接する固定カメラ１０５ｂ、１０５ｃの個別撮像領域２０５ｂ、２０５ｃのいずれにも入らない部分が生じる。または、被写体２０１ｃ、２０１ｄの全体が個別撮像領域２０５ｂ、２０５ｃのいずれにも入らない。したがって、多眼パノラマ画像２０７上では被写体２０１ｃ、２０１ｄは一部しか表示されない（像２１１ｃ、像２１１ｄ）か、その全体が表示されない。

図２に戻り、比較部１２９は、基準となるＰＴＺパノラマ画像のうち、同じ撮像領域２１０を写した多眼パノラマ画像２０７には含まれない部分（以下、欠損部分と称す）および二重に写る部分（以下、重複部分と称す）を特定する。上述の通り、欠損部分は死角領域２０４に、重複部分は重複領域２０３に、それぞれ対応する。

比較部１２９は、小領域抽出部１０７と、画素値比較部１０８と、保持部１０９と、差分領域算出部１１０と、を含む。小領域抽出部１０７は、多眼パノラマ取得部１２７によって取得された多眼パノラマ画像２０７から小領域を抽出する。小領域抽出部１０７は、ＰＴＺパノラマ取得部１２８によって取得されたＰＴＺパノラマ画像から、位置的に対応する小領域を抽出する。画素値比較部１０８は、抽出された二つの小領域の画素値を比較する。保持部１０９は比較結果を保持する。多眼パノラマ画像の全体について上記の小領域比較を繰り返した後、差分領域算出部１１０は重複部分および欠損部分の算出を行う。

以下、図４（ａ）〜（ｅ）を参照して、重複部分および欠損部分の算出方法を説明する。図４（ａ）は、多眼カメラ１０１で撮像領域２１０を撮像した場合の多眼パノラマ画像２０７を示す図である。図４（ａ）は図３（ｃ）に対応する。図４（ｂ）は、ＰＴＺカメラ１０２で同じ撮像領域２１０を撮像した場合のＰＴＺパノラマ画像３０１を示す図である。図４（ｃ）は、重複部分および欠損部分の判定方法を示す説明図である。図４（ｄ）は、重複部分および欠損部分の判定を行う順番を示す模式図である。図４（ｅ）は、重複部分および欠損部分の生成方法を示す説明図である。

比較部１２９は、所定の小領域４０１ごとに多眼パノラマ画像２０７とＰＴＺパノラマ画像３０１との比較を行う。比較部１２９は、小領域４０１の画素値の差分がしきい値以上の場合は重複または欠損が生じていると、しきい値を下回る場合は重複も欠損も生じていないと判定する。例えば図４（ｃ）に示されるように、比較部１２９は、小領域４０１−１について画素値の比較を行うと、画素値の差分がしきい値を下回るため、重複も欠損もないと判定する。また、比較部１２９は、小領域４０１−Ｎ１について比較を行うと、画素値の差分がしきい値以上となるため、重複または欠損があると判定する。なお、画素値の差分は、小領域に含まれる画素の画素値の平均の差であってもよいし、小領域における画素値が一致する（または一致しない）画素の数または割合であってもよい。

重複／欠損の判定は、図４（ｄ）に示されるように小領域４０１を移動することで順番に行われる。小領域４０１の初期位置を各画像の左下とし（初期位置にある小領域を小領域４０１−１と表す）、小領域４０１−１についての比較が終わると比較処理はその右隣の小領域４０１−２に移動する。そして右端の小領域４０１−Ｎ２に到達した後、比較処理はその上の小領域４０１−Ｎ３に移動し、その後は左向きに移動し同様の処理が続く。左上の小領域４０１−Ｎ４もしくは右上の小領域４０１−Ｎ５に到達すると、比較部１２９は判定処理を終了する。全ての判定処理が終了したら、差分領域算出部１１０は、図４（ｅ）に示されるように判定結果を合わせることで重複部分および欠損部分を算出する。図４（ｅ）の例では、差分領域算出部１１０は、ＰＴＺパノラマ画像３０１上で欠損部分４０２を算出している。

図５は、比較部１２９における一連の処理の流れを示すフローチャートである。まず、ステップＳ５０５で比較部１２９は、多眼パノラマ画像２０７の小領域４０１とＰＴＺパノラマ画像３０１の小領域４０１とを抽出して比較する。ステップＳ５０６で比較部１２９は、画素値の差分としきい値との大小関係を判定する。差分がしきい値以上の場合は、ステップＳ５０７で比較部１２９は該小領域４０１に重複欠損があると判定し、該小領域４０１の位置と判定結果とを対応付けて保持部１０９に格納する。判定結果は例えば重複欠損の有無を示すフラグで表現されてもよい。差分がしきい値を下回る場合は、ステップＳ５０８で比較部１２９は該小領域４０１に重複欠損はないと判定し、該小領域４０１の位置と判定結果とを対応付けて保持部１０９に格納する。そして、ステップＳ５０９で比較部１２９は未処理の小領域４０１がないか判定する。未処理の小領域４０１がある場合は、ステップＳ５１１で比較部１２９は次の小領域４０１に移動し、処理はステップＳ５０５に戻る。ステップＳ５０９で未処理の小領域４０１がないと判定された場合は、ステップＳ５１０で比較部１２９は各小領域４０１についての判定結果を保持部１０９から読み出し、重複部分および欠損部分を算出する。

図２に戻り、表示制御部１３０は比較部１２９による比較結果を出力する出力手段として機能する。表示制御部１３０は、比較部１２９によって特定された差分を表す差分表示（difference indicator）と合わせてＰＴＺパノラマ画像３０１を、ネットワーク１２０を介してディスプレイ１０４に表示させる。差分表示は、差分領域算出部１１０によって算出された欠損部分４０２を示す欠損表示（absence indicator）と、差分領域算出部１１０によって算出された重複部分を示す重複表示（overlap indicator）と、を含む。

図６（ａ）は、ディスプレイ１０４に表示された重複表示５１０を伴うＰＴＺパノラマ画像３０１を示す図である。図６（ｂ）は、ディスプレイ１０４に表示された欠損表示５１１を伴うＰＴＺパノラマ画像３０１を示す図である。ＰＴＺパノラマ画像３０１は多眼パノラマ画像２０７と異なり、重複も欠損もなく被写体２０１を表示できる。そのため、ＰＴＺパノラマ画像３０１に重複表示５１０や欠損表示５１１を重ね合わせることで、被写体２０１と重複領域２０３や死角領域２０４との位置関係を認識することができる。

図２に戻り、操作受付部１３１は、ユーザにより操作部９０１に対してなされた重複表示５１０または欠損表示５１１を動かすための指示を、操作部９０１からネットワーク１２０を介して受け付ける。表示制御部１３０は、ディスプレイ１０４に表示されているＰＴＺパノラマ画像３０１上（基準画像上）で、受け付けられた指示に応じて重複表示５１０または欠損表示５１１を動かす。ユーザは、表示された重複表示５１０または欠損表示５１１を、操作部９０１を用いてＰＴＺパノラマ画像３０１上で移動させることができる。回転量算出部９０２は、重複表示５１０または欠損表示５１１の移動に伴う筐体１２２の動き量を算出する。動き量は例えば、実際に重複領域２０３または死角領域２０４を移動させるために必要な、筐体１２２の回転角度である。

以下、図７（ａ）、（ｂ）を参照して、欠損表示５１１の移動について説明する。一例として、欠損表示５１１を表示したＰＴＺパノラマ画像３０１上で、欠損表示５１１を矢印７１０の向き（左向き）に移動させる場合を考える。図７（ａ）は、移動前の欠損表示５１１と移動後の欠損表示７１１とを示す図である。図７（ａ）において、移動前の欠損表示５１１は実線の輪郭を有し、移動後の欠損表示７１１は破線の輪郭を有するが、実際の表示形態はこれに限られない。

図７（ｂ）は、移動後の欠損表示７１１を伴うＰＴＺパノラマ画像３０１を示す図である。欠損表示はＰＴＺパノラマ画像３０１上で移動するが、この時点では対応する死角領域２０４の位置はまだ移動していない。図７（ｂ）は監視カメラユニット１０６を回転させることについてのシミュレーションの結果を示している。そのため、表示制御部１３０は移動後の欠損表示７１１を移動前の欠損表示５１１とは異なる態様で表示してもよい。例えば、図７（ｂ）の例では、移動後の欠損表示７１１は破線の輪郭を有するように表示されている。

ディスプレイ１０４に表示されているＰＴＺパノラマ画像３０１上で、ユーザからの指示に応じて欠損表示５１１が動かされると、動かされる前に欠損表示５１１により隠されていたＰＴＺパノラマ画像３０１の部分が現れる。例えば、図７（ａ）の状態では、監視カメラユニット１０６に最も近い被写体２０１ｄの像７１２ｄの窓の部分は欠損表示５１１により隠されている。欠損表示５１１を動かした後の図７（ｂ）の状態では、その窓の部分が現れている。このように、欠損表示の移動に合わせてその下に隠れていた像が現れるので、ユーザは欠損表示をどの程度またはどのように動かしたら自分の関心対象が現れるようになるのかより容易に知ることができる。

以下、図７（ａ）を参照して、回転量算出部９０２における回転角度の算出方法について説明する。一例として、欠損表示５１１を図７（ａ）に示されるように移動させる場合を考える。図７（ａ）では、ＰＴＺパノラマ画像３０１に座標を割り当て、左下を（０，０）、右下を（ａ、０）、左上を（０、ｂ）、右上を（ａ、ｂ）、移動前の欠損表示５１１の頂点を（ｘ１、ｙ１）、移動後の欠損表示７１１の頂点を（ｘ２、ｙ１）としている。なお、座標は重複部分および欠損部分の算出時に使用した小領域４０１と対応させて割り当てている。図７（ａ）の横方向をｘ方向、縦方向をｙ方向とする。ｘ方向の移動量に対する監視カメラユニット１０６（またはその筐体１２２）の回転角度は、以下に示す式（１）で算出される。ここで、αはＰＴＺパノラマ画像３０１に対応する角度範囲である。例えば、全方位のＰＴＺパノラマ画像３０１を生成する場合は、α＝３６０度である。
移動に対する回転角度＝（ｘ２−ｘ１）×（α÷ａ） …（１）

図８は、回転量算出部９０２における一連の処理の流れを示すフローチャートである。まず、ステップＳ８０１で回転量算出部９０２はＰＴＺパノラマ画像３０１に対応する角度範囲（α）を取得する。例えば、全方位のＰＴＺパノラマ画像３０１を生成している場合は、角度範囲は０度から３６０度である。次に、ステップＳ８０２で回転量算出部９０２はＰＴＺパノラマ画像３０１の端の座標（ａ、ｂ）と、移動前の欠損表示５１１の頂点の座標（ｘ１、ｙ１）を取得する。座標取得後、ステップＳ８０３でユーザは操作部９０１を用いて欠損表示を移動させる。ステップｓ８０４で回転量算出部９０２は移動後の欠損表示７１１の頂点の座標（ｘ２、ｙ１）を算出する。ステップＳ８０５で回転量算出部９０２は式（１）を用いて、欠損表示の移動に必要な回転角度を算出する。ステップＳ８０６で回転量算出部９０２は、算出された回転角度をユーザに通知する。通知は例えば表示制御部１３０を介して回転角度をディスプレイ１０４に表示させることでなされてもよいし、回転角度を表す音声を合成して出力することでなされてもよい。

図２に戻り、多眼パノラマ補完部６０１は、比較部１２９による比較結果に基づいて多眼パノラマ画像２０７を補完する。多眼パノラマ補完部６０１は、比較部１２９で算出された欠損部分４０２に合わせて多眼パノラマ画像２０７を補完する。多眼パノラマ画像２０７はＰＴＺパノラマ画像３０１と異なり欠損があるため、欠損部分４０２を補うよう多眼パノラマ画像２０７を調整することで、違和感を軽減することができる。表示制御部１３０は、多眼パノラマ補完部６０１によって補完された多眼パノラマ画像をディスプレイ１０４に表示させる。

図９（ａ）は、ディスプレイ１０４に表示された重複表示９１１を伴う多眼パノラマ画像２０７を示す図である。重複表示９１１は、差分領域算出部１１０によって算出された重複部分を示す。図９（ｂ）は、ディスプレイ１０４に表示された欠損表示９１２を伴う補完多眼画像９１０を示す図である。欠損表示９１２は、差分領域算出部１１０によって算出された欠損部分４０２を示す。多眼パノラマ補完部６０１は、多眼パノラマ画像２０７に欠損表示９１２を挿入することで補完多眼画像９１０を生成する。

以上の構成による監視カメラユニット１０６の動作を説明する。
図１０は、監視カメラユニット１０６における一連の処理の流れを示すフローチャートである。まず、ステップＳ１７１で監視カメラユニット１０６は多眼カメラ１０１を用いて多眼パノラマ画像２０７を生成する。ステップＳ１７２で監視カメラユニット１０６はＰＴＺカメラ１０２のパン／チルト／ズーム機能を用いて、例えばＰＴＺカメラ１０２を回転させることで、広域をスキャンし、ＰＴＺパノラマ画像３０１を生成する。ステップＳ１７３で監視カメラユニット１０６は多眼パノラマ画像２０７とＰＴＺパノラマ画像３０１とを比較し、重複部分および欠損部分を算出する。算出後、ステップＳ１７４で監視カメラユニット１０６は、算出した重複部分、欠損部分に対応する重複表示、欠損表示をＰＴＺパノラマ画像３０１に重畳させてディスプレイ１０４に表示させる。ステップＳ１７５で監視カメラユニット１０６は、算出された欠損部分に基づいて多眼パノラマ画像２０７を補完する。ステップＳ１７６で監視カメラユニット１０６は補完後の多眼パノラマ画像（補完多眼画像）をディスプレイ１０４に表示させる。

図１１は、設置者が監視カメラユニット１０６の姿勢を調整する際の手順を示すフローチャートである。ステップＳ１８０で設置者は、監視カメラユニット１０６を所望の位置に設置する。ステップＳ１８１で設置者は、ワークステーション１２１のディスプレイ１０４で、撮像領域２１０に含まれる関心対象の写り方を確認する。ステップＳ１８２で設置者は、関心対象が差分表示（例えば、重複表示や欠損表示）に隠されているか否かを判定する。隠されていない場合、設置は完了する。隠されている場合、ステップＳ１８３で設置者は、ディスプレイ１０４に表示されるＰＴＺパノラマ画像３０１上で、関心対象が現れるよう差分表示を移動させる。例えば、設置者は操作部９０１を操作することで、関心対象が差分表示から外れるように差分表示を移動させる。ステップＳ１８４で設置者は、監視カメラユニット１０６またはワークステーション１２１から、移動量に応じた回転角度の通知を受ける。ステップＳ１８５で設置者は、通知された回転角度が実現されるよう監視カメラユニット１０６全体を回転させる。

実施の形態に係る監視カメラユニット１０６によると、多眼パノラマ画像２０７の重複部分や欠損部分の位置を把握しやすくなるので、被写体２０１と重複領域２０３または死角領域２０４との位置関係をより容易に把握することができる。これにより、その位置関係を考慮した形での監視カメラユニット１０６の設置がより容易になる。例えば、監視カメラユニット１０６の設置段階で注視したい被写体がある場合、その被写体と重複領域２０３および死角領域２０４とがずれるように監視カメラユニット１０６を設置することができる。

以上、実施の形態に係る監視カメラユニット１０６の構成と動作について説明した。この実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施の形態では、欠損表示５１１をｘ方向に平行移動させる場合について説明したが、これに限られない。他の態様の表示の移動も可能である。例えば、欠損表示５１１をｙ方向に移動させてもよい。

実施の形態では、基準画像を生成する撮像手段としてＰＴＺカメラ１０２を用いる場合について説明したが、これに限られない。例えば魚眼レンズを備えるカメラ（魚眼カメラ）などのようにひとつの固定カメラ１０５よりも広い画角を有するカメラが用いられてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１多眼カメラ、１０２ＰＴＺカメラ、１０６監視カメラユニット、１２０ネットワーク、１２１ワークステーション。

Claims

所定の領域に向けられた複数の第１撮像手段からの複数の画像を合成して得られる合成画像を取得する第１取得手段と、
前記所定の領域に向けられた第２撮像手段からの基準画像を取得する第２取得手段と、
前記合成画像と前記基準画像とを比較する比較手段と、
前記比較手段による比較結果を出力する出力手段と、を備える画像処理装置。
前記比較手段は、前記合成画像と前記基準画像との差分を特定する請求項１に記載の画像処理装置。
前記出力手段は、前記差分を表す表示と合わせて前記基準画像を表示手段に表示させる請求項２に記載の画像処理装置。
前記差分を表す表示を動かすための指示を受け付ける受付手段をさらに備え、
前記出力手段は、前記表示手段に表示されている前記基準画像上で、前記指示に応じて前記差分を表す表示を動かす請求項３に記載の画像処理装置。
前記差分を表す表示の移動に伴う前記画像処理装置の筐体の動き量を算出する算出手段をさらに備える請求項４に記載の画像処理装置。
前記表示手段に表示されている前記基準画像上で、前記指示に応じて前記差分を表す表示が動かされると、動かされる前に前記差分を表す表示により隠されていた前記基準画像の部分が現れる請求項４または５に記載の画像処理装置。
前記比較手段による比較結果に基づいて前記合成画像を補完する補完手段をさらに備え、
前記出力手段は、補完された前記合成画像を表示手段に表示させる請求項１から６のいずれか一項に記載の画像処理装置。
前記所定の領域は、前記複数の第１撮像手段の死角となる領域および前記複数の第１撮像手段によって重複して撮像される領域のうちの少なくともひとつを有し、前記比較手段による比較結果は前記少なくともひとつの領域に対応する請求項１から７のいずれか一項に記載の画像処理装置。
前記第２撮像手段は、前記複数の第１撮像手段が設けられている筐体に設けられる請求項１から８のいずれか一項に記載の画像処理装置。
前記複数の第１撮像手段のそれぞれは前記筐体に固定され、前記第２撮像手段は前記筐体に対して可動となるよう構成される請求項９に記載の画像処理装置。
コンピュータを請求項１から１０のいずれか一項に記載の装置の各手段として機能させるためのプログラム。
複数の第１撮像手段と第２撮像手段とを備える撮像装置を設置することと、
前記複数の第１撮像手段からの複数の画像を合成して得られる合成画像と前記第２撮像手段からの基準画像との差分を表す表示と合わせて表示手段に表示される前記基準画像上で、関心対象が前記差分から外れるように前記表示を移動させることと、
移動量に応じて前記撮像装置の姿勢を調整することと、を含む方法。