JP2021129293A - 画像処理装置、画像処理システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】 画像処理装置を提供すること。
【解決手段】 画像処理装置１０は、撮像画像の入力を受ける画像入力手段１５を含む。画像処理装置１０は、また、画像入力手段１５に入力された撮像画像に示される所定パターンの位置を検出する検出手段１６を含む。画像処理装置１０は、さらに、検出手段１６で検出された複数の所定パターンの位置に基づいて、処理対象の領域を設定する設定手段２２を含む。さらに、画像処理装置１０は、設定手段２２で設定された上記領域に対して画像処理を行う画像処理手段２３を含む。
【選択図】 図６

Description

本開示は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

従来、複数の広角レンズまたは魚眼レンズを用いて全方位を撮影する撮影装置が知られている。このような撮影装置を用いて撮影を行う際に、見せたくない箇所が写り込んでしまう場合があり、事後的に、画像処理にて、撮影した画像の該当箇所に黒塗りやぼかしをかけるマスク処理を施すことがある。しかしながら、マスク処理の適用は、全方位を撮影する撮影装置による撮影が終わってから事後的に行われるものである。全方位を撮影する撮影装置による撮影後に、画像の中から該当箇所を探してマスク処理を適用する必要があり、手間がかかり、また、マスク処理の適用漏れなどを発生させる虞も高い。

例えば、特開２０１６−１３３９０８号公報（特許文献１）は、データ量を減らす目的で、全周囲画像から切り出した切り出し範囲について平面画像を生成する画像生成装置を開示する。上記画像生成装置は、全周囲画像を取得する取得手段と、全周囲画像の不要領域を検知する検知手段と、検知手段により検知された不要領域を除外して切り出し範囲を指定する指定手段と、指定手段の領域指定に基づき切り出しを行う切り出し手段と、切り出し手段により切り出された切り出し画像を平面画像に変換する変換手段と、変換手段により変換された平面画像をＵＩに表示する表示手段とを含む。しかしながら、特許文献１は、マスク処理といった画像処理の処理対象の領域を事前指定するという観点で開示するものではなかった。

本開示は、上記点に鑑みてなされたものであり、ユーザが撮像画像の事前指定された処理対象の領域を認識して撮像画像に対し画像処理を適用することが可能な画像処理装置を提供することを目的とする。

本開示では、上記課題に鑑み、下記特徴を有する画像処理装置を提供する。画像処理装置は、撮像画像の入力を受ける画像入力手段と、画像入力手段に入力された撮像画像に示される所定パターンの位置を検出する検出手段と、検出手段で検出された所定パターンの位置に基づいて、処理対象の領域を設定する設定手段と、設定手段で設定された領域に対して画像処理を行う画像処理手段とを含む。

上記構成により、ユーザは撮像画像の事前指定された処理対象の領域を認識して画像に対し画像処理を適用することが可能となる。

実施形態に係る画像処理システムの一例を示す図である。 実施形態に係るマスク処理領域を設定するための構成の一例を説明するための図である。 実施形態に係るマスク処理領域を設定するための構成の別の例を説明するための図である。 実施形態に係る撮像装置のハードウエア構成の一例を示す図である。 （Ａ）は、全天球画像の生成における各画像のデータ構造および画像処理のデータフローの一例を示す概念図であり、（Ｂ）は、全天球画像のデータ構造の一例を平面で示した概念図であり、（Ｃ）は、全天球画像のデータ構造の一例を球面で示した概念図である。 実施形態に係る撮像装置の機能構成の一例を示す図である。 実施形態に係る位置情報管理テーブルの一例を示す概念図である。 本実施形態に係る全天球撮影装置上に実現される自動マスク処理に関連した機能ブロックおよび自動マスク処理の流れを説明する図である。 実施形態に係る撮像装置が実行する自動マスク処理を示すフローチャートである。 実施形態に係る、撮影者や管理者によるマスク処理領域の指定の仕方およびマスク処理が適用された画像の一例を説明する図である。 実施形態に係る、撮影者や管理者により２つのマスク処理領域が指定された場合に撮影される（Ａ）マスク適用前の全天球画像および（Ｂ）マスク適用後の全天球画像を模式的に示す。 実施形態に係る、自動マスク処理のバリエーションを説明する図である。 実施形態に係る、自動マスク処理のバリエーションを説明する図である。 実施形態に係る所定パターンの検出位置の一例を示す概略図である。 実施形態に係る、記憶部に格納される位置情報管理テーブルのデータ構造の他の例を示す図である。 実施形態の変形例に係る画像処理システムの概略の一例を説明するための図である。 実施形態の変形例に係るＰＣのハードウエア構成の一例を示す図である。 実施形態の変形例に係る画像処理システムの機能構成の一例を示す図である。 実施形態の変形例に係る画像処理システムにおける撮像装置に対するマスク処理の一例を示すシーケンス図である。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下の実施形態では、画像処理装置および画像処理システムの一例として、２つの魚眼レンズを光学系に含む撮像手段を備えるとともに、２つの魚眼レンズで自身が撮像した２つの部分画像に対し歪曲補正および射影変換を行い、画像つなぎ合わせを行って、全天球画像を生成する画像処理機能を備えた、撮像装置を用いて説明する。

●実施形態●
●システム構成
図１は、実施形態に係る画像処理システムの一例を示す図である。図１に示す画像処理システムは、撮像装置１０によって撮影空間における被写体が撮像された撮像画像に対する画像処理を行うシステムである。

撮像装置１０は、工場またはサーバールーム等の撮影空間内における被写体を撮影する。この撮影空間には、撮影対象となる被写体と秘匿対象となる対象物が存在する。撮像装置１０は、撮影空間の被写体が撮影し、撮影された撮像画像に対して秘匿対象の対象物を秘匿するためのマスク処理を行う画像処理装置である。

撮像装置１０は、撮影空間の被写体を撮影して撮像画像を取得することができるデジタルカメラである。撮像装置１０は、例えば、全天球（３６０°）パノラマ画像を得るための特殊なデジタルカメラである。なお、撮像装置１０は、一般的なデジタルカメラ（一眼レフカメラ、コンパクトデジタルカメラ等）であってもよい。本実施形態では、撮像装置１０が全天球パノラマ画像を得るためのデジタルカメラ（特殊撮像装置）として説明を行う。なお、撮像画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像とともに音声を含んでもよい。また、撮像装置１０は、固定されていてもよいし、撮影者または移動式のロボットに保持されて移動しながら撮影が行われてもよい。

●概略
ここで、図２および図３を用いて、実施形態に係る画像処理システムにおける画像処理を概略的に説明する。図２は、実施形態に係るマスク処理領域を設定するための構成の一例を説明するための図である。なお、図２は、実施形態に係る画像処理システムにおいてマスク処理領域の設定を簡略的に説明したものであり、画像処理システムが実現する機能等の詳細は、後述する図面等を用いて説明する。

図２は、ＬＥＤ装置３０Ａ〜３０Ｅを用いて、対象物Ｊを秘匿するための構成を示す。図１に示されているように、撮影空間内には、撮影者が画像中に写り込ませたくないと考えている被写体（対象物Ｊ）が存在する。例えば、撮像装置１０で撮影された撮像画像を遠隔地に送ることで、工場やサーバールームの現地の映像を遠隔で確認する用途が考えられる。特に、動画で撮影しながら撮影者が現場を歩いて撮影して回るという方法が考えられる。このとき、特定の位置にある設備（例えば、対象物Ｊ）は、機密性が高いため、秘匿対象とした場合がある。この場合、図２に示されているように、保護すべき対象物Ｊの周辺に、三次元的に複数のＬＥＤ装置３０Ａ〜３０Ｈ（以下区別する必要がないときは、ＬＥＤ装置３０と称する。）が配置される。図２に示す例では、八つのＬＥＤ装置３０Ａ〜３０Ｈが配置されている。

ＬＥＤ装置３０Ａ〜３０Ｈは、所定パターンとして色の輝点３５Ａ〜３５Ｈをそれぞれ発生される。この輝点３５Ａ〜３５Ｈは、マスク処理領域を指定するためのパターンとなる。ＬＥＤ装置３０は、所定の色の輝点を発生させる発光装置の一例であり、自動マスク処理機能を利用しようとする撮影者等が、マスク処理領域を事前指定するために配置するデバイスである。所定パターンは、種々の電子機器で採用されている赤や緑等の単色のランプと区別できるパターンであることが望ましく、光強度（点滅）パターン、輝点の色、複数の輝点の配置またはこれらの組み合わせで構成され得る。

ＬＥＤ装置３０は、撮像装置１０の視野内に配置され、所定パターンを発生させるパターン発生手段の一例である。パターン発生手段は、１または複数の輝点を発光する発光装置であればよい。発光装置は、ＬＥＤ装置３０のほか、例えば、ワイヤーやメッシュにＬＥＤ等の発光素子が取り付けられたワイヤーライトおよびメッシュライト等であってもよい。また、パターン発生手段は、図２に示されているようなスタンド型および天吊型であってもよいし、バッチ型であってもよい。

撮像装置１０は、撮像画像中の複数のＬＥＤ装置３０Ａ〜３０Ｈの発光部位に対応する輝点３５Ａ〜３５Ｈの中心位置の座標値を算出する。撮像画像が動画である場合、連続する画像間で同じ座標の画素値を比較すると、点滅しているＬＥＤ装置３０に対応する座標において、点灯している場合と消灯している場合で画素値に違いが生じる。撮像装置１０は、輝点３５の光強度（点滅）パターンのように、画素値の変化をチェックすることで、画像上における点滅しているＬＥＤ装置３０に対応する位置を検出できる。

また、撮像装置１０は、点灯したＬＥＤ装置３０が写っている画像と消灯したＬＥＤ装置３０が写っている画像の出現パターンからＬＥＤの点滅パターンを識別することができる。撮像装置１０は、特定の点滅パターンを撮像装置１０に記録しておくことで、特定の点滅パターンをパターン発生手段によって発生された所定パターンであることを検出することができる。

図３は、実施形態に係るマスク処理領域を設定するための構成の別の例を説明するための図である。図３に示す例は、領域を識別するための所定パターンを発生させるパターン発生手段として、ＬＥＤ装置３０に変えてＱＲコード（登録商標）４０Ａ〜４０Ｈ（以下、区別する必要がないときは、ＱＲコード（登録商標）４０と称する。）等の画像が印刷または表示された媒体を用いる構成である。撮像装置１０は、複数のＱＲコード（登録商標）４０Ａ〜４０Ｈのそれぞれの識別子となる特定の文字情報を登録し、ＱＲコード（登録商標）４０Ａ〜４０Ｈを読み取ることで、所定パターンを検出することができる。ＱＲコード（登録商標）４０は、印刷または表示された媒体として設置される。なお、撮像装置１０が撮影中に移動または向きの変更が行われることも想定されるため、複数の視点から認識可能なようにＱＲコード（登録商標）４０を読み取り可能な面は、複数あることが望ましい。

図３に示されている所定のパターンとしての画像は、ＱＲコード（登録商標）に限られず、一次元コード、二次元コードまたは特定の画像であってもよい。一次元コードは、いわゆるバーコードである。二次元コードは、例えば、マトリックス式およびスタック式のものがあり、ＱＲコード（登録商標）のほか、ＤａｔａＭａｔｒｉｘ（ＤａｔａＣｏｄｅ）、ＭａｘｉＣｏｄｅまたはＰＤＦ４１７等である。また、特定の画像は、所定パターンを識別可能な数字、符号、記号またはイラスト等を含む画像である。なお、所定のパターンとして画像を用いる場合、撮像装置１０による撮像画像は、動画である必要なく、静止画であってもよい。

このように、画像処理システムにおいて、撮影者または撮影される被写体の管理者（部屋の住人や撮影者による撮影を受け入れる工場等の拠点の責任者）は、上述した所定パターンが撮像画像に映り込むように、自身が隠したいと考えている被写体の周辺に、所定パターンを発生させるパターン発生手段を物理的および立体的に配置する。そして、撮像画像中のこのようなパターン発生手段で囲まれた対象物の画像領域に対して画像処理、より具体的にはマスク処理を施す。これによって、撮影者または管理者等は、撮影前に、自身が撮影対象から除外したい領域を事前に指定することができる。なお、以下の説明において、所定パターンがＬＥＤ装置３０により発生する輝点３５である例を説明するが、所定パターンは、図３に示されているような画像であってもよい。

●ハードウエア構成
次に、図４を用いて、撮像装置１０のハードウエア構成を説明する。図４は、実施形態に係る撮像装置のハードウエア構成の一例を示す図である。なお、図４に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。以下では、撮像装置１０は、二つの撮像素子を使用した全天球（全方位）撮像装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１０と同じ機能を有するようにしてもよい。

図４に示されているように、撮像装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ(Interface)１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）と、各レンズに対応させて設けられている二つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１等も接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮像装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。

入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢ(Universal Serial Bus)Ｉ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

近距離通信回路１１７は、撮像装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ(Near Field Communication)、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から撮像装置１０の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時および画像データのデータ容量の各データも含まれている。また、ジャイロセンサ１１９は、撮像装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮像装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮像装置１０）の姿勢（重力方向に対する角度）を算出する。撮像装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワークを利用したデータ通信を行うためのインターフェースである。

○全天球画像
ここで、図５を用いて、全天球画像の生成および生成される全天球画像について説明する。図５（Ａ）は、全天球画像の生成における各画像のデータ構造および画像処理のデータフローの一例を示す概念図である。まず、撮像素子１０３ａ，１０３ｂ各々で直接撮像される画像は、全天球のうちの概ね半球を視野に収めた画像である。レンズ１０２に入射した光は、所定の射影方式に従って撮像素子１０３の受光領域に結像される。ここで撮像される画像は、受光領域が平面エリアを成す二次元の撮像素子で撮像されたものであり、平面座標系で表現された画像データとなる。また、典型的には、得られる画像は、図５（Ａ）において「部分画像Ａ」および「部分画像Ｂ」で示されるように、各撮影範囲が投影されたイメージサークル全体を含む魚眼レンズ画像として構成される。

これら複数の撮像素子１０３ａ，１０３ｂで撮像された複数の部分画像が、歪み補正および合成処理されて、一つの全天球画像が構成される。歪み補正および合成処理では、平面画像として構成される各部分画像から、まず、相補的な各半球部分を含む各画像が生成される。そして、各半球部分を含む二つの画像が、重複領域のマッチングに基づいて位置合わせ（スティッチング処理）され、画像合成され、全天球全体を含む全天球画像が生成される。各半球部分の画像には他の画像との重複領域が含まれるが、画像合成においては、適宜、自然なつなぎ目となるように重複領域についてブレンディングが行われる。

図５（Ｂ）は、全天球画像のデータ構造の一例を平面で示した概念図であり、図５（Ｃ）は、全天球画像のデータ構造の一例を球面で示した概念図である。図５（Ｂ）に示すように、全天球画像の画像データは、所定の軸に対してなされる垂直角度φと、所定の軸周りの回転角に対応する水平角度θとを座標とした画素値の配列として表現される。垂直角度φは、０度〜１８０度（または−９０度〜＋９０度）の範囲となり、水平角度θは、０度〜３６０度（または−１８０度〜＋１８０度）の範囲となる。

全天球フォーマットの各座標値（θ，φ）は、図５（Ｃ）に示すように、撮影地点を中心とした全方位を表す球面上の各点と対応付けられており、全方位が全天球画像上に対応付けられる。魚眼レンズで撮影された部分画像の平面座標と、全天球画像の球面上の座標とは、所定の変換テーブルにて対応づけされる。変換テーブルは、それぞれのレンズ光学系の設計データ等に基づいて、所定の投影モデルに従い製造元等で予め作成されたデータであり、部分画像を全天球画像へ変換するデータである。

また、全天球画像に対しては、電子コンパス１１８、ジャイロセンサ１１９および加速度センサ１２０からの情報を利用して、適宜、天頂補正および回転補正のいずれかまたは両方が行われる場合がある。ここで、天頂補正とは、実際には重力方向に対し中心軸が傾いた状態で撮影された全天球画像を、あたかも中心軸が重力方向に一致した状態で撮影されたかのような全天球画像に補正する処理（Ｒｏｌｌ方向およびＰｉｔｃｈ方向の補正）をいう。回転補正とは、天頂補正により重力方向に中心軸が一致するように補正された全天球画像において、さらに、重力方向周りの基準から回転をかける処理（Ｙａｗ方向の補正）をいう。

以下の説明において、撮像装置１０が全天球画像を取得する構成を説明するが、マスク処理機能の対象は、通常のカメラで撮影される画像であってもよい。また、上述した天頂補正および回転補正は、撮像画像が画像入力部１５に入力される前に実施されるものとして説明するが、マスク処理を施された後に行われる構成であってもよい。さらに、上述した撮像装置１０は、広角画像を取得可能な撮影装置の一例であり、全天球画像は、広角画像の一例である。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に３５ｍｍフィルム換算で３５ｍｍ以下の焦点距離のレンズで、撮影された画像を意味する。

また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ（登録商標）Ｄｉｓｃ（ブルーレイディスク）、ＳＤカードまたはＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、撮像装置１０は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。

●機能構成
次に、図６および図７を用いて、実施形態に係る撮像装置１０の機能構成について説明する。図６は、実施形態に係る撮像装置の機能構成の一例を示す図である。なお、図６では、後述の処理または動作に関連しているものが示されている。

撮像装置１０は、通信部１１、受付部１２、表示制御部１３、撮像処理部１４、画像入力部１５、検出部１７、算出部１８、推定部２１、領域設定部２２、画像処理部２３、画像出力部２４および記憶・読出部２９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能または手段である。また、撮像装置１０は、図４に示されているＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって構築される記憶部１０００を有している。

通信部１１は、主に、ＣＰＵ１１１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。通信部１１は、例えば、ネットワークＩ／Ｆ１２１を用いて、他の装置または端末との間で、通信ネットワークを介したデータ通信を行う。また、通信部１１は、例えば、入出力Ｉ／Ｆ１１６を用いて、他の装置または端末との間で、各種ケーブル等を介したデータ通信を行う。さらに、通信部１１は、例えば、近距離通信回路１１７を用いて、他の装置または端末との間で、近距離無線通信技術によるデータ通信を行う。

受付部１２は、主に、操作部１１５に対するＣＰＵ１１１の処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部１３は、主に、ＣＰＵ１１１の処理によって実現され、各種画像を表示させる。表示制御部１３は、例えば、ライブビュー（撮影状態をリアルタイムで確認可能としながら撮影する機能）における画像表示を行う。表示制御部１３は、ライブビュー中、ＨＤＭＩ（登録商標）やＭｉｒａｃａｓｔ（登録商標）等の規格で有線または無線のインターフェースで接続された外部のディスプレイまたは自身の表示手段への表示を制御する。表示制御部１３は、ライブビュー画面において、入力される画像の表示に対し、自動で検知されたマスク処理領域を重畳して表示することができる。なお、全天球画像の表示方法は、特に限定されるものではなく、全天球画像をそのまま二次元の平面画像として表示してもよいし、全天球画像を球体オブジェクトに貼り付けて、仮想カメラから球体オブジェクトを観察した場合の投影画像として表示してもよい。撮影者は、保護すべき被写体にマスク処理が施されていることをライブビューの画像上で確認することができる。

撮像処理部１４は、主に、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８および音処理ユニット１０９に対するＣＰＵ１１１の処理によって実現され、風景等の被写体を撮像し、撮像画像データを取得する。撮像処理部１４は、撮像処理を実行し、全天球画像（例えば、正距円筒射影画像）のデータを生成し、画像入力部１５に全天球画像データを入力する。撮像処理部１４によって撮像される全天球画像は、単一フレームの静止画であってもよいし、連続的な複数フレームからなる動画であってもよい。また、撮像処理部１４は、シャッターボタン等の操作部１１５の押下等により撮影指示が行われた後の本番の撮像画像を出力するほか、撮影指示前の映像確認のためのリアルタイム画像を出力することができる。

画像入力部１５は、主に、ＣＰＵ１１１の処理によって実現され、処理対象となる撮像画像の入力を受け付ける。マスク処理の対象となる撮像画像は、全天球画像である。静止画の場合は、所定の時点で撮像された１フレーム分の画像が画像入力部１５に入力される。また、動画の場合は、複数のフレーム各々の画像が画像入力部１５に順次入力される。また、静止画撮影の場合に、撮影前の画像確認のために複数のフレーム各々の画像が画像入力部１５に順次入力されてもよい。

検出部１７は、ＣＰＵ１１１の処理によって実現され、画像入力部１５によって入力された撮像画像に示される、ＬＥＤ装置３０またはＱＲコード（登録商標）４０等のパターン発生手段によって発生された所定パターンを検出する。検出対象としての所定パターンは、例えば、撮像画像が静止画の場合、画像中の一次元コード、二次元コードもしくは特定の画像または輝点のパターンが挙げられる。輝点のパターンは、例えば、輝点の色および複数の輝点の配置を単独でまたは組み合わせで用いることができる。なお、輝点のパターンには、所定の色を有する単一の輝点が含まれるものとする。また、撮像画像が動画の場合、検出対象となる所定パターンは、各フレームの画像中の一次元コード、二次元コードもしくは特定の画像または輝点のパターンのほか、複数のフレームにわたる画像列中の輝点の時間的パターンを含む。ここで、輝点の時間的パターンは、複数のフレームにわたる輝点の所定周波数の光強度（点滅）パターン、輝点の色、複数の輝点の配置またはこれらの組み合わせで構成される。輝点の配置は、例えば、「○」、「×」、「□」、「▽」などの所定の図形に図形化されたものとすることができる。

画像または画像列中の一次元コード、二次元コードおよび特定の画像、並びに輝点およびその輝点の時間的パターンの認識方法は、これまで知られた如何なる技術を用いることができる。また、全天球画像中で画像認識のため、撮像装置１０は、前処理として、必要に応じて、画像中の一次元コードおよび二次元コードに対応する領域に対し、歪みを補正する処理を行ってもよい。

算出部１８は、ＣＰＵ１１１の処理によって実現され、検出部１７によって検出された所定パターンの位置を算出する。算出部１８は、例えば、画像中の所定パターンの位置を、全天球画像フォーマット上の座標値として算出する。所定パターンの位置は、複数のフレームにわたり追跡されて対応付けが算出されてもよい。

推定部２１は、ＣＰＵ１１１の処理によって実現され、検出部１７によって検出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する。推定部２１は、検出された複数の所定パターンを用いて決定された特定の形状を形成するために、不足する頂点を推定する。例えば、障害物によって、図２に示した配置されたＬＥＤ装置３０のうちの一つが隠されてしまう場合が想定される。ＬＥＤ装置３０の一つが隠れてしまうと、隠されたＬＥＤ装置３０により発生される輝点３５が検知できなくなり、意図した領域を隠すことができなくなってしまう虞がある。そこで、本実施形態においては、検出された複数の輝点３５から、処理対象の領域を形成するために不足する頂点が推定される。そして、検出された複数の輝点３５と推定された頂点とによってマスク処理領域が設定される。

領域設定部２２は、ＣＰＵ１１１の処理によって実現され、検出部１７によって検出された所定パターンの算出部１８によって算出された位置および必要に応じて推定部２１によって推定された頂点に基づいて、対象の画像に対するマスク処理領域（処理対象の領域）を設定する。ここで、マスク処理領域は、少なくとも複数の所定パターンの位置（必要に応じて推定された頂点を含む。）の座標値を結んで画定される多角形を包含する領域、または、少なくとも複数の所定パターンの位置（必要に応じて推定された頂点を含む。）の座標値を点としてこれらの点の凸包（与えられた点をすべて包含する最小の凸多角形）を包含する領域を含み得る。なお、マスク処理領域は、複数の所定パターンの位置および必要に応じて推定された頂点の座標を結ぶ多角形または凸包自体として設定されてもよいし、その多角形領域に対して所定のマージンが設けられた任意の図形（多角形のほかに円や楕円などの任意の閉曲線で構成される図形を含む）であってもよい。マスク処理領域は、例えば、全天球画像フォーマット上の座標値（曲線等の場合はパラメータを含んでいてもよい。）の配列として求められる。

また、領域設定部２２は、所定パターンの位置および必要に応じて推定された頂点が画定する「面」として自動認識し、その面に対してマスク処理領域を設定する。なお、検出部１７によって検出される所定パターンの数は、少なくとも面を規定することができる三つ以上であることが好ましいが、所定のマージンとともに任意の二次元図形を描くことができる限り、必ずしも三つ以上に限定されるものではない。

全天球画像は、水平方向３６０度の範囲を含んでおり、全天球画像の両端部は相互に接続されている。そのため、マスク処理領域が端部をまたぐ場合があり、マスク処理領域は、全天球画像の両端部で分離して設定されてもよい。この場合、領域設定部２２は、マスク処理領域と端部境界との交点が求め、それぞれの側で求めた交点を含むマスク処理領域を設定する。

ここで、検出部１７は、所定パターンの座標値に加えて、検出された所定パターンが属するグループを判別することもできる。この場合、領域設定部２２は、識別したグループ構成に基づいて、異なるマスク処理領域を設定することができる。例えば、上述した所定パターンは、一次元コード、二次元コードや輝点のパターン等で情報を符号化できるので、符号化された情報（例えば、識別子）によって複数のグループを表現することができる。そして、領域設定部２２は、識別された一以上のグループのそれぞれに対して、一つのマスク処理領域が設定することができる。

画像処理部２３は、ＣＰＵ１１１の処理によって実現され、画像入力部１５により入力された撮像画像中のマスク処理領域に対応する領域に対し画像処理を行う。画像処理は、画像中のマスク処理領域にある画像情報を、復元不可能に削除もしくは劣化させるマスク処理である。マスク処理としては、ぼかし、所定の色もしくは画像パターン（チェッカーパターン、ストライプ、ノイズパターン（砂嵐）、スタンプ等）での塗りつぶし、モザイク処理、および二次元もしくは三次元の図形オブジェクトでの上書きのうちの少なくとも一つの画像エフェクトを含むことができる。マスク処理である。マスク処理は、例えば、全天球画像フォーマット上のマスク処理領域に対応する全天球画像の画像領域に対して適用される。

画像出力部２４は、主に、ＣＰＵ１１１の処理によって実現され、画像処理部２３によって処理された処理画像を出力する。

記憶・読出部２９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に、各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。また、記憶部１０００は、撮像処理部１４によって取得された撮像画像データまたは画像処理部２３によって処理された処理画像データを記憶している。なお、記憶部１０００に記憶されている画像データは、記憶されてから所定の時間経過した場合に削除される構成であってもよいし、他の装置または端末へ送信されたデータが削除される構成であってもよい。

○位置情報管理テーブル
図７は、実施形態に係る位置情報管理テーブルの一例を示す概念図である。位置情報管理テーブルは、検出された所定パターンの位置を示す位置情報を管理するためのテーブルである。記憶部１０００には、図７に示されているような位置情報管理テーブルによって構成されている位置情報管理ＤＢ１００１が構築されている。この位置情報管理テーブルには、過去に画像入力部１５に入力された画像（フレーム）において検出された複数の所定パターンの位置が記憶されている。位置情報管理テーブルでは、追跡により同一のものとして認識される領域ごとに、複数の所定パターンの位置を示す座標が管理されている。

図８は、実施形態に係る撮像装置１０上に実現される自動マスク処理に関連した機能ブロックおよび自動マスク処理の流れを説明する。図８には、撮像装置１０の機能ブロックとして、撮像処理部１４と、画像入力部１５と、領域指定位置検出部１６と、領域設定部２２と、画像処理部２３と、画像出力部２４とが示されている。

撮像処理部１４は、撮像処理を実行し、全天球画像のデータを生成し、画像入力部１５に全天球画像データを入力する。撮像処理部１４で生成された全天球画像が、画像入力部１５に入力される。なお、説明する実施形態では、撮像処理部１４を備える撮像装置１０上に、撮像された全天球画像に対してマスク処理を適用する機能を備えるものとして説明する。

しかしながら、この実施形態に限定されるものではなく、詳細を後述するように、外部撮影装置としての撮像装置１０と通信するための通信手段や、撮像装置１０が画像を保存した着脱可能なメディアのデータを読み取る読取手段を備えた画像処理装置上に、本自動マスク処理機能が実装されてもよい。その場合に、撮像処理部１４に代えて、通信手段または読取手段が設けられ、これらの手段から画像入力部１５に対し全天球画像が入力される。

また、説明する実施形態では、撮像処理部１４が全天球画像の撮像処理を行い、全天球画像が画像入力部１５に入力されるものとして説明する。しかしながら、自動マスク処理機能の対象は、特に限定されるものではなく、通常のカメラで撮影される画像が対象となってもよい。また、上述した天頂補正および回転補正は、説明する実施形態では、画像入力部１５に入力前に実施されるものとするが、自動マスク処理を施した後に行われることを妨げるものではない。

画像入力部１５は、マスク処理の対象となる画像の入力を受ける。説明する実施形態において、マスク処理の対象となる画像は、全天球画像である。画像入力部１５に入力された画像は、マスク処理を適用するために後段の画像処理部２３に入力されるとともに、マスク処理を適用する領域を決定するために領域指定位置検出部１６に入力される。画像入力部１５は、本実施形態における画像入力手段を構成する。

領域指定位置検出部１６は、入力された画像中の所定パターンの位置を検出する手段であり、図６を参照して説明した、入力された撮像画像に示される所定パターンを検出する検出部１７および検出された所定パターンの位置を算出する算出部１８を含み構成される。領域指定位置検出部１６は、検出した画像中の領域指定位置を示す座標値の配列を領域設定部２２に出力する。領域指定位置検出部１６は、上述したように、領域指定位置の座標値に加えて、検出した領域指定位置が属するグループを判別することもできる。領域指定位置検出部１６は、本実施形態における検出手段を構成する。

領域設定部２２は、検出された複数の領域指定位置に基づいて、対象の画像に対してマスク処理領域（処理対象の領域）を設定する。グループが判別される場合、領域設定部２２は、識別したグループ構成に基づいて、複数のマスク処理領域を設定することができる。そして、領域指定位置検出部１６は、識別された１以上のグループ各々に対して１つのマスク処理領域を設定することもできる。

画像処理部２３は、入力された画像中のマスク処理領域に対し、画像処理、より具体的には、マスク処理を適用する。マスク処理は、撮像画像中のマスク処理領域にある画像情報を、復元不可能に削除ないし劣化させる処理である。画像処理部２３は、例えば、全天球画像フォーマット上のマスク処理領域に対応する全天球画像の画像部分に対して画像処理を適用する。画像処理部２３は、本実施形態における画像処理手段である。

画像出力部２４は、画像処理部２３によりマスク処理が適用された画像を出力する。画像出力部２４は、本実施形態における画像出力手段を構成する。図８には、画像出力部２４の出力先として、さらに、記憶・読出部２９と、表示制御部１３と、通信部１１とが示されている。

記憶・読出部２９は、マスク処理済みの画像の保存先となる。シャッターボタンの押下に応答して、静止画や動画を撮像し、撮像した画像を保存する場合には、画像出力部２４は、生成した静止画または動画を記憶・読出部２９により記憶部１０００に保存する。

シャッターボタンの押下に応答して、静止画や動画を撮像し、撮像した画像を外部の機器に送信する場合には、画像出力部２４は、通信部１１を介して、生成した静止画または動画を外部の機器に送信する。

表示制御部１３は、上述したように、ライブビュー画面において、入力される画像の表示に対し、自動で検知されたマスク処理領域を重畳して表示することができる。なお、ライブビューは、通信部１１を用いて、ネットワークを介して接続された、カメラ制御アプリケーションが動作する情報端末が備えるディスプレイに表示してもよい。

図８には、さらに、機能ブロックとして、受付部１２が示されている。なお、図８には、領域修正指示を受け付けるための受付部１２が、領域修正指示受付部２５として示されている。領域修正指示受付部２５は、上述した自動で検知されたマスク処理領域を画定するための点（領域指定点または領域指定位置）の追加、削除、移動およびグルーピングなど修正指示を受け付ける。ここで、グルーピングの修正は、マスク処理領域を画定するための点が属するグループを、現在のグループから別のグループ（新規にグループを定義する場合を含む。）またはグループ外に移動させる操作をいう。領域修正指示受付部２５は、本実施形態における修正受付手段を構成する。

上記修正指示は、好ましくは、上述したライブビュー中に受け付けることができる。修正指示は、撮像装置１０を制御するためのユーザインタフェース（以下、カメラ制御用ユーザインタフェース）を介して行われる。カメラ制御用ユーザインタフェースは、撮像装置１０自身が備える表示部においてライブビューを表示している実施形態においては、撮像装置１０が備える表示部および操作部６１５（タッチパネルなどを含む。）がカメラ制御用ユーザインタフェースを提供する。あるいは、映像インタフェースなどで接続された外部のディスプレイ上でライブビューを行う特定の実施形態では、外部のディスプレイおよび外部ディスプレイ上で各種操作を行うためのデバイス（入力装置）により提供される。あるいは、ネットワークを介して接続された、カメラ制御アプリケーションが実行される情報端末が備えるディスプレイ上にライブビューを表示する他の実施形態においては、情報端末が備えるディスプレイおよびタッチスクリーンやマウス、キーボードなどの入力装置によりカメラ制御用ユーザインタフェースが提供される。例えば、情報端末が備えるディスプレイの画面上を指などで指定することにより手動でマスク処理領域を修正することができる。なお、上記修正指示は、上述したライブビュー中に限定されるものではなく、動画撮影中に受け付けることもできる。

図８には、さらに機能ブロックとして、位置情報ＤＢ１００１が示されている。位置情報ＤＢ１００１は、過去に入力された画像で検出された複数の所定パターンの位置（領域指定位置）を記憶する。領域設定部２２は、位置情報ＤＢ１００１に記憶された情報を用いて、領域指定位置検出部１６によって検出された複数の所定パターンの位置に基づいて形成される特定の形状を補完する頂点を推定する。

上述したライブビュー中あるいは動画撮影中に、上述した所定パターンを発生させる手段が別の被写体に隠される可能性がある。そうした場合に、マスク処理領域が欠けてしまい、保護すべき領域の一部がマスク対象から外れ、画像中で見えてしまう蓋然性がある。位置情報ＤＢ１００１は、過去の領域指定位置の座標値を記憶し、領域設定部２２は、位置情報ＤＢ１００１に記憶された領域指定位置の少なくとも一部に基づいて、欠損した範囲指定位置を補完する。これにより、保護すべき領域をより安定的に決定することが可能となる。位置情報ＤＢ１００１は、本実施形態における記憶手段を構成する。なお、説明する実施形態では、領域設定部２２が、位置情報ＤＢ１００１に記憶された領域指定位置の少なくとも一部に基づいて、欠損した範囲指定位置を補完することとした。しかしながら、他の実施形態では、補完する機能を専ら担う推定部２１が、位置情報ＤＢ１００１に記憶された領域指定位置の少なくとも一部に基づいて、欠損した領域指定位置を補完し、領域設定部２２に提供することとしてもよい。この場合、領域設定部２２は、欠損した領域指定位置を受け取ることで、記憶された過去の位置の少なくとも一部に基づいて処理対象の領域を設定する。

図８には、さらに、マスク種別指定を受け付けるための受付部１２が、マスク種別指定受付部２６として示されている。マスク種別指定受付部２６は、撮影者から、上述したマスク処理領域に対して適用するマスク処理の種別の指定を受け付ける。マスク種別指定受付部２６は、マスク処理の種別の指定は、上述したカメラ制御用ユーザインタフェースを介して受け付けられる。

●実施形態の処理または動作
以下、図９〜図１５を参照しながら、実施形態に係る自動マスク処理について、より詳細に説明する。図９は、実施形態に係る撮像装置１０が実行する自動マスク処理を示すフローチャートである。なお、図９に示す処理は、処理対象が動画である場合の処理フローであり、先頭のフレームから最終フレームまで各フレームに対し、所定の処理を繰り返す。

図９に示す処理は、例えば、撮影者からのシャッターボタンの押下による撮影開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、撮像装置１０は、適用するマスク種別を決定する。上述したように、マスク種別は、撮影開始に先立って、適切なカメラ制御用ユーザインタフェースを介して撮影者からマスク種別指定受付部２６（受付部１２）に指示され、設定値として例えばレジスタなどに保存されているものとする。ステップＳ１０１では、設定値が読み出されて、適用するマスク種別が決定される。

ステップＳ１０２では、撮像装置１０は、画像入力部１５への現在のフレームの画像の入力を受けて、処理対象となる画像を取得する。

ステップＳ１０３では、撮像装置１０は、領域指定位置検出部１６により、処理対象となるフレームの画像中の所定パターンの位置（領域指定位置）を検出する。

上述したように、本実施形態においては、全天球画像を撮影しようとする撮影者または撮影される被写体の管理者は、自身が保護すべきと考えている被写体の周辺に、所定パターンを発生させるパターン発生手段を物理的、立体的に配置する作業を実施する。

図１０は、撮影者や管理者によるマスク処理領域の指定の仕方およびその場合のマスク処理が適用された画像を説明する図である。図１０（Ａ）は、撮影者や管理者によりマスク処理領域が指定された際に撮影される、マスク適用前の全天球画像２００を模式的に示す。

全天球画像２００には、ある室内空間２０２が撮影されており、室内空間２０２には、撮影者が画像中に写り込ませたくないと考えている被写体（図１０（Ａ）の例では、デスクおよびその上の紙資料など）２０４が存在する。この場合、撮影者は、図１０（Ａ）に描かれているように、保護すべき被写体２０４の周辺に、３次元的に、例えばＬＥＤ装置（発光装置）２０６を配置する。図１０（Ａ）に示す例では、６つのＬＥＤ装置２０６ａ〜２０６ｆが撮影範囲に含まれている。

ＬＥＤ装置２０６は、所定の色の輝点を発生させる発光装置の一例であり、本自動マスク処理機能を利用しようとする撮影者等が、マスク処理領域を事前指定するために配置するデバイスである。なお、説明の便宜上、所定の色の輝点が単独でマスク範囲を指定するパターンとなるものとするが、所定のパターンは、種々の電子機器で採用されている赤や緑などの単色のランプと区別できるパターンであることが望ましく、上述したように、光強度（点滅）パターン、輝点の色、複数の輝点の配置またはこれらの組み合わせで構成され得る。

また、ＬＥＤ装置２０６は、撮像処理部１４の視野内に配置され、所定パターンを発生させるパターン発生手段の一例であるが、パターン発生手段は、特に限定されるものではない。パターン発生手段は、それぞれ、一次元コードまたは二次元コードが印刷された媒体、一次元コードまたは二次元コードを表示する表示装置、１または複数の輝点を発光する発光装置および１または複数の輝点を投影するレーザポインタからなる群から選択され得る。パターン発生手段は、スタンド型であってもよいし、天吊型であってもよいし、バッチ型であってもよい。

上記発光装置としては、上述した１または複数の輝点を発光するＬＥＤ装置２０６のほか、ワイヤーやメッシュにＬＥＤなどの発光素子が取り付けられたワイヤーライトおよびメッシュライトなどを例示することができる。また、一次元コードまたは二次元コードが印刷された媒体としては、一次元コードまたは二次元コードが印刷された面を有するパネルやキューブなどとすることができる。撮像装置１０が撮影中に移動または向きの変更が行われることも想定されるため、複数の視点から認識可能なようにコードが印刷された面は、複数あることが望ましい。

図１０（Ａ）に示すように、領域指定位置検出部１６は、全天球画像２００中の複数のＬＥＤ装置２０６ａ〜２０６ｆの発光部位に対応する輝点２０８ａ〜２０８ｆの中心位置の座標値を検出する。

なお、時間的パターン（例えば輝点の光強度（点滅）パターン）のように、検出に複数のフレームを要するものであって、まだ十分なフレームが入力されていない場合は、ステップＳ１０３の処理で領域指定位置は検出されない場合がある。

ステップＳ１０４では、撮像装置１０は、検出した領域指定位置を位置情報ＤＢ１００１に記憶する。ステップＳ１０５では、撮像装置１０は、過去に検出されていた領域指定位置が消失したか否かを判定する。なお、初回フレームでは、過去の検出位置が記憶されていないため、領域指定位置の消失は無いと判定される。ステップＳ１０５で、領域指定位置が消失していないと判定された場合（ＮＯ）は、ステップＳ１０７へ処理が進められる。

ステップＳ１０７では、撮像装置１０は、領域設定部２２により、検出された領域指定位置に基づいてマスク処理領域を設定する。ステップＳ１０８では、撮像装置１０は、画像処理部２３により、設定されたマスク処理領域の画像部分に対し、指定された種別のマスク処理を適用する。ステップＳ１０９では、撮像装置１０は、画像出力部２４から、マスク処理領域に対しマスク処理が適用された画像を出力する。動画撮影時は、記憶・読出部２９を介した記憶部１０００が出力先となる。動画撮影中に画像確認を行う場合は、表示制御部１２２も出力先となる。

図１０（Ｂ）は、撮影者や管理者によりマスク処理領域が指定されて撮影されたマスク適用後の全天球画像２１０を模式的に示す。なお、図１０（Ｂ）の例は、領域指定位置の座標点を結ぶ単一の多角形の領域に対して黒塗りのマスク処理が適用された場合を例示する。図１０（Ｂ）に示すように、マスク適用後の全天球画像２１０においては、上述したＬＥＤ装置２０６ａ〜２０６ｆの発光部位に対応する輝点２０８ａ〜２０８ｆの中心位置を結んで画定される多角形領域２１４が黒塗りされ、本来ならその領域２１４にある被写体２０４の画像情報が除去されている。このように、入力された画像中に存在する複数の所定パターンの位置を結んで画定される領域がマスク処理された画像が出力される。

図１１（Ａ）は、撮影者や管理者により２つのマスク処理領域が事前指定された場合に撮影されるマスク適用前の全天球画像２２０を模式的に示す。

全天球画像２２０には、図１０と同様に、ある室内空間２２２が撮影されており、室内空間２２２には、撮影者が画像に写したくないと考えている２つの被写体２２４，２３４が存在する。図１１（Ａ）の例では、保護すべき第１の被写体２２４は、デスクおよびその上の紙資料であり、保護すべき第２の被写体２３４は、隣部屋の室内である。

この場合、撮影者は、図１１（Ａ）に描かれているように、保護すべき第１の被写体２２４の周辺に、これを囲むように、第１のパターンを発生する第１グループのＬＥＤ装置２２６を配置する。図１１（Ａ）に示す例では、６つの第１のＬＥＤ装置２２６ａ〜２２６ｆが撮影範囲に含まれている。保護すべき第２の被写体２３４の周辺には、第２のパターンを発生する第２のＬＥＤ装置２３６が配置される。図１１（Ａ）に示す例では、４つの第２のＬＥＤ装置２３６ａ〜２３６ｄが撮影範囲に含まれている。

第１のＬＥＤ装置２２６ａ〜２２６ｆおよび第２のＬＥＤ装置２３６ａ〜２３６ｄは、それぞれ、異なるパターンの輝点を発するものであり、本自動マスク処理機能を利用しようとする撮影者等が、マスク処理領域を撮影前に指定するために配置するデバイスである。なお、説明の便宜上、図１０と同様に、それぞれ異なる色の輝点が単独で別のパターンと構成し、マスク範囲を指定するものとする。

図１１（Ａ）に示すように、領域指定位置検出部１６は、全天球画像２００中の上記ＬＥＤ装置２２６ａ〜２２６ｆ，２３６ａ〜２３６ｄの発光部位に対応する輝点２２８ａ〜２２８ｆ，２３８ａ〜２３８ｄの中心位置の座標値を検出する。第１の輝点２２８ａ〜２２８ｆおよび第２の輝点２３８ａ〜２３８ｄは、色が異なることから、別々の識別子を表しており、２つのグループにグルーピングされる。

この場合、ステップＳ１０７では、領域設定部２２は、それぞれ所定の条件を満たす識別子（本例では同一識別子であることを条件とするが、所定の数値範囲内の識別子を同一グループとしてもよい。）を有する領域指定位置を含んで構成される複数のグループに対して、異なるマスク処理領域を設定する。

図１１（Ｂ）は、その際のマスク適用後の全天球画像２４０を模式的に示す。なお、図１１（Ｂ）の例も、図１０と同様に、同一グループの領域指定位置の座標点を結ぶ単一の多角形領域各々に対して黒塗りのマスク処理が適用される場合を例示する。図１１（Ｂ）に示すように、マスク適用後の全天球画像２４０においては、上述した第１のＬＥＤ装置２２６ａ〜２２６ｆの発光部位に対応する輝点２２８ａ〜２２８ｆの中心位置で画定される多角形領域２４４と、上述した第２のＬＥＤ装置２３６ａ〜２３６ｆの発光部位に対応する輝点２３８ａ〜２３８ｄの中心位置で画定される多角形領域２４６とが黒塗りされる。これにより、本来ならこれらの領域２４４，２４６にある被写体２２４，２３４の画像情報が除去される。

図１２（Ａ）および図１２（Ｂ）は、異なる種別によるマスク処理を説明する図である。なお、図１２（Ａ）のＳ１および図１２（Ｂ）のＳ２は、図１１（Ｂ）に示した矩形領域Ｓの範囲を切り出して拡大表示したものである。

図１２（Ａ）は、マスク適用後の全天球画像２４０において、画定された多角形領域２５２（図１１（Ｂ）の領域２４４に対応する。）が、黒塗りに代えて、ぼかし処理された場合の状態を示す。図１２（Ａ）に示すように、この領域２４４にある被写体２２４の画像情報は、ぼかし処理により、完全に除去されるわけではないが、元の詳細な画像情報が読み取り不可能かつ復元不可能な形で、除去される。図１２（Ｂ）は、マスク適用後の全天球画像２４０においては、画定される多角形領域２５４（図１１（Ｂ）の領域２４４に対応する。）が、黒塗りに代えて白塗り処理された場合の状態を示す。

図１２（Ｃ）は、所定の色の輝点を発生するＬＥＤ装置に代えて、二次元コードのパネル（立札またはスタンド型）２６０を用いる場合のマスク適用前の全天球画像の部分を例示する。なお、図１２（Ｃ）のＳ３は、図１１（Ｂ）に示したものと同一の室内空間において、ＬＥＤ装置２２６に代えてパネル２６０を配置した状態で撮影した全天球画像の矩形領域Ｓに対応する範囲を切り出して拡大表示したものである。図１２（Ｃ）に示すように、ＬＥＤ装置に代えて、二次元コードのパネル２６０が物理的に配置されてもよい。その場合に、ＬＥＤ装置の輝点の中心位置に代えて、パネル２６０の２次元コードの中心位置によりマスク対象領域が指定される。なお、図１２（Ｃ）に示す例では、６つのパネル２６０ａ〜２６０ｆが撮影範囲に含まれている。

図１３（Ａ）は、複数の色の輝点を発生するＬＥＤ装置を用いて奥行情報を符号化した場合のマスク適用前の全天球画像の部分を例示する。図１３（Ａ）に示す全天球画像には、図１０と同様に、ある室内空間が撮影されており、室内空間に、撮影者が画像に写したくないと考えている被写体２７４が存在する。図１３（Ａ）の例において、撮影者は、保護すべき被写体２７４の周辺にＬＥＤ装置２７６を配置するが、同一の被写体について、第１の色の輝点を発光する第１のグループのＬＥＤ装置２７６ａ〜２７６ｄと、第１の色とは異なる第２の色の輝点を発光する第２のグループのＬＥＤ装置２７６ｅ〜２７６ｈが配置されている。各グループのＬＥＤ装置２７６の輝点の色は、グループ内で同一であり、グループ間では異なるものとし、図１０と同様に、説明の便宜上、それぞれ異なる輝点の色でグループが識別されるものとする。

この場合、ステップＳ１０３では、領域指定位置検出部１６は、図１３（Ａ）に示すように、全天球画像中のＬＥＤ装置２７６ａ〜２７６ｄの発光部位に対応する輝点２７８ａ〜２０８ｄの中心位置の座標値と、ＬＥＤ装置２７６ｅ〜２７６ｈの発光部位に対応する輝点２７８ｅ〜２０８ｈの中心位置の座標値とを別々のグループとして検出する。さらに、事前に、各グループは、異なる奥行の面を表すものであることが事前に定められており、第１のグループの輝点２７８ａ〜２７８ｄの中心位置は、破線で示す手前側の面２８０を規定する領域指定位置であると認識され、第２のグループの輝点２７８ｅ〜２７８ｈの中心位置は、一点鎖線で示す奥側の面２８２を規定する領域指定位置として認識される。ステップＳ１０７では、領域設定部２２は、奥行情報に基づいて、マスク処理領域を設定する。図１３（Ａ）に示すように、領域指定位置を複数のグループに分けて、複数のグループで、単一のマスク処理領域を定義することができる。この場合、手前側の面２８０および奥側の面２８２は、所定の立体（例えば立方体）の面として取り扱われ、立体の他の面を補完することができる。

なお、色により各奥行き情報を識別するものとして説明するが、ＬＥＤ装置の配置を図形化して奥行き情報を表すことで、好適に多角形化を補助することができる。例えば、「○」型に並べられたＬＥＤ群で囲まれる領域は手前の面を表し、「×」型に並べられたＬＥＤ装置群で囲まれる領域は奥の面を表すといった定義を行うことができる。同様に、輝点のパターンに代えて、二次元コードにより奥行き情報を符号化することで多角形化を補助してもよい。例えば第１の識別子を表す二次元コードのグループで囲まれる領域は手前の面を表し、第２の識別子を表す二次元コードのグループで囲まれる領域は奥の面を表すといった定義を行うことができる。あるいは、立方体（例えば立方体や直方体）の各頂点を別々の識別子で表してもよい。

所定パターンに奥行情報を符号化することにより、撮影中の撮像装置１０の移動または向きの変更に対し好適に対応することが可能となる。

再び図９を参照すると、ステップＳ１１０では、撮像装置１０は、本フレームが最終フレームであるか否かを判定する。ステップＳ１１０で、未だ最終フレームではないと判定された場合（ＮＯ）は、ステップＳ１０２へ制御を戻して、次フレーム以降の処理を継続する。一方、ステップＳ１１０で、例えば、撮影終了の指示が行われており、本フレームが最終フレームであると判定された場合（ＹＥＳ）は、ステップＳ１１１へ処理を進めて、本処理を終了する。

再びステップＳ１０５を参照すると、ステップＳ１０５で、少なくとも１つの領域指定位置が消失したと判定された場合（ＹＥＳ）は、ステップＳ１０６へ処理が進められる。ステップＳ１０６では、撮像装置１０は、領域設定部２２または推定部２１により、消失が検知知られた領域指定位置について、過去の値を用いて補完し、ステップＳ１０７へ処理を進める。

図１３（Ｂ）は、過去のフレームで検出された領域指定位置が消失した場合のマスク適用前の天球画像の部分を示す。図７は、位置情報ＤＢ１００１に格納される位置情報管理テーブルのデータ構造を示す図である。まず、図１３（Ａ）のように、一つ前のフレームにおいて、複数の領域指定位置が検出されている場合に、図７で示す位置情報管理テーブルが保存されているものとする。図１５は、実施形態に係る、記憶部に格納される位置情報管理テーブルのデータ構造の他の例を示す図である。位置情報管理テーブルは、領域指定位置番号、識別子および全天球画像上の座標値を含み構成され、追跡により同一のものとして認識される各指定位置毎に設けられる。図１３（Ｂ）に示す例では、当該フレームにおいて、従前検出された手前側のＬＥＤ装置２７６ｄの輝点２７８ｄが、遮蔽物２９０で遮られ、１つの領域指定位置が消失した状態を表している。

この場合、消失していない他のＬＥＤ装置２７６ａ〜２７６ｃの輝点２７８ａ〜２７８ｃの中心位置の変化量が所定の閾値未満であった場合には、消失した輝点２７８ｄの位置が、過去のフレームの位置から大きく変化していないとして、過去の位置を領域指定位置の推定位置とし、手前側の面２８０が規定される。一方、消失していない他のＬＥＤ装置２７６ａ〜２７６ｃの輝点２７８ａ〜２７８ｃの中心位置の変化量が所定の閾値以上であった場合には、撮影視点や向きが移動したとして、フレーム間の消失していない各領域指定位置の座標の移動量に基づいて、撮影視野の向きの変化を推定し、過去のフレームの位置に対して所定の移動量を加味した上で、消失した領域指定位置を推定し、手前側の面２８０が規定される。

このように、撮像装置１０が動いた場合や物体が動いてカメラの視界を遮った場合など、二次元コードやＬＥＤ装置が一時的に視野内で認識できなくなる場合がある。これに対し、一度認識した位置情報をそのまま保持し、他の領域指定位置の過去の情報を利用して撮影視野の方向の動きを検出し、遮蔽された領域指定位置を演算により推定し続けることで、一時的な所定パターンの消失に対処することが可能となる。

図１４は、実施形態に係る所定パターンの検出位置の一例を示す概略図である。図１４の例において、図７に示されている位置情報と比較すると、領域指定位置番号「８」のものが欠損しているため、領域設定部２２または推定部２１は、領域指定位置番号「８」を補完する頂点として推定する。

以上、図９〜図１５を参照しながら、動画撮影時の処理フローについて説明した。この場合は、上述したように、動画撮影中、先頭のフレームから最終フレームまで各フレームに対し、ステップＳ１０２〜Ｓ１０９までの処理が繰り返される。静止画撮影中のライブビューの場合は、図９に示すステップＳ１０９の出力先を表示制御部１２２に変更すればよい。静止画撮影時は、図９に示すステップＳ１０２〜Ｓ１０９までの処理を、単一のフレームに対し行うように変更し、ステップＳ１０９の出力先を記憶部１０００とすればよい。さらに、撮影時やライブビュー時ではなく、保存済みの静止画または動画を対象としてマスク処理を適用する場合は、ステップＳ１０２で、記録媒体から読み出した画像の入力を受ければよい。

以上、撮像機能を備える撮像装置１０上に、自動マスク処理機能が備えられた実施形態について説明した。しかしながら、上述したように、上記実施形態に限定されるものではない。他の実施形態では、外部撮影装置としての撮像装置１０と通信するための通信手段または撮像装置１０が画像を保存した着脱可能なメディアのデータを読み取る読取手段を備えた画像処理装置上に、本自動マスク処理機能が実装されてもよい。

●実施形態の変形例●
次に、実施形態の変形例に係る画像処理システムについて説明する。なお、上記実施形態と同一構成および同一機能は、同一の符号を付して、その説明を省略する。実施形態の変形例に係る画像処理システムは、撮像装置１０ａによって取得された撮像画像に対するマスク処理を、撮像装置１０ａに接続されたＰＣ５０によって実行するシステムである。

●システム構成
図１６は、実施形態の変形例に係る画像処理システムの概略の一例を説明するための図である。図１６に示されているように、実施形態の変形例に係る画像処理システムは、撮像装置１０ａに接続されたＰＣ５０を含んで構成される。

ＰＣ５０は、撮像画像に対する画像処理を行う利用者が使用する画像処理装置である。ＰＣ５０には、全天球画像等の処理対象の画像を編集するための編集用アプリケーションプログラム、または撮像装置１０ａを制御するための制御用アプリケーションプログラムがインストールされている。また、ＰＣ５０は、ＵＳＢ、ＨＤＭＩ（High-Definition Multimedia Interface，ＨＤＭＩは登録商標である。）等のケーブルを介して撮像装置１０に接続される。

撮像装置１０ａとＰＣ５０は、上記ケーブルを用いずに、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣまたはＷｉ−Ｆｉ（登録商標）等の近距離無線通信技術を利用して無線通信してもよい。また、撮像装置１０ａとＰＣ５０は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等の通信ネットワークを介して通信され、ＰＣ５０は、撮像装置１０ａと別拠点に位置する構成であってもよい。この場合、通信ネットワークには、有線通信だけでなく、４Ｇ（4th Generation）、５Ｇ（5th Generation）、ＬＴＥ(Long Term Evolution)、Ｗｉ−Ｆｉ（登録商標）またはＷｉＭＡＸ（登録商標）(Worldwide Interoperability for Microwave Access)等の無線通信によって構築される箇所が含まれていてもよい。また、通信ネットワークには、ブロックチェーンによって構築されたネットワークが含まれていてもよい。

なお、ＰＣ５０は、スマートフォンまたはタブレット端末等であってもよい。また、ＰＣ５０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段または記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

●ハードウエア構成
図１７は、実施形態の変形例に係るＰＣのハードウエア構成の一例を示す図である。ＰＣ５０は、コンピュータによって構築されており、図１７に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ(Hard Disk)５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、およびメディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、ＰＣ５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ５０６は、表示部の一例である。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、撮像装置１０等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図１７に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＤＶＤ−ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ５１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出しまたは書き込み（記憶）を制御する。

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ−Ｒ、ＤＶＤ、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品として、国内または国外へ提供されることができる。例えば、ＰＣ５０は、本発明に係るプログラムが実行されることで本発明に係る画像処理方法を実現する。

●機能構成
図１８は、実施形態の変形例に係る画像処理システムの機能構成の一例を示す図である。撮像装置１０ａは、通信部１１、受付部１２、表示制御部１３、撮像処理部１４および記憶・読出部２９を有している。これら各部は、図６に示されている撮像装置１０の各部と同様の機能を有する。

ＰＣ５０は、通信部５１、受付部５２、表示制御部５３、検出部５５、算出部５６、推定部５８、領域設定部５９、画像処理部６１および記憶・読出部６９を有している。これら各部は、図１７に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたＰＣ用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、ＰＣ５０は、図１７に示されているＲＯＭ５０２、ＨＤ５０４または記録メディア５１５によって構築される記憶部５０００を有している。記憶部５０００には、図７に示されているような位置情報管理テーブルによって構成されている位置情報管理ＤＢ５００１が構築されている。

通信部５１は、主に、主に、ＣＰＵ５０１の処理によって実現され、撮像装置１０ａと各種データまたは情報の通信を行う。通信部５１は、例えば、ネットワークＩ／Ｆ５０９を用いて、撮像装置１０ａとの間で、通信ネットワークを介したデータ通信を行う。また、通信部５１は、例えば、外部機器接続Ｉ／Ｆ５０８を用いて、撮像装置１０ａとの間で、各種ケーブル等を介したデータ通信を行う。

受付部５２は、主に、キーボード５１１またはポインティングデバイス５１２に対するＣＰＵ５０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部５３は、主に、ＣＰＵ５０１の処理によって実現され、ディスプレイ５０６に、各種画像を表示させる。受付部５２および表示制御部５３は、それぞれ図７に示されている撮像装置１０の受付部１２および表示制御部１３と同様の機能を有する。

検出部５５、算出部５６、推定部５８、領域設定部５９および画像処理部６１は、それぞれＣＰＵ５０１の処理によって実現され、図６に示されている撮像装置１０の検出部１７、算出部１８、推定部２１、領域設定部２２、画像処理部２３と同様の機能を有する。記憶・読出部６９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。また、記憶部５０００は、撮像装置１０ａから取得された撮像画像データまたは画像処理部６１によって処理された処理画像データを記憶している。なお、記憶部５０００に記憶されている画像データは、記憶されてから所定の時間経過した場合に削除される構成であってもよいし、他の装置または端末へ送信されたデータが削除される構成であってもよい。

●実施形態の変形例の処理または動作
次に、図１９を用いて、実施形態の変形例に係る画像処理システムの処理または動作について説明する。図１９は、実施形態の変形例に係る画像処理システムにおける撮像装置に対するマスク処理の一例を示すシーケンス図である。

まず、撮像装置１０ａの撮像処理部１４は、所定の領域に対する撮像処理を開始する（ステップＳ５１）。具体的には、撮影者がシャッターボタン等の入力手段を押下することで受付部１２は、撮影開始要求を受け付ける。そして、撮像処理部１４は、受付部１２によって受け付けられた撮影開始要求に応答して、撮像処理を開始する。次に、撮像装置１０ａの通信部１１は、ステップＳ５１の撮像処理で取得された撮像画像データを、ＰＣ５０に対して送信する（ステップＳ５２）。これにより、ＰＣ５０の通信部５１は、撮像装置１０ａから送信された撮像画像データを受信し、処理対象の画像の入力を受け付ける。

ＰＣ５０は、通信部５１によって入力された画像に対する画像処理を行う（ステップＳ５３）。ステップＳ５３における画像処理は、図９に示されている処理と同様のマスク処理である。特に、ＰＣ５０の表示制御部５３は、ステップＳ５３における画像処理中に、入力された撮像画像をディスプレイ５０６に表示させることで、ＰＣ５０の利用者に撮像画像の状態を確認させてもよい。また、ＰＣ５０の受付部５２は、ディスプレイ５０６に表示された撮像画像または処理画像に対する処理内容の選択が受け付けられてもよい。この場合、受付部５２は、例えば、利用者によるマスク種別の選択を受け付けてもよいし、マスク処理が施された処理画像に対するマスク種別の修正の選択が受け付けられてもよい。

このように、実施形態の変形例に係る画像処理システムは、ＰＣ５０を用いて撮像装置１０ａにより取得された画像に対する画像処理を行うことで、撮像画像をリアルタイムで確認することができるとともに、撮像画像または処理画像を確認しながらマスク処理の修正等を行うことができる。

なお、撮像素子１０３ａ，１０３ｂによって得られる画像は部分画像であるが、撮像装置１０上の撮像処理部１４は、図５で説明した処理を経て、全天球画像を生成し、ＰＣ５０に入力することができる。他の実施形態では、撮像装置１０上の撮像処理部１４は、図５で説明した処理により全天球画像を生成する前の２つの部分画像のままとし、２つの部分画像をＰＣ５０に入力することができる。ＰＣ５０は、全天球画像生成前の２つの部分画像が入力される場合は、図７で説明した処理と同等の処理を行って全天球画像を生成する。全天球画像が生成された以降の処理は、上述までの図面を参照して説明したものと同一となる。

●まとめ●
以上説明したように、上述までの実施形態によれば、ユーザが撮像画像の事前指定された処理対象の領域を認識して撮像画像に対し画像処理を適用することが可能な画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することができる。本発明の一実施形態に係る画像処理装置（例えば、撮像装置１０またはＰＣ５０）は、撮像画像の入力を受け、入力された撮像画像に示される所定パターンの位置を検出する。そして、画像処理装置は、検出された複数の所定パターンの位置に基づいて、処理対象の領域を設定し、設定された領域に対して画像処理を行う。これにより、画像中の事前指定されたマスク処理の適用範囲を認識して画像に対しマスク処理を適用することが可能となる。

なお、上述までは、撮像処理部１４が全天球画像を撮像し、画像入力部１５に対し全天球画像が入力されるものとして説明した。上記自動マスク処理機能は、撮影者が撮影方向を調整することで望ましくないものを撮影範囲から容易に除外できる通常のカメラとは異なる、撮像装置１０などのによって撮像された広角画像（全天球画像、半球画像、パノラマ画像）に対して、特に好適に適用することができる。特に撮像装置１０による撮影では、広範囲が撮影範囲となり、保護したい被写体を撮影範囲から除外することが容易ではなく、また、保護した被写体も、広範囲に分散し得るためである。全天球画像に対して本自動マスク処理機能を適用することにより、撮影者は安心して、全天球画像の撮影を行うことができるようになる。しかしながら、上述した自動マスク処理機能自体は、通常の画角のカメラで撮影された画像に対しても同様に適用してもよい。

また、マスク処理の対象の観点からは、本実施形態による自動マスク処理機能は、保護したい対象の特徴を事前に定義することが難しい対象に対して特に好適に適用することができる。人の顔や身体のように、事前に保護すべき対象の特徴が明確である場合は、顔認識、身体認識または他の物体認識技術により認識できる。しかしながら、保護したい対象の特徴を事前に定義することが困難な場合がある。例えば、全天球画像を用いたツアーにより工場内の様子を案内するコンテンツの場合、工場内には多種多様な被写体が存在し得るところ、そのような被写体を事前に物体認識器で認識可能とすることは一般に難しい。

さらに、監視カメラのように設置位置が固定されている定点カメラ（カメラの向きが可変な場合も含む。）の場合、画像上の所定の座標範囲に対しマスクを指定することが容易であるところ、本実施形態による自動マスク処理機能は、手持ちカメラや三脚で固定されるカメラのように設置位置が不定の撮影装置により撮像した画像に対して特に好適に適用することができる。

また、本実施形態による自動マスク処理機能は、撮像装置１０を用いてリアルタイム配信を行う際にも好適に適用することができる。特に配信している際は、撮像装置１０を持って動く可能性があるところ、自動マスク処理機能を用いることで、立体的な領域を隠すことができるようになり、安心してリアルタイム配信を行うことができるようになる。

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPUおよび従来の回路モジュール等のデバイスを含むものとする。

また上記機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

これまで本発明の一実施形態に係る画像処理装置、画像処理システム、画像処理方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…撮像システム、１０…撮像装置、５０…画像処理装置（ＰＣ）、１１，５１…通信部、１２，５２…受付部、１３，５３…表示制御部、１４…撮像処理部、１５…画像入力部、１６…領域指定位置検出部、１７，５５…検出部、１８，５６…算出部、２１，５８…推定部、２２，５９…領域設定部、２３，６１…画像処理部、２４…画像出力部、２５…領域修正指示受付部、２６…マスク種別指定受付部、２９，６９…記憶・読出部、１０１…撮像ユニット、１０４…画像処理ユニット、１０５…撮像制御ユニット、１０８…マイク、１０９…音処理ユニット、１１１…ＣＰＵ、１１２…ＲＯＭ、１１３…ＳＲＡＭ、１１４…ＤＲＡＭ、１１５…操作部、１１６…入出力Ｉ／Ｆ、１１７…近距離通信回路、１１７ａ…アンテナ、１１８…電子コンパス、１１９…ジャイロセンサ、１２０…加速度センサ、１２１…ネットワークＩ／Ｆ、５０１…ＣＰＵ、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…ＨＤ、５０５…ＨＤＤコントローラ、５０６…ディスプレイ、５０８…外部機器接続Ｉ／Ｆ、５０９…ネットワークＩ／Ｆ、５１０…データバス、５１１…キーボード、５１２…ポインティングデバイス、５１４…ＤＶＤ−ＲＷドライブ、５１６…メディアＩ／Ｆ、１０００，５０００‥‥記憶部、１００１，５００１…位置情報管理ＤＢ

特開２０１６−１３３９０８号公報

Claims (18)

1. 撮像画像の入力を受ける画像入力手段と、
   前記画像入力手段に入力された撮像画像に示される所定パターンの位置を検出する検出手段と、
   前記検出手段で検出された複数の所定パターンの位置に基づいて、処理対象の領域を設定する設定手段と、
   前記設定手段で設定された前記領域に対して画像処理を行う画像処理手段と
   を含む、画像処理装置。
2. 前記複数の所定パターンは、それぞれ、撮像画像中の一次元コード、撮像画像中の二次元コード、撮像画像中の輝点のパターン、または、複数時点の撮像画像にわたる輝点の時間的パターンである、請求項１に記載の画像処理装置。
3. 前記領域は、少なくとも前記複数の所定パターンの位置を結んで画定される多角形を包含する領域、または、少なくとも前記複数の所定パターンの位置の凸包を包含する領域を含む、請求項１または２に記載の画像処理装置。
4. 前記画像処理は、ぼかし、所定の色または画像パターンでの塗りつぶし、モザイク処理および図形オブジェクトでの上書きからなる群から選択される少なくとも１つの画像エフェクトを含む、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記複数の所定パターンは、異なるパターンを含み、前記検出手段は、前記位置とともに、パターンを識別する識別子を検出し、前記設定手段は、それぞれ所定の条件を満たす識別子を有する位置を含んで構成される複数のグループに対して、異なる処理対象の領域を設定することを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記複数の所定パターンは、異なるパターンを含み、前記検出手段は、前記位置とともに、パターンに応じた奥行情報を検出し、前記設定手段は、前記奥行情報に基づいて、前記領域を設定することを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
7. 過去に入力された撮像画像で検出された複数の所定パターンの位置を記憶する記憶手段と、記憶された過去の位置の少なくとも一部に基づいて前記領域を設定する手段とを含む、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 入力される撮像画像および設定された前記領域を表示する表示制御手段と、
   前記領域を画定するための点の追加、削除、移動およびグルーピングの修正指示を受け付ける修正受付手段と
   をさらに含む、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記領域に対して適用する前記画像処理の種別の指定を受け付ける種別受付手段
   をさらに含む、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記画像処理装置は、
    外部撮像装置と通信を行う通信手段を備え、前記通信手段は、前記画像入力手段に対し撮像画像を入力する、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記処理対象の領域は、マスク処理領域であり、前記画像処理は、マスク処理である、請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記撮像画像は、全天球画像、半球画像および水平３６０度画像である、請求項１〜１１のいずれか１項に記載の画像処理装置。
13. 画像処理装置であって、
    撮像画像の入力を受ける画像入力手段と、
    前記画像入力手段に入力された撮像画像に示される複数の所定パターンの位置を結んで画定される領域が画像処理された画像を出力する画像出力手段と
    を含む、画像処理装置。
14. 撮像画像を撮像する撮像手段と、
    前記撮像手段により撮像された撮像画像に示される所定パターンの位置を検出する検出手段と、
    前記検出手段で検出された複数の所定パターンの位置に基づいて、処理対象の領域を設定する設定手段と
    前記設定手段で設定された前記領域に対して画像処理を行う画像処理手段と、
    を含む、画像処理システム。
15. 前記画像処理システムは、さらに、
    前記撮像手段の視野内に配置され、それぞれ前記所定パターンを発生させる複数のパターン発生手段
    を含む、請求項１４に記載の画像処理システム。
16. 前記パターン発生手段は、それぞれ、一次元コードまたは二次元コードが印刷された媒体、一次元コードまたは二次元コードを表示する表示装置、１または複数の輝点を発光する発光装置および１または複数の輝点を投影するレーザポインタからなる群から選択される、請求項１５に記載の画像処理システム。
17. コンピュータが、
    撮像画像の入力を受けるステップと、
    入力された撮像画像に示される所定パターンの位置を検出するステップと、
    検出された複数の所定パターンの位置に基づいて、処理対象の領域を設定するステップと、
    設定された前記領域に対して画像処理を行うステップと
    を含む、画像処理方法。
18. コンピュータを、
    入力された撮像画像に示される所定パターンの位置を検出する検出手段、
    前記検出手段で検出された複数の所定パターンの位置に基づいて、処理対象の領域を設定する設定手段、および
    前記設定手段で設定された前記領域に対し、画像処理を行う画像処理手段
    として機能させるためのプログラム。

Images