JP2016111561A - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】処理負荷を抑えて歪み補正を行うことを目的とする。【解決手段】広範囲画像から被写体の動きを検出する検出手段と、歪み補正を行う補正手段と、検出手段により被写体の動きが検出された場合、補正手段により広範囲画像に対して歪み補正を行うよう制御し、検出手段により被写体の動きが検出されなかった場合、補正手段により広範囲画像に対して歪み補正を行わないよう制御する制御手段と、を有することによって課題を解決する。【選択図】図４

Description

本発明は、処理負荷を抑えて歪み補正を行う情報処理装置、システム、情報処理方法及びプログラムに関する。

従来、防犯や記録・計測等の目的で監視を行う監視カメラにおいて、通常の画角のカメラに比べて広い範囲を一度に撮影する為に、魚眼レンズや全方位ミラー等を用いて広範囲を撮影可能な全方位カメラが知られている。全方位カメラでは天井等にカメラを取り付けて３６０°の画角を一度に撮影が可能なので、ユーザ側で任意の領域を切り出して表示する。
ここで、全方位カメラで撮影された画像の表示方法に関して図６を用いて説明する。
画像６０１は全方位カメラで撮影された画像である。全方位カメラは魚眼レンズで構成されるので、画像６０１は３６０°の画角の画像であるが歪みのある円形画像となっている。この歪みのある円形画像に対して、ユーザ側で任意の領域を指定して歪曲補正を行わせ、表示させることができる。例えば、ユーザはパノラマ画像として表示させたい場合には、歪みのある円形画像からパノラマ状に切り出することを指示し、その画像に対して歪曲補正を行わせることで、パノラマ画像表示モードで画像６０２を表示させる。ユーザは任意の４点を表示させたい場合には、歪みのある円形画像から任意の４領域の切り出しを指示し、それらの画像に対して歪曲補正を行わせることで、４画面表示モードで画像６０３を表示させる。これらの表示モードでは、ユーザによって選択された領域を切り出し、更に歪曲補正を行うことで歪みの無い画像を表示している。
例えば、特許文献１では、撮像装置に起因する歪みを歪曲補正することによって、歪みの無い画像を提供する方法が開示されている。
特許文献２では、撮像装置に起因する歪みのある画像に対する動体検出をリアルタイムに行う方法が開示されている。

特開２００８−０４８４４３号公報 特開２０１３−００９０５０号公報

しかしながら、上述の特許文献に開示された従来技術では、歪み画像に対する歪曲補正を画面全体に対して行うので、歪曲補正処理の負荷が高まる。一方、全方位カメラ装置は撮像センサの解像度がますます高解像度化しているので、歪曲補正処理の負荷も更に高まり、装置内での処理量が増大することにより、画像出力のフレームレートの低下といった問題が発生している。
本発明は、処理負荷を抑えて歪み補正を行うことを目的とする。

そこで、本発明の情報処理装置は、広範囲画像から被写体の動きを検出する検出手段と、歪み補正を行う補正手段と、前記検出手段により前記被写体の動きが検出された場合、前記補正手段により前記広範囲画像に対して歪み補正を行うよう制御し、前記検出手段により前記被写体の動きが検出されなかった場合、前記補正手段により前記広範囲画像に対して歪み補正を行わないよう制御する制御手段と、を有する。

本発明によれば、処理負荷を抑えて歪み補正を行うことができる。

撮像システムのシステム構成の一例を示す図である。 撮像システムを構成する各装置のハードウェア構成の一例を示す図である。 サーバ装置のソフトウェア構成の一例を示す図である。 サーバ装置の情報処理の一例を示すフローチャートである。 切り出しの一例を示す図である。 背景技術を説明するための図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、撮像システムのシステム構成の一例を示す図である。
図１に示されるように、撮像システムは、全方位カメラ１０１と、サーバ装置１０２とを含む。例えば、全方位カメラ１０１と、サーバ装置１０２とは、ネットワーク等を介して通信可能に接続されている。
全方位カメラ１０１で撮像された広範囲画像としての全方位画像はネットワーク等を介してサーバ装置１０２に送信される。サーバ装置１０２は、全方位カメラ１０１から全方位画像を受信すると、全方位画像から被写体の動きを検出し、被写体の動きの有無に応じて歪み補正（歪曲補正）の適用、非適用を決定し、決定に応じて歪み補正の実行を制御する。そして、サーバ装置１０２は、歪み補正を行った画像や歪み補正を行わなかった画像を表示する。また、サーバ装置１０２は、全方位カメラ１０１の制御等も行うことができる。
このような処理を行うことによって、動きのある部分のみ歪み補正が行われるので処理を低減することができる。

図２は、撮像システムを構成する各装置のハードウェア構成の一例を示す図である。
全方位カメラ１０１は、ハードウェア構成として、撮像部１０と、映像信号処理部１１と、メモリ１２と、ＣＰＵ１３と、操作部１４と、表示部１５と、通信部１６と、を含む。
撮像部１０は、３６０°の視野を一度に受光可能な魚眼レンズにより広範囲画像を撮影可能な撮像部１０は、受光された光学像を撮像素子によって取り込んで、映像信号を生成する。
映像信号処理部１１は、撮像部１０で生成された映像信号にＡ／Ｄ変換を行ったり、画像処理を施したりして画像を生成する。
映像信号処理部１１で生成される画像は、魚眼レンズによる幾何的な歪曲を含むので、円形に歪んだ広範囲画像（全方位画像）となる。本実施形態では、魚眼レンズは全方位を撮影可能なレンズであり、映像信号処理部１１で生成される画像は全方位画像であるものとして説明を行う。しかしながら、例えば、サーバ装置等が、複数の撮像装置で撮影され、生成された画像を合成して全方位画像を生成するようにしてもよい。
メモリ１２は、生成された全方位画像やプログラム等を記憶する。
ＣＰＵ１３は、全方位カメラ１０１の全体を制御する。ＣＰＵ１３がメモリ１２に記憶されているプログラムに基づき処理を実行することによって、全方位カメラ１０１の機能が実現される。
操作部１４は、ユーザからの操作を受け付け、受け付けた内容等をＣＰＵ１３に通知する。
表示部１５は、液晶画面等を有し、ＣＰＵ１３の制御に基づき情報等を表示する。
通信部１６は、全方位カメラ１０１をネットワーク等に接続し、他の装置等との通信を司る。

サーバ装置１０２は、ハードウェア構成として、ＣＰＵ２０と、メモリ２１と、通信部２２と、操作部２３と、表示部２４と、を含む。
ＣＰＵ２０は、サーバ装置１０２の全体を制御する。ＣＰＵ２０がメモリ２１に記憶されているプログラムに基づき処理を実行することによって、後述するサーバ装置１０２のソフトウェア構成及びフローチャートの処理等が実現される。
メモリ２１は、プログラムやＣＰＵ２０が処理を実行する際に利用するデータ等を記憶する。
通信部２２は、サーバ装置１０２をネットワーク等に接続し、他の装置等との通信を司る。
操作部２３は、例えば、マウスやキーボード等であって、ユーザからの操作を受け付け、受け付けた内容等をＣＰＵ２０に通知する。
表示部２４は、ディスプレイ等を有し、ＣＰＵ２０の制御に基づき歪み補正を行った画像や歪み補正を行わなかった画像等を表示する。

図３は、サーバ装置１０２のソフトウェア構成の一例を示す図である。
サーバ装置１０２は、ソフトウェア構成として、画像取込部３０１と、切出設定部３０２と、動体検出部３０３と、歪み補正部３０４と、入力インターフェース（Ｉ／Ｆ）部３０５と、画像記録部３０６と、表示インターフェース（Ｉ／Ｆ）部３０７と、を含む。
画像取込部３０１は、ネットワーク上の全方位カメラからデータを受信して、その中から撮影画像（全方位画像）を取り込む。
切出設定部３０２は、入力Ｉ／Ｆ部３０５より受け取ったユーザの指示に応じた切り出し設定に基づいて、歪曲のある全方位画像に対して複数の領域の切り出しを設定する。
動体検出部３０３は、全方位画像の中から動きのある被写体を検出する。例えば、動体検出部３０３は、全方位画像の時間的な差分を検出して、その差分量の変化から被写体の動きを検出する。また、動体検出部３０３は、動きのある被写体から顔検出を行うようにしてもよい。例えば、動体検出部３０３は、検出した動きのある被写体から被写体の目、鼻、口といった特徴点を撮影画像の中から探し出し、その変化より顔を検出する。
また、動体検出部３０３は、切出設定部３０２により複数の領域の切り出しが設定された場合、全方位画像を複数の領域に切り出し、各々の領域に対して動きのある被写体の検出等を行う。
なお、切出設定部３０２が切り出しを行い、動体検出部３０３が前記切り出された各領域に対して動きのある被写体の検出等を行うようにしてもよい。

歪み補正部３０４は、動体検出部３０３における動きのある被写体の検出の有無に応じて、全方位画像の歪みを補正する。より具体的に説明すると、歪み補正部３０４は、動体検出部３０３により全方位画像の中から動きのある被写体が検出された場合は、全方位画像に対して、全方位カメラ１０１の魚眼レンズに起因する幾何的な歪みを補正する歪み補正を行う。一方、歪み補正部３０４は、動体検出部３０３により全方位画像の中から動きのある被写体が検出されなかった場合は、全方位画像に対して歪み補正を行わない。
また歪み補正部３０４は、切出設定部３０２により切り出しが設定され、動体検出部３０３において全方位画像が複数の領域に切り出され、各領域に対して動きのある被写体の検出が行われた場合、各領域の動きのある被写体の検出の有無に応じて歪み補正を行う。例えば、歪み補正部３０４は、複数の領域のうち一の領域で被写体の動きが検出された場合、前記一の領域の画像に対して歪み補正を行う。また歪み補正部３０４は、前記複数の領域のうち前記一の領域以外の領域で被写体の動きが検出されなかった場合、前記一の領域以外の領域の画像に対して歪み補正を行わない。

即ち、歪み補正部３０４は、切り出し領域に動体が検出された場合には、ユーザが着目すべき画像として歪み補正を行う。一方、歪み補正部３０４は、切り出し領域に動体が検出されなかった場合には、ユーザが着目しない画像として歪み補正を行わずに歪みのある画像のままとする。
また、歪み補正部３０４は、動体検出部３０３により被写体の動きが検出され、かつ、前記被写体から顔が検出された場合、全方位画像に対して歪み補正を行うようにしてもよい。また、歪み補正部３０４は、動体検出部３０３により被写体の動きが検出されなかった場合、及び、動体検出部３０３により前記被写体の動きが検出されたが、前記被写体から顔が検出されなかった場合、全方位画像に歪み補正を行わないようにしてもよい。

入力Ｉ／Ｆ部３０５は、操作部２３等を介したユーザの指示を入力する。例えば、入力Ｉ／Ｆ部３０５は、操作部２３等を介したユーザの指示に応じて、全方位画像に対する切り出し位置の情報等を入力する。
画像記録部３０６は、歪み補正部３０４からの歪み補正有り、無しの画像をそれぞれメモリ２１等に記録する。画像記録部はハードディスク装置やメモリ装置といった記憶装置により構成されている。画像記録部３０６は、切出設定部３０２から歪み補正部３０４までを介して出力された画像だけでなく、全方位カメラ１０１から出力された全方位画像そのままをメモリ２１等に保存してもよい。画像記録部３０６がどの画像を取得して、どのように保存するかについては特に限定するものではない。
表示Ｉ／Ｆ部３０７は、歪み補正部３０４からの歪み補正有り、無しの画像をそれぞれ表示部２４に表示する。

次に、サーバ装置１０２での画像入力から出力までの各部の情報処理に関して、図４のフローチャート、図５の切り出しの説明図を用いて説明する。
所定の操作等に基づき処理がスタート（Ｓ４０１）されると、先ずＳ４０２において、画像取込部３０１は、全方位カメラ１０１から出力された円形の全方位画像（魚眼画像）５０１を取得する。
Ｓ４０３において、切出設定部３０２は、ユーザによる指定に応じて、歪曲のある全方位画像に対して複数の領域の切り出しを設定する。図５の例では、ユーザは、全方位画像５０１に対して切り出し領域として切り出し領域５０１ａの設定を行っている。画像５０２では全方位画像５０１から４点の撮影点が指定され、それぞれの領域が４画面において表示されている。この例では４領域の切り出しが指示されているので、領域ＭはＭ＝４となる。
Ｓ４０４において、動体検出部３０３は、前記設定に基づき分割した各領域の画像処理を行うために、初期値ｎ＝１を設定する。

Ｓ４０５において、動体検出部３０３は、分割した領域に対してそれぞれ動体の検出処理を行う。動体検出部３０３は、切り出し領域５０１ａのように人物等の動体を検出する。
Ｓ４０６において、歪み補正部３０４は、Ｓ４０５の検出結果に基づき、各領域における動体の有無を判定する。歪み補正部３０４は、処理対象の領域において動体有りと判定した場合は、処理をＳ４０７に進め、処理対象の領域において動体無しと判定した場合は、Ｓ４０７の処理をスキップし、処理をＳ４０８に進める。
Ｓ４０７において、歪み補正部３０４は、処理対象である動体ありと判定された領域の画像に対して歪み補正を行う。即ち、サーバ装置１０２は、動体検出を行い、動体のある切り出し領域の画像に対して歪み補正を行う。
Ｓ４０８において、歪み補正部３０４は、ｎ＜Ｍか否かを判定する。歪み補正部３０４は、ｎ＜Ｍであると判定した場合、処理をＳ４０９に進め、ｎ＜Ｍでないと判定した場合、処理をＳ４１０に進める。
Ｓ４０９において、歪み補正部３０４は、ｎの値をインクリメントし、処理をＳ４０５に戻す。
一方、Ｓ４１０において、表示Ｉ／Ｆ部３０７は、全方位画像から切り出し、歪み補正を行った領域の画像及び／又は歪み補正を行わなかった領域の画像を表示部２４に表示する。Ｓ４１０の処理は、表示制御の処理の一例である。
そして、Ｓ４１１において、図４に示す処理が終了される。

図５において画像５０２は、左下の領域以外の領域は動体があった場合であり、左上、右上、及び右下の領域の画像は歪み補正が行われた画像の一例となる。左下の領域の画像は歪み補正が行われなかった画像である。一方、画像５０３は、何れの領域も動体が検出されなかった場合であり、歪み補正が行われない４つの領域の画像の一例となる。
サーバ装置１０２において、動体が検出された領域の画像に対してのみ歪み補正処理を行うことで、全領域の画像に対して歪み補正処理を行う場合に比べての処理負荷が抑えられる。結果としてサーバ装置１０２全体の処理低減となり、処理負荷が高まった場合に発生するフレームレート落ちの発生を低減することができる。

以上、本実施形態によれば、全方位カメラの画像の処理において、歪みのある画像の任意の領域を切り出し、その範囲の動きの有無に応じて歪み補正を行うことで、処理負荷を抑えることができる。
また、サーバ装置１０２のＣＰＵ２０は、事前に背景画像に対して歪み補正を行い、歪み補正を行った背景画像を記録し、その後、被写体の動きを検知した領域のみ歪み補正を行い、前記記録しておいた背景画像に重ねて表示するようにしてもよい。
また、ＣＰＵ２０は、被写体の動き検知と共に出力モード（４画面表示か、パノラマ表示か等）に応じて、歪み補正を行うか否か決定するようにしてもよい。また、ＣＰＵ２０は、被写体の動き検知と共にサーバ装置１０２の処理状況に応じて、歪み補正を行うか否か決定するようにしてもよい。
また、上述したように、動きがある部分のみに対して歪み補正を行うようにすることによって、処理負荷を抑えて歪み補正を行うことができるため、サーバ装置１０２を設けず、全方位カメラ１０１において歪み補正に係る処理を行うようにすることもできる。即ち、実施形態１で示した処理を全方位カメラ１０１のＣＰＵ１３が行うようにしてもよい。
サーバ装置１０２が歪み補正に係る処理を行った場合、情報処理装置の一例はサーバ装置１０２である。一方、全方位カメラ１０１が歪み補正に係る処理を行った場合、情報処理装置の一例は全方位カメラ１０１である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 全方位カメラ、１０２ サーバ装置

Claims (9)

1. 広範囲画像から被写体の動きを検出する検出手段と、
   歪み補正を行う補正手段と、
   前記検出手段により前記被写体の動きが検出された場合、前記補正手段により前記広範囲画像に対して歪み補正を行うよう制御し、前記検出手段により前記被写体の動きが検出されなかった場合、前記補正手段により前記広範囲画像に対して歪み補正を行わないよう制御する制御手段と、
   を有する情報処理装置。
2. 前記広範囲画像から複数の領域の切り出しを設定する設定手段を更に有し、
   前記検出手段は、前記設定手段による設定に応じて、前記広範囲画像から複数の領域を切り出し、切り出した前記複数の領域から被写体の動きを検出し、
   前記制御手段は、前記検出手段により前記複数の領域のうち一の領域で前記被写体の動きが検出された場合、前記補正手段により前記一の領域の画像に対して歪み補正を行うよう制御し、前記検出手段により前記複数の領域のうち前記一の領域以外の領域で前記被写体の動きが検出されなかった場合、前記補正手段により前記一の領域以外の領域の画像に対して歪み補正を行わないよう制御する請求項１記載の情報処理装置。
3. 前記設定手段は、ユーザの指定に応じて、前記広範囲画像から複数の領域の切り出しを設定する請求項２記載の情報処理装置。
4. 前記補正手段により歪み補正が行われた前記一の領域の画像、及び前記補正手段により歪み補正が行われなかった前記一の領域以外の領域の画像を表示部に表示させるよう制御する表示制御手段を更に有する請求項２又は３記載の情報処理装置。
5. 前記検出手段は、動きを検出した前記被写体から更に顔を検出し、
   前記制御手段は、前記検出手段により前記被写体の動きが検出され、かつ、前記被写体から前記顔が検出された場合、前記補正手段により前記広範囲画像に対して歪み補正を行うよう制御し、前記検出手段により前記被写体の動きが検出されなかった場合、及び、前記検出手段により前記被写体の動きが検出されたが、前記被写体から前記顔が検出されなかった場合、前記補正手段により前記広範囲画像に対して歪み補正を行わないよう制御する請求項１乃至４何れか１項記載の情報処理装置。
6. 広範囲画像を撮像する撮像手段と、
   前記撮像手段により撮像された前記広範囲画像から被写体の動きを検出する検出手段と、
   歪み補正を行う補正手段と、
   前記検出手段により前記被写体の動きが検出された場合、前記補正手段により前記広範囲画像に対して歪み補正を行うよう制御し、前記検出手段により前記被写体の動きが検出されなかった場合、前記補正手段により前記広範囲画像に対して歪み補正を行わないよう制御する制御手段と、
   を有するシステム。
7. 情報処理装置が実行する情報処理方法であって、
   広範囲画像から被写体の動きを検出する検出ステップと、
   歪み補正を行う補正ステップと、
   前記検出ステップにより前記被写体の動きが検出された場合、前記補正ステップにより前記広範囲画像に対して歪み補正を行うよう制御し、前記検出ステップにより前記被写体の動きが検出されなかった場合、前記補正ステップにより前記広範囲画像に対して歪み補正を行わないよう制御する制御ステップと、
   を含む情報処理方法。
8. システムが実行する情報処理方法であって、
   広範囲画像を撮像する撮像ステップと、
   前記撮像ステップにより撮像された前記広範囲画像から被写体の動きを検出する検出ステップと、
   歪み補正を行う補正ステップと、
   前記検出ステップにより前記被写体の動きが検出された場合、前記補正ステップにより前記広範囲画像に対して歪み補正を行うよう制御し、前記検出ステップにより前記被写体の動きが検出されなかった場合、前記補正ステップにより前記広範囲画像に対して歪み補正を行わないよう制御する制御ステップと、
   を含む情報処理方法。
9. コンピュータに、
   広範囲画像から被写体の動きを検出する検出ステップと、
   歪み補正を行う補正ステップと、
   前記検出ステップにより前記被写体の動きが検出された場合、前記補正ステップにより前記広範囲画像に対して歪み補正を行うよう制御し、前記検出ステップにより前記被写体の動きが検出されなかった場合、前記補正ステップにより前記広範囲画像に対して歪み補正を行わないよう制御する制御ステップと、
   を実行させるためのプログラム。

Images