JP2016219956A

JP2016219956A - 全方位カメラシステム

Info

Publication number: JP2016219956A
Application number: JP2015101188A
Authority: JP
Inventors: 肇松本; Hajime Matsumoto; 貴政横山; Takamasa Yokoyama
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2015-05-18
Filing date: 2015-05-18
Publication date: 2016-12-22
Anticipated expiration: 2035-05-18
Also published as: US10070056B2; US20160344932A1; JP5967504B1

Abstract

【課題】全方位画像から切り出された複数の部分画像の全てを均一な画質に調整すること。【解決手段】全方位カメラシステムは、魚眼レンズを用いて撮像することにより全方位画像を取得する全方位カメラと、全方位画像から切り出された複数の部分画像を１つの画面に並べて表示させる画像処理装置２と、を有する。全方位カメラは、全方位画像に対して輝度調整を行う。画像処理装置２は、全方位カメラからネットワークに配信された４画ＰＴＺ画像を該ネットワークから取得する画像取得部１０と、画像取得部１０で取得された４画ＰＴＺ画像の４つの部分画像に対して階調調整処理を含む画質調整処理を行う画質調整部１１と、画質調整部１１で画質調整処理が行われた４つの部分画像を１つの画面に並べて表示する画像を出力する画像出力部１２と、を有する。【選択図】図４

Description

本発明は、全方位画像から切り出された複数の部分画像に対して画像処理を行う全方位カメラシステムに関する。

従来、全方位カメラが魚眼レンズを用いて撮像することにより得られた全方位画像から複数の部分画像を切り出し、それらを１つの画面に並べて表示する技術が考案されている。例えば、特許文献１には、全方位画像（同文献では「全周囲画像」と言っている）から切り出された複数の部分画像を歪み補正して１つの画面上に出力させる全方位カメラシステム（同文献では「撮影画像表示システム」と言っている）が記載されている。

特開２０１３−２３９９８６号公報

上述した全方位画像から切り出された複数の部分画像は、それぞれ異なる箇所を写した画像であり、それぞれの箇所に応じて明るさが違ったりする場合がある。また、各部分画像の明るさは、陽当たりや、電灯スイッチのオンオフ等の環境条件によって、経時変化することもある。

しかしながら、従来の階調（明るさ）調整は、全方位画像に対して行われるため、例えば１つ部分画像を明るくしようとすると、画面全体が明るくなるため、他の全ての部分画像が明るくなり過ぎてしまう。その逆も同様で、例えば１つの部分画像を暗くしようとすると、画面全体が暗くなるため、他の全ての部分画像が暗くなってしまう。このように、従来は、複数の部分画像の全てを均一な画質（明るさ）にすることができないという課題がある。

本発明の目的は、係る事情に鑑みてなされたものであり、全方位画像から切り出された複数の部分画像の全てを均一な画質に調整することができる全方位カメラシステムを提供することである。

本発明の全方位カメラシステムは、魚眼レンズを用いて撮像することにより全方位画像を取得する全方位カメラと、前記全方位画像から切り出された複数の部分画像を１つの画面に並べて表示させる画像処理装置と、を有する全方位カメラシステムであって、前記全方位カメラは、前記全方位画像に対して輝度調整を行い、前記画像処理装置は、前記複数の部分画像に対して前記部分画像毎に階調調整処理を行う。

本発明によれば、全方位画像に対して輝度調整等の画像処理を行うと供に、全方位画像から切り出された複数の部分画像のそれぞれに対して画質調整を行うので、複数の部分画像の全てを均一な画質に調整することができる。

本発明の一実施の形態に係る全方位カメラシステムの概略構成を示すブロック図全方位カメラの外観を示す斜視図全方位カメラのイメージセンサで撮影された全方位画像と信号処理ＩＣで４画ＰＴＺ変換された後の４画ＰＴＺ画像を示す図画像処理装置の機能をブロック化した図全方位カメラから得られる４画ＰＴＺ画像において、４つの部分画像の全てが略均一な明るさとなった例を示す図全方位カメラから得られる４画ＰＴＺ画像において、１つの部分画像のみが暗くなっている例を示す図全方位カメラから得られる４画ＰＴＺ画像において、２つの部分画像が暗くなっている例を示す図画像処理装置の動作を説明するためのフロー図

以下、本実施の形態を図面に基づいて詳細に説明する。
図１は、本発明の一実施の形態に係る全方位カメラシステム１の概略構成を示すブロック図である。図１に示すように、本実施の形態に係る全方位カメラシステム１は、少なくとも、画像処理装置２と、全方位カメラ３と、を有する。画像処理装置２は、魚眼レンズ３５を用いた全方位カメラ３から出力される魚眼画像（以下、全方位画像と言う）より４つの部分画像を取得して、それぞれの部分画像に対して階調（明るさ）を含む画質調整を行う。画像処理装置２の画像処理の詳細については後述する。

図２は、図１の全方位カメラ３の外観を示す斜視図である。図２に示すように、全方位カメラ３は、中央部に半球状で透明のレンズカバー３２が設けられた略円盤形状のケーシング３１を有する。このケーシング３１内には、図１に示すように、魚眼レンズ３５、イメージセンサ３６及び信号処理ＩＣ（Integrated Circuit）３７が設けられている。

魚眼レンズ３５は、レンズカバー３２内に配置され、レンズカバー３２を透過した光をイメージセンサ３６に結像させる。イメージセンサ３６は、魚眼レンズ３５から入った全方位の光を電気信号に変換して出力する。イメージセンサ３６は、例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)である。信号処理ＩＣ３７は、イメージセンサ３６から出力された電気信号に対して所定の処理を行ってネットワーク４に配信するものであり、全方位画像に対する輝度調整等の画像処理を行う画像処理部３７１と、全方位画像を４画ＰＴＺ(Pan、Tilt、Zoom)画像に変換する魚眼表示変換部３７２と、４画ＰＴＺ画像の圧縮処理・送信を行うエンコード部３７３とを有する。特に、魚眼表示変換部３７２は、全方位画像から４つの画像を切り出し、各画像部分に対してアフィン変換等の変形処理を行って矩形に変換する。図３は、イメージセンサ３６で撮影された全方位画像（魚眼画像）と信号処理ＩＣ３７で４画ＰＴＺ変換された後の４画ＰＴＺ画像を示す図である。同図の（ａ）において、丸で描かれた部分に全方位画像が表示される。また、同図の（ｂ）において、四角で区切られた４つの部分に４画ＰＴＺ画像が表示される。

画像処理装置２は、不図示のＣＰＵ、ＲＯＭ(Read Only Memory)及びＲＡＭ(Random Access Memory)を有し、ＲＯＭには、ＣＰＵを動作させるための制御プログラムが記憶されている。制御プログラムには、４画ＰＴＺ画像である４つの部分画像の階調を調整する表示プログラムが含まれている。ＲＡＭは、ワークメモリとしてＣＰＵの動作において用いられる。

画像処理装置２は、全方位カメラ３からネットワーク４に配信された４画ＰＴＺ画像である４つの部分画像をネットワーク４から取得し、それぞれをデコード（復号）する。そして、画像処理装置２は、復号した４つの部分画像のそれぞれに対して階調（明るさ）を含む画質調整を行って出力する。図４は、画像処理装置２の機能をブロック化した図である。同図に示すように、画像処理装置２は、画像取得部１０と、画質調整部１１と、画像出力部１２と、を有する。

画像取得部１０は、全方位カメラ３からネットワーク４に配信された４画ＰＴＺ画像を該ネットワーク４から取得する。画質調整部１１は、画像取得部１０で取得された４画ＰＴＺ画像の４つの部分画像に対して、部分画像毎に画質調整処理を行う。画像出力部１２は、画質調整部１１で画質調整処理が行われた４つの部分画像を１つの画面に並べて表示する画像を出力する。

画質調整部１１で行われる画質調整処理は、部分画像の階調（明るさ）を調整する階調調整処理（明るさ調整処理）を含む。本実施の形態では、画質調整部１１が、画質調整処理として、階調調整処理を行うものとする。

画質調整部１１は、部分画像毎に複数フレーム分の画像情報の階調の平均値を算出し、部分画像毎に、階調の平均値に基づいて該部分画像の階調を調整する。

このように、画像処理装置２は、部分画像毎に該部分画像の階調を調整するので、例えば４つの部分画像のうち１つが暗くなっていても、その部分画像が他の部分画像とは関係なく階調調整されるので、４つの部分画像の全てを均一な画質に調整することができる。

図５は、全方位カメラ３から得られる４画ＰＴＺ画像において、４つの部分画像の全てが略均一な明るさとなっている例を示す図である。同図に示す例では、階調調整を行う必要がないため、切り出された４つの部分画像の全てがそのまま画面に表示される。図６は、全方位カメラ３から得られる４画ＰＴＺ画像において、１つの部分画像のみが暗くなっている例を示す図である（左図）。同図に示す例では、［２］の部分画像に対してのみ階調調整が行われ、結果的に右図に示すように４つの部分画像の全てが均一な画質になる。図７は、全方位カメラ３から得られる４画ＰＴＺ画像において、２つの部分画像が暗くなっている例を示す図である（左図）。同図に示す例では、［２］，［３］の各部分画像に対して階調調整が行われ、結果的に右図に示すように４つの部分画像の全てが均一な画質になる。

次に、本実施の形態の画像処理装置２の動作を説明する。
図８は、本実施の形態に係る画像処理装置２の動作を説明するためのフロー図である。まず画像取得部１０がネットワーク４から画像情報を取得する（ステップＳ１）。すなわち、全方位カメラ３からネットワーク４に配信された４画ＰＴＺ画像をネットワーク４から取得する。この場合、各部分画像の階調の平均値を得るために複数フレーム分の画像情報を取得する。

画像取得部１０が複数フレーム分の画像情報を取得した後、画質調整部１１が部分画像毎に複数フレーム分の画像情報の階調の平均値Ｙ_Ｎ（Ｎ＝１，２，３，４）を計算する（ステップＳ２）。

画質調整部１１は、各部分画像の階調の平均値Ｙ_Ｎを計算した後、部分画像毎にその階調の平均値Ｙ_Ｎと目標輝度値Ｙ_Ｔとの差の絶対値が所定の閾値αを超えるどうか判定する（ステップＳ３〜Ｓ７）。

まず、画質調整部１１は、［１］の部分画像の階調の平均値Ｙ_１と目標輝度値Ｙ_Ｔとの差の絶対値が所定の閾値αを超えるどうか判定する（ステップＳ３、ステップＳ４）。ステップＳ４の判定において、｜Ｙ_Ｔ−Ｙ_１｜＞αの場合（ステップＳ４：ＹＥＳ）、［１］の部分画像が暗いと判定し、該部分画像に対する階調調整処理を行う（ステップＳ４）。すなわち、階調を上げる。例えば、目標輝度値Ｙ_Ｔ＝１０、平均値Ｙ_１＝１、α＝５のとき、｜Ｙ_Ｔ−Ｙ_１｜＝９＞αとなるので、［１］の部分画像は「暗い」と判定し、階調を上げる（ステップＳ５）。

これに対し、ステップＳ４の判定において、｜Ｙ_Ｔ−Ｙ_１｜≦αの場合（ステップＳ４：ＮＯ）、［１］の部分画像は「明るい」と判定し、［１］の部分画像については階調調整処理を行わない。

画質調整部１１が［１］の部分画像に対する処理（ステップＳ４、ステップＳ５）を行った後、フローは、ステップＳ６（ＮＯ）、ステップＳ７に進む。そして、画質調整部１１は、［２］，［３］，［４］の各部分画像についても同様の処理（ステップＳ４、ステップＳ５）を行う。このようにして、４つの部分画像のそれぞれに対して画質調整が行われる。

図７の処理が行われた後（ステップ６：ＹＥＳ）、画像出力部１２が、画質調整部１１から出力された４つの部分画像を１つの画面に並べて表示する画像を表示装置５へ出力する。

なお、階調調整処理において、調整量を大きな値にし、階調を一度に大きく変えるようにしてもよいし、調整量を小さな値にして階調を徐々に変えるようにしてもよい。階調を徐々に変える場合、図８のフロー図において、ステップＳ５の後、フローは、ステップＳ４に戻ることになる。

調整量を小さな値にすることで、各部分画像について、図８のステップＳ４，Ｓ５の処理を複数回行う場合が生じるが、階調の微調整ができるので、４つの部分画像［１］〜［４］における画質をより均一化することができるメリットがある。

また、画質調整部１１が階調処理を行うタイミングは、等間隔となるように所定の時間が経過する毎としても良く、所定の条件が満たされた時としても良い。例えば、部分画像が撮像される場所の照度を測定する照度計を設置し、画質調整部１１は、前回行った階調調整処理を行った際の照度と現在の照度との差が所定の閾値を超えたタイミングで、階調調整処理を行うようにしてもよい。

このように、本実施の形態によれば、全方位画像に対して輝度調整等の画像処理を行うと供に、画像処理後の全方位画像を変換した４画ＰＴＺ画像の４つの部分画像毎に階調調整処理を行い、階調調整処理後に４つの部分画像を１つの画面に並べて表示するようにしたので、全方位画像から切り出された４つの部分画像の全てを均一な画質に調整することができる。

なお、上記実施の形態では、全方位画像から「４つ」の部分画像を切り出すようにしたが、本発明はこれに限られず、「２つ」以上であればよい。

また、上記実施の形態では、全方位カメラ３（信号処理ＩＣ３７）において全方位画像に対して輝度調整を行い、画像処理装置２（画質調整部）において部分画像毎に階調調整処理を行う場合について説明したが、本発明はこれに限られず、全方位カメラ３（信号処理ＩＣ３７）において、全方位画像に対する輝度調整および部分画像毎の階調調整処理の両方を行うようにしても良い。

また、上記実施の形態において、画像処理装置２の画質調整部１１に、全方位カメラ３のイメージセンサ３６の露光を調整する機能を持たせてもよい。この場合、画質調整部１１は、全方位カメラ３との通信を、画像取得部１０を介して行えばよい。画質調整部１１は、［１］〜［４］の部分画像の階調の平均値を計算し、得られた階調の平均値と目標輝度値との差の絶対値を求める。そして、差の絶対値が所定の閾値を超える場合に、イメージセンサ３６の露光が不足していると判定してイメージセンサ３６の露光時間を長くする。この場合、イメージセンサ３６の露光時間を長めにとってもよいし、短めにしてもよい。調整する露光時間を短めにすることで、イメージセンサ３６の露光時間が決まるまで時間がかかることになるが、的確な露光時間を設定することが可能である。

また、上記実施の形態の表示プログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して頒布することもできる。

本発明は、監視カメラシステムへの適用が可能である。

１全方位カメラシステム
２画像処理装置
３全方位カメラ
４ネットワーク
５表示装置
１０画像取得部
１１画質調整部
１２画像出力部
３１ケーシング
３２レンズカバー
３５魚眼レンズ
３６イメージセンサ
３７信号処理ＩＣ
３７１画像処理部
３７２魚眼表示変換部
３７３エンコード部

Claims

魚眼レンズを用いて撮像することにより全方位画像を取得する全方位カメラと、前記全方位画像から切り出された複数の部分画像を１つの画面に並べて表示させる画像処理装置と、を有する全方位カメラシステムであって、
前記全方位カメラは、前記全方位画像に対して輝度調整を行い、
前記画像処理装置は、前記複数の部分画像に対して前記部分画像毎に階調調整処理を行う、
全方位カメラシステム。
前記画像処理装置は、
全方位カメラにより撮影された全方位画像から切り出された複数の部分画像を取得する画像取得部と、
前記複数の部分画像に対して前記階調調整処理を含む画質調整処理を行う画質調整部と、
前記画質調整処理が行われた複数の部分画像を１つの画面に並べて表示する画像を出力する画像出力部と、を有する、
請求項１記載の全方位カメラシステム。
前記画質調整部は、
前記各部分画像について、複数フレームの画像情報の階調の平均値を算出し、目標輝度値と前記階調の平均値との差の絶対値が第１閾値を超えた部分画像の階調を上げる、
請求項２に記載の全方位カメラシステム。
前記部分画像が撮像される場所の照度を測定する照度測定部をさらに具備し、
前記画質調整部は、前回行った前記階調調整処理を行った際の照度と現在の照度との差が第２閾値を超えたタイミングで、前記階調調整処理を行う、
請求項２または請求項３に記載の全方位カメラシステム。
魚眼レンズを用いて撮像することにより全方位画像を取得し、前記全方位画像から複数の部分画像を切り出す全方位カメラと、前記複数の部分画像を１つの画面に並べて表示させる画像処理装置と、を有する全方位カメラシステムであって、
前記全方位カメラは、前記全方位画像に対して輝度調整を行い、前記複数の部分画像に対して前記部分画像毎に階調調整処理を行う、
全方位カメラシステム。