JP2008072636A - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから水位を検出でき、かつ映像信号を伝送路に応じた品質で圧縮伝送可能にする。
【解決手段】固定カメラで撮影された映像に時空間基底分解を施し、得られたデータを順位付けして優先階層と非優先階層に分け、優先階層のデータに基づいて水位を検出するとともに、優先階層のデータを符号化して優先圧縮データを出力し、非優先階層のデータを符号化して非優先圧縮データを出力する映像処理・圧縮部３を設け、受信側では優先圧縮データを復号することで低解像度の映像を再生し、優先圧縮データ及び非優先圧縮データを復号することで高解像度の映像を再生するようにして、水中にいかなる物体をも設置することなく映像信号のみから水位を検出でき、かつ伝送路に応じた品質で映像を圧縮伝送できるようにする。
【選択図】図１

Description

本発明は、画像処理システム、画像処理方法、及びプログラムに関し、特に、撮影して得られる映像信号を圧縮符号化するとともに、映像信号に基づいて河川等の流水領域／非流水領域の認識を行う画像処理システムに用いて好適なものである。

河川の氾濫による水害を事前に察知して水防活動に役立てるために、河川敷の各所に水位計や監視カメラを設置し、それらにより得られるデータを一箇所に集約するシステムが、国土交通省が設置するテレメータをはじめとして多数実現されている。また、傾斜模様が描かれた量水板を河川中に設置し、その量水板を含む画像を取り込んで画像処理を行うことで、水位計を設置せずに河川映像から河川の水位を検出する方法が提案されている（例えば、特許文献１参照。）。

特開平９−１６１０７６号公報

しかしながら、流水を妨げる物体を河川の中に設置することは、洪水等の災害の要因となり得るため、河川法により厳しく制限管理されており、河川において量水板が設置できる場所は限られている。その一方で、できるだけ多くの箇所から水位データを収集することが、より正確で信頼できる防災情報を生成するためには欠かせない。

本発明は、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、その河川等の水位を検出できるようにするとともに、当該映像信号を伝送路のビットレートに応じた品質で圧縮伝送可能にすることを目的とする。

本発明の画像処理システムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解手段と、上記時空間基底分解手段により得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理手段と、上記階層化処理手段により分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化手段と、上記階層化処理手段により分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算手段とを備えることを特徴とする。
本発明の画像処理方法は、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解工程と、上記時空間基底分解工程で得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理工程と、上記階層化処理工程で分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化工程と、上記階層化処理工程で分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算工程とを有することを特徴とする。
本発明のプログラムは、固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解ステップと、上記時空間基底分解ステップで得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理ステップと、上記階層化処理ステップで分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化ステップと、上記階層化処理ステップで分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、河川等を被写体として固定カメラで撮影された流水領域及び非流水領域が含まれる映像を時間方向及び空間方向に基底分解し、得られたデータを流水領域と非流水領域の判別に係る有効性に応じて順位付けして優先階層のデータと非優先階層のデータに分ける。そして、優先階層のデータに基づいて流水領域と非流水領域に分割し水位検出を行う。これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから、流水領域及び非流水領域を認識し水位を検出することができる。
また、伝送路のビットレートが低い場合には、優先階層のデータのみを符号化処理して伝送し、伝送路のビットレートが高い場合には、優先階層のデータに加えて非優先階層のデータも符号化処理して伝送することにより、伝送路のビットレートに応じた品質での河川等を被写体とする映像信号の圧縮伝送が可能となる。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態による画像処理システムの構成例を示すブロック図である。本実施形態による画像処理システムは、固定カメラを用いた撮影で得られる河川等を被写体とする映像信号を時間方向及び空間方向に基底分解し、得られた変換係数を流水領域／非流水領域（陸部）の判別に有効なものを優先して階層化して優先階層と非優先階層に分け、その優先階層の変換係数及び非優先階層の変換係数に基づいて、水位を検出するとともに、優先圧縮データ及び非優先圧縮データを出力する。また、優先圧縮データ及び非優先圧縮データのそれぞれを復号することにより、低解像度な映像及び高解像度の映像をそれぞれ再生する。

図１において、センサ部１は、固定カメラ２及び映像処理・圧縮部３を有する。
映像処理・圧縮部３は、河川等を被写体として固定カメラ２で撮影された映像に時空間基底分解を施し、得られた変換係数を流水領域と陸領域の判別に有効なものを優先順位付けして階層化し、優先階層及び非優先階層に分ける。また、映像処理・圧縮部３は、優先階層のデータに基づいて、被写体とする河川等の水位の検出を行って水位データを出力する。また、映像処理・圧縮部３は、優先階層のデータのみを符号化して優先圧縮データを出力し、非優先階層のデータを符号化して非優先圧縮データを出力する。

センサ部１は、通信回線（通信ネットワーク等の伝送路）４を介して受信部５と通信可能に接続されており、センサ部１内の映像処理・圧縮部３より出力される水位データ、優先圧縮データ、非優先圧縮データが受信部５に伝送可能となっている。

受信部５は、第１の復号処理部６及び第２の復号処理部７を有する。
第１の復号処理部６は、映像処理・圧縮部３により生成され、通信回線４を介して供給された優先圧縮データを復号することで、河川等の被写体に係る低解像度の映像を再生する。この処理は、映像処理・圧縮部３内の符号化部で行われる処理の逆処理により優先階層の変換係数を復号し、次に、非優先階層の変換係数をゼロとして優先階層の変換係数のみに、映像処理・圧縮部３で行われる基底分解の逆処理を施すことで実現される。

第２の復号処理部７は、映像処理・圧縮部３により生成され、通信回線４を介して供給された優先圧縮データ及び非優先圧縮データの両方の圧縮データを併せて復号することで、河川等の被写体に係る高解像度の（高精細な）映像を再生する。この処理は、映像処理・圧縮部３内で行われる符号化処理の逆処理により優先階層及び非優先階層の両方の変換係数をそれぞれ復号し、次に、非優先階層及び優先階層の変換係数のすべてに映像処理・圧縮部３で行われる基底分解の逆処理を施すことで実現される。

図２は、映像処理・圧縮部３の構成例を示す図である。映像処理・圧縮部３は、領域抽出部１１、時間方向基底分解部１３及び空間方向基底分解部１４からなる時空間基底分解部１２、階層化処理部１５、第１の符号化部１６、第２の符号化部１７、及び水位計算部１８を有する。以下、図２に示した映像処理・圧縮部３の各機能部について詳細に説明する。なお、以下においては、必要に応じて図６〜図８に示すような実際の河川画像について流水領域及び非流水領域を検出、判別することで、河川の水位検出を行う場合を適宜例示して説明する。

（領域抽出部１１）
領域抽出部１１は、固定カメラ２を用いて撮影された撮像映像から、半分に陸部が、もう半分には流水部が写っているような領域を数フレームにわたり抽出する。ここで、流水部とは、撮像映像における水面等の水が写りこんだ領域であり、陸部とは、流水部以外の領域（例えば、背景画像等の領域）である。

例えば、領域抽出部１１は、図６（ａ）に示すように上半分が陸部、下半分が流水部であるような領域画像を撮像映像から抽出する。なお、領域画像を抽出する際、陸部が下で流水部が上、又は陸部及び流水部がそれぞれ左と右、あるいは右と左に写っていても良く、流水領域の検出は可能である。また、撮影映像全体の半分が陸部、もう半分が流水部となるように固定カメラ２のアングル等を調整して撮影を行い、得られた撮影映像そのものを領域画像としても良い。

ここで、領域画像における陸部には模様のある静止した物体が写っており，流水部においては水面が常に動いていることが望ましい。また、領域画像において水面は水平であることが望ましく、そうなるように撮影画像（領域画像）を９０度回転させるか拡大や縮小をするなどのアフィン変換を施すことも効果的である。また、夜間に撮影した映像については、例えば赤外線照射した結果として、陸部に何らかの模様が写ってさえいれば、流水部には何も写っていなくても良く、流水領域を検出可能である。

領域画像の抽出は、ある時点でユーザーが抽出位置を指定した後は、流水領域の検出結果を基に得られた水位に応じて水面が常に領域画像の中心付近に位置するようにして、ある時間間隔で自動的に実施するようにしても良い。

（時空間基底分解部１２）
時空間基底分解部１２は、領域抽出部１１により抽出された領域画像について、時間方向の基底分解を施す時間方向基底分解部１３及び空間方向の基底分解を施す空間方向基底分解部１４を有する。

（時間方向基底分解部１３）
時間方向基底分解１２は、領域抽出部１１により抽出された領域画像について、時間方向に基底分解する。時間方向基底分解部１２にて行われる時間方向の基底分解の一例を図３に示す。

図３においては、８枚のフレーム（フレーム１〜フレーム８）を基底分解する例を示している。また、基底分解としては２入力２出力（２点の基底分解）の例を示しており、例えば２つの入力（ａ，ｂ）に対して（ａ＋ｂ，ａ−ｂ）を出力するものが利用できる。また、図３においては、出力（ａ＋ｂ）は信号の低域成分であるので記号「Ｌ」で示し、出力（ａ−ｂ）は信号の高域成分であるので記号「Ｈ」で示している。なお、出力のスケーリング又は定数倍等は適宜行ってもよい。例えば、出力（ａ＋ｂ）に対して２で割ることで映像の全体的な明るさを一定に保つことができる。

例えば、時間方向基底分解１２により、フレームｎとフレーム（ｎ＋１）（ｎ＝１、３、５、７）の個々の画素値について基底分解することにより、Ｌ（ｔｎ）（＝フレームｎ＋フレーム（ｎ＋１））とＨ（ｔｎ）（＝フレームｎ−フレーム（ｎ＋１））が得られる。

こうして得られたＬ（ｔｎ）は、時間方向に低域通過フィルタが施されたことと等価なものとなる。例えば、降雨雪時の雨雪粒やカメラの前を横切る鳥のような動く物体は映像として見えにくくなる。また、例えば、流水部における流水の波面も映像として滑らかになり、高周波成分の少ない映像となる。すなわち、Ｌ（ｔｎ）においては、動きのある部分はぼやけて見えにくくなる。一方、静止している陸上の構造物、例えば護岸コンクリートの模様などは、高周波成分の保持された鮮明な映像となる。すなわち、得られたＬ（ｔｎ）に対して判別処理を行えば、高周波成分の抑圧された流水部分と高周波成分の保持された陸部分とに領域を分割することができる。

さらに、判別効果を高めるために、上述のような処理を繰り返すこともできる。例えば、図３に示す例では、Ｌ（ｔｍ）とＬ（ｔ（ｍ＋２））（ｍ＝１、５）を入力とする基底分解を行うことにより、ＬＬ（ｔｍ）とＬＨ（ｔｍ）を得ている。さらに、ＬＬ（ｔｋ）とＬＬ（ｔ（ｋ＋４））（ｋ＝１）を入力とする基底分解を行うことにより、ＬＬＬ（ｔｋ）とＬＬＨ（ｔｋ）を得ている。

以上のようにして得られた変換係数に対して、ＬＬＬ（ｔｋ）を第１優先の変換係数、ＬＬＨ（ｔｋ）を第２優先の変換係数、ＬＨ（ｔｍ）を第３優先の変換係数とし、その他のＨ（ｔｎ）を非優先の変換係数とする。

ここで、図６（ａ）に示した実際の河川画像（原映像）に対して、基底分解を施して得られるＬＬＬ（ｔｋ）を図６（ｂ）に示し、Ｈ（ｔｎ）を図６（ｃ）に示している。このような時間方向の基底分解は、エネルギ（分散値）の偏りを生じさせるため、データ圧縮においても寄与する。実際に図６（ｂ）、（ｃ）に示したように、ＬＬＬ（ｔｋ）は全体的に明るく分散値が大きいが、Ｈ（ｔｎ）は全体的に暗く分散値が小さいことが確認できる。

第１優先の変換係数（ＬＬＬ（ｔｋ））は、流水部分と陸部分との判別における特徴量となり、後述する水位計算（水位検出）に用いられる。また、第１優先の変換係数については、符号化処理されて最優先圧縮データとして送信され、これのみを受信部５にて復号することで、時間方向に低域フィルタの施され、かつフレームレートの間引かれた（図３に示した例では８フレームが１フレームに間引かれた）映像が再生される。

また、同様に、受信部５にて第１優先及び第２優先の変換係数を併せて復号する、すなわちＬＬＬ（ｔｋ）とＬＬＨ（ｔｋ）に基底分解の逆変換を施すことで、ＬＬ（ｔｍ）（図３に示した例ではＬＬ（ｔ１），ＬＬ（ｔ５））が再生される。これらを表示した場合には、図３に示す例では８フレームが２フレームに間引かれた映像が再生される。

同様に、第１、第２、及び第３優先の変換係数（ＬＬＬ（ｔｋ），ＬＬＨ（ｔｋ），ＬＨ（ｔｍ）を併せて復号すれば、Ｌ（ｔｎ）（図３に示した例では、Ｌ（ｔ１），Ｌ（ｔ３），Ｌ（ｔ５），Ｌ（ｔ７））が再生されるので、図３に示す例では８フレームが４フレームに間引かれた、すなわちフレームレートが半分である映像が再生される。

なお、同様に、優先階層の変換係数と非優先階層の変換係数のすべてを復号すれば、もとのフレームレートで映像を再生することができる。ただし、要する伝送帯域は、優先階層の変換係数のみを伝送・復号する場合に比べて広くなり、伝送ビットレートも高くなる。したがって、災害時のような伝送レートの低い、あるいは低い伝送レートが要求される場合には、優先階層の変換係数のみから映像を再生して、フレームレートの低い映像を閲覧させることができるようになる。

なお、上述した説明では、２点の基底分解を一例として示したが、Ｎを２よりも大きい正数として、一般的にＮ点の基底分解を用いることもできる。その場合はＮに応じた数のフレームメモリが必要となる。

（空間方向基底分解部１４）
空間方向基底分解部１４は、時間方向基底分解部１２により時間方向に基底分解して得られた変換係数に対して、空間方向（縦方向及び横方向）に直交変換を施す。ただし、時間方向基底分解部１３において非優先階層に分類された変換係数のように、エネルギ（分散値）が小さいものについては直交変換を施す必要はなく、直交変換を行わなくとも良い。空間方向基底分解部１４にて行う直交変換としては、例えばウェーブレット変換によるオクターブ分割を利用できる。

例えば、画像にウェーブレット変換を施すことにより、ＬＬ１、ＬＨ１、ＨＬ１、ＨＨ１といった４つの帯域画像（帯域信号）が生成される。ここで、ＨＬ１は横方向にハイパスフィルタかつ縦方向にローパスフィルタをそれぞれ１回通過させた画像となる。また、帯域画像の画素数は、ウェーブレット変換前の画素数の縦横共に半分となる。
さらに、帯域画像ＬＬ１に対して再びウェーブレット変換を施すことにより、ＬＬ２、ＬＨ２、ＨＬ２、ＨＨ２といった４つの帯域画像が生成され、結果として全部で７つの帯域画像が生成される（図５（ｄ）参照）。なお、さらに、帯域画像ＬＬ２に対してウェーブレット変換を施し合計１０個の帯域画像を生成してもよい。

また、ウェーブレット変換の基底には数多くの種類が存在するが何れを用いても良い。特に、画像圧縮の国際標準であるＪＰＥＧ２０００（例えば、「JPEG 2000-Image compression fundamentals, standards and practice」、D.S.Taubman，M.W.Marcellin共著，Kluwer Academic Publishers，2002を参照）におけるウェーブレット変換を利用することで、汎用的なＩＰコアを活用でき、システムの開発期間の短縮や回路の小型化を図ることが可能となる。

なお、上述した説明では、時空間基底分解部１２は、時間方向基底分解部１３による時間方向の基底分解を施した後に、空間方向基底分解部１４による空間方向の基底分解を施すようにしているが、空間方向の基底分解を施した後に時間方向の基底分解を施すように構成しても良い。

（階層化処理部１５）
階層化処理部１５は、時間方向基底分解部１２にて基底分解を施して得られた第１優先の変換係数に対して、空間方向基底分解部１３にて基底分解を施すことで得られた帯域の一部あるいは全部を優先階層に分類する。なお、優先階層以外は非優先階層とする。

この優先階層のデータは、水位計算部１８において流水部分と陸部分との判別を行うための特徴量として水位検出に用いられる。なお、どの帯域を優先階層とするかについては、水位計算及び映像再生時における必要度に応じて適宜決定すればよい。一例として、図６（ａ）に示した河川画像（原映像）に対する優先階層に分類された変換係数を図６（ｅ）に示す。

ここで、階層化処理部１５での分類において、非優先階層を例えば準優先階層と非優先階層のようにさらに細分化しても良い。このときの準優先階層は、時間方向基底分解１３における第１優先以外の優先された変換係数に対して、空間方向基底分解１４にて基底分解を施すことで得られた帯域の一部あるいは全部とする。どの帯域を優先階層とするかについては映像再生時における必要度に応じて決定すればよい。

（第１の符号化部１６）
第１の符号化部１６は、時間方向及び空間方向に基底分解して得られた変換係数のうち、階層化処理部１５において優先階層に分類されたものを符号化処理してデータ圧縮し、圧縮されたデータを優先圧縮データとして出力する。図６（ａ）に示した河川画像（原映像）に対する優先圧縮データを復号することで再生された低解像度の映像を図６（ｇ）に示す。

（第２の符号化部１７）
第２の符号化部１７は、時間方向及び空間方向に基底分解して得られた変換係数のうち、階層化処理部１５において非優先階層に分類されたものを符号化処理して、圧縮されたデータを非優先圧縮データとして出力する。

なお、第１、第２の符号化部１６、１７における符号化処理の方法としては、量子化した後にエントロピ符号化することが一般的である。エントロピ符号化としては、ランレングス符号化、算術符号化、ハフマン符号化など任意のエントロピ符号化を適用すればよい。

（水位計算部１８）
水位計算部１８は、階層化処理部１５において優先階層に分類されたデータに基づいて、映像領域を流水部と陸部に分割することにより水位計算（水位検出）を行う。水位の計算方法としては、水位計算部１８に送られたデータを特徴量として、映像を流水領域又は非流水領域のどちらかに判別し、これら２つの領域の境界の位置を水位として検出し水位データを出力する。

なお、水位の計算方法については、特願２００６−４９２４６に記載のように、最尤推定法などを用い、基底分解して得られた特徴量に基づいて画素毎に流水領域及び非流水領域のどちらかに判別すれば良い。
図４は、水位計算部１８の構成例を示す図である。水位計算部１８は、最尤推定部３１及び領域分割部３２を有し、領域分割部３２は、横方向ヒストグラム計算部３３、縦方向ヒストグラム計算部３４、境界値決定部３５、及び水位算出部３６を有する。

（最尤推定部３１）
最尤推定部３１は、階層化処理部１５において優先階層に分類されたデータに基づいて、当該データに係る画像の各画素について、非流水領域（陸領域）の画素であるか、あるいは流水領域の画素であるかを推定する。さらに、例えば、最尤推定部３１は、推定結果に応じて画素値を白（陸領域と推定された画素）又は黒（流水領域と推定された画素）の何れかにし、図７（ａ）に一例を示すような画像を得るようにしても良い。

陸領域の画素であるか、又は流水領域の画素であるかの推定を行う際には、例えば最尤推定法を利用することができる。最尤推定法を用いる場合、まず、流水領域及び陸領域であると既に分かっている画像領域をそれぞれ教師画像として指定する。ここでは、これらをそれぞれクラスω₁及びクラスω₂と呼ぶ。次に、判別対象となる画像について、画素毎にどちらのクラスに属するかを判別する。

最尤推定の結果、画素毎に事前確率Ｐ（Ｇ（ｍ，ｎ）｜ω_i），ｉ∈｛１，２｝が最大となるクラスω_iが決定される。特徴ベクトルの値の確率密度分布が正規分布であると仮定できる場合には、次式の対数尤度関数を最小にするクラスを求めることで、流水領域又は陸領域のどちらのクラスに属するかが判別される。

ここで、μ_i，Ｃ_iはクラスω_iの教師画像より求めた特徴ベクトルの平均値ベクトルと共分散行列であり、ｄ_i ²はマハラノビス距離である。

なお、上述した説明では、流水領域及び陸領域のそれぞれについて１クラスを割り当てているが、複数のクラスを割り当てることも可能である。また、教師画像の位置については、既に計算された水位の下の部分を流水部、上の部分を陸部というように、時々刻々と更新される水位を基準として自動的に設定することで、日照変化や水位変化に対して安定した流水領域検出が可能となる。

（横方向ヒストグラム計算部３３）
横方向ヒストグラム計算部３３は、対象とする領域画像について、最尤推定部３１にて陸領域であると推定された画素（以下、「推定陸部画素」とも呼ぶ。）が幾つ存在するかを各行毎に数える。つまり、横方向ヒストグラム計算部３３は、各行毎に推定陸部画素数を積算し、推定陸部画素の横方向のヒストグラムを生成する。

（縦方向ヒストグラム計算部３４）
縦方向ヒストグラム計算部３４は、横方向ヒストグラム計算部３３により生成された横方向ヒストグラムを参照し、各推定陸部画素数の値について、対応する縦位置が幾つ存在するかを数える。つまり，縦方向ヒストグラム計算部３４は、横方向ヒストグラムにおける各推定陸部画素数に関する縦方向のヒストグラムを生成する。

（境界値決定部３５）
縦方向ヒストグラム計算部３４により生成された縦方向ヒストグラムには、陸部に関連するヒストグラム部分と、流水部に関連するヒストグラム部分の２つのクラスタ（分布）が存在する。したがって、これら２つのクラスタを分離する境界部分を決定することができる。境界値決定部３５は、その境界部分（境界画素数）を決定する。この境界部分の決定方法としては種々の方法を用いることができる。

例えば、境界値決定部３５は、クラス内の分散が小さく、かつクラス間の距離が大きくなるように境界を定めても良いし、又はクラス内分散・クラス間分散比が最大となるように境界を定めても良い。あるいは、境界値決定部３５は、縦方向ヒストグラムを双峰性のガウス分布に帰着させて２つのクラスの境界を決定しても良い。

（水位算出部３６）
水位算出部３６は、境界値決定部３５により決定された縦方向ヒストグラムにおける２つのクラスの境界に基づいて、それに対応する横方向ヒストグラムにおける境界を定め、更にそれに対応する二値画像の境界を定める。これにより、画像が陸部と流水部の領域に二分割され、その境界を水位として出力する。

具体的には、境界値決定部３５により決定された境界をしきい値として、それに対応する図７（ｃ）に示した縦方向ヒストグラムにおける境界Ｐ１が、図７（ｂ）に示した横方向ヒストグラムにおける対応点Ｐ２を経て、図７（ａ）に示した二値画像における陸部と流水部との境界である水位Ｐ３が求められる。

図４に示した水位計算部１８は、画素毎の特徴量に基づいて判別を行うものであるが、ライン毎の特徴量に基づいて判別を行うこともできる。ここでラインとは、画像から横方向一行を切り取って得られたベクトルを意味する。
図５は、水位計算部１８の他の構成例を示す図である。図５に示す水位計算部１８は、ライン特徴量計算部４１及び領域分割部４２を有し、ライン毎の特徴量に基づいて水位計算を行うものである。

（ライン特徴量計算部４１）
ライン特徴量計算部４１は、階層化処理部１５において優先階層に分類されたデータに基づいて、当該データに係る画像の各ラインの特徴量を算出する。この特徴量としては、例えば優先階層に分類されたデータに係る画像の各画素について、非流水領域（陸領域）の画素であるか、あるいは流水領域の画素であるかの判定を行い、各ラインにおける陸領域と判定された画素の総数、又は流水領域と判定された画素の総数を特徴量としても良い。判定結果に応じて画素値を白（陸領域と判定された画素）又は黒（流水領域と判定された画素）とした図８（ａ）に示す画像に関して、特徴量を陸領域と判定された画素の総数としてライン毎の特徴量をプロットした例を図８（ｂ）に示す。

（領域分割部４２）
領域分割部４２は、ライン特徴量計算部４１により算出された各ラインの特徴量に基づいて、画像における陸領域と流水領域とを判別して領域を二分割する。領域分割部５Ｂにおける処理については、様々な形態が考えられる。例えば、領域分割部４２は、図８（ｂ）に示される特徴量を鍵型図形Ｐ１１に近似し、この鍵のくびれ部分を陸部と流水部の境界として水位とすることもできる。また、例えば、クラス内分散・クラス間分散比最大基準により２クラスに分離しするといった線形判別法を適用することもできる。このようにして得られる２つの領域の境界を水位として出力する。
この場合には、図４に示した水位計算部１８でのヒストグラムによるクラスタリング処理に比べて演算処理数を軽減することができる。

なお、ライン毎の特徴量としては、上述のように陸領域と判定された画素の総数の他にも、判別に最も有効な一つの帯域における変換係数のライン毎の分散値や絶対値和などを用いることもできる。この場合、画素毎の判別に用いた閾値が、画素毎の判別を行わないために不要となる。したがって、閾値調整といった初期設定が不要となるシステム上の利点がある。

以上、説明したように本実施形態によれば、映像処理・圧縮部３が、河川等を被写体として固定カメラ２を用いて撮影された撮像映像に対して、時間方向及び空間方向に基底分解を施し、得られた変換係数を優先階層と非優先階層に分け、優先階層のデータに基づいて検出した水位を示す水位データを出力する。また、通信回線の伝送レートに応じて、優先階層のデータのみを符号化処理して生成した優先圧縮データ、又は優先圧縮データに加え非優先階層のデータを符号化処理して生成した非優先圧縮データを出力する。また、受信部では、復号処理部６が優先圧縮データを復号することにより低解像度の映像を再生し、復号処理部７が優先階層圧縮データ及び非優先階層圧縮データの圧縮データを併せて復号することにより高解像度の映像を再生する。

これにより、水中にいかなる物体をも設置することなく、河川等を被写体とする映像信号のみから流水領域及び非流水領域を認識して水位を検出することができるとともに、伝送帯域のビットレートに応じた品質での映像の圧縮伝送が可能になる。また、河川等を被写体とする撮像映像の符号化に係る一部処理と水位計算に係る一部処理を融合させ共通の処理とすることにより、符号化に係る処理と水位計算に係る処理を完全に独立して行う場合と比較して処理量を低減し省電力化を図ることができる。

なお、映像処理・圧縮部３内の第１及び第２の符号化部１６，１７は、伝送帯域のビットレートに応じて適宜符号化処理を行えばよく、符号化処理を行わない場合には第１、第２の符号化部１６，１７に対する電力供給を遮断するようにしても良く、更なる省電力化を図ることができる。

図９は、本実施形態における画像処理システムの他の構成例を示す図である。図１に示した画像処理システムでは、センサ部１内の映像処理・圧縮部３が水位計算（水位検出）を行って水位データを出力するようにしているが、図９に示す画像処理システムは、受信部にて水位計算（水位検出）を行うようにしたものである。

図９において、センサ部５１は、固定カメラ５２及び映像処理・圧縮部５３を有する。
映像処理・圧縮部５３は、河川等を被写体として固定カメラ２を用いて撮影された映像に時空間基底分解を施し、得られた変換係数を優先階層及び非優先階層に分ける。また、映像処理・圧縮部５３は、優先階層のデータのみを符号化して優先圧縮データを出力し、非優先階層のデータを符号化して非優先圧縮データを出力する。
センサ部５１は、通信回線５４を介して受信部５５と通信可能に接続されており、センサ部５１内の映像処理・圧縮部５３より出力される優先圧縮データ、非優先圧縮データが受信部５５に伝送可能となっている。

受信部５５は、第１の復号処理部５６、第２の復号処理部５７、第３の復号処理部５８、及び水位計算部５９を有する。
第１の復号処理部５６は、図１に示した第１の復号処理部６と同様に映像処理・圧縮部５３から通信回線５４を介して供給された優先圧縮データを復号することで、河川等の被写体に係る低解像度の映像を再生する。また、第２の復号処理部５７は、図１に示した第２の復号処理部７と同様に映像処理・圧縮部５３から通信回線５４を介して供給された優先圧縮データ及び非優先圧縮データを復号することで、河川等の被写体に係る高解像度の映像を再生する。

第３の復号処理部５８は、第１の復号処理部５６と同様に、映像処理・圧縮部５３から通信回線５４を介して供給された優先圧縮データを復号する。水位計算部５９は、図２に示した映像圧縮・処理部３内の水位計算部１８と同様に構成され、第３の復号処理部５８で復号して得られた優先圧縮データに基づいて、映像領域を流水部と陸部に分割することにより水位計算（水位検出）を行い、水位データを出力する。

以上のように構成することで、センサ部１とは別の場所で水位計算（水位検出）を行うことができ、ネットワークによる計算負荷の分散が可能となる。映像処理・圧縮部５３においては水位を計算する必要がなくなり、センサ部１での演算量及び消費電力を低減することができる。

なお、上述した実施形態においては、領域抽出部１１が、固定カメラ２を用いて撮影された撮像映像から１つの領域画像を抽出するようにしているが、１枚のフレームに対して複数の領域画像を抽出するようにしても良い。その場合、複数の領域画像において、その一部領域が重複していても構わない。水位計算（水位検出）に関しては、これらの各領域画像のそれぞれについて、上述した処理により陸部及び流水部を判別し、得られた複数の結果から総合的に判断して最終的な陸部及び流水部の領域分割を行うようにしても良い。例えば、複数の結果の平均値を最終的な陸部及び流水部の境界としたり、多数決法により最終的な陸部及び流水部の領域を決定することで、固定カメラ２のレンズに雨水が付着したり、降雨や降雪あるいは霧による画像障害が発生して流水部が検出しにくい場合でも、流水部を高精度かつ安定して検出することが可能となる。

（本発明の他の実施形態）
なお、上述した実施形態は、コンピュータのＣＰＵ又はＭＰＵ、ＲＡＭ、ＲＯＭ等で構成可能なものであり、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現でき、上記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばＣＤ−ＲＯＭのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、上記プログラムを記録した記録媒体は本発明の実施形態に含まれる。上記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性のメモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。上記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに上記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼動しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。

例えば、図１０に示すようなコンピュータ機能１０００を有し、そのＣＰＵ１００１により上述した実施形態での動作が実施される。
コンピュータ機能１０００は、図１０に示すように、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、キーボード（ＫＢ）１００９のキーボードコントローラ（ＫＢＣ）１００５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）１０１０のＣＲＴコントローラ（ＣＲＴＣ）１００６と、ハードディスク（ＨＤ）１０１１及びフレキシブルディスク（ＦＤ）１０１２のディスクコントローラ（ＤＫＣ）１００７と、ネットワークインタフェースカード（ＮＩＣ）１００８とが、システムバス１００４を介して互いに通信可能に接続された構成としている。
ＣＰＵ１００１は、ＲＯＭ１００２又はＨＤ１０１１に記憶されたソフトウェア、又はＦＤ１０１２より供給されるソフトウェアを実行することで、システムバス１００４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ１００１は、上述したような動作を行うための処理プログラムを、ＲＯＭ１００２、ＨＤ１０１１、又はＦＤ１０１２から読み出して実行することで、上述した実施形態での動作を実現するための制御を行う。
ＲＡＭ１００３は、ＣＰＵ１００１の主メモリ又はワークエリア等として機能する。
ＫＢＣ１００５は、ＫＢ１００９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ１００６は、ＣＲＴ１０１０の表示を制御する。
ＤＫＣ１００７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び上記処理プログラム等を記憶するＨＤ１０１１及びＦＤ１０１２とのアクセスを制御する。
ＮＩＣ１００８はネットワーク１０１３上の他の装置と双方向にデータをやりとりする。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の一実施形態による画像処理システムの構成例を示す図である。 映像処理・圧縮部の構成例を示す図である。 本実施形態における時間方向の基底分解の一例を示す図である。 水位計算部の構成例を示す図である。 水位計算部の他の構成例を示す図である。 本実施形態における画像処理システムで生成される変換係数を説明するための図である。 図４に示す水位計算部での処理を説明するための図である。 図５に示す水位計算部での処理を説明するための図である。 本実施形態による画像処理システムの他の構成例を示す図である。 本実施形態における画像処理システムを実現可能なコンピュータ機能を示すブロック図である。

符号の説明

１、５１ センサ部
２、５２ 固定カメラ
３、５３ 映像処理・圧縮部
４、５４ 通信回線
５、５５ 受信部
６、７、５６、５７、５８ 復号処理部
１１ 領域抽出部
１２ 時空間基底分解部
１３ 時間方向基底分解部
１４ 空間方向基底分解部
１５ 階層化処理部
１６、１７ 符号化部
１８、５９ 水位計算部

Claims (11)

1. 固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解手段と、
   上記時空間基底分解手段により得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理手段と、
   上記階層化処理手段により分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化手段と、
   上記階層化処理手段により分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算手段とを備えることを特徴とする画像処理システム。
2. 上記時空間基底分解手段は、上記供給される映像に時間方向の基底分解を施す第１の基底分解手段と、
   上記第１の基底分解手段により得られたデータに空間方向の基底分解を施す第２の基底分解手段とを備えることを特徴とする請求項１記載の画像処理システム。
3. 上記符号化手段は、通信回線の伝送帯域に応じて、上記優先階層のデータ及び上記非優先階層のデータをそれぞれ符号化処理して得られた優先圧縮データ及び非優先圧縮データ、又は上記優先圧縮データのみを出力することを特徴とする請求項１又は２記載の画像処理システム。
4. 上記固定カメラを用いて撮影された映像から上記流水領域及び非流水領域が含まれる領域映像を抽出して上記時空間基底分解手段に供給する領域抽出手段をさらに備えることを特徴とする請求項１〜３の何れか１項に記載の画像処理システム。
5. 固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像を時間方向及び空間方向に基底分解して得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類して、上記優先階層のデータ及び上記非優先階層のデータをそれぞれ符号化処理する装置から、上記優先階層のデータを符号化処理して得られた優先圧縮データを、通信回線を介して受信して復号処理する復号手段と、
   上記復号手段で復号処理して得られた上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算手段とを備えることを特徴とする画像処理システム。
6. 上記水位計算手段は、上記優先階層のデータに係る映像の各画素の特徴量に基づいて、画素毎に上記流水領域の画素であるか又は上記非流水領域の画素であるかを判定し、当該判定結果に基づいて上記映像内領域を上記流水領域と上記非流水領域に分割することを特徴とする請求項１〜５の何れか１項に記載の画像処理システム。
7. 上記水位計算手段は、上記優先階層のデータに係る映像の各ライン毎に特徴量を求め、求めた特徴量に基づいて上記映像内領域を上記流水領域と上記非流水領域に分割することを特徴とする請求項１〜５の何れか１項に記載の画像処理システム。
8. 上記特徴量として、上記優先階層のデータに係る映像の画素毎に上記流水領域の画素であるか又は上記非流水領域の画素であるかを判定して、上記流水領域又は上記非流水領域と判定された画素の総数を各ライン毎に算出することを特徴とする請求項７記載の画像処理システム。
9. 上記特徴量として、上記優先階層のデータに係る映像の各ライン毎に分散値又は絶対値和を算出することを特徴とする請求項７記載の画像処理システム。
10. 固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解工程と、
    上記時空間基底分解工程で得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理工程と、
    上記階層化処理工程で分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化工程と、
    上記階層化処理工程で分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算工程とを有することを特徴とする画像処理方法。
11. 固定カメラを用いて撮影された流水領域及び非流水領域が含まれる映像が供給され、供給された映像を時間方向及び空間方向に基底分解する時空間基底分解ステップと、
    上記時空間基底分解ステップで得られたデータを、上記流水領域と上記非流水領域の判別に係る有効性に応じて順位付けし優先階層と非優先階層に分類する階層化処理ステップと、
    上記階層化処理ステップで分類された上記優先階層のデータ及び上記非優先階層のデータを符号化処理する符号化ステップと、
    上記階層化処理ステップで分類された上記優先階層のデータに基づいて、映像内領域を上記流水領域と上記非流水領域に分割して水位を検出する水位計算ステップとをコンピュータに実行させるためのプログラム。

Images