JP2010121970A - 移動体認識システム及び移動体認識方法 - Google Patents

Abstract

【課題】水面や水中の移動体の誤計測を防止する。
【解決手段】移動体計測システム１において、ビデオカメラ２ａは、水面から上方に離れた位置に設置され、水面上の所定領域Ｓの画像を撮影できるように、カメラの位置及び向きが調整される。ビデオカメラ２ｂは、ビデオカメラ２ａと水面を挟んで対向するような水中の位置に設置され、水面を仰ぎ見た状態での所定領域Ｓの画像を撮影できるように、カメラの位置及び向きが調整される。ビデオカメラ２ａ及び２ｂは、定期的に同じ箇所の画像を撮影し、撮影した画像データを撮影日時とともに情報処理装置３に送信する。情報処理装置３は、移動体４の計数処理を行う装置であり、特に、ビデオカメラ２ａ及び２ｂが同じ時刻に撮影した画像データを逐次受信し、ビデオカメラ２ａの２つの画像データと、ビデオカメラ２ａの２つの画像データとを比較し、輝度の時間的変化の異なる部分を削除し、移動体を抽出する処理を行う。
【選択図】図１

Description

本発明は、水面および水中における移動体の自動計測システムに関する。

川を遡上する鮎等の魚類や川面に浮かんだ落葉の数を自動計測するシステムでは、移動体を水面の上から撮影できるようにビデオカメラが設置される。ビデオカメラは、画像における各座標の輝度を検出し、ある時点における輝度分布と、その時点から所定時間後の輝度分布とを比較して、輝度に差異のある箇所が所定距離だけ移動しているものを移動体として認識し、カウントするようにしている。そのような例が、特許文献１及び特許文献２に開示されている。
特開２００５−３０９４８５号公報 特開２００７−２０６８４３号公報

しかしながら、上記のシステムでは、波があると光の反射により水面に輝度の変化が起こるので、水面や水中の画像を撮影した後の画像処理において、反射部分を誤って移動体として認識することがあり、誤計測になるおそれがある。
本発明は、上記課題を鑑みてなされたものであり、その主たる目的は、水面や水中の移動体の誤計測を防止することにある。

上記課題を解決するために、本発明は、水面又は水中を移動する移動体を認識するシステムであって、水面の上方から水面の所定領域の画像を撮影する第１の撮像手段と、水中から前記所定領域の画像を撮影する第２の撮像手段と、前記第１の撮像手段及び前記第２の撮像手段と通信可能な情報処理装置と、を備え、前記情報処理装置が、前記第１の撮像手段から、時刻Ｔ１における撮影画像である第１の画像データ及び時刻Ｔ２における撮影画像である第２の画像データを取得する手段と、前記第２の撮像手段から、時刻Ｔ１における撮影画像である第３の画像データ及び時刻Ｔ２における撮影画像である第４の画像データを取得する手段と、前記第１の画像データ及び前記第２の画像データを比較し、輝度の異なる部分を第１の差分画像データとして抽出する手段と、前記第３の画像データ及び前記第４の画像データを比較し、輝度の異なる部分を第２の差分画像データとして抽出する手段と、前記第１の差分画像データ及び前記第２の差分画像データを比較し、輝度の異なる部分を削除し、残った差分画像データを移動体の画像データとして抽出する手段と、を備えることを特徴とする。

この構成によれば、水面の波による光の反射部分は、水面の上方からの撮影画像と、水中からの撮影画像との間で輝度の時間的変化が異なるため、移動体として認識されないので、波の反射部分を移動体として誤計測することがなくなる。

また、本発明は、移動体認識システムであって、前記第１の差分画像データ及び前記第２の差分画像データとして抽出する輝度の異なる部分とは、通常値より輝度の低い部分又は通常値より輝度の高い部分であることを特徴とする。

なお、本発明は、移動体認識方法を含む。その他、本願が開示する課題及びその解決方法は、発明を実施するための最良の形態の欄、及び図面により明らかにされる。

本発明によれば、水面や水中の移動体の誤計測を防止することができる。

以下、図面を参照しながら、本発明を実施するための最良の形態を説明する。本発明の実施の形態に係る移動体計測システム（移動体認識システム）は、水面及び水中における移動体を自動計測するものであり、特に、水面上及び水中にビデオカメラを設置し、その２つのビデオカメラにより２つの方向から移動体を含む画像を撮影し、その画像データから移動体候補を抽出し、２つのビデオカメラによる移動体候補を比較して、輝度の異なる部分を移動体候補から除外し、残った画像データを移動体として認識するものである。これによれば、水面の光の反射等による誤計測を防止することができる。

≪システムの構成と概要≫
図１は、移動体計測システム１の構成を示す図である。移動体計測システム１は、ビデオカメラ２ａ及び２ｂ、情報処理装置３を備える。ビデオカメラ２ａは、水面より上方の位置に設置され、水面上の所定領域Ｓの画像を撮影できるように、カメラの位置及び向きが調整される。ビデオカメラ２ｂは、ビデオカメラ２ａと水面を挟んで対向するような水中の位置（例えば、水底等）に設置され、水面を仰ぎ見た状態での所定領域Ｓの画像を撮影できるように、カメラの位置及び向きが調整される。そして、ビデオカメラ２ａ及び２ｂは、定期的に同じ箇所の画像を撮影し、撮影した画像データを撮影日時（年月日時分秒）とともに情報処理装置３に送信する。情報処理装置３は、移動体の計数処理を行う装置であり、特に、ビデオカメラ２ａ及び２ｂから無線又は有線の通信により、撮影日時を含む画像データを逐次受信し、記憶した後、画像データから移動体を抽出する処理を行う。情報処理装置３は、ＰＣ（Personal Computer）やサーバ、携帯端末等により実現される。なお、画像データは、動画像若しくはその一部、又は、複数の静止画像が考えられる。

図２は、情報処理装置３のハードウェア構成を示す図である。情報処理装置３は、通信部３１、表示部３２、入力部３３、処理部３４及び記憶部３５を備える。通信部３１は、無線又は有線の通信によりビデオカメラ２ａ及び２ｂとデータの送受信を行う部分であり、例えば、ＮＩＣ（Network Interface Card）等によって実現される。表示部３２は、処理部３４からの指示によりデータを表示する部分であり、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等によって実現される。入力部３３は、オペレータがデータ（例えば、移動体抽出処理の開始を指示するメッセージ等）を入力する部分であり、例えば、キーボードやマウス等によって実現される。処理部３４は、各部間のデータの受け渡しを行うととともに、情報処理装置３全体の制御を行うものであり、ＣＰＵ（Central Processing Unit）が所定のメモリに格納されたプログラムを実行することによって実現される。記憶部３５は、処理部３４からデータを記憶したり、記憶したデータを読み出したりするものであり、例えば、フラッシュメモリやハードディスク装置等の不揮発性記憶装置によって実現される。

≪データの構成≫
図３は、情報処理装置３の記憶部３５に記憶されるデータの構成を示す図である。図３（ａ）は、記憶部３５のデータ構成を示す。記憶部３５は、画像データ３５Ａ及び３５Ｂ、抽出結果データ３５Ｃを記憶する。画像データ３５Ａは、ビデオカメラ２ａが撮影した画像データである。画像データ３５Ｂは、ビデオカメラ２ｂが撮影した画像データである。抽出結果データ３５Ｃは、画像データ３５Ａ及び３５Ｂから抽出された結果の画像データ等である。

図３（ｂ）は、画像データ３５Ａのデータ構成を示す。画像データ３５Ａは、撮影日時３５Ａ１及び撮影画像データ３５Ａ２を含むレコードからなる。撮影日時３５Ａ１は、当該画像を撮影した日時を示し、ビデオカメラ２ａから取得する。撮影画像データ３５Ａ２は、当該画像のデータであり、ビデオカメラ２ａから取得する。

図３（ｃ）は、画像データ３５Ｂのデータ構成を示す。画像データ３５Ｂは、撮影日時３５Ｂ１及び撮影画像データ３５Ｂ２を含むレコードからなる。撮影日時３５Ｂ１は、当該画像を撮影した日時を示し、ビデオカメラ２ｂから取得する。撮影画像データ３５Ｂ２は、当該画像のデータであり、ビデオカメラ２ｂから取得する。

なお、撮影画像データ３５Ａ２及び３５Ｂ２は、所定の方式で圧縮された画像データであってもよい。

≪システムの処理≫
図４は、移動体の計数に係る処理全体を示すフローチャートである。まず、計数対象物が撮影された動画像の設定（Ｓ４０１）をして、背景となるベースデータ（移動前画像）の作成及び更新を行う平均輝度変化検出処理（Ｓ４０２）及びベースデータ更新処理（Ｓ４０３）を行い、次いで移動体候補画素抽出処理（Ｓ４０４）及び残像効果処理（Ｓ４０５）を行う。移動体候補画素抽出処理（Ｓ４０４）では、背景と異なる画像特徴を持つ画素を検出する。しかしながら、単に背景と異なる画素を取り出すだけなので、このような画像には様々なノイズが含まれている。そこで、数画素程度の明らかなノイズを除去し、背景差分処理でかすれてしまい複数に分かれてしまった領域を結合し、それぞれの領域に識別番号を付与するラベリング処理（Ｓ４０６）を行う。さらに、計測不能状態と判定した場合には、計測を停止してベースデータ更新処理へ戻る計測不能状態検出処理（Ｓ４０７）を行う。ここで、ベースデータ更新処理で行う背景差分処理は、背景があまり変化のないことを前提としているので、例えば、背景そのものが常時変化しているような状況では誤計測を起こしてしまうことがある。そこで、計測不能状態検出処理では、背景変化が継続的に発生するのを検出した場合には、誤計測を避けるために、計測を停止してベースデータ更新処理へ戻る。そして、最後の追跡及び計数処理（Ｓ４０８）で、直前に撮影した画像のラベリング結果と比較し、例えば、移動速度や移動方向といった鮎の特性を考慮しつつ魚影の移動を調べ、実際に移動している魚影を検出して魚数を数える。この追跡及び計数処理での最後の処理を終えると、ループを辿って最初の処理を行うベースデータ更新処理（Ｓ４０３）に戻る。

図５は、図４のＳ４０４の移動体候補画素抽出処理（移動体認識方法）を示すフローチャートである。図６は、２つのビデオカメラからの波による光の反射部分の見え方を説明する図である。図７〜９は、ビデオカメラによる撮影画像及び情報処理装置による処理画像を示す図である。

まず、図６を参照すると、光が上方から水面に当たっている場合に、その光はほとんどが反射し、水中にはあまり透過しない。例えば、その水面が弱く波立っているときに反射した光が水面上のビデオカメラ２ａに到達すると、高い輝度が検出される。一方、一部の光が透過したとしても、水中のビデオカメラ２ｂが検出する輝度は、水面上のビデオカメラ２ａと比較した場合、より低いと考えられるし、また、透過した光がビデオカメラ２ｂに届くとは限らない。従って、水面上のビデオカメラ２ａと、水中のビデオカメラ２ｂとでは、波による光の反射部分５を撮影した画像の輝度が異なるので、反射部分５は移動体として認識されないことになる。

次に、図５及び図７〜９を参照して、移動体候補画素抽出処理について説明する。ここでは、輝度の低下した部分の移動を検出する方法を用いる。

まず、情報処理装置３は、２つのビデオカメラ２ａ及び２ｂが撮影した移動前画像及び移動後画像を取得する（Ｓ５０１）。ここで、移動前画像は、移動体４が移動する前の時点（ｔ＝Ｔ１）における画像データを示し、移動後画像は、移動体４が移動した後の時点（ｔ＝Ｔ２）における画像データを示す。そして、処理部３４が、記憶部３５の画像データ３５Ａから、撮影時刻３５Ａ１がＴ１及びＴ２の撮影画像データ３５Ａ２を読み出し、画像専用メモリに格納する。また、記憶部３５の画像データ３５Ｂから、撮影時刻３５Ｂ１がＴ１及びＴ２の撮影画像データ３５Ｂ２を読み出し、画像専用メモリに格納する。

ここで、図７及び図８に示すビデオカメラ２ａ、２ｂの撮影画像の例について説明する。図７（ａ）は、ｔ＝Ｔ１におけるビデオカメラ２ａの撮影画像を示す。図中の中央付近に波による光の反射部分５ａがあり、通常値より輝度が高くなっている。図７（ｂ）は、ｔ＝Ｔ２におけるビデオカメラ２ａの撮影画像を示す。波がなくなって反射光を撮影しなくなったので、図７（ａ）における反射部分５ａの輝度が通常値になっている。移動体４は、暗く見えるので、通常値より輝度の低い影になっている。

図８（ａ）は、ｔ＝Ｔ１におけるビデオカメラ２ｂの撮影画像を示す。波による光の反射部分５ｂは、水中のビデオカメラ２ｂの画像では暗くなり、通常値より輝度が低く、水面上からのビデオカメラ２ａの画像（図７（ａ））との間で輝度に差異がある。図８（ｂ）は、ｔ＝Ｔ２におけるビデオカメラ２ｂの撮影画像を示す。移動体４は、水中のビデオカメラ２ｂの画像においても通常値より輝度の低い影となっており、水面の上からのビデオカメラ２ａの画像（図７（ａ））との間で輝度に差異がない。

次に、情報処理装置３は、水面上のビデオカメラ２ａの画像データから差分画像を抽出する（Ｓ５０２）。具体的には、処理部３４が、画像専用メモリ上にある、ビデオカメラ２ａによるｔ＝Ｔ１の画像データと、ｔ＝Ｔ２の画像データとを比較、照合し、輝度の異なる部分を差分画像として抽出する。図７の例を見ると、図７（ａ）及び（ｂ）の画像データから、差分画像として図７（ｃ）の画像データが抽出される。図７（ｃ）では、図７（ａ）の反射部分５ａも輝度の差分があるので、移動体として誤認識されているのが分かる。

続いて、情報処理装置３は、水中のビデオカメラ２ｂの画像データから差分画像を抽出する（Ｓ５０３）。具体的には、処理部３４が、画像専用メモリ上にある、ビデオカメラ２ｂによるｔ＝Ｔ１の画像データと、ｔ＝Ｔ２の画像データとを比較、照合し、輝度の異なる部分を差分画像として抽出する。図８の例を見ると、図８（ａ）及び（ｂ）の画像データから、差分画像として図８（ｃ）の画像データが抽出される。

そして、情報処理装置３は、Ｓ５０２及びＳ５０３の処理で抽出された２つの差分画像を比較、照合し（Ｓ５０４）、輝度に差異のある移動体候補があるか否かを判定する（Ｓ５０５）。図７及び図８の例を見ると、図７（ｃ）の差分画像及び図８（ｃ）の差分画像ともに、移動体４と、反射部分５ａ及び５ｂとが移動体候補として認識されている。そのうち、２つの移動体４は輝度に差異がないので問題ないが、２つの反射部分５ａ及び５ｂは輝度が異なる。そこで、輝度に差異のある移動体候補がある場合には（Ｓ５０５のＹＥＳ）、差分画像から当該移動体候補を削除する（Ｓ５０６）。すなわち、図７（ｃ）又は図８（ｃ）の差分画像から反射部分５ａ又は５ｂを削除する。図９は、その最終画像を示す図である。輝度に差異のある移動体候補がない場合には（Ｓ５０５のＮＯ）、Ｓ５０６の処理をスキップする。そして、差分画像を抽出結果データ３５Ｃとして記憶部３５に記憶する（Ｓ５０７）。抽出結果データ３５Ｃは、結果的に、水面上のビデオカメラ２ａの画像データと、水中のビデオカメラ２ｂの画像データとの間で、輝度の時間的変化が同じ部分を抽出したものになる。

以上本発明の実施の形態について説明したが、図２に示す情報処理装置３の各部を機能させるために、処理部３４で実行されるプログラムをコンピュータにより読み取り可能な記録媒体に記録し、その記録したプログラムをコンピュータに読み込ませ、実行させることにより、本発明の実施の形態に係る移動体計測システム１が実現されるものとする。なお、プログラムをインターネット等のネットワーク経由でコンピュータに提供してもよいし、プログラムが書き込まれた半導体チップ等をコンピュータに組み込んでもよい。

以上説明した本発明の実施の形態によれば、水面の波による光の反射部分５は、水面の上方にあるビデオカメラ２ａが撮影した画像（反射部分５ａ）と、水中にあるビデオカメラ２ｂが撮影した画像（反射部分５ｂ）との間において、輝度の時間的変化が異なるため、移動体として認識されない。これによれば、光の反射部分５を移動体として誤計測するのを防止することができ、移動体計測システム１の信頼性が向上する。さらに、光の反射による移動体計測への影響を考慮しなくてもよいので、移動体計測システム１の設置箇所や適用箇所を広げることができる。

≪その他の実施の形態≫
以上、本発明を実施するための最良の形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。例えば、上記実施の形態では、水中のビデオカメラ５ｂを、水面上のビデオカメラ５ａと向き合う（対角線上にある）位置に設置するように記載したが、光が波に当たる際の見え方が水面上のビデオカメラ５ａと異なるような位置であれば、その他の位置に水中のビデオカメラ５ｂを設置してもよい。

移動体計測システム１の構成を示す図である。 情報処理装置３のハードウェア構成を示す図である。 情報処理装置３の記憶部３５に記憶されるデータの構成を示す図であり、（ａ）は記憶部３５のデータ構成を示し、（ｂ）は画像データ３５Ａのデータ構成を示し、（ｃ）は画像データ３５Ｂのデータ構成を示す。 移動体の計数に係る処理全体を示すフローチャートである。 図４のＳ４０４の移動体候補画素抽出処理を示すフローチャートである。 ２つのビデオカメラからの波による光の反射部分の見え方を説明する図である。 ビデオカメラ２ａによる画像を示す図であり、（ａ）は移動前画像を示し、（ｂ）は移動後画像を示し、（ｃ）は差分画像を示す。 ビデオカメラ２ｂによる画像を示す図であり、（ａ）は移動前画像を示し、（ｂ）は移動後画像を示し、（ｃ）は差分画像を示す。 最終画像を示す図である。

符号の説明

１ 移動体計測システム（移動体認識システム）
２ａ ビデオカメラ（第１の撮像手段）
２ｂ ビデオカメラ（第２の撮像手段）
３ 情報処理装置
４ 移動体
５、５ａ、５ｂ 反射部分
Ｓ 領域

Claims (4)

1. 水面又は水中を移動する移動体を認識するシステムであって、
   水面の上方から水面の所定領域の画像を撮影する第１の撮像手段と、
   水中から前記所定領域の画像を撮影する第２の撮像手段と、
   前記第１の撮像手段及び前記第２の撮像手段と通信可能な情報処理装置と、
   を備え、
   前記情報処理装置は、
   前記第１の撮像手段から、時刻Ｔ１における撮影画像である第１の画像データ及び時刻Ｔ２における撮影画像である第２の画像データを取得する手段と、
   前記第２の撮像手段から、時刻Ｔ１における撮影画像である第３の画像データ及び時刻Ｔ２における撮影画像である第４の画像データを取得する手段と、
   前記第１の画像データ及び前記第２の画像データを比較し、輝度の異なる部分を第１の差分画像データとして抽出する手段と、
   前記第３の画像データ及び前記第４の画像データを比較し、輝度の異なる部分を第２の差分画像データとして抽出する手段と、
   前記第１の差分画像データ及び前記第２の差分画像データを比較し、輝度の異なる部分を削除し、残った差分画像データを移動体の画像データとして抽出する手段と、
   を備える
   ことを特徴とする移動体認識システム。
2. 請求項１に記載の移動体認識システムであって、
   前記第１の差分画像データ及び前記第２の差分画像データとして抽出する輝度の異なる部分とは、通常値より輝度の低い部分又は通常値より輝度の高い部分である
   ことを特徴とする移動体認識システム。
3. 水面又は水中を移動する移動体を認識する移動体認識方法であって、
   水面の上方から水面の所定領域の画像を撮影する第１の撮像手段と、
   水中から前記所定領域の画像を撮影する第２の撮像手段と、
   通信可能な情報処理装置は、
   前記第１の撮像手段から、時刻Ｔ１における撮影画像である第１の画像データ及び時刻Ｔ２における撮影画像である第２の画像データを取得するステップと、
   前記第２の撮像手段から、時刻Ｔ１における撮影画像である第３の画像データ及び時刻Ｔ２における撮影画像である第４の画像データを取得するステップと、
   前記第１の画像データ及び前記第２の画像データを比較し、輝度の異なる部分を第１の差分画像データとして抽出するステップと、
   前記第３の画像データ及び前記第４の画像データを比較し、輝度の異なる部分を第２の差分画像データとして抽出するステップと、
   前記第１の差分画像データ及び前記第２の差分画像データを比較し、輝度の異なる部分を削除し、残った差分画像データを移動体の画像データとして抽出するステップと、
   を実行することを特徴とする移動体認識方法。
4. 請求項３に記載の移動体認識方法であって、
   前記第１の差分画像データ及び前記第２の差分画像データとして抽出する輝度の異なる部分とは、通常値より輝度の低い部分又は通常値より輝度の高い部分である
   ことを特徴とする移動体認識方法。