JP2008046769A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2008046769A JP2008046769A JP2006220282A JP2006220282A JP2008046769A JP 2008046769 A JP2008046769 A JP 2008046769A JP 2006220282 A JP2006220282 A JP 2006220282A JP 2006220282 A JP2006220282 A JP 2006220282A JP 2008046769 A JP2008046769 A JP 2008046769A
- Authority
- JP
- Japan
- Prior art keywords
- occurrence probability
- image
- pixel
- probability matrix
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】海などの周期的な揺らぎを伴う監視対象から不審物等を検出するのは困難である。
【解決手段】静止画像データから、画像のピクセルに対応する相対アドレスを要素とする配列よりなる同時生起確率行列を作成する。作成した同時生起確率行列から平均値を取る等の手法にて閾値を生成し、同時生起確率行列と比較する。閾値に達した行列要素に対応する画素は背景であると判断し、配列要素を構成する相対アドレスを用いてフラグを構成するビットマップの該当箇所のフラグを下ろす。
【選択図】図１
【解決手段】静止画像データから、画像のピクセルに対応する相対アドレスを要素とする配列よりなる同時生起確率行列を作成する。作成した同時生起確率行列から平均値を取る等の手法にて閾値を生成し、同時生起確率行列と比較する。閾値に達した行列要素に対応する画素は背景であると判断し、配列要素を構成する相対アドレスを用いてフラグを構成するビットマップの該当箇所のフラグを下ろす。
【選択図】図１
Description
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
より詳細には、監視カメラが所定の監視場所を撮像して得られた映像から、不審物や不審者を検出するための技術に関する。
より詳細には、監視カメラが所定の監視場所を撮像して得られた映像から、不審物や不審者を検出するための技術に関する。
従来より、監視カメラによって撮像された映像を所定の監視モニタを介して視認することにより、所定の監視対象を監視する監視システムが知られている。
このような監視カメラにおいては、監視対象となる場所が多くなるにつれ、２４時間監視者がモニタを監視し続けることは困難である。また、監視カメラに接続されるビデオレコーダにおいても、必要最低限の映像のみ記録する等、実稼働時間を短縮する必要に迫られている。
このため、機械が入力画像から不審物或は不審者を検出する技術の確立が求められている。
例えば銀行のＡＴＭ等においては、人体を検出するセンサさえあれば比較的容易に上述のような要求を満たすことができる。
ところが、海辺のような、遠くの景色から不審船等を検出する場合は、このようなセンサは使用できない。
特開平１０−３２８２２６号公報
特開平８−２９７０２０号公報
ｐｅｒｌホームページ http://www.perl.org/
このような監視カメラにおいては、監視対象となる場所が多くなるにつれ、２４時間監視者がモニタを監視し続けることは困難である。また、監視カメラに接続されるビデオレコーダにおいても、必要最低限の映像のみ記録する等、実稼働時間を短縮する必要に迫られている。
このため、機械が入力画像から不審物或は不審者を検出する技術の確立が求められている。
例えば銀行のＡＴＭ等においては、人体を検出するセンサさえあれば比較的容易に上述のような要求を満たすことができる。
ところが、海辺のような、遠くの景色から不審船等を検出する場合は、このようなセンサは使用できない。
従来、このような状況においては、直前の画像データとの比較を行う、という手法が多く採用されていた。
映像中に物体が進入すると、映像データ中におけるその物体の部分は、明るさが変わる。したがって、映像内で輝度値に差異がある領域を差異領域として検出することで、物体の検知が可能になる。ところが、海、砂漠、草原、空等の自然の風景の場合、検知対象である物体以外の水、砂、草、雲なども動いている。このため、これらを直前の画像データと比較して異なっているとして、誤って検知してしまう、という問題があった。
映像中に物体が進入すると、映像データ中におけるその物体の部分は、明るさが変わる。したがって、映像内で輝度値に差異がある領域を差異領域として検出することで、物体の検知が可能になる。ところが、海、砂漠、草原、空等の自然の風景の場合、検知対象である物体以外の水、砂、草、雲なども動いている。このため、これらを直前の画像データと比較して異なっているとして、誤って検知してしまう、という問題があった。
この問題を解決する一つの方法として、例えば特許文献１に記載される技術が挙げられる。
特許文献１には、現在の時刻に撮影された画像と、過去に撮影された画像との差分値を作成し、閾値処理によって二値化する。その際に、過去の差分値の累積結果を基に閾値を変動させた背景画像を作成する。こうして、背景画像中に存在する木や水面による揺らぎの誤検出の低減を試みている。
しかしながら、この技術では、木の揺らぎ等による輝度値の変化が大きいときには、閾値が大きくなりすぎる場合が十分考えられる。そのような場合、肝心の侵入者等が進入してきたときに検出漏れが生じてしまう虞がある。
特許文献１には、現在の時刻に撮影された画像と、過去に撮影された画像との差分値を作成し、閾値処理によって二値化する。その際に、過去の差分値の累積結果を基に閾値を変動させた背景画像を作成する。こうして、背景画像中に存在する木や水面による揺らぎの誤検出の低減を試みている。
しかしながら、この技術では、木の揺らぎ等による輝度値の変化が大きいときには、閾値が大きくなりすぎる場合が十分考えられる。そのような場合、肝心の侵入者等が進入してきたときに検出漏れが生じてしまう虞がある。
本発明はかかる点に鑑みてなされたものであり、海、砂漠、草原等、主に自然現象等によって撮影画像に揺らぎが生じるような場所を監視対象とする監視カメラによって得られる画像データから、不審者或は不審物等の侵入を安定して行うことを目的とする。
上記課題を解決するための本発明は、入力画像データから同時生起確率行列を算出する特徴量算出を行う。その特徴量算出によって得られた同時生起確率行列を所定の閾値と比較して、背景か否かを決定する。そして、その決定によって得られた判定結果に基づいて、不審物等の存在の有無を出力する。
発明者は、海のような自然の風景は一定の規則性を持ちながら動く撮影対象に対して背景と不審物等を判別するには、従来技術において周知の、直前の画像データとの比較による方法は不適当であると判断した。そこで、発明者は入力された画像データのみを用いて背景と不審物等を判別する技術を模索した。その結果、背景と不審物等の判別のための技術として、同時生起確率行列を用いて判別を行うことを思いついた。同時生起確率行列を用いた画像処理方法であれば、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。
更に、本発明では同時生起確率行列に基づく判別として、従来技術とは異なり、予め撮影して保持している行列データとの比較を行わず、得られた行列から閾値を算出し、その閾値を基に背景か否かの判別を行う。この判別手法自体が従来技術にはない新しいアプローチである。
更に、本発明では同時生起確率行列に基づく判別として、従来技術とは異なり、予め撮影して保持している行列データとの比較を行わず、得られた行列から閾値を算出し、その閾値を基に背景か否かの判別を行う。この判別手法自体が従来技術にはない新しいアプローチである。
本発明により、特に海や草原等の、一定の揺らぎを伴う風景を監視する監視装置において極めて好適な、画像処理装置を提供できる。
また、本発明は従来技術の同種の装置と比較すると演算量や予め必要とする記憶装置の記憶容量も少なく済む。
したがって、従来技術と比べると、演算量が極めて少なく、また必要とする記憶容量も少なく済み、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた画像処理装置を提供できる。
また、本発明は従来技術の同種の装置と比較すると演算量や予め必要とする記憶装置の記憶容量も少なく済む。
したがって、従来技術と比べると、演算量が極めて少なく、また必要とする記憶容量も少なく済み、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた画像処理装置を提供できる。
以下、本発明の実施の形態を、図１〜図１４を参照して説明する。
図１は、本発明の第１の実施形態にかかる画像処理装置の全体ブロック図である。図１（ａ）は実際の装置の中身に即したブロック図であり、図１（ｂ）は機能を中心に見た仮想的なブロック図である。
図１（ａ）において、画像処理装置１０１は撮像カメラ１０２から得られる画像データから不審物の存在の有無を検出し、不審物の有無を知らせる二値信号（アラーム出力）か、または所定の処理を施した画像信号を出力するものである。撮像カメラ１０２は例えばＣＣＤ撮像素子等からなる、画像信号を出力する周知のカメラである。出力される画像信号は、例えばＨＤＤ等の大容量ストレージや、通信回線等で他のホスト装置へ送出される。
画像処理装置１０１は主にマイクロコンピュータよりなる。マイクロコンピュータを構成するＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５とバス１０６は、撮像カメラ１０２から得られる画像データに所定の処理を行って、出力インターフェース１０７を通じて所定の信号等を出力する。
図１（ａ）において、画像処理装置１０１は撮像カメラ１０２から得られる画像データから不審物の存在の有無を検出し、不審物の有無を知らせる二値信号（アラーム出力）か、または所定の処理を施した画像信号を出力するものである。撮像カメラ１０２は例えばＣＣＤ撮像素子等からなる、画像信号を出力する周知のカメラである。出力される画像信号は、例えばＨＤＤ等の大容量ストレージや、通信回線等で他のホスト装置へ送出される。
画像処理装置１０１は主にマイクロコンピュータよりなる。マイクロコンピュータを構成するＣＰＵ１０３、ＲＯＭ１０４、ＲＡＭ１０５とバス１０６は、撮像カメラ１０２から得られる画像データに所定の処理を行って、出力インターフェース１０７を通じて所定の信号等を出力する。
図１（ｂ）において、実体がＲＡＭ１０５である画像保存部１１２を除いて、各部はマイクロコンピュータ上にて実行されるソフトウェアプログラムである。これらソフトウェアはＲＯＭ１０４に格納されている。
撮像カメラ１０２から得られる画像信号は、一旦静止画像として画像保存部１１２に保持される。
特徴量算出部１１３は画像保存部１１２内の静止画像データから、特徴量データを作成する。これは後述する同時生起確率行列によって作成される、画像データの相対アドレスよりなる配列データである。
画素判定部１１４は、特徴量算出部１１３にて作成された配列データを基に、静止画像データ中の不審物を特定するビットマップデータを作成する。
画素集合決定部１１５は、作成されたビットマップデータから、静止画像データ中に占める不審物と思しき画像部分の総面積と、中心座標を算出する。
撮像カメラ１０２から得られる画像信号は、一旦静止画像として画像保存部１１２に保持される。
特徴量算出部１１３は画像保存部１１２内の静止画像データから、特徴量データを作成する。これは後述する同時生起確率行列によって作成される、画像データの相対アドレスよりなる配列データである。
画素判定部１１４は、特徴量算出部１１３にて作成された配列データを基に、静止画像データ中の不審物を特定するビットマップデータを作成する。
画素集合決定部１１５は、作成されたビットマップデータから、静止画像データ中に占める不審物と思しき画像部分の総面積と、中心座標を算出する。
なお、本実施形態にかかる画像処理装置１０１は、撮像カメラ１０２と併せて、主に沿岸に設置される目的で作られている。撮像カメラ１０２は図示しないモータ等の駆動機構によって沿岸周辺海域を広く見渡すように往復駆動される。
遠くの海辺の不審物を察知するためには、カメラの倍率を上げなければならない。カメラの倍率を上げることは、撮影角度が小さくなることを意味し、このためにカメラを往復駆動する必要が生じる。
カメラを往復駆動する、ということは、直前の静止画像と現在の静止画像とを比較して、画像データ同士の相違点から不審物等を見つける、という手法が取り辛い。本実施形態にかかる発明は、このような背景事情に基づいている。
遠くの海辺の不審物を察知するためには、カメラの倍率を上げなければならない。カメラの倍率を上げることは、撮影角度が小さくなることを意味し、このためにカメラを往復駆動する必要が生じる。
カメラを往復駆動する、ということは、直前の静止画像と現在の静止画像とを比較して、画像データ同士の相違点から不審物等を見つける、という手法が取り辛い。本実施形態にかかる発明は、このような背景事情に基づいている。
図２は、ＲＡＭ１０５の内部を模式的に図示するものである。ＲＡＭ１０５の内部には、画像保存部１１２ともいえる入力画像ビットマップデータ保存領域２０２と、同時生起確率行列のための配列データ領域２０３と、画像フラグビットマップデータ領域２０４の三つが存在する。
図３はＲＡＭ１０５の内部に格納されているデータを図示するものである。
図３（ａ）は、ＲＡＭ１０５の入力画像ビットマップデータ保存領域２０２に格納されている、入力画像ビットマップデータである。つまり、撮像カメラ１０２にて撮影された静止画像データそのものである。各々のピクセルは例えば０〜２５５迄の輝度を表すデータである。図３（ａ）では、海３０２と空３０３と不審物である船３０４が写っている。
図３（ｂ）は、ＲＡＭ１０５の画像フラグビットマップデータ領域２０４に格納される、画像フラグビットマップデータである。後述する処理にて、入力画像ビットマップデータから不審物の領域を検出したものである。この図では、船３０４に相当する領域のビットが立っている。
図３（ｃ）は、画像フラグビットマップデータの一部を拡大したものである。各ピクセルは１ビットよりなり、ビットが立っていれば（ビットの値が１であれば）、そこは不審物と思しきピクセルを示し、ビットが下りていれば（ビットの値が０であれば）、そこは背景と思しきピクセルを示す。
図３はＲＡＭ１０５の内部に格納されているデータを図示するものである。
図３（ａ）は、ＲＡＭ１０５の入力画像ビットマップデータ保存領域２０２に格納されている、入力画像ビットマップデータである。つまり、撮像カメラ１０２にて撮影された静止画像データそのものである。各々のピクセルは例えば０〜２５５迄の輝度を表すデータである。図３（ａ）では、海３０２と空３０３と不審物である船３０４が写っている。
図３（ｂ）は、ＲＡＭ１０５の画像フラグビットマップデータ領域２０４に格納される、画像フラグビットマップデータである。後述する処理にて、入力画像ビットマップデータから不審物の領域を検出したものである。この図では、船３０４に相当する領域のビットが立っている。
図３（ｃ）は、画像フラグビットマップデータの一部を拡大したものである。各ピクセルは１ビットよりなり、ビットが立っていれば（ビットの値が１であれば）、そこは不審物と思しきピクセルを示し、ビットが下りていれば（ビットの値が０であれば）、そこは背景と思しきピクセルを示す。
図４は、ＲＡＭ１０５の配列データ領域２０３に格納される、配列データを模式的に示すものである。実際にＲＡＭ１０５の中身がこのような形状になっている訳ではないが、ソフトウェアプログラムにて仮想的にこのような形状に構築されていると思って頂きたい。
図４（ａ）において、配列データ４０１は同時生起確率行列をベースとする、可変長の配列データの集合体である。同時生起確率行列は、縦ｋと横ｌがそれぞれ０〜２５５迄の２５６個の要素よりなる正方行列である。この縦ｋと横ｌは画像データの輝度に相当する。この行列上の各々の要素に立方体が積み上がっている。この立方体は一つに画像データの１ピクセルを示す相対アドレスが格納されている。
図４（ａ）において、配列データ４０１は同時生起確率行列をベースとする、可変長の配列データの集合体である。同時生起確率行列は、縦ｋと横ｌがそれぞれ０〜２５５迄の２５６個の要素よりなる正方行列である。この縦ｋと横ｌは画像データの輝度に相当する。この行列上の各々の要素に立方体が積み上がっている。この立方体は一つに画像データの１ピクセルを示す相対アドレスが格納されている。
図４（ａ）の（ｋ、ｌ）［１］とは、ｋ番目の行でｌ番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ）［２］とは、ｋ行ｌ列の行列要素よりなる配列データの、２番目の配列要素である。
配列データ（ｋ、ｌ）は５個の配列要素を持ち、（ｋ、ｌ）［５］まで存在している。
図４（ａ）の（ｋ、ｌ−１）［１］とは、ｋ番目の行でｌ−１番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ−５）［１］とは、ｋ行ｌ−５列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ−３、ｌ）［１］とは、ｋ−３行ｌ列の行列要素よりなる配列データの、１番目の配列要素である。
このように積み上がっている立方体には、入力画像ビットマップデータ領域２０２に格納されている画像データの、１ピクセルを示す相対アドレスがそれぞれ格納されている。
同様に、（ｋ、ｌ）［２］とは、ｋ行ｌ列の行列要素よりなる配列データの、２番目の配列要素である。
配列データ（ｋ、ｌ）は５個の配列要素を持ち、（ｋ、ｌ）［５］まで存在している。
図４（ａ）の（ｋ、ｌ−１）［１］とは、ｋ番目の行でｌ−１番目の列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ、ｌ−５）［１］とは、ｋ行ｌ−５列の行列要素よりなる配列データの、１番目の配列要素である。
同様に、（ｋ−３、ｌ）［１］とは、ｋ−３行ｌ列の行列要素よりなる配列データの、１番目の配列要素である。
このように積み上がっている立方体には、入力画像ビットマップデータ領域２０２に格納されている画像データの、１ピクセルを示す相対アドレスがそれぞれ格納されている。
図４（ａ）は紙面の都合上、うず高く積み上がる配列データの一部分しか図示できていない。しかし、実際には図４（ｂ）に示すような、周知のガウス曲面に近い形状になることが推測できる。
なお、この同時生起確率行列をベースとする配列データの詳細な作成方法は、後述する。
なお、この同時生起確率行列をベースとする配列データの詳細な作成方法は、後述する。
図５は、ＲＡＭ１０５と、ＲＡＭ１０５内に格納されている各々のデータの関係を模式的に示す図である。
入力画像ビットマップデータ領域２０２中の、広い面積を示す背景部分は、同時生起確率行列を構成する配列データ領域２０３の、要素の多い箇所に集中する。その、集中している部分の配列要素として格納されている画像データの相対アドレスが、画像フラグビットマップデータ領域２０４の背景部分の相対アドレスに該当し、その箇所のフラグを下ろすこととなる。
図５においては、入力画像ビットマップデータ領域２０２の一部を示す画像の、点線で囲んだ部分、すなわち空の一部分に該当する画像データが、配列データ領域２０３の、積み上がっている立方体にそれぞれ対応している。つまり、これら立方体をなす配列変数には、その要素として画像データ中の点線部分にて囲まれたピクセルの相対アドレスが格納されている。そして、それら相対アドレスは画像フラグビットマップデータ領域２０４の該当箇所のフラグを１から０へ下ろす。
入力画像ビットマップデータ領域２０２中の、広い面積を示す背景部分は、同時生起確率行列を構成する配列データ領域２０３の、要素の多い箇所に集中する。その、集中している部分の配列要素として格納されている画像データの相対アドレスが、画像フラグビットマップデータ領域２０４の背景部分の相対アドレスに該当し、その箇所のフラグを下ろすこととなる。
図５においては、入力画像ビットマップデータ領域２０２の一部を示す画像の、点線で囲んだ部分、すなわち空の一部分に該当する画像データが、配列データ領域２０３の、積み上がっている立方体にそれぞれ対応している。つまり、これら立方体をなす配列変数には、その要素として画像データ中の点線部分にて囲まれたピクセルの相対アドレスが格納されている。そして、それら相対アドレスは画像フラグビットマップデータ領域２０４の該当箇所のフラグを１から０へ下ろす。
ここで、同時生起確率行列の概要を記す。
図６は、同時生起確率行列の概要を説明するための図である。
図６（ａ）において、Ｐ１とＰ２は画像データ中の任意の二つのピクセルである。ピクセルＰ１からピクセルＰ２へは、距離ｒと角度θだけ離れている。このｒとθを相対位置関数δとする。δ＝（ｒ，θ）と表す。
図６（ｂ）において、δ１＝（１，０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う次のピクセルを指し示す。
図６（ｃ）において、δ１＝（１，９０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う真上のピクセルを指し示す。
同時生起確率行列は、この一定の相対位置関数δだけ離れている二点のピクセルの輝度の組み合わせを、輝度を要素数とする正方行列に加算する仕組みである。
図６は、同時生起確率行列の概要を説明するための図である。
図６（ａ）において、Ｐ１とＰ２は画像データ中の任意の二つのピクセルである。ピクセルＰ１からピクセルＰ２へは、距離ｒと角度θだけ離れている。このｒとθを相対位置関数δとする。δ＝（ｒ，θ）と表す。
図６（ｂ）において、δ１＝（１，０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う次のピクセルを指し示す。
図６（ｃ）において、δ１＝（１，９０°）である場合、ピクセルＰ１に対してピクセルＰ２は隣り合う真上のピクセルを指し示す。
同時生起確率行列は、この一定の相対位置関数δだけ離れている二点のピクセルの輝度の組み合わせを、輝度を要素数とする正方行列に加算する仕組みである。
図７に、説明のために簡素化した画像データと簡素化した同時生起確率行列を示す。
図７（ａ）において、４×４の１６ピクセルよりなる画像データ内の各ピクセルは、０〜３迄の４段階の輝度を有する。
図７（ｂ）は、４段階の輝度よりなる４×４の正方行列である同時生起確率行列である。ここで、相対位置関数δ＝（ｒ，θ）＝（１，０°）の関係にて、図７（ａ）の画像データから同時生起確率行列を作成する手順を以下に示す。
図７（ａ）の（ｘ，ｙ）＝（０，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（１，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは０である。したがって、（ｉ，ｊ）＝（０，０）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（０，０）に１を加える。
図７（ａ）の（ｘ，ｙ）＝（１，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（２，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは１である。したがって、（ｉ，ｊ）＝（０，１）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（１，０）に１を加える。
以上のように、相対位置関数δだけ離れている各ピクセルの輝度の組み合わせに相当する行列の要素をカウントアップする動作を、全てのピクセルに対して行う。つまり、この正方行列は、二つのピクセルの輝度の組み合わせの出現回数を示す、カウンタの行列である。
なお、往復カウントをするか否かは設計者の任意である。
図７（ａ）において、４×４の１６ピクセルよりなる画像データ内の各ピクセルは、０〜３迄の４段階の輝度を有する。
図７（ｂ）は、４段階の輝度よりなる４×４の正方行列である同時生起確率行列である。ここで、相対位置関数δ＝（ｒ，θ）＝（１，０°）の関係にて、図７（ａ）の画像データから同時生起確率行列を作成する手順を以下に示す。
図７（ａ）の（ｘ，ｙ）＝（０，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（１，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは０である。したがって、（ｉ，ｊ）＝（０，０）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（０，０）に１を加える。
図７（ａ）の（ｘ，ｙ）＝（１，０）をピクセルＰ１とすると、ピクセルＰ２は（ｘ，ｙ）＝（２，０）となる。このとき、ピクセルＰ１の輝度ｉは０、ピクセルＰ２の輝度ｊは１である。したがって、（ｉ，ｊ）＝（０，１）に１を加える。更に、往復カウントを行うので、（ｉ，ｊ）＝（１，０）に１を加える。
以上のように、相対位置関数δだけ離れている各ピクセルの輝度の組み合わせに相当する行列の要素をカウントアップする動作を、全てのピクセルに対して行う。つまり、この正方行列は、二つのピクセルの輝度の組み合わせの出現回数を示す、カウンタの行列である。
なお、往復カウントをするか否かは設計者の任意である。
つまり、図６及び図７にて説明した同時生起確率行列の作成手法にて、図５において入力画像ビットマップデータから配列データを作成するものである。
但し、本実施形態は従来より周知の同時生起確率行列の取り扱いとは異なるアプローチを取っている。
従来技術では、同時生起確率行列は例えば特許文献２にて開示されているように、製造工程中に良品と不良品とを比較するための手法として使われている。予め良品を撮影して同時生起確率行列を保持しておき、製造ラインに流れてきた製品を撮影する。撮影画像データから同時生起確率行列を作成し、これを保持している良品の行列と比較して、相違点から製品の傷や汚れ等の異常を判別する。これが、従来より良く知られている同時生起確率行列の利用である。
本実施形態は、この同時生起確率行列に対して、所定の閾値を用いて各行列要素を比較する。そして、閾値以上の行列要素は、画像データ内にて広い面積を占める領域、すなわち背景であるものと判断する。そして、背景に該当する画像データ内の領域を除外する。
このために、行列要素を配列データとし、配列の要素に画像データ内のピクセルの相対アドレスを格納する必要がある。
全ての処理が終わった後に、画像フラグデータ内にてフラグが下りていない部分が、画像データ内にて背景とは異なる輝度を示す狭い部分、つまり不審物を示す領域であると判断する。
イメージとしては、図４（ｂ）のガウス曲面を、閾値を示すｘｙ平面と平行の平面にて真横に切断するようなものだと思って頂ければよいだろう。閾値平面によって切断された、つまり閾値平面に触れた行列要素に該当する画像データの相対アドレスは、背景である。
但し、本実施形態は従来より周知の同時生起確率行列の取り扱いとは異なるアプローチを取っている。
従来技術では、同時生起確率行列は例えば特許文献２にて開示されているように、製造工程中に良品と不良品とを比較するための手法として使われている。予め良品を撮影して同時生起確率行列を保持しておき、製造ラインに流れてきた製品を撮影する。撮影画像データから同時生起確率行列を作成し、これを保持している良品の行列と比較して、相違点から製品の傷や汚れ等の異常を判別する。これが、従来より良く知られている同時生起確率行列の利用である。
本実施形態は、この同時生起確率行列に対して、所定の閾値を用いて各行列要素を比較する。そして、閾値以上の行列要素は、画像データ内にて広い面積を占める領域、すなわち背景であるものと判断する。そして、背景に該当する画像データ内の領域を除外する。
このために、行列要素を配列データとし、配列の要素に画像データ内のピクセルの相対アドレスを格納する必要がある。
全ての処理が終わった後に、画像フラグデータ内にてフラグが下りていない部分が、画像データ内にて背景とは異なる輝度を示す狭い部分、つまり不審物を示す領域であると判断する。
イメージとしては、図４（ｂ）のガウス曲面を、閾値を示すｘｙ平面と平行の平面にて真横に切断するようなものだと思って頂ければよいだろう。閾値平面によって切断された、つまり閾値平面に触れた行列要素に該当する画像データの相対アドレスは、背景である。
図８及び図９は、本実施形態の画像処理装置１０１の動作を示すフローチャートである。
処理を開始すると（Ｓ８０１）、最初に同時生起確率行列を作成する際のルールである、相対位置関数δを設定する（Ｓ８０２）。次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ８０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
次に、相対アドレスａから相対位置関数δだけ離れている地点にピクセルが存在するか否かを検証する（Ｓ８０４）。例えば、相対位置関数δ＝（１，０°）の場合、相対アドレスａが入力画像ビットマップデータの右端であれば、相対アドレスｂ＝δ（ａ）は存在しない。
相対アドレスｂ＝δ（ａ）があれば、相対アドレスａの輝度をｋに代入し、相対アドレスｂの輝度をｌに代入する。そして、配列データ領域２０３内の行列要素（ｋ，ｌ）の配列に、相対アドレスａを追加する（Ｓ８０５）。つまり、図４（ａ）の、立方体を一つ積み上げて、そこに相対アドレスａを格納する。なお、ステップＳ８０４にて、ｂ＝δ（ａ）がない場合は、同時生起確率行列の追加処理ができないので、ステップＳ８０５の処理を飛ばす。
次に、相対アドレスａを一つ進める（Ｓ８０６）。次に、相対アドレスａが存在するか否かを検証する（Ｓ８０７）。あれば、再びステップＳ８０４から処理を繰り返す。なければ、それは入力画像ビットマップデータの終端であり、同時生起確率行列の処理が終わったので、次の処理に進む。
処理を開始すると（Ｓ８０１）、最初に同時生起確率行列を作成する際のルールである、相対位置関数δを設定する（Ｓ８０２）。次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ８０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
次に、相対アドレスａから相対位置関数δだけ離れている地点にピクセルが存在するか否かを検証する（Ｓ８０４）。例えば、相対位置関数δ＝（１，０°）の場合、相対アドレスａが入力画像ビットマップデータの右端であれば、相対アドレスｂ＝δ（ａ）は存在しない。
相対アドレスｂ＝δ（ａ）があれば、相対アドレスａの輝度をｋに代入し、相対アドレスｂの輝度をｌに代入する。そして、配列データ領域２０３内の行列要素（ｋ，ｌ）の配列に、相対アドレスａを追加する（Ｓ８０５）。つまり、図４（ａ）の、立方体を一つ積み上げて、そこに相対アドレスａを格納する。なお、ステップＳ８０４にて、ｂ＝δ（ａ）がない場合は、同時生起確率行列の追加処理ができないので、ステップＳ８０５の処理を飛ばす。
次に、相対アドレスａを一つ進める（Ｓ８０６）。次に、相対アドレスａが存在するか否かを検証する（Ｓ８０７）。あれば、再びステップＳ８０４から処理を繰り返す。なければ、それは入力画像ビットマップデータの終端であり、同時生起確率行列の処理が終わったので、次の処理に進む。
全ての入力画像ビットマップデータについて同時生起確率行列の処理が終わったら、その行列要素を用いて閾値の演算を行う（Ｓ８０８）。閾値の計算方法は様々な方法が考えられる。例えば、予め設定済みの固定値を用いるとか、１以上の行列要素の全ての平均を取る等が考えられる。
閾値を得たら、配列データ領域２０３内の、評価対象とする行列要素の初期値を設定する（Ｓ９０９）。
次に、行列要素の要素数と閾値を比較する(Ｓ９１０）。もし、要素数が閾値以上であれば、その行列要素に属する配列要素内の、入力画像ビットマップデータの相対アドレスに対応する画像フラグビットマップデータ領域２０４内の該当アドレスのフラグを下ろす（Ｓ９１１）。つまり、そこは背景である、という判断である。もし、要素数が閾値未満であれば、何もしない。つまり、そこは不審物である、という判断である。
そして、評価対象となる行列要素を一つ進める（Ｓ９１２）。
次に、評価対象となる行列要素があるか否か検証する（Ｓ９１３）。あれば、再び評価を行う（Ｓ９１０）。なければそれは処理の終わりを意味する。
最後に、画像フラグビットマップデータ領域２０４内に残っている、フラグが立っている領域、つまり不審物を示す領域の面積と中心座標を算出して（Ｓ９１４）、終了する（Ｓ９１５）。
閾値を得たら、配列データ領域２０３内の、評価対象とする行列要素の初期値を設定する（Ｓ９０９）。
次に、行列要素の要素数と閾値を比較する(Ｓ９１０）。もし、要素数が閾値以上であれば、その行列要素に属する配列要素内の、入力画像ビットマップデータの相対アドレスに対応する画像フラグビットマップデータ領域２０４内の該当アドレスのフラグを下ろす（Ｓ９１１）。つまり、そこは背景である、という判断である。もし、要素数が閾値未満であれば、何もしない。つまり、そこは不審物である、という判断である。
そして、評価対象となる行列要素を一つ進める（Ｓ９１２）。
次に、評価対象となる行列要素があるか否か検証する（Ｓ９１３）。あれば、再び評価を行う（Ｓ９１０）。なければそれは処理の終わりを意味する。
最後に、画像フラグビットマップデータ領域２０４内に残っている、フラグが立っている領域、つまり不審物を示す領域の面積と中心座標を算出して（Ｓ９１４）、終了する（Ｓ９１５）。
図８において、ステップＳ８０２、Ｓ８０３、Ｓ８０４、Ｓ８０５、Ｓ８０６及びＳ８０７よりなる処理は、図１（ｂ）の特徴量算出部１１３の処理に相当する。つまり、同時生起確率行列の算出処理である。
図８において、ステップＳ８０８、そして図９において、ステップＳ９０９、Ｓ９１０、Ｓ９１１、Ｓ９１２及びＳ９１３よりなる処理は、図１（ｂ）の画素判定部１１４の処理に相当する。つまり、不審物のアドレスを決定する処理である。
図９において、ステップＳ９１４よりなる処理は、図１（ｂ）の画素集合決定部１１５の処理に相当する。つまり、不審物のアドレスの数をカウントし、不審物のアドレスを示す領域の中心を算出する処理である。
図８において、ステップＳ８０８、そして図９において、ステップＳ９０９、Ｓ９１０、Ｓ９１１、Ｓ９１２及びＳ９１３よりなる処理は、図１（ｂ）の画素判定部１１４の処理に相当する。つまり、不審物のアドレスを決定する処理である。
図９において、ステップＳ９１４よりなる処理は、図１（ｂ）の画素集合決定部１１５の処理に相当する。つまり、不審物のアドレスの数をカウントし、不審物のアドレスを示す領域の中心を算出する処理である。
次に、本発明の第２の実施形態を説明する。
図１０は、第２の実施形態にかかる画像処理装置にて用いる相対位置関数δを示す概略図である。
本実施形態では、画像処理装置の内部の構成は、第１の実施の形態で説明した図１のブロック図で示した構成と殆ど変わらないが、相対位置関数δを複数取り、それに基づいて複数の同時生起確率行列を作成する構成とする。
先に説明した第１の実施形態では、相対位置関数δ＝(１,０°）を例に説明した。ところで、従来技術においても同時生起確率行列を複数の相対位置関数δにて取ることは周知である。これは、一定の模様よりなる画像データの特徴をより正確に数値化するための措置である。
図１０において、あるピクセルの近傍にあるピクセルだけでも８つのピクセルが存在することがわかる。
δ１は距離が１であり、角度が０°である。
δ２は距離が√２であり、角度が４５°である。
以下同様に、δ３＝（１，９０°）、δ４＝（√２，１３５°）、δ５＝（１，１８０°）、δ６＝（√２，２２５°）、δ７＝（１，２７０°）、δ８＝（√２，３１５°）となる。
すなわち、８つの相対位置関数δ１〜δ８が作成し得る。
これら８つの相対位置関数δ１〜δ８を用いて、８つの同時生起確率行列を作成することができる。
図１０は、第２の実施形態にかかる画像処理装置にて用いる相対位置関数δを示す概略図である。
本実施形態では、画像処理装置の内部の構成は、第１の実施の形態で説明した図１のブロック図で示した構成と殆ど変わらないが、相対位置関数δを複数取り、それに基づいて複数の同時生起確率行列を作成する構成とする。
先に説明した第１の実施形態では、相対位置関数δ＝(１,０°）を例に説明した。ところで、従来技術においても同時生起確率行列を複数の相対位置関数δにて取ることは周知である。これは、一定の模様よりなる画像データの特徴をより正確に数値化するための措置である。
図１０において、あるピクセルの近傍にあるピクセルだけでも８つのピクセルが存在することがわかる。
δ１は距離が１であり、角度が０°である。
δ２は距離が√２であり、角度が４５°である。
以下同様に、δ３＝（１，９０°）、δ４＝（√２，１３５°）、δ５＝（１，１８０°）、δ６＝（√２，２２５°）、δ７＝（１，２７０°）、δ８＝（√２，３１５°）となる。
すなわち、８つの相対位置関数δ１〜δ８が作成し得る。
これら８つの相対位置関数δ１〜δ８を用いて、８つの同時生起確率行列を作成することができる。
図１１は、本実施形態にかかる画像処理装置のフローチャートである。
処理を開始すると（Ｓ１１０１）、最初にカウンタ変数ｉを０に初期化する（Ｓ１１０２）。次に、同時生起確率行列を作成する際のルールである、相対位置関数δ（ｉ）の存在を確認する（Ｓ１１０３）。
δ（ｉ）があればこれを設定し（Ｓ１１０４）、これに基づいて同時生起確率行列に基づく特徴量算出処理を行う（Ｓ１１０５）。次に、得られた同時生起確率行列の配列データを用いて、画素判定処理を行う（Ｓ１１０６）。
ここで、ステップＳ１１０５は、図８のステップＳ８０３、Ｓ８０４、Ｓ８０５、Ｓ８０６そしてＳ８０７に等しい。
また、ステップＳ１１０６は、図８のステップＳ８０８と、図９のステップＳ９０９、Ｓ９１０、Ｓ９１１、Ｓ９１２そしてＳ９１３に等しい。
次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ８０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
つまり、ステップＳ１１０５及びＳ１１０６は、図８の点線で囲むサブルーチンＲ８２２と等しい。これが、同時生起確率行列よりなる配列データを作成し、そこから画像フラグビットマップデータ領域２０４にて不審物の画素を判定する処理である。
処理を開始すると（Ｓ１１０１）、最初にカウンタ変数ｉを０に初期化する（Ｓ１１０２）。次に、同時生起確率行列を作成する際のルールである、相対位置関数δ（ｉ）の存在を確認する（Ｓ１１０３）。
δ（ｉ）があればこれを設定し（Ｓ１１０４）、これに基づいて同時生起確率行列に基づく特徴量算出処理を行う（Ｓ１１０５）。次に、得られた同時生起確率行列の配列データを用いて、画素判定処理を行う（Ｓ１１０６）。
ここで、ステップＳ１１０５は、図８のステップＳ８０３、Ｓ８０４、Ｓ８０５、Ｓ８０６そしてＳ８０７に等しい。
また、ステップＳ１１０６は、図８のステップＳ８０８と、図９のステップＳ９０９、Ｓ９１０、Ｓ９１１、Ｓ９１２そしてＳ９１３に等しい。
次に、入力画像ビットマップデータの検討対象アドレスａを、画像データの先頭に設定する（Ｓ８０３）。つまり、アドレスａは入力画像ビットマップデータ内の相対アドレスであり、この処理にて相対アドレスの初期値を与える。
つまり、ステップＳ１１０５及びＳ１１０６は、図８の点線で囲むサブルーチンＲ８２２と等しい。これが、同時生起確率行列よりなる配列データを作成し、そこから画像フラグビットマップデータ領域２０４にて不審物の画素を判定する処理である。
処理が終わったら、カウンタ変数ｉを進める（Ｓ１１０７）。そして、次の相対位置関数δ（ｉ）の有無を確認し（Ｓ１１０３）、あれば設定し（Ｓ１１０４）、処理を続行する。なければ全ての相対位置関数δ（ｉ）について処理を終えたこととなる。
全ての相対位置関数δ（ｉ）についてｉ個の画像フラグビットマップデータが得られたら、これらを統合演算する（Ｓ１１０８）。演算は全てのビットの論理積でも、全てのビットを加算して適当な閾値と比較するのでもよい。この演算処理によって、不審物領域の決定の精度が増す。
最後に不審物領域の面積と中心座標を算出して（Ｓ１１０９）、終了する（Ｓ１１１０）。
全ての相対位置関数δ（ｉ）についてｉ個の画像フラグビットマップデータが得られたら、これらを統合演算する（Ｓ１１０８）。演算は全てのビットの論理積でも、全てのビットを加算して適当な閾値と比較するのでもよい。この演算処理によって、不審物領域の決定の精度が増す。
最後に不審物領域の面積と中心座標を算出して（Ｓ１１０９）、終了する（Ｓ１１１０）。
以上に説明したことをまとめる。
本実施形態の画像処理装置１０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
静止画像データが画像処理装置１０１に入力されると、これをＲＡＭ１０５内の入力画像ビットマップデータ領域２０２に展開する。その後、同時生起確率行列のアルゴリズムにて配列データを配列データ領域２０３に作成する。次に、得られた配列データから閾値を算出し、この閾値を満たす数の行列に該当する画像のピクセルを、背景であるものと判断する。背景と判断された画像のピクセルの相対アドレスを、配列データから読み出して、画像フラグビットマップデータ領域２０４内の、該当アドレスのフラグを下ろす。
以上の処理により、静止画像データから生成した同時生起確率行列から、背景とそれ以外の部分とを判別することができる。
本実施形態の画像処理装置１０１は、主にマイクロコンピュータ上で稼動するソフトウェアよりなる。
静止画像データが画像処理装置１０１に入力されると、これをＲＡＭ１０５内の入力画像ビットマップデータ領域２０２に展開する。その後、同時生起確率行列のアルゴリズムにて配列データを配列データ領域２０３に作成する。次に、得られた配列データから閾値を算出し、この閾値を満たす数の行列に該当する画像のピクセルを、背景であるものと判断する。背景と判断された画像のピクセルの相対アドレスを、配列データから読み出して、画像フラグビットマップデータ領域２０４内の、該当アドレスのフラグを下ろす。
以上の処理により、静止画像データから生成した同時生起確率行列から、背景とそれ以外の部分とを判別することができる。
次に、本発明の第３の実施形態を説明する。
図１２は、撮像カメラ１０２によって撮影された静止画像の一例である。
図３（ａ）の画像と比較して頂きたい。図３では船である不審物３０４が写っているが、図１２では岸辺１２０２と、その上に灯台１２０３が写っている。これらが不審物ではないことは明らかであるが、第１の実施形態のままではこれらを不審物と誤認してしまう可能性が高い。なぜなら、これらは画像データ全体から見たらその占める面積が少ないので、背景と認識されないからである。そこで、このように不審物と誤認されるであろう箇所を、予め同時生起確率行列の作成処理の対象から外す処理が必要になる。
図１２は、撮像カメラ１０２によって撮影された静止画像の一例である。
図３（ａ）の画像と比較して頂きたい。図３では船である不審物３０４が写っているが、図１２では岸辺１２０２と、その上に灯台１２０３が写っている。これらが不審物ではないことは明らかであるが、第１の実施形態のままではこれらを不審物と誤認してしまう可能性が高い。なぜなら、これらは画像データ全体から見たらその占める面積が少ないので、背景と認識されないからである。そこで、このように不審物と誤認されるであろう箇所を、予め同時生起確率行列の作成処理の対象から外す処理が必要になる。
図１３（ａ）は、第３の実施形態にかかる画像処理装置の全体ブロック図である。図１３（ａ）に示す画像処理装置１３０１は、第１の実施形態における図１（ｂ）の画像処理装置１０１とほぼ同じである。図１３（ａ）において、図１（ｂ）と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置１３０１は、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。このために、図１（ｂ）に示される第１の実施形態と比較すると、処理領域設定部１３０２と、表示装置１３０３と、入力装置１３０４が新たに設けられている。
表示装置１３０３は例えば周知のＬＣＤディスプレイである。入力装置１３０４は例えば周知のマウスである。
処理領域設定部１３０２は、画素判定部１３１４から得られた結果に基づき、不審物と思しき領域を画像保存部１１２に保持されている画像データとオーバーラップさせて、表示装置１３０３へ表示する。使用者は入力装置１３０４を操作して、表示装置１３０３に表示されている静止画像と、その上にオーバーラップされた状態にて表示されている除外領域を修正する。
以上のようにして、処理領域設定部１３０２によって特徴量算出部１３１３に設定された除外領域は、特徴量算出部１３１３において行われる同時生起確率行列の演算の対象外となる。
図１２を例にするならば、岸辺１２０２と灯台１２０３を囲むような除外領域が処理領域設定部１３０２にて作成され、特徴量算出部１３１３に保持される。特徴量算出部１３１３は、画像データの各ピクセルのうち、除外領域に該当するものは同時生起確率行列の演算を行わず、強制的に背景とみなす。
本実施形態にかかる画像処理装置１３０１は、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。このために、図１（ｂ）に示される第１の実施形態と比較すると、処理領域設定部１３０２と、表示装置１３０３と、入力装置１３０４が新たに設けられている。
表示装置１３０３は例えば周知のＬＣＤディスプレイである。入力装置１３０４は例えば周知のマウスである。
処理領域設定部１３０２は、画素判定部１３１４から得られた結果に基づき、不審物と思しき領域を画像保存部１１２に保持されている画像データとオーバーラップさせて、表示装置１３０３へ表示する。使用者は入力装置１３０４を操作して、表示装置１３０３に表示されている静止画像と、その上にオーバーラップされた状態にて表示されている除外領域を修正する。
以上のようにして、処理領域設定部１３０２によって特徴量算出部１３１３に設定された除外領域は、特徴量算出部１３１３において行われる同時生起確率行列の演算の対象外となる。
図１２を例にするならば、岸辺１２０２と灯台１２０３を囲むような除外領域が処理領域設定部１３０２にて作成され、特徴量算出部１３１３に保持される。特徴量算出部１３１３は、画像データの各ピクセルのうち、除外領域に該当するものは同時生起確率行列の演算を行わず、強制的に背景とみなす。
次に、本発明の第４の実施形態を説明する。
図１３（ｂ）は、第４の実施形態にかかる画像処理装置の全体ブロック図である。図１３（ｂ）に示す画像処理装置１３１１は、第３の実施形態における図１３（ａ）の画像処理装置１３０１とほぼ同じである。図１３（ｂ）において、図１３（ａ）と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置１３１１は、図１３（ａ）と同様に、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。第３の実施形態と異なる点は、操作者による除外領域の修正処理を行わず、自動で設定する点にある。このために、図１３（ａ）に示される第３の実施形態と比較すると、表示装置１３０３と、入力装置１３０４がない。また、処理領域設定部１３０３は、画素集合決定部１３１５に接続されている。
処理領域設定部１３０３は、画素集合決定部１３１５から得られた結果を、除外領域とみなし、特徴量算出部１３１３に設定する。
設定された除外領域は、特徴量算出部１３１３において行われる同時生起確率行列の演算の対象外となる。
図１３（ｂ）は、第４の実施形態にかかる画像処理装置の全体ブロック図である。図１３（ｂ）に示す画像処理装置１３１１は、第３の実施形態における図１３（ａ）の画像処理装置１３０１とほぼ同じである。図１３（ｂ）において、図１３（ａ）と機能を共通にしている部分は同一符号を付し、詳細な説明は略す。
本実施形態にかかる画像処理装置１３１１は、図１３（ａ）と同様に、本稼動させる前に、撮影した静止画像データに基づいて、画像データ中の特定領域を予め不審物を判定する対象から外す処理を行う。第３の実施形態と異なる点は、操作者による除外領域の修正処理を行わず、自動で設定する点にある。このために、図１３（ａ）に示される第３の実施形態と比較すると、表示装置１３０３と、入力装置１３０４がない。また、処理領域設定部１３０３は、画素集合決定部１３１５に接続されている。
処理領域設定部１３０３は、画素集合決定部１３１５から得られた結果を、除外領域とみなし、特徴量算出部１３１３に設定する。
設定された除外領域は、特徴量算出部１３１３において行われる同時生起確率行列の演算の対象外となる。
以上、第１、第２、第３及び第４の実施形態にて説明した画像処理装置は、図３や図１２にて説明したように、海のような単一の背景を監視する際に、特に好適である。このため、撮像カメラは広い範囲を監視するために回転させる場合が多い。
図１４（ａ）は本実施形態における撮像カメラの外観図を示す。また、図１４（ｂ）は、図１４（ａ）における撮像カメラと画像処理装置との組み合わせを示すブロック図を示す。
図１４（ａ）において、撮像カメラ１０２は広い範囲を監視するために、旋回装置１４０２に設置され、左右に回転駆動される。
図１４（ｂ）において、旋回装置１４０２の内部には撮像カメラ１０２を回転駆動させるためのモータ１４０３と、モータのシャフト１４０４に取り付けられ、撮像カメラ１０２と共に回転駆動される角度検出器１４０５が設けられている。角度検出器１４０５は例えば光学検出や磁気検出等によるタコジェネレータ等が挙げられる。
角度検出器１４０５の検出信号は画像処理装置１０１の主要構成部分をなすマイクロコンピュータのバス１０６に入力され、予め設定された所定の角度毎に、撮像カメラ１０２から得られる静止画像をＲＡＭ１０５に取り込み、前述の処理を行う。
また、第２及び第４の実施形態においては、撮像カメラ１０２の撮影角度毎に除外領域の設定を予め行うこととなる。
図１４（ａ）は本実施形態における撮像カメラの外観図を示す。また、図１４（ｂ）は、図１４（ａ）における撮像カメラと画像処理装置との組み合わせを示すブロック図を示す。
図１４（ａ）において、撮像カメラ１０２は広い範囲を監視するために、旋回装置１４０２に設置され、左右に回転駆動される。
図１４（ｂ）において、旋回装置１４０２の内部には撮像カメラ１０２を回転駆動させるためのモータ１４０３と、モータのシャフト１４０４に取り付けられ、撮像カメラ１０２と共に回転駆動される角度検出器１４０５が設けられている。角度検出器１４０５は例えば光学検出や磁気検出等によるタコジェネレータ等が挙げられる。
角度検出器１４０５の検出信号は画像処理装置１０１の主要構成部分をなすマイクロコンピュータのバス１０６に入力され、予め設定された所定の角度毎に、撮像カメラ１０２から得られる静止画像をＲＡＭ１０５に取り込み、前述の処理を行う。
また、第２及び第４の実施形態においては、撮像カメラ１０２の撮影角度毎に除外領域の設定を予め行うこととなる。
本実施形態には、以下のような応用例が考えられる。
（１）マイクロコンピュータによる実装の代わりに、プログラマブル・ロジック・デバイス（Programmable Logic Device:ＰＬＤ）を用いてもよい。
（２）前述の第３及び第４の実施形態においては、処理領域設定部１３０２及び１３０３にて設定した除外領域を特徴量算出部１３１３に反映させていた。この代わりに、除外領域を画素集合決定部１３１５に反映させても、同等の効果が得られる。すなわち、除外領域に該当する部分は背景であるものとみなし、画像フラグビットマップデータ領域２０４内の該当部分のフラグを下ろす。
（３）図２において、ＲＡＭ１０５内部では入力画像ビットマップデータ領域２０２と画像フラグビットマップデータ領域２０４は異なる領域として記述されているが、これを一体化することもできる。
例えば、画像データを構成するピクセル毎に、輝度データとフラグデータを格納する構造体を構成する。こうすれば、ピクセル毎の絶対アドレスを直接配列データ４０１に格納することができるので、相対アドレスを変換する演算処理が不要になる。
（４）配列データ領域２０３にて構成される同時生起確率行列を表現する手法は様々なものが考えられる。例えば、リレーショナルデータベースを用いたり、非特許文献１にて周知のインタプリタ言語処理系であるｐｅｒｌ等にて実装されている、連想配列を用いて実現できる。
（１）マイクロコンピュータによる実装の代わりに、プログラマブル・ロジック・デバイス（Programmable Logic Device:ＰＬＤ）を用いてもよい。
（２）前述の第３及び第４の実施形態においては、処理領域設定部１３０２及び１３０３にて設定した除外領域を特徴量算出部１３１３に反映させていた。この代わりに、除外領域を画素集合決定部１３１５に反映させても、同等の効果が得られる。すなわち、除外領域に該当する部分は背景であるものとみなし、画像フラグビットマップデータ領域２０４内の該当部分のフラグを下ろす。
（３）図２において、ＲＡＭ１０５内部では入力画像ビットマップデータ領域２０２と画像フラグビットマップデータ領域２０４は異なる領域として記述されているが、これを一体化することもできる。
例えば、画像データを構成するピクセル毎に、輝度データとフラグデータを格納する構造体を構成する。こうすれば、ピクセル毎の絶対アドレスを直接配列データ４０１に格納することができるので、相対アドレスを変換する演算処理が不要になる。
（４）配列データ領域２０３にて構成される同時生起確率行列を表現する手法は様々なものが考えられる。例えば、リレーショナルデータベースを用いたり、非特許文献１にて周知のインタプリタ言語処理系であるｐｅｒｌ等にて実装されている、連想配列を用いて実現できる。
本実施形態においては、静止画像データから背景とは異なる物体を判別することができる。この処理は従来技術において周知の、直前の画像データとの比較による手法とは異なり、入力された画像データのみを用いて判別する。
また、本実施形態では判別のための技術として、同時生起確率行列を用いて判別を行う。このため、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。
更に、本実施形態では同時生起確率行列に基づく判別として、従来技術とは異なり、予め撮影して保持している行列データとの比較を行わず、得られた行列から閾値を算出し、その閾値を基に背景か否かの判別を行う。この判別手法自体が従来技術にはない新しいアプローチである。また、従来技術にある同時生起確率行列同士の比較と比べて演算量が少ないことは容易にわかるだろう。更に、同時生起確率行列同士の比較と比べると、同時生起確率行列を予め保持する必要がないことから、予め必要とする記憶装置の記憶容量も少なく済むことも容易にわかるだろう。
したがって、本実施形態の画像処理装置を撮像カメラと組み合わせることによって、従来技術と比べると、演算量が極めて少なく、また必要とする記憶容量も少なく済み、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた監視装置を提供できる。
また、本実施形態では判別のための技術として、同時生起確率行列を用いて判別を行う。このため、海や空など、自然現象によって生じる変化があっても、これを含めて一定の特徴を有する背景と判別することができる。
更に、本実施形態では同時生起確率行列に基づく判別として、従来技術とは異なり、予め撮影して保持している行列データとの比較を行わず、得られた行列から閾値を算出し、その閾値を基に背景か否かの判別を行う。この判別手法自体が従来技術にはない新しいアプローチである。また、従来技術にある同時生起確率行列同士の比較と比べて演算量が少ないことは容易にわかるだろう。更に、同時生起確率行列同士の比較と比べると、同時生起確率行列を予め保持する必要がないことから、予め必要とする記憶装置の記憶容量も少なく済むことも容易にわかるだろう。
したがって、本実施形態の画像処理装置を撮像カメラと組み合わせることによって、従来技術と比べると、演算量が極めて少なく、また必要とする記憶容量も少なく済み、海の波や空の雲などの自然現象も誤認識せずに背景と認識できる、優れた監視装置を提供できる。
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことは言うまでもない。
１０１…画像処理装置、１０２…撮像カメラ、１０３…ＣＰＵ、１０４…ＲＯＭ、１０５…ＲＡＭ、１０６…バス、１０７…出力インターフェース、１１２…画像保存部、１１３…特徴量算出部、１１４…画素判定部、１１５…画素集合決定部
Claims (4)
- 入力画像データが保存される画像保存部と、
前記画像保存部中の入力画像データから同時生起確率行列を算出する特徴量算出部と、
前記特徴量算出部によって得られた同時生起確率行列を所定の閾値と比較して、背景か否かを決定する画素判定部と、
前記画素判定部によって得られた判定結果に基づいて、不審物等の存在の有無を出力する画素集合決定部と
よりなることを特徴とする画像処理装置。 - 前記特徴量算出部は、前記画像保存部中の入力画像データを構成する各ピクセルを示すアドレスを要素とする配列にて、同時生起確率行列を構成することを特徴とする請求項１記載の画像処理装置。
- 入力画像データの各ピクセルを、所定の相対位置関数にて評価するステップと、
評価ステップにて同時生起確率行列の該当する行列要素に、当該ピクセルのアドレスを格納するステップと、
作成を終了した前記同時生起確率行列を、所定の閾値にて比較するステップと、
前記比較の結果、背景か否かを判定するステップと
よりなることを特徴とする画像処理方法。 - 少なくとも一つ以上の相対位置関数を用意する機能と、
前記少なくとも一つ以上の相対位置関数を用いて、入力画像データの各ピクセルのアドレスを要素とする配列データを構成する同時生起確率行列を作成する機能と、
前記作成した同時生起確率行列を閾値と比較し、閾値に達する行列要素に含まれる入力画像データのピクセルを背景と判定する機能と
よりなることを特徴とする画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006220282A JP4830712B2 (ja) | 2006-08-11 | 2006-08-11 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006220282A JP4830712B2 (ja) | 2006-08-11 | 2006-08-11 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008046769A true JP2008046769A (ja) | 2008-02-28 |
| JP4830712B2 JP4830712B2 (ja) | 2011-12-07 |
Family
ID=39180475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006220282A Expired - Fee Related JP4830712B2 (ja) | 2006-08-11 | 2006-08-11 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4830712B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101895673A (zh) * | 2009-05-21 | 2010-11-24 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09251533A (ja) * | 1996-03-18 | 1997-09-22 | Babcock Hitachi Kk | 画像領域の抽出方法 |
| JPH11185009A (ja) * | 1997-12-24 | 1999-07-09 | Mitsubishi Electric Corp | 画像データ分類識別装置 |
-
2006
- 2006-08-11 JP JP2006220282A patent/JP4830712B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09251533A (ja) * | 1996-03-18 | 1997-09-22 | Babcock Hitachi Kk | 画像領域の抽出方法 |
| JPH11185009A (ja) * | 1997-12-24 | 1999-07-09 | Mitsubishi Electric Corp | 画像データ分類識別装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101895673A (zh) * | 2009-05-21 | 2010-11-24 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN101895673B (zh) * | 2009-05-21 | 2012-12-12 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US8433139B2 (en) | 2009-05-21 | 2013-04-30 | Sony Corporation | Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality |
| US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
| US8630453B2 (en) * | 2009-12-08 | 2014-01-14 | Sony Corporation | Image processing device, image processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4830712B2 (ja) | 2011-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378900B (zh) | 产品缺陷的检测方法、装置及系统 | |
| CN110084095B (zh) | 车道线检测方法、车道线检测装置和计算机存储介质 | |
| US8068701B2 (en) | Image-processing apparatus, image-processing method and image-processing program | |
| US8811750B2 (en) | Apparatus and method for extracting edge in image | |
| CN110969793B (zh) | 环岛电子围网的周界防船舶入侵方法、系统及存储介质 | |
| CN114519853B (zh) | 一种基于多模态融合的三维目标检测方法及系统 | |
| CN112819796A (zh) | 烟丝异物识别方法及设备 | |
| CN115410100A (zh) | 一种基于无人机图像的小目标检测方法及系统 | |
| CN114332702A (zh) | 目标区域的检测方法和装置、存储介质及电子设备 | |
| CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
| JP4830712B2 (ja) | 画像処理装置 | |
| US7302081B2 (en) | Method for detecting new objects in an illuminated scene | |
| JP4270254B2 (ja) | 画像信号処理装置及び画像処理方法 | |
| JP2018142828A (ja) | 付着物検出装置および付着物検出方法 | |
| JP6325643B2 (ja) | モニタリングシステムにおける信頼性を高めるための方法 | |
| JP5272890B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN114550062A (zh) | 图像中运动对象的确定方法、装置、电子设备和存储介质 | |
| JP4614778B2 (ja) | 移動物体抽出用画像作成方法 | |
| JP4401842B2 (ja) | 画像処理装置及び侵入者検出装置 | |
| JP3523847B2 (ja) | 動体関連付けシステム | |
| JP4532972B2 (ja) | 同一目標判定装置及び同一目標判定方法及びプログラム | |
| CN117152689B (zh) | 一种基于视觉的河道目标检测方法及系统 | |
| KR20190052785A (ko) | 객체 검출 방법, 장치 및 컴퓨터 프로그램 | |
| Bhattacharya et al. | A Dataset of Infrared Images for Deep Learning based Drone Detection | |
| CN118762321A (zh) | 基于亿级像素视频的海滩安全预警方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090804 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110905 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |