JP2014178739A - 画像処理装置及び画像処理方法、並びにプログラム - Google Patents
画像処理装置及び画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2014178739A JP2014178739A JP2013050697A JP2013050697A JP2014178739A JP 2014178739 A JP2014178739 A JP 2014178739A JP 2013050697 A JP2013050697 A JP 2013050697A JP 2013050697 A JP2013050697 A JP 2013050697A JP 2014178739 A JP2014178739 A JP 2014178739A
- Authority
- JP
- Japan
- Prior art keywords
- change
- area
- update
- calculated
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/20—Calibration, including self-calibrating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Security & Cryptography (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】妨害行為の検出の精度を上げる。
【解決手段】撮影画像の画像データを取得する取得部と、取得された画像データを複数個の分割領域に分割する分割部と、分割領域における画像データの特徴量を算出する特徴量算出部と、算出された特徴量を順次更新して保存する特徴量保存部とを備える。そして、変化判定部が、特徴量を算出する分割領域である更新領域で算出された特徴量と、更新領域とは時間方向及び/又は2次元座標方向に異なる分割領域で算出された特徴量との変化量又は一致量を算出する第1の処理と、更新領域で現在算出された特徴量と、更新領域で過去に算出された特徴量との差分を算出する第2の処理を行い、第1の処理の処理内容、及び第2の処理の処理内容に基づいて、更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する。
画像処理装置。
【選択図】図3
【解決手段】撮影画像の画像データを取得する取得部と、取得された画像データを複数個の分割領域に分割する分割部と、分割領域における画像データの特徴量を算出する特徴量算出部と、算出された特徴量を順次更新して保存する特徴量保存部とを備える。そして、変化判定部が、特徴量を算出する分割領域である更新領域で算出された特徴量と、更新領域とは時間方向及び/又は2次元座標方向に異なる分割領域で算出された特徴量との変化量又は一致量を算出する第1の処理と、更新領域で現在算出された特徴量と、更新領域で過去に算出された特徴量との差分を算出する第2の処理を行い、第1の処理の処理内容、及び第2の処理の処理内容に基づいて、更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する。
画像処理装置。
【選択図】図3
Description
本開示は、画像処理装置及び画像処理方法、並びにプログラムに関し、特に監視カメラに対して加えられる妨害行為の検出精度を向上する技術に関する。
所定の空間への人、動物などの侵入者を発見するために、監視カメラにより対象とされる空間を撮影し、撮影画像から侵入者を検知する監視システムが知られている。かかる監視システムは、妨害行為により監視カメラの向きが本来の方向から変更されてしまうと、監視ができなくなる。そこで監視カメラにより撮像された現在の画像と予め記憶されている参照画像の輝度値の差分を演算し、差分値が一定値以上である場合には、妨害行為があったと判定することが提案されている(例えば特許文献1)。
特許文献1に記載の技術では、監視カメラより毎フレーム入力される画像のうち、例えば1フレームおきに得られる画像が参照画像として記憶され、順次更新される。妨害行為が存在しない場合で、かつ撮影画像内の被写体に動きがない場合には、時間的に前の背景画像と時間的に後の背景画像とがほぼ同一の画像となる。したがって、これらの画像における輝度値の差分も小さくなる。
これに対して、妨害行為により監視カメラの向きが変更された場合、時間的に前の背景画像と時間的に後の背景画像とは異なったものとなるので、現在の画像と参照画像との間での輝度値の差分は大きくなる。このため、現在の画像と参照画像との間での輝度値の差分が大きかった場合に、妨害行為があったと判定している。輝度値の差分の算出は、画像の全体を対象として行ってもよいが、一般的には、画像の領域を所定数に分割して得られる各分割領域同士を対象として行われることが多い。
ところが、輝度値の差分が大きかった場合に妨害行為があったと判定する手法では、撮影画像内に映る被写体によっては、妨害行為が発生していない場合にも妨害行為が発生したと誤判定されてしまうケースが生ずる。例えば、人が頻繁に出たり入ったりする出入り口周辺の領域では、現在の画像と参照画像との間での輝度の差分が大きくなるため、妨害行為が発生したと誤検出されてしまう。また、妨害行為が発生していても、妨害行為により輝度値が大きく変化した分割領域の数よりも、輝度値があまり変化していない分割領域の数の方が多い場合には、妨害行為は発生していないと誤判定されてしまうこともある。
本開示はかかる点に鑑みてなされたものであり、妨害行為の検出の精度を上げることを目的とする。
上記課題を解決するために、本開示の画像処理装置は、取得部と、分割部と、特徴量算出部と、特徴量保存部と、変化判定部とを備える構成とし、各部の構成及び機能を次のようにする。取得部は、撮影画像の画像データを取得する。分割部は、取得された画像データを複数個の分割領域に分割する。特徴量算出部は、分割領域における画像データの特徴量を算出する。特徴量保存部は、算出された特徴量を順次更新して保存する。変化判定部は、第1の処理の処理内容、及び第2の処理の処理内容に基づいて、特徴量を算出する分割領域である更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する。第1の処理では、更新領域で算出された特徴量と、更新領域とは時間方向及び/又は2次元座標方向に異なる分割領域で算出された特徴量との変化量又は一致量を算出する。第2の処理では、更新領域で現在算出された特徴量と、更新領域で過去に算出された特徴量との差分を算出する。
また、本開示の画像処理方法は、以下の順に処理を行う。まず、撮影画像の画像データを取得する。続いて、取得された画像データを複数個の分割領域に分割する。続いて、分割領域における画像データの特徴量を算出する。続いて、第1の処理と第2の処理を行う。第1の処理では、特徴量を算出する分割領域である更新領域で算出された特徴量と、更新領域とは時間方向及び/又は2次元座標方向に異なる分割領域で算出された特徴量との変化量又は一致量を算出する。第2の処理では、更新領域で現在算出された特徴量と、更新領域で過去に算出された特徴量との差分を算出する。そして、第1の処理の処理内容、及び第2の処理の処理内容に基づいて、更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する。
また、本開示のプログラムは、以下の処理をコンピュータに実行させる。まず、撮影画像の画像データを取得する。続いて、取得された画像データを複数個の分割領域に分割する。続いて、分割領域における画像データの特徴量を算出する。続いて、第1の処理と第2の処理を行う。第1の処理では、特徴量を算出する分割領域である更新領域で算出された特徴量と、更新領域とは時間方向及び/又は2次元座標方向に異なる分割領域で算出された特徴量との変化量又は一致量を算出する。第2の処理では、更新領域で現在算出された特徴量と、更新領域で過去に算出された特徴量との差分を算出する。そして、第1の処理の処理内容、及び第2の処理の処理内容に基づいて、更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する。
以上のように画像処理装置を構成し、画像処理を行うことで、時間方向及び/又は2次元座標方向に異なる各分割領域間での特徴量の差分の情報に基づいて、更新領域が変化領域であるか否かが判定される。これにより、分割領域毎に、分割領域において取得された画像の特徴量の過去との変化量の大きさに応じた、最適な判定が行われるようになる。
本開示の画像処理装置及び画像処理方法並びにプログラムによれば、その分割領域が、過去との変化が大きい変化領域であるか否かの判定の精度が向上するため、妨害行為の検出の精度も向上する。
本開示の実施形態に係る画像処理装置及び画像処理方法並びにプログラムの一例を、図面を参照しながら下記の順で説明する。
1.第1の実施形態例(動物体の影響による妨害行為の誤検出を低減する例(1))
2.第2の実施形態例(動物体の影響による妨害行為の誤検出を低減する例(2))
3.第3の実施形態例(妨害行為の前後での画像の類似度が高い環境において妨害行為の検出精度を向上させ る例)
4.各種変形例
1.第1の実施形態例(動物体の影響による妨害行為の誤検出を低減する例(1))
2.第2の実施形態例(動物体の影響による妨害行為の誤検出を低減する例(2))
3.第3の実施形態例(妨害行為の前後での画像の類似度が高い環境において妨害行為の検出精度を向上させ る例)
4.各種変形例
<1.第1の実施形態例>
[画像処理装置の全体構成例]
図1は、本開示の画像処理装置の全体構成例を示すブロック図である。本構成は、以下に説明する第1〜第3の実施の形態例において共通するものとする。画像処理装置21は、取得された画像に基づいて、監視用のカメラに対する妨害行為を検出し、妨害行為が検出されたときアラームを出力する。画像処理装置21は、取得部31と画像処理部32により構成されている。
[画像処理装置の全体構成例]
図1は、本開示の画像処理装置の全体構成例を示すブロック図である。本構成は、以下に説明する第1〜第3の実施の形態例において共通するものとする。画像処理装置21は、取得された画像に基づいて、監視用のカメラに対する妨害行為を検出し、妨害行為が検出されたときアラームを出力する。画像処理装置21は、取得部31と画像処理部32により構成されている。
取得部31は、ビデオカメラなどの撮像部を内蔵し、撮像部が監視する対象空間などの被写体を撮影することで得られた画像データを取得し、出力する。なお、取得部31を、撮像部を有さない構成としてもよい。この場合は、取得部31は、ネットワークを介して外部から供給される画像データを取得する。画像処理部32は、撮像信号処理部41、データ保存部42、及び画像解析部43により構成される。
撮像信号処理部41は、取得部31より得られた画像データに対して、黒レベル補正処理、ホワイトバランス処理、γ補正処理、色補正処理等の各種画像処理を施す。撮像信号処理部41は、例えばDSP(Digital Signal Processor)により構成される。データ保存部42は、撮像信号処理部41により処理された画像データを保存する。データ保存部42は、例えばRAM(Random Access Memory)により構成される。画像解析部43は、撮像信号処理部41より供給される現在の画像と、データ保存部42より供給される過去の画像である参照画像を解析することにより、妨害行為を検出する。画像解析部43は、例えばCPU(Central Processing Unit)により構成される。
[妨害行為検出の原理]
次に、図2を参照して、画像処理装置21が行う妨害行為検出の原理(概要)について説明する。本開示の一実施の形態においては、過去の画像PIと、現在の画像NIが変化領域検出部51に入力される。変化領域検出部51は、過去の画像PIと現在の画像NIのそれぞれを、所定の大きさの分割領域に分割する。そして、分割領域毎に画素値のヒストグラムが演算される。過去の画像PIの所定の位置の分割領域のヒストグラムと、現在の画像NIの対応する位置の分割領域のヒストグラムの類似量が演算される。類似量が小さい分割領域、すなわち変化量の大きい領域は、変化領域VIとして検出される。
次に、図2を参照して、画像処理装置21が行う妨害行為検出の原理(概要)について説明する。本開示の一実施の形態においては、過去の画像PIと、現在の画像NIが変化領域検出部51に入力される。変化領域検出部51は、過去の画像PIと現在の画像NIのそれぞれを、所定の大きさの分割領域に分割する。そして、分割領域毎に画素値のヒストグラムが演算される。過去の画像PIの所定の位置の分割領域のヒストグラムと、現在の画像NIの対応する位置の分割領域のヒストグラムの類似量が演算される。類似量が小さい分割領域、すなわち変化量の大きい領域は、変化領域VIとして検出される。
妨害判定部52は、変化領域VIの数が多い場合に妨害行為があったと判定し、アラームを出力する。なお、本実施の形態例では、妨害判定部52がアラームを出力する例を挙げたが、これに限定されるものではない。アラームの代わりに、検出した妨害行為の内容を判別するための情報を出力するようにしてもよい。妨害行為の内容としては、例えば、撮像部又は外部の監視用カメラが布等によって覆われた、撮像部又は外部の監視用カメラの向きが故意に変更された、等が考えられる。
[画像解析部の詳細構成]
図3は、画像解析部43の詳細構成例を示すブロック図である。画像解析部43は、更新領域選択部61、ヒストグラム保存部62、画像分割部63、ヒストグラム生成部64、変化判定部65、変化領域・判定値保存部66、カウンタ部67、及び閾値判定部68により構成されている。
図3は、画像解析部43の詳細構成例を示すブロック図である。画像解析部43は、更新領域選択部61、ヒストグラム保存部62、画像分割部63、ヒストグラム生成部64、変化判定部65、変化領域・判定値保存部66、カウンタ部67、及び閾値判定部68により構成されている。
なお、図3のヒストグラム生成部64及び変化判定部65は、図2の変化領域検出部51に対応する。また、図3のカウンタ部67及び閾値判定部68は、図2の妨害判定部52に対応する。そして、図3のヒストグラム保存部62は、図1のデータ保存部42に対応する。図3に示す構成の全部または一部は、画像解析部43ではなく、図1の撮像信号処理部41またはデータ保存部42に設けることもできる。
更新領域選択部61は、新たな画像の画像データが取得される毎に、N(N>1)個の分割領域のうちのM(N≧M>1)個の分割領域を、過去に保存された参照画像の更新を行う分割領域として順次指定する。以下、過去に保存された参照画像の更新を行う分割領域のことを「更新領域」と称する。
更新領域選択部61は、撮像信号処理部41から供給されるデータから、取得部31により取得された画像のフレーム番号を抽出し、更新するフレームのフレーム番号を決定する。さらに更新領域選択部61は、更新するフレームの中の更新する分割領域を決定する。
“N”と“M”の値には、監視を行う場面等に応じた任意の値を設定できるものとする。“N”の値を例えば“64”とし、“M”の値を例えば“4”とすると、64個に分割された分割領域のうち、常に4つの分割領域が選択されるようになる。更新するM個の分割領域の位置は、毎フレーム異ならせるようにしている。更新領域選択部61による更新領域の選択の詳細については、図4及び図5を参照して後述する。
画像分割部63は、撮像信号処理部41から供給される画像データに基づく各フレームの画像のうち、更新領域選択部61により指定されるフレームをM個の分割領域に分割する。画像分割部63はまた、更新領域選択部61により指定されるM個の分割領域の画像データを、ヒストグラム生成部64に供給する。
ヒストグラム生成部64は、特徴量算出部として機能するものであり、画像分割部63から供給された分割領域のヒストグラムを生成する。なお、撮像信号処理部41がヒストグラム生成機能を備える場合がある。その場合には、ヒストグラム生成部64は撮像信号処理部41内に設けることができる。
ヒストグラム保存部62は、特徴量保存部として機能するものであり、更新領域選択部61により更新領域として指定される分割領域のヒストグラムを更新する。すなわち、ヒストグラム生成部64から供給される現在のフレームの更新領域のヒストグラムで、既に参照画像として記憶されている過去のフレームの対応する分割領域のヒストグラムを書き換える処理を行う。
変化判定部65は、更新領域として指定された分割領域の画像が、既に参照画像として記憶されている過去のフレームの対応する分割領域の画像と比較して変化しているか否かを判定する。変化の有無の判定は、ヒストグラム生成部64より供給される現在のフレームの更新領域のヒストグラムと、ヒストグラム保存部62から供給される過去のフレームの対応する分割領域のヒストグラムとの間での、変化量の大きさに基づいて行う。変化量は、比較する現在のフレームのヒストグラムと過去のフレームのヒストグラムとを重ねた場合の、重なっていない部分に分布している画素の数を求めることにより算出する。
変化量の大きさの判定は、算出した変化量が、予め定められた変化判定閾値Cthよりも多いか否かに基づいて行う。変化判定閾値Cthは、後述する変化領域・判定値保存部66に保存され、変化判定処理を行う都度、変化領域・判定値保存部66から読み出される。変化判定閾値Cthは、ヒストグラムとして算出された、画素値を有する画素の数で表される。変化量の算出方法については、図6〜図10を参照して後述する。
本実施の形態例では、変化判定閾値Cthを、分割領域毎に異ならせることができるようにしている。変化判定閾値Cthの変更は、各分割領域で算出された類似量の、時間方向における変化の情報に基づいて行う。時間方向における変化量の変化の情報に基づく変化判定閾値Cthの変更方法の詳細については、図11〜図13を参照して後述する。
また、本実施の形態例では、各分割領域で算出された変化量の、時間方向における変化の情報に基づいて、妨害判定閾値Othも変更できるようにしている。妨害判定閾値Othとは、妨害行為が行われたか否かを判定する際に用いられる閾値であり、後述する閾値判定部68に設定される。
変化領域・判定値保存部66は、変化判定部65による判定結果を保存する。判定結果としては、現在のフレームの更新領域における、過去のフレームの画像に対する変化の有無の情報と、変化判定閾値Cthとが保存される。更新領域における画像の変化の有無の情報は、新たな画像の画像データが取得される毎に、順次、変化領域・判定値保存部66に保存される。
変化判定閾値Cth及び妨害判定閾値Othは、その値が変更される毎に保存される。つまり、変更された新たな値によって、それまで保存されていた閾値が更新される。妨害判定閾値Othが変更された場合には、変更後の妨害判定閾値Othは、後述する閾値判定部68に供給される。
カウンタ部67には、変化判定部65から、現在のフレームの更新対象の分割領域の判定結果として、変化の有無の情報が供給される。また、変化領域・判定値保存部66からは、現在のフレームの更新対象の分割領域以外の分割領域での変化の有無の情報が、カウンタ部67に供給される。カウンタ部67は、変化判定部65の出力と変化領域・判定値保存部66の出力に基づいて、1つの監視中の画像中の変化があった分割領域の数をカウントする。
閾値判定部68は、カウンタ部67によりカウントされた分割領域の数を、妨害判定閾値Othと比較する。カウントされた分割領域の数が妨害判定閾値Othより大きいとき、妨害行為が検出されたと判断し、検出信号を出力する。この検出信号は例えばアラームとすることができる。
[画像分割部及び更新領域選択部での処理]
次に、図4及び図5を参照して、図3に示した画像分割部63と更新領域選択部61での処理の例について説明する。図4は、画像分割部63による画像の分割例を示す図である。図4には、木々と家とが映っている画像が、横方向に8個×縦方向に8個=64個(=N個)の分割領域に分割された様子が示されている。
次に、図4及び図5を参照して、図3に示した画像分割部63と更新領域選択部61での処理の例について説明する。図4は、画像分割部63による画像の分割例を示す図である。図4には、木々と家とが映っている画像が、横方向に8個×縦方向に8個=64個(=N個)の分割領域に分割された様子が示されている。
更新領域選択部61は、更新対象の分割領域として、64個に分割された分割領域のうちの、所定のM個(本実施の形態例では4個)の分割領域を選択する。本実施の形態例では、更新領域選択部61が、取得部31(図1参照)で画像が取得される毎、すなわち毎フレーム単位でM=4個の分割領域を選択する。選択する4個の分割領域の位置は、フレーム毎に移動させる。これにより、選択する分割領域の位置が、縦方向に4回×横方向に4回=16回移動した時点で、1つの画像の全領域の選択が完了する。
図5は、更新領域の選択方法を示した図である。図5は、更新領域選択部61による更新領域の選択例を、時系列に並べて示した図である。図5の左端には、所定の時点のフレームであるtフレームにおける更新領域の選択例を示し、右端にはt+n−1フレームの更新領域の選択例を示している。
ここでいう“n”とは、ある分割領域が更新領域として選択されてから、再び更新領域として選択されるまでの間隔を示す値(フレーム数)を指す。例えば、画像を構成するすべての分割領域が選択されるまでに要するフレーム数を、nフレームとすることができる。上述したように、本実施の形態例では、選択される更新領域の位置が16回移動した時点で、すなわち16フレームで1つの画像の全領域の選択が完了する。したがって、n=16となる。
1つの画像の全領域の選択が完了するまでに要するフレーム数は、画像分割部63による領域の分割数(=N)と、更新領域選択部61によって更新領域として選択される分割領域の数(=M)によって変化する。
tフレームでは、更新領域選択部61は、図5の左端に示すように、1行目の最も左側に位置する分割領域b11と最も右側に位置する分割領域b18、8行目の最も左側に位置する分割領域b81と最も右側に位置する分割領域b88を選択する。なお、図5において、上からi番目の行に位置し、左からj番目の列に位置する分割領域を、分割領域bijのように表す。後述する各図においても同様とする。
t+1フレームでは、更新領域選択部61は、図5の左から2番目の図に示される以下の4つの分割領域を更新領域として選択する。
・分割領域b11の1つ右側に位置する分割領域b12
・分割領域b18の1つ左側に位置する分割領域b17
・8行目の分割領域b81の1つ右側に位置する分割領域b82
・8行目の分割領域b88の1つ左側に位置する分割領域b87
・分割領域b11の1つ右側に位置する分割領域b12
・分割領域b18の1つ左側に位置する分割領域b17
・8行目の分割領域b81の1つ右側に位置する分割領域b82
・8行目の分割領域b88の1つ左側に位置する分割領域b87
t+2フレームでは、更新領域選択部61は、図5の左から3番目の図に示される以下の4つの分割領域を更新領域として選択する。
・1行目の分割領域b12の1つ右側に位置する分割領域b13
・1行目の分割領域b17の1つ左側に位置する分割領域b16
・8行目の分割領域b82の1つ右側に位置する分割領域b83
・8行目の分割領域b87の1つ左側に位置する分割領域b86
・1行目の分割領域b12の1つ右側に位置する分割領域b13
・1行目の分割領域b17の1つ左側に位置する分割領域b16
・8行目の分割領域b82の1つ右側に位置する分割領域b83
・8行目の分割領域b87の1つ左側に位置する分割領域b86
t+3フレームでは、更新領域選択部61は、図5の左から4番目の図に示される以下の4つの分割領域を更新領域として選択する。
・1行目の分割領域b13の1つ右側に位置する分割領域b14
・1行目の分割領域b16の1つ左側に位置する分割領域b15
・8行目の分割領域b83の1つ右側に位置する分割領域b84
・8行目の分割領域b86の1つ左側に位置する分割領域b85
・1行目の分割領域b13の1つ右側に位置する分割領域b14
・1行目の分割領域b16の1つ左側に位置する分割領域b15
・8行目の分割領域b83の1つ右側に位置する分割領域b84
・8行目の分割領域b86の1つ左側に位置する分割領域b85
以上のようにして最上行と最下行における横方向の分割領域の選択、移動が終了すると、次のt+4フレームでは、第2行目と第7行目とが選択される。つまり、図5の左から5番目の図に示される以下の4つの分割領域を更新領域として選択する。
・2行目の最も左側に位置する分割領域b21
・2行目の最も右側に位置する分割領域b28
・7行目の最も左側に位置する分割領域b71
・7行目の最も右側に位置する分割領域b78
・2行目の最も左側に位置する分割領域b21
・2行目の最も右側に位置する分割領域b28
・7行目の最も左側に位置する分割領域b71
・7行目の最も右側に位置する分割領域b78
t+5フレームでは、更新領域選択部61は、図5の左から6番目の図に示される以下の4つの分割領域を更新領域として選択する。
・2行目の分割領域b21の1つ右側に位置する分割領域b22
・2行目の分割領域b28の1つ左側に位置する分割領域b27
・7行目の分割領域b71の1つ右側に位置する分割領域b72
・7行目の分割領域b78の1つ左側に位置する分割領域b77
・2行目の分割領域b21の1つ右側に位置する分割領域b22
・2行目の分割領域b28の1つ左側に位置する分割領域b27
・7行目の分割領域b71の1つ右側に位置する分割領域b72
・7行目の分割領域b78の1つ左側に位置する分割領域b77
以下、同様の手順により、更新領域として、1フレームにおいて4個の分割領域が順次選択される。すなわち、左側半分の上側半分の領域においては、行内においては左から右方向に、そして行は上から下方向に順次選択される。右側半分の上側半分の領域においては、行内においては右から左方向に、そして行は上から下方向に順次選択される。左側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。右側半分の下側半分の領域においては、行内においては左から右方向に、そして行は下から上方向に順次選択される。
そして、図5の最も右側に示すt+n−1フレームの画像においては、以下の4つの分割領域が更新領域として選択される。
・4行目の分割領域b44
・4行目の分割領域b45
・5行目の分割領域b54
・5行目の分割領域b55
・4行目の分割領域b44
・4行目の分割領域b45
・5行目の分割領域b54
・5行目の分割領域b55
このように、画像を構成するすべての分割領域が選択された後の、t+nフレームでは、再び図5の最も左側に示した図に示された位置の4つの分割領域が、更新領域として選択される。すなわち、分割領域b11と、分割領域b18と、分割領域b81と、分割領域b88とが選択される。
更新領域選択部61によって更新領域が選択される都度、上述したように、ヒストグラム生成部64によって、更新領域のヒストグラムが生成される。生成されたヒストグラムは、ヒストグラム保存部62に保存される。本実施の形態例によれば、画素値等の画像データではなく、ヒストグラムが保存されるため、画像データそのものを保存する場合と比較して、データの保存を行う保存部の記憶容量を小さくし、低コスト化を図ることができる。
なお、本実施の形態では、“n”の値を、画像を構成するすべての分割領域の選択が完了するまでに要するフレーム数とする例を挙げたが、これに限定されるものではない。すべての分割領域の選択が完了するフレーム数+xフレームを、nフレームとしてもよい。このxフレームの間は、更新領域の選択を行わないものとする。
x=10フレームとした場合には、すべての分割領域の選択が完了する16フレーム+10フレーム=26フレームが、nフレームとなる。これにより、所定の更新領域が次に再び更新領域として選択されるまでの期間が、10フレーム分長くなる。nフレームの期間を長くすれば、変化領域の判定を行う周期も長くなる。例えば、時間を掛けてゆっくり行われる妨害行為を検出したい場合には、このように、変化領域の判定を行う周期を長くすることが有効となる。
[変化判定部の詳細構成]
図6は、変化判定部65の詳細構成例を示すブロック図である。変化判定部65は、変化量演算部111と閾値判定部112により構成されている。
図6は、変化判定部65の詳細構成例を示すブロック図である。変化判定部65は、変化量演算部111と閾値判定部112により構成されている。
変化量演算部111は、ヒストグラム生成部64から供給される現在のフレームの更新領域のヒストグラムと、それに対応する過去の分割領域のヒストグラムとの変化量を演算する。閾値判定部112は、演算された変化量を変化判定閾値Cthと比較し、変化量が変化判定閾値Cthより大きいとき、分割領域の画像に変化があったと判定する。すなわち、その分割領域が変化領域であると判定する。閾値判定部112は、分割領域の画像の変化についての判定結果として、変化の有無の情報を、変化領域・判定値保存部66及びカウンタ部67(図3)に出力する。
[変化判定部の処理]
続いて、図7〜図10を参照して、変化判定部65が行う、分割領域の画像の変化の有無の判定方法について説明する。図7は、変化量演算部111に供給されたtフレームのヒストグラムh0と、t+nフレームのヒストグラムh1の例を示している(本実施の形態例ではn=16)。即ち、図7Aのヒストグラムh0は、tフレームのヒストグラムの例であり、図7Bのヒストグラムh1は、t+nフレームのヒストグラムの例である。なお、横軸は輝度値に代表される画素値を表し、縦軸は画素値を有する画素の個数を表している。
続いて、図7〜図10を参照して、変化判定部65が行う、分割領域の画像の変化の有無の判定方法について説明する。図7は、変化量演算部111に供給されたtフレームのヒストグラムh0と、t+nフレームのヒストグラムh1の例を示している(本実施の形態例ではn=16)。即ち、図7Aのヒストグラムh0は、tフレームのヒストグラムの例であり、図7Bのヒストグラムh1は、t+nフレームのヒストグラムの例である。なお、横軸は輝度値に代表される画素値を表し、縦軸は画素値を有する画素の個数を表している。
図7に示すようなヒストグラムh0とヒストグラムh1に対して、変化量演算部111において、インタセクションを用いた次式(1)により、まず、類似量が演算される。
D=Σmin(Ai,Bi)・・・・・・・・(1)
D=Σmin(Ai,Bi)・・・・・・・・(1)
式(1)のAiは、ヒストグラムh0の1つの画素値を表しており、Biは、ヒストグラムh1の1つの画素値を表している。minは、続くカッコ内に代入される2つの値(AiとBi)のうち、小さい方の値を求める関数である。従って、式(1)によれば、各画素値において、画素の数値(画素値)が小さい方の和が求められる。
図7Cは、ヒストグラムh0とヒストグラムh1とを重ねて表示したものである。図7A及びBに示されるように、ヒストグラムh0とヒストグラムh1とが同一である場合、式(1)で演算される値Dは、大きな値となる。それに対して、妨害行為が行われた場合には、ヒストグラムh0とヒストグラムh1とを重ねた場合の重なりの部分の面積は、非常に小さくなる。即ち、式(1)の値Dは、2つの画像感の類似度が高いとき大きくなり、類似度が低いとき小さくなる。
図8は、妨害行為が行われる前後の撮影画像の例を示したものである。図8Aは妨害行為が行われる前のtフレームにおける撮影画像の例を示し、図8Bは妨害行為が行われている最中のt+nフレームの撮影画像を示す。図8Aには、木々と家が映っている画像が示され、図8Bには、手袋をはめた人の手が映り込んだ画像が示されている。
図9は、図8に示した画面中の上から7行目で左から5つ目の分割領域b75におけるヒストグラムの例を示した図である。図9Aは、図8Aに示したtフレームにおけるヒストグラムh0を示し、図9Bは、図8Bに示したt+nフレームのヒストグラムh1を示す。図9Cは、図9Aに示したヒストグラムh0と、図9Bに示したヒストグラムh1とを重ね合わせた図である。図9Cにおいて、ヒストグラムh0とヒストグラムh1とが重なっている部分は、線幅が狭い左下がりの斜線で示されている。
図8Bに示したように、撮影中に妨害行為が行われた場合には、図9Cに示されるように、妨害行為が行われる前のヒストグラムh0と行われた後のヒストグラムh1との重なりは少なくなる。そして、前述した式(1)で演算される値Dも小さな値となる。
図10は、tフレームの画像とt+nフレームの画像との類似度が、図9に示した例よりもより低い場合の、ヒストグラムh0とヒストグラムh1の例を示す図である。図10Aはtフレームのヒストグラムh0を示し、図10Bはt+nフレームのヒストグラムh1を示す。図10Cは、ヒストグラムh0とヒストグラムh1とを重ね合わせたものである。
図10Aに示すtフレームにおけるヒストグラムh0では、画素値の比較的広い範囲において画素の分布が見られるのに対して、t+nフレームのヒストグラムh1では、画素が、高い画素値に集中して分布している。このようなヒストグラムh0とヒストグラムh1を重ね合わせた場合は、その重なり部分の面積は、図10Cに線幅が狭い左下がりの斜線で示したように、非常に小さくなる。これにより、上述した式(1)の値Dは非常に小さな値となる。本実施の形態例では、この値Dを分割領域の全画素数 から引いた数、すなわち変化量を算出し、算出した変化量が予め定められた変化判定閾値Cthよりも大きいか否かによって、その更新領域が変化領域であるか否かを判定する。
閾値判定部112は、変化量が、予め設定された変化判断閾値Cthよりも大きい場合には、その分割領域(図8の分割領域b75)を変化領域であると判定する。変化判定閾値Cthとして小さな値を設定するほど、変化領域であると判断される確率は高くなり、大きな値を設定するほど、変化領域であると判断される確率は低くなる。
[変化判定閾値の変更方法]
従来は、この変化判定閾値Cthは、画像の全領域に対して1つしか設けられていなかった。すなわち、画面を構成するすべての分割領域に対して同じ変化判定閾値Cthが適用されていた。ところが、この手法では、撮影画像内に映る被写体によっては、妨害行為が発生していない場合にも、妨害行為が発生したと誤判定されるケースが生じてしまう。
従来は、この変化判定閾値Cthは、画像の全領域に対して1つしか設けられていなかった。すなわち、画面を構成するすべての分割領域に対して同じ変化判定閾値Cthが適用されていた。ところが、この手法では、撮影画像内に映る被写体によっては、妨害行為が発生していない場合にも、妨害行為が発生したと誤判定されるケースが生じてしまう。
図11は、撮像部が監視する対象空間内に、動物体が定常的に出現する領域が存在する場合の撮影画像の例を示す図である。図11に示す撮影画像中には、木々と家とが映っているとともに、動物体としての人も映っている。人は、画像の下から2行目と1行目の領域において、定常的に現れたり消えたりするものとする。
例えば、上から7行目の左から5つ目の分割領域b75においては、動物体としての人が定常的に撮影されるため、人が撮影されたフレームと撮影されていないフレームとでは、画像の変化が大きくなる。一方、図11に示す画像の上から2行目の左から5つ目の分割領域b25においては、動物体は撮影されないため、現在のフレームの画像と過去のフレームの画像との間で大きな変化は検出されない。
分割領域b75のように、画像の変化が大きいと判定される領域(分割領域)の数が、画面の大半を占める場合等には、カウンタ部67(図3参照)でカウントされる分割領域の数は妨害判定閾値Othを超えてしまう。このような場合には、実際には妨害行為は行われていないにも係わらず、閾値判定部68によって、妨害行為が発生したと判定されてしまう。
このような誤判定を防止するために、本実施の形態例では、時間方向における変化量の変化の情報に基づいて、変化判定閾値Cthの値を変更できるようにしている。時間方向における変化量の変化の情報とは、例えば以下の式(2)を用いて変数Kとして算出される情報を指す。
K=αT+(1−α)k・・・・・・・・(2)
K=αT+(1−α)k・・・・・・・・(2)
上記式(2)の“T”は、分割領域全体 の画素数から、前述した式(1)により求まる類似度としての値Dを減算した値である。つまり、現在のフレームより得られるヒストグラムh1と過去のフレームで得られたヒストグラムh0とにおける、画像の変化量(差分値)を表す値である。以下、変数Tを変化量Tとも称する。変数Tは、画像の変化が大きいほど大きな値となる。
上記式(2)の“α”は、変数Kの値を制御する固定値のパラメータ(以下、「定数パラメータ」とも称する)であり、例えば0.9等の値が設定される。定数パラメータαの値には、0より大きく1よりも小さい任意の値を設定できるものとする。上記式(2)の“k”は、前回算出された変数Kの値が代入される変数であり、初期値としては、例えば“0”等の値が設定される。
つまり、上記式(2)では、更新領域における現在のフレームと過去のフレーム間での変化量Tとして現在求められた値と、過去に求められた値とをアルファブレンド(時間フィルタ処理)している。この式(2)によれば、変数Kとして、更新領域における現在のフレームと過去のフレーム間での変化量Tの、時間方向における変化の状態を示す値、言い換えると、過去に得られた値からの変化の傾向を示す値( 以下、「変化傾向特性パラメータ」とも称する)が算出される。
例えば、図11の分割領域b75のように、動物体が定常的に現れたり消えたりする領域においては、変数Kの値は、分割領域が更新領域として選択される毎に増加していく。しかし、過去のフレームとの変化量がほぼない状態が続くと、変数Kの値は徐々に減少していく。
上述した定数パラメータαは、変数Kの減少量を制御する値であり、定数パラメータαに設定する値を1に近づける程に、減少度合いは大きくなる。すなわち、変数Kが減少していく速度が速くなる。定数パラメータαの値を0に近い値にすれば、その分変数Kが減少する速度は遅くなる。
変化傾向特性パラメータとしての変数Kに対して、予め閾値Mth(以下、「動物体検出判定閾値Mth」と称する)を設定しておき、変数Kの値が動物体検出判定閾値Mthより大きくなった場合は、変化判定閾値Cthを変更する。より詳細には、変化領域として判定されにくくなるように、より大きな値に変更する。
図12に、動物体が定常的に撮影される領域における、画像の変化量T及び変数Kの時間方向における変化の例を示す。図12Aは、変化量Tの時間方向における変化の例を示すグラフであり、縦軸は変化量Tの値を表し、横軸は時間を示す。図12Bは、変数Kの時間方向における変化の例を示すグラフであり、縦軸は変数Kの値を示し、横軸は時間を示す。図12Aと図12Bの時間は共通しており、それぞれtフレームからt+5nフレームまでの時間を示している。
例えば、t+nフレームで、更新領域として選択されている領域内に人が侵入し、t+2nフレームで通過したものとする。また、t+3nフレームでは選択された領域内に人は存在せず、t+4nフレームで再び人が侵入し、t+5nフレームで人が通過したものとする。この場合、図12Aに示す変化量Tは、選択された領域内に人が現れたt+nフレームと人が居なくなったt+2nフレームと、再び人が検出されたt+4nフレームと人が居なくなったt+5nフレームで所定の値が算出(検出)される。
このような変化量Tに基づいて算出された変数Kは、図12Bに示すように、人が検出されたt+nフレームと人が居なくなったt+2nフレームで増加し、t+2nフレームに引き続き人が存在しないt+3nフレームでは、変数Kの値は、予め設定されたパラメータαの値に従って減少する。しかし、続くt+4nフレームでは再び人が検出されるため、変化量Tの値が検出され、変数Kは増加する。次のt+5nフレームは人がいなくなるため、変化量Tの値が検出され、変数Kの値は更に増加する。そして、t+5nフレームの時点で、変数Kの値が予め設定された動物体検出判定閾値Mthを超える。
変数Kの値が動物体検出判定閾値Mthを超えた場合は、変化判定閾値Cthの値を、より大きな値に変更する。これにより、定常的に動物体が存在する領域が、妨害行為が行われた領域であると誤判定されてしまうことを減らすことができる。
図13は、撮像部が監視する対象空間内に、動物体が定常的に出現する領域が存在しない場合における、変化量T及び変数Kの時間方向における変化の例を示すグラフである。図13Aは、変化量Tの時間方向における変化の例を示すグラフであり、縦軸は変化量Tの値を表し、横軸は時間を示す。図13Bは、変数Kの時間方向における変化の例を示すグラフであり、縦軸は変数Kの値を示し、横軸は時間を示す。
図13Aには、t+2nフレームのみで変化量Tが検出されている様子が示されている。このような現象は、ノイズが混入した場合等に発生しうる。しかし、このようなノイズ等に起因する変化量Tの増加は、長時間にわたって継続しない。このため、変数Kの値はパラメータαの値によって減少する。図13Bに示すように、変数Kの値は、t+2nフレームをピークに以降は減少し、t+4nフレームでは0となっている。
つまり、ノイズの影響により変化量Tが検出された場合であっても、パラメータαの値に従って変数Kは徐々に減少するため、変数Kの値が動物体検出判定閾値Mthを超えることはない。よって、ノイズの影響によって変化判定閾値Cthの値が変更されてしまうこともない。
また、図11の分割領域b75のように、動物体が定常的に撮影される領域であっても、時間帯によっては動物体が撮影されないことも考えられる。例えば、人が頻繁に出入りする入場口であっても、深夜の時間帯には人は居なくなるため、人は撮影されなくなる。このように人が撮影されない時間帯においては、変化量Tが検出されないため、変数Kの値も、パラメータαの影響で減少する。変数Kが動物体検出判定閾値Mthより下回った時点で再び変化判定閾値Cthを変更前の値に戻すようにすれば、変化判定閾値Cthを常に最適な値とすることが可能となる。
また、変数Kの値が大きな分割領域において、変化判定閾値Cthの値を変化量Tの上限値よりも大きな値とすれば、その分割領域は変化領域と判定されなくなる。また、妨害判定閾値Othの値も変更することで、動物体等による影響で定常的に画像が変化する領域が変化領域としてカウントされる可能性をなくすこともできる。なお、妨害判定閾値Othの値を変更する際には、併せて変化判定閾値Cthの値を変化量Tの上限値に設定するか、「特定の更新領域における変化判定結果を、妨害判定 に反映させない」といった処理を行う必要がある。
なお、本実施の形態例では、動物体検出判定閾値Mthの値を固定値とし、1つのみ設けた場合を例にあげたが、これに限定されるものではない。値の異なる動物体検出判定閾値Mthを複数設定してもよい。このようにすることで、変化判定閾値Cthを、動物体検出判定閾値Mthの大きさに応じた値とすることも可能となる。また、変化判定閾値Cthの値も、予め定められた所定の量を単位として変化させるのではなく、変数Kの値に比例する値に設定してもよい。
[画像処理装置による妨害行為検出処理の例]
次に、図14のフローチャートを参照して、本実施の形態例による画像処理装置21の妨害行為検出処理について説明する。
次に、図14のフローチャートを参照して、本実施の形態例による画像処理装置21の妨害行為検出処理について説明する。
初めに、取得部31(図1参照)でカメラ画像が取得される。すなわち、所定の監視対象を撮像した撮像画像の画像データが取得される(ステップS1)。次に、画像分割部63(図3参照)で、画像データがN個の分割領域に分割される(ステップS2)。この実施の形態においては、画像データに基づく各フレームの画像が8×8=64個の分割領域に分割される。
続いて、更新領域選択部61において、所定の分割領域が更新領域として選択される(ステップS3)。すなわち、64個の分割領域のうちの所定のM個の分割領域が、更新領域として選択される。この実施の形態においては、M=4としている。
次に、ヒストグラム生成部64によって、更新領域のヒストグラムが生成され、生成されたヒストグラムは、ヒストグラム保存部62に保存される(ステップS4)。そして、変化判定部65によって、第2の処理として、更新領域における変化量が算出される(ステップS5)。すなわち、更新領域における現在のフレームの画像から生成したヒストグラムと、過去のフレームの画像から生成したヒストグラムとの間での変化量Tが算出される。例えば、現在のtフレームの画像から生成したヒストグラムと、過去のt−nフレームの画像から生成したヒストグラムとの変化量Tが算出される。
続いて、同じく変化判定部65によって、第1の処理として、変化量の時間方向における変化の情報を示す変数Kが、変化量Tを用いて算出される(ステップS6)。そして、算出された変数Kの値に基づいて、変化判定閾値Cth及び/又は妨害判定閾値Othの値が設定される(ステップS7)例えば、変数Kが動物体検出判定閾値Mthを超えた場合には、変化判定閾値Cthはより大きな値に設定される。また、前回動物体検出判定閾値Mthを超えていた変数Kが、動物体検出判定閾値Mth未満の値に変化した場合には、変化判定閾値Cthを、変更前の元の値に戻す処理が行われる。値が変更された変化判定閾値Cthは、変化領域・判定値保存部66に保存される(ステップS8)。妨害判定閾値Othも変更された場合には、妨害判定閾値Othも保存される。
次に、同じく変化判定部65によって、更新領域で算出された変化量Tが、変化判定閾値Cthよりも大きいか否かが判定され(ステップS9)、大きかった場合には、更新領域は、変化領域として変化領域・判定値保存部66に保存される(ステップS10)。変化量Tが変化判定閾値Cth以下であった場合には、変化領域でないとして変化領域・判定値保存部66に保存される(ステップS11)。
そして、撮影画像を構成するすべての分割領域において変化領域判定が行われたか否かが判定され(ステップS12)、変化領域判定が行われていない分割領域がまだ残っている場合には、ステップS3に戻って処理が続けられる。
すべての分割領域における変化領域判定が完了したと判断された場合には、カウンタ部67によって、すべての分割領域を対象として、変化領域としてカウントされた分割領域の数がカウントされる(ステップS13)。即ち、変化判定部65からの、現在のフレームの更新対象の分割領域の判定結果と、変化領域・判定値保存部66からの、現在のフレームの更新対象の分割領域以外の分割領域の判定結果とに基づいて、変化領域とされた分割領域の数がカウントされる。
そして、閾値判定部68によって、変化領域としてカウントされた分割領域の数が、妨害判定閾値Othよりも大きいか否かが判定される(ステップS14)。変化領域としてカウントされた分割領域の数が、妨害判定閾値Othよりも大きかった場合には、妨害行為を検出したという判定結果が出力され(ステップS15)、処理は終了する。変化領域としてカウントされた分割領域の数が、妨害判定閾値Oth以下であった場合には、妨害行為は検出していないという判定結果が出力され(ステップS16)、処理は終了する。
上述した第1の実施の形態例によれば、変数Kの値が動物体検出判定閾値Mthを超えた場合に、変化判定閾値Cthの値が、より大きな値に変更される。つまり、更新領域が変化領域であると判定されにくい値に変更されるため、その更新領域が変化領域であると判定される確率は低くなる。これにより、定常的に動物体が存在する領域が、妨害行為が行われた領域である誤判定されてしまうことも少なくなる。
また、上述した第1の実施の形態例によれば、その更新領域が変化領域であるか否かを判定するための変化判定閾値Cthの値が、変数Kの値に応じて自動的に変更される。より詳細には、前述したように、変数Kが動物体検出判定閾値Mthを超えた時点で、変化判定閾値Cthがより大きな値に変化される。また、変数Kが動物体検出判定閾値Mth以下となった時点で、再び変化判定閾値Cthを変更前の値に戻すように設定することもできる。
このように設定することにより、撮影シーンや撮影が行われる時間帯に応じて変化判定閾値Cthの値が自動的に変更され、値が更新された変化判定閾値Cthを用いて、更新領域が変化領域であるか否かの判定が行われるようになる。これにより、撮影シーンや撮影を行う時間帯によって、又は画面の分割領域毎に、変化判定閾値Cthをユーザが手動で変更する必要がなくなる。つまり、監視カメラの設置者や、撮影画像の監視者の作業負担を低減することができる。
また、 上 述した第1の実施の形態例によれば、時間方向における変化量の変化の情報に基づいて、変化判定閾値Cthの値を変更される。時間方向における変化量の変化の情報を示す変数Kの値は、時間方向における変化が少ない領域においては、乗算される定数パラメータαの値に応じて徐々に減少する。このため、このような領域が変化領域と判定されることはなくなる。これにより、ノイズ等が発生したことにより過去のフレームの画像との変化量が多くなった場合にも、変化量の増大に伴って増加した変数Kの値は、定数パラメータの値に応じて減少する。つまり、ノイズの発生によっては変化判定閾値Cthの値は変更されない。ノイズが発生したことで変化判定閾値Cthの値が変更された場合には、その影響で変化領域の検出漏れが起こることもあるが、本実施の形態例によれば、そのような検出漏れが起こらなくなる。
<2.第2の実施の形態例>
[変化領域判定処理の概要]
上述した第1の実施の形態例は、現在算出されている変化量Tの、過去に算出された変化量Tとの変化の傾向を示す情報に基づいて変化判定閾値Cthの値を変えることにより、妨害行為の誤検出を低減させるものであった。本実施の形態例では、変化量Tの算出を、時間を変えて少なくとも2回行い、その2回において参照する過去の期間の長さを異ならせることにより、動物体の影響による妨害行為の誤判定を低減させるものである。本実施の形態例における画像処理装置21も、図1〜図3に示した構成と同一の構成であるものとする。
[変化領域判定処理の概要]
上述した第1の実施の形態例は、現在算出されている変化量Tの、過去に算出された変化量Tとの変化の傾向を示す情報に基づいて変化判定閾値Cthの値を変えることにより、妨害行為の誤検出を低減させるものであった。本実施の形態例では、変化量Tの算出を、時間を変えて少なくとも2回行い、その2回において参照する過去の期間の長さを異ならせることにより、動物体の影響による妨害行為の誤判定を低減させるものである。本実施の形態例における画像処理装置21も、図1〜図3に示した構成と同一の構成であるものとする。
図15は、1回目(第1の比較処理時)に比較する画像の例を示す図であり、図15の右側は、現在のフレームであるiフレームの画像を示し、左側は、i−nフレームの画像を示す。図15においては、説明を簡単にするため、画面を3×3=9個に分割した例を示している。
画面を構成する分割領域のうち、一番下の行の中央にある分割領域b32には、図15の右側に示す現在のiフレームにおいては車が映っている。一方、図15の左側に示す、それよりnフレーム(第1の期間)前のi−nフレームの画像においては、分割領域b32には何も映っていない。このような場合には、iフレームの分割領域b32の画像とi−nフレームの分割領域b32の画像との変化量Tは大きな値となる。本実施の形態例では、この時点で、この分割領域b32を「仮変化領域」として保存する。
図15の右側に示した画像が撮影された時点から、nフレーム(第2の期間)が経過した時点での画像の比較例を、図16に示す。図16の一番右は、現在のiフレームの画像を示し、中央はi−nフレームの画像を示し、一番左はi−mフレームの画像を示す。ここでいう“m”には、例えば“2n”等の、“n”より大きな値が入る。“m”は、“n”の倍数であることが好ましいが、倍数でない値を設定してもよい。本実施の形態例では、m=2nとする。
図16の一番右に示した現在のiフレームは、図15の右側に示したiフレームからnフレームが経過した時点のフレームである。したがって、図15の右側に示したiフレームの画像は、図16においては、中央のi−nフレームの画像として参照される。同様に、図15の中央に示したi−nフレームの画像は、図16においては、一番左のi−mフレームの画像として参照される。
図16に示した2回目の比較(第2の比較処理)では、iフレームの画像と、i−mフレームの画像との比較を行う。すなわち、1周期前のnフレームの画像と現在のiフレームとの比較ではなく、2周期(第3の期間)前のm(=2n)フレームの画像と現在のiフレームとの比較を行う。図16に示した例では、一番右の現在のiフレームにおける分割領域b32の画像と、一番左のi−mフレームにおける分割領域b32の画像は、ほぼ同一であることが示されている。このため、2回目の比較の結果として算出される変化量Tの値は、非常に小さな値となる。
このように、2回目の比較の結果得られる変化量Tの値が小さかった場合には、前回「仮変化領域」とした設定を解除することを行う。
このような処理を行うことによって、図15及び図16に示したように、更新領域として選択された領域内を車が通りすぎたような場合には、車が検出された領域(分割領域b32)は、変化領域とは判定されなくなる。
一方で、撮影部のレンズにスプレーが吹きかけられたり、布等によって覆われたりする妨害行為があった場合には、図15に示した1回目の比較と、図16に示した2回目の比較結果は、同一となるものと考えられる。例えば、図15の一番右に示したフレームでこのような妨害行為が行われた場合には、そこからnフレーム後においても、同一の現象が継続しているものと想定されるためである。
1回目の比較では、妨害行為が行われた現在のiフレームの画像と、妨害行為が行われる前のi−nフレームの画像とが比較されるため、算出される変化量Tは大きな値となる。2回目の比較では、そのnフレーム後に行われるものであり、その時点における現在のiフレームの画像は、妨害行為による影響が続いている画像となる。一方で、i−mフレームの画像は、1回目の比較で参照されたi−nフレームの画像であり、妨害行為が行われていない画像である。このため、2回目の比較の結果算出される変化量Tの値も、大きな値となる。
このように、1回目の比較結果と、2回目の比較結果のいずれにおいても大きな値の変化量Tが算出された場合には、比較が行われた分割領域b32は「変化領域」として保存する。これにより、車のような動物体が撮影される領域は変化領域としては保存されず、妨害行為が行われた領域のみが、変化量領域として保存されるようになる。つまり、本実施の形態例によれば、妨害行為の誤検出を低減させることができる。
算出された変化量Tが大きな値か否かは、予め設定しておいた変化判定閾値Cthとの比較によって判定する。変化判定閾値Cthの値は、第1の実施の形態例における値と同じ値に設定してもよく、異なる値に設定してもよい。ただし、第1の実施の形態と第2の実施の形態とを組み合わせて実施する際には、それぞれの変化判定閾値Cthを用いて行われたそれぞれの判定の結果を加味して、その更新領域が変化領域か否かの判定を行う必要がある。例えば、2つの判定結果のAND又はORをとった結果を用いて、変化領域か否かの判定を行う必要がある。また、1回目の比較時と2回目の比較時とで同じ値の変化判定閾値Cthを用いてもよいが、それぞれ異なる値を設定してもよい。
[妨害行為検出処理の詳細]
図17は、本実施の形態例の画像処理装置21による妨害行為検出処理の例を示すフローチャートである。まず、取得部31(図1参照)でカメラ画像が取得される(ステップS21)。次に、画像分割部63(図3参照)で、画像データがN個の分割領域に分割され(ステップS22)、更新領域選択部61(図3参照)で、所定の分割領域が更新領域として選択される(ステップS23)。
図17は、本実施の形態例の画像処理装置21による妨害行為検出処理の例を示すフローチャートである。まず、取得部31(図1参照)でカメラ画像が取得される(ステップS21)。次に、画像分割部63(図3参照)で、画像データがN個の分割領域に分割され(ステップS22)、更新領域選択部61(図3参照)で、所定の分割領域が更新領域として選択される(ステップS23)。
次に、ヒストグラム生成部64によって、更新領域のヒストグラムが生成され、生成されたヒストグラムは、ヒストグラム保存部62に保存される(ステップS24)。そして、変化判定部65によって、第2の処理として、更新領域における変化量が算出される(ステップS25)。すなわち、現在のフレームの更新領域の画像と、過去のフレームの更新領域の画像との間での変化量Tが算出される。例えば、現在のiフレームの画像と、過去のi−nフレームの画像との変化量Tが算出される。
変化量Tが算出された後は、同じく変化判定部65によって、更新領域が仮変化領域として保存された領域であるか否かが判定される(ステップS26)。仮変化領域でないとして保存された領域であった場合には結合子Aに進み、仮変化領域であるとして保存された領域であった場合には、結合子Bに進む。
図18は、結合子A以降の処理を示したフローチャートである。更新領域が、仮変化領域でないとして保存された領域であった場合には、変化判定部65によって、現在のフレームの画像とnフレーム前の画像との変化量Tが、変化判定閾値Cthよりも大きいか否かが判定される(ステップS31)。つまり、ここでは、その更新領域が仮変化領域であるか否かを判定する第1の処理としての「1回目の比較」を行っている。
ステップS31の判定の結果、変化量Tが変化判定閾値Cthよりも大きかった場合には、更新領域は、仮変化領域として保存される(ステップS32)。かつ、変化領域でないとして保存される(ステップS33)。更新領域が仮変化領域であると判定したこの段階では、変化は動物体の影響によって生じたものである可能性があるため、その更新領域が変化領域であるか否かの判断はまだ行えない。したがって、ステップS33では、その更新領域は変化領域ではないとして保存する。
ステップS31の判定の結果、変化量Tが変化判定閾値Cth以下であった場合には、更新領域は、変化領域でないとして保存される(ステップS33)。ステップS33の後は、図19に示す結合子B以降の処理におけるステップS48に進む。
図19は、結合子B以降の処理を示したフローチャートである。更新領域が、仮変化領域であるとして保存された領域であった場合には、変化判定部65によって、現在のフレームの画像とmフレーム前の画像との変化量Tが、変化判定閾値Cthよりも大きいか否かが判定される(ステップS41)。更新領域が仮変化領域として保存された領域であるということは、すでに1回目の比較が行われていることを意味しており、ここでは、図16を参照して説明した、第2の比較処理としての「2回目の比較」を行っている。
変化量Tが変化判定閾値Cth以下であった場合には、更新領域は、変化領域でないとして保存される(ステップS42)。
例えば、図16に示した例では、更新領域b32は、図15に示した1回目の比較によって、仮変化領域であるとして保存された領域である。つまり、その時点での現在のフレームであったiフレームと、i−nフレームとの間での画像の変化量Tが大きかった領域である。これに対して、図15の比較を行ってからnフレームが経過した、図16に示した時点では、図の右端に示した現在のiフレームと、左端に示した2周期前のi−mフレームとでは、変化は殆ど生じていない。このため、この段階で行う2回目の比較では、現在のiフレームと過去のi−mフレームとの間とで画像の変化量Tは、0又は非常に小さな値となる。
これにより、1回目の比較時に変化量Tの大きさとして検出された動物体が、図16に示した2回目の比較を行ったiフレームの時点では、既に通り過ぎて居なくなっているものと判断できる。このような場合には、変化量Tが算出されるもととなった変化は、動物体の影響によって起こったものと考えられるため、ステップS42に示したように、更新領域は、変化領域でないとして保存される。
さらに、次のステップS43では、更新領域は仮変化領域でないとして保存される。 この更新領域は動物体が通過したあとの領域であるため、変化領域であるか否かの判断材料となる「仮変化領域」として記憶するにはふさわしくない領域である。したがって、このような更新領域を「仮変化領域でない領域」として保存することで、この更新領域に対して、仮変化領域であるか否かの判定自体が行われないようにしている。
ステップS41で、変化量Tが変化判定閾値Cthより大きいと判定された場合には、更新領域は、変化領域であるとして保存される(ステップS44)。1回目の比較に続いて、2回目の比較においても変化量Tが大きかった場合には、1回目の比較を行った際に変化量Tの大きさとして検出された変化が、2回目の比較時にも継続していると判断できる。つまり、妨害行為が行われているものと判断できる。このため、その更新領域を変化領域として保存する。
続いて、更新領域として選択された分割領域が、次に再び更新領域として選択される時のために、その分割領域が仮変化領域であるか否かの判断が行われる(ステップS45)。すなわち、現在のフレームの画像とnフレーム前の画像との変化量Tが、変化判定閾値Cthよりも大きいか否かが判定される。
変化量Tが変化判定閾値Cthよりも大きかった場合には、更新領域は仮変化領域として保存され(ステップS46)、変化量Tが変化判定閾値Cth以下であった場合には、更新領域は仮変化領域でないとして保存される(ステップS47)。
そして、撮影画像を構成するすべての分割領域において変化領域判定処理が行われたか否かが判定され(ステップS48)、変化領域判定処理が行われていない分割領域がまだ残っている場合には、図17のステップS23に戻って処理が続けられる。
すべての分割領域における変化領域判定処理が完了したと判断された場合には、カウンタ部67によって、すべての分割領域を対象として、変化領域としてカウントされた分割領域の数がカウントされる(ステップS49)。
そして、閾値判定部68によって、変化領域としてカウントされた分割領域の数が、妨害判定閾値Othよりも大きいか否かが判定される(ステップS50)。変化領域としてカウントされた分割領域の数が、妨害判定閾値Othよりも大きかった場合には、妨害行為を検出したという判定結果が出力され(ステップS51)、処理は終了する。変化領域としてカウントされた分割領域の数が、妨害判定閾値Oth以下であった場合には、妨害行為は検出していないという判定結果が出力され(ステップS52)、処理は終了する。
上述した第2の実施の形態例では、同じ更新領域において、過去のフレームの画像との変化の大きさの判定を、時間を変えて2回行っている。さらに、その2回の判定において、遡る過去の長さを異ならせている。つまり、最初に、現在のフレームと直近の過去であるnフレーム前の画像との間の変化の大きさを検出し、その時点からnフレーム経過後の時点で、現在のフレームと、nフレームよりもさらに過去のmフレーム前の画像との変化の大きさを検出している。
これにより、撮影画像中に映っているものが動物体であった場合には、1回目の比較と2回目の比較とで比較結果が異なることになる。2回の比較の比較結果が異なる場合には、その更新領域を変化領域でないとして保存することで、動物体が映ったことに起因する妨害行為の誤検出を、減らすことができる。
なお、上述した第2の実施の形態例においても、第1の実施の形態例と同様に、変化量Tの大きさに基づいて、変化判定閾値Cth及び/又は妨害判定閾値Othを変更してもよい。このようにすることで、第1の実施の形態例で得られる効果と同じ効果を得ることができる。
また、上述した第2の実施の形態例では、1つの更新領域における画像の変化の検出を、時間を変えて2回行った例を挙げたが、これに限定されるものではない。3回以上行い、それらの判定結果を用いて、更新領域が変化領域であるか否かの判定を行ってもよい。
<3.第3の実施の形態例>
[変化領域判定処理の概要]
上述した第1の実施の形態例と、第2の実施の形態例では、動物体の影響による妨害行為の誤検出を低減するものであった。本実施の形態例は、妨害行為の前後での画像の類似度が高い場合の妨害行為の検出精度を向上させるものである。
[変化領域判定処理の概要]
上述した第1の実施の形態例と、第2の実施の形態例では、動物体の影響による妨害行為の誤検出を低減するものであった。本実施の形態例は、妨害行為の前後での画像の類似度が高い場合の妨害行為の検出精度を向上させるものである。
図20は、妨害行為が行われる前の撮影画像と、妨害行為が行われた後の撮影画像とを示した図である。左側に妨害行為が行われる前の撮影画像を示し、右側に妨害行為が行われた後の撮影画像を示している。図20の左側に示す、妨害行為が発生する前の撮影画像内には、画面左側に机と椅子が映っており、右側には出入り口とゴミ置き場が映っている。
図20の右側に示す、妨害行為が行われた後の撮影画像には、図20の右側の撮影画像中に映っているものに加えて、植木が画面の右端に映っている。撮像部の向きが何者かによって右斜め上方向に変えられたことによって、撮影画像中に映っている被写体が変化したものと考えられる。
このような場合、画面の右端の植木が映っている領域A1では、図20の左側の画像との変化量Tは大きくなる。しかし、天井近くの領域A2や、床の部分の領域A3では、図20の左側に示す妨害行為の発生前の画像と、右側に示す妨害行為発生後の画像とが、殆ど変化していない。よって、算出される変化量Tも非常に小さな値となり、変化領域として判定されないことが想定される。このように、妨害行為の発生前後で画面の変化が殆どない分割領域が、画面上の広い範囲を占めている場合には、変化領域でないとして判定される分割領域の数が非常に多くなってしまう。そして、このような場合には、実際には妨害行為が行われているにも係わらず、妨害行為が行われていないものと誤判定されてしまう。
本実施の形態例では、図20の右側に示した領域A2や領域A3のように、妨害行為が検出されにくい領域においては、変化判定閾値Cthの値を小さくすることにより、変化領域と判定されやすくする。変化量Tの算出を行う更新領域が、妨害行為が検出されにくい領域か否かの判断は、更新領域とその周囲の分割領域とにおける画像の類似量に基づいて行う。
図21は、更新領域とその周囲の分割領域の選択例を示す図である。図21には、分割領域b74が更新領域であり、その左隣の分割領域b73と、右隣の分割領域b75が、類似量の算出を行う周辺領域である例を示している。類似量の算出は、上述した各実施の形態例と同様に、ヒストグラムを重ね合わせた場合の一致量を求めることにより行う。すなわち、上述した式(1)の値Dを求める。
更新領域とその周辺領域とにおける画像の類似量の算出には、nフレーム前で生成された更新領域のヒストグラムと、mフレーム(例えばn−1フレームやn+1フレーム)前に生成された周辺領域のヒストグラムとを用いるものとする。現フレームでは、既に妨害行為が行われた後である可能性があるため、類似量の算出に用いる更新領域におけるヒストグラムは、nフレーム前に生成されたものを使用する。
また、本実施の形態例では、第1の実施の形態例で図5を参照して説明したように、更新領域の選択位置を、画面領域の外周側から内側に移動させ、選択された更新領域において順次ヒストグラムを生成している。このため、例えば図21に示した更新領域b74の右隣の分割領域b75におけるヒストグラムは、更新領域b74が選択されたタイミングではまだ生成されていないことになる。したがって、周辺領域の分割領域のヒストグラムとしては、更新領域のヒストグラムが生成されるmフレーム前に生成されたものを使用する。
ただし、例えば画面を構成するすべての領域のヒストグラムを、フレーム単位で予め生成しておき、それを用いて類似量の算出を行う場合には、更新領域のヒストグラムと周辺領域のヒストグラムとして、同じフレームで生成されたもの同士を用いてもよい。例えば、nフレーム前に生成された更新領域のヒストグラムと、同じくnフレーム前に生成された周辺領域のヒストグラムとを用いて、類似量を算出してもよい。
図21に示した例では、比較を行う周辺領域が2つ(分割領域b73と分割領域b75)あるため、類似量の算出も2つの領域でそれぞれ行う。そして、2つの分割領域で算出された各類似量を足し合わせた値が、予め定められた類似度判定閾値Sthよりも大きいか否かを判断する。類似量の合算値が類似度判定閾値Sthよりも大きかった場合には、変化判定閾値Cthの値をより小さな値に変更する。つまり、本実施の形態例では、更新領域と、更新領域に対して2次元座標方向に隣接する周辺領域との間での、画像の類似度の大きさに基づいて、変化判定閾値Cthを変更している。
変化判定閾値Cthの値を小さくすることで、過去のフレームの画像に対して検出された変化がわずかであった場合にも、その更新領域が変化領域と判定されるようになる。すなわち、その更新領域が変化領域であると判定されやすくなる。
更新領域の位置が画面の左端あるいは右端である場合には、類似量の算出を行う周辺領域として、左右のいずれか1つのみしか選択できない。つまり、選択する周辺領域の数を、その他の位置にある分割領域と同じ数には設定できない。このような場合には、類似度判定閾値Sthを、他の分割領域とは異なる値とする。
または、左右に隣接する分割領域同士は似た類似量を持つという前提で、比較結果として算出された類似量を2倍もしくは定数倍してもよい。このようにした場合には、左右の画面端以外の分割領域において使用している類似度判定閾値Sthと同じ閾値を使用することもできる。また、類似量を2倍もしくは定数倍した場合であっても、左右の画面端以外の分割領域で使用している類似度判定閾値Sthとは値が異なる類似度判定閾値Sthを使用してもよい。
また、撮影画像内に映っていない領域は、画面の左右端にある分割領域との類似度は少ないものと仮定して、画面の左右端にある分割領域に適用されている変化判定閾値Cthの値は変更しないようにしてもよい。
周辺領域として選択する分割領域の位置は、左右方向に限定されるものではなく、上下方向のものを選択するようにしてもよい。もしくは、上下左右に隣接するすべての分割領域を周辺領域として選択してもよい。上下左右だけでなく、斜め方向に隣接する分割領域を選択してもよい。
また、周辺領域として選択する分割領域の位置を、撮像部の可動方向に応じて決定してもよい。例えば、撮像部が水平方向にしか可動しないものであれば、水平方向に隣接する左右の分割領域のみを選択し、垂直方向にしか可動しないものであれば、垂直方向に隣接する上下の分割領域のみを選択してもよい。
ここまでの説明では、類似度判定閾値Sthの値を固定値とした場合を例にあげたが、これに限定されるものではない。値の異なる類似度判定閾値Sthを複数設定してもよい。このようにすることで、変化判定閾値Cthを、類似度判定閾値Sthの大きさに応じた値とすることも可能となる。また、変化判定閾値Cthの値も、予め定められた所定の量を単位として変化させるのではなく、類似量(値D)の値に比例する値に設定してもよい。
[妨害行為検出処理の例]
続いて、図22のフローチャートを参照して、本実施の形態例の画像処理装置21による妨害行為検出処理の例について説明する。
続いて、図22のフローチャートを参照して、本実施の形態例の画像処理装置21による妨害行為検出処理の例について説明する。
まず、取得部31(図1参照)でカメラ画像が取得される(ステップS61)。次に、画像分割部63(図3参照)で、画像データがN個の分割領域に分割され(ステップS62)、更新領域選択部61(図3参照)で、所定の分割領域が更新領域として選択される(ステップS63)。
次に、ヒストグラム生成部64によって、更新領域のヒストグラムが生成され、生成されたヒストグラムは、ヒストグラム保存部62に保存される(ステップS64)。そして、変化判定部65によって、第2の処理として、更新領域における変化量が算出される(ステップS65)。すなわち、現在のフレームの更新領域の画像と、過去のフレームの更新領域の画像との間での変化量Tが算出される。例えば、現在のiフレームの画像と、過去のi−nフレームの画像との変化量Tが算出される。
また、同じく変化判定部65によって、第1の処理として、更新領域とその周辺領域とにおける類似量が算出される(ステップS66)。ここでは、過去のi−nフレームにおける更新領域と、そのさらに過去のi−mフレームにおける周辺領域とが比較される。そして、更新領域とその周辺領域との類似量が、類似度判定閾値Sthよりも大きいか否かが判定される(ステップS67)。更新領域とその周辺領域との類似量が、類似度判定閾値Sthよりも大きかった場合には、変化判定閾値Cthが変更される(ステップS68)。更新領域とその周辺領域との類似量が、類似度判定閾値Sth以下であると判定された場合には、ステップS69に進む。
ステップS69では、同じく変化判定部65によって、現在のiフレームの画像とi−nフレーム前の画像との変化量Tが、変化判定閾値Cthよりも大きいか否かが判定される。変化量Tが変化判定閾値Cth以下であった場合には、更新領域は、変化領域として保存される(ステップS70)。変化量Tが、変化判定閾値Cthより大きかった場合には、更新領域は、変化領域でないとして保存される(ステップS71)。
そして、撮影画像を構成するすべての分割領域において変化領域判定が行われたか否かが判定され(ステップS72)、変化領域判定処理が行われていない分割領域がまだ残っている場合には、ステップS63に戻って処理が続けられる。
すべての分割領域における変化領域判定処理が完了したと判断された場合には、カウンタ部67によって、すべての分割領域を対象として、変化領域としてカウントされた分割領域の数がカウントされる(ステップS73)。
そして、閾値判定部68によって、変化領域としてカウントされた分割領域の数が、妨害判定閾値Othよりも大きいか否かが判定される(ステップS74)。変化領域としてカウントされた分割領域の数が、妨害判定閾値Othよりも大きかった場合には、妨害行為を検出したという判定結果が出力され(ステップS75)、処理は終了する。変化領域としてカウントされた分割領域の数が、妨害判定閾値Oth以下であった場合には、妨害行為は検出していないという判定結果が出力され(ステップS76)、処理は終了する。
上述した第3の実施の形態例では、更新領域とその周辺領域との間での画像の類似量が多い場合には、更新領域に適用されている変化判定閾値Cthを、より変化を検出しやすい値に変更している。これにより、画像的に類似している領域が画面内に多く分布している場合にも、妨害行為による画像の変化を、精度よく検出できるようになる。
また、更新領域とその周辺領域との間での画像の類似量の大きさに応じて、変化判定閾値Cthの値が自動的に変更されるため、分割領域毎に、最適な値の変化判定閾値Cthの値が設定されるようになる。これにより、妨害行為が行われる前後で画像に変化が生じやすい領域であっても、変化が生じにくい領域であっても、適切に妨害行為が検出される。
さらに、各分割領域に設定される変化判定閾値Cthの値が、算出された変化量Tの大きさに応じて自動的に変更されるため、監視カメラの設置者や、撮影画像の監視者の作業負担を低減することができる。
なお、第3の実施の形態例として示した処理は、前述した第1の実施の形態例及び/又は第2の実施の形態例に示した各処理と同時に実行する事ができる。つまり、例えば、各分割領域で算出された類似量の、時間方向における変化の情報に基づく変化の判定を行う際に、その判定に用いる変化判定閾値Cthを、更新領域に隣接する周辺領域との類似量の大きさに基づいて変化させてもよい。また、同じ更新領域において、過去のフレームの画像との変化の大きさの判定を、時間を変えて2回行う際に、その判定に用いる変化判定閾値Cthを、更新領域に隣接する周辺領域との類似量の大きさに基づいて変化させてもよい。
<4.各種変形例>
なお、上述した各実施の形態例では、1つのフレームで更新領域として選択する分割領域の数(M)を、画面の総分割数(N)よりも小さな値とした例を挙げたが、これに限定されるものではない。M=Nとして、1フレーム毎に画面の全領域のヒストグラムを生成するようにしてもよい。
なお、上述した各実施の形態例では、1つのフレームで更新領域として選択する分割領域の数(M)を、画面の総分割数(N)よりも小さな値とした例を挙げたが、これに限定されるものではない。M=Nとして、1フレーム毎に画面の全領域のヒストグラムを生成するようにしてもよい。
また、上述した各実施の形態例では、現在のフレームと過去のフレームとでの画像の変化量Tを、各フレームの画像から生成したヒストグラム同士を比較することにより行う例を挙げたが、これに限定されるものではない。変化量Tを求めることができる情報、すなわち画像の特徴量を示すものであれば、輝度情報や2値化画像、エッジ検出情報等の、他の種類の情報をすることもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からコンピュータなどにインストールされる。ここでいうコンピュータは、専用のハードウエアに組み込まれているコンピュータでもよく、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、装置本体とは別に、ユーザにプログラムを提供するために配布される各種記録媒体により構成される。ここでいう各種記録媒体には、例えば、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD−ROM(Compact Disk-Read Only Memory),DVDを含む)、光磁気ディスク(MD(Mini-Disk)を含む)等がある。また、半導体メモリなどよりなる記録媒体により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROMや、ハードディスクなどであってもよい。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されずに並列的あるいは個別に実行される処理をも含むものである。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本開示は以下のような構成も取ることができる。
(1) 撮影画像の画像データを取得する取得部と、
取得された前記画像データを複数個の分割領域に分割する分割部と、
前記分割領域における前記画像データの特徴量を算出する特徴量算出部と、
前記算出された特徴量を順次更新して保存する特徴量保存部と、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する変化判定部とを備える画像処理装置。
(2)前記変化判定部は、前記第1の処理で算出された前記変化量又は一致量の大きさに応じて、前記更新領域が変化領域であるか否かの判定に用いる変化判定閾値の値を変更する(1)に記載の画像処理装置。
(3)前記変化判定部は、前記第1の処理としての前記変化量の算出を順次行い、前記算出された変化量を用いて、現在算出された前記変化量の過去に算出された前記変化量からの変化の傾向を示す変化傾向特性パラメータを算出し、前記変化傾向特性パラメータの値が所定の大きさを超えた場合に、前記変化判定閾値の値を、当該更新領域が前記変化領域であると判定されにくくなる値に変更する(1)又は(2)に記載の画像処理装置。
(4)前記変化傾向特性パラメータとは、現在算出された前記差分値と、過去に算出された前記差分値とを時間フィルタ処理して得られる値である(3)に記載の画像処理装置。
(5)前記変化判定部は、前記更新領域と、当該更新領域に2次元座標方向で隣接する分割領域との間での前記特徴量の差分が所定の値よりも小さい場合に、前記変化判定閾値の値を、当該更新領域が前記変化領域であると判定されやすくなる値に変更する(1)〜(4)のいずれかに記載の画像処理装置。
(6)前記変化判定部は、前記第1の処理として、前記更新領域で算出された前記特徴量と、前記更新領域で所定の第1の期間分過去に算出された前記特徴量との差分値を算出する第1の比較処理を行い、前記第1の比較処理の実行時から第2の期間が経過後に、前記更新領域で算出された前記特徴量と、前記更新領域で前記第2の期間よりも長い第3の期間分過去に算出された前記特徴量との差分値を、算出する第2の比較処理を行い、前記第1の比較処理と前記第2の比較処理の結果に基づいて、前記更新領域が前記変化領域であるか否かの判定を行う(1)〜(5)のいずれかに記載の画像処理装置。
(7)前記変化判定部は、前記第1の比較処理で算出された前記差分値が所定の大きさを超えた場合に、前記第2の比較処理を行う(6)に記載の画像処理装置。
(8)前記変化判定部は、前記第1の比較処理で算出された前記差分値が所定の大きさを超えており、かつ前記第2の比較処理で算出された前記差分値も所定の大きさを超えた場合に、前記更新領域を前記変化領域であると判定する(6)又は(7)に記載の画像処理装置。
(9)撮影画像の画像データを取得することと、
取得された前記画像データを複数個の分割領域に分割することと、
前記分割領域における前記画像データの特徴量を算出することと、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定することとを含む画像処理方法。
(10)撮影画像の画像データを取得することと、
取得された前記画像データを複数個の分割領域に分割することと、
前記分割領域における前記画像データの特徴量を算出することと、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定することをコンピュータに実行させるプログラム。
(1) 撮影画像の画像データを取得する取得部と、
取得された前記画像データを複数個の分割領域に分割する分割部と、
前記分割領域における前記画像データの特徴量を算出する特徴量算出部と、
前記算出された特徴量を順次更新して保存する特徴量保存部と、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する変化判定部とを備える画像処理装置。
(2)前記変化判定部は、前記第1の処理で算出された前記変化量又は一致量の大きさに応じて、前記更新領域が変化領域であるか否かの判定に用いる変化判定閾値の値を変更する(1)に記載の画像処理装置。
(3)前記変化判定部は、前記第1の処理としての前記変化量の算出を順次行い、前記算出された変化量を用いて、現在算出された前記変化量の過去に算出された前記変化量からの変化の傾向を示す変化傾向特性パラメータを算出し、前記変化傾向特性パラメータの値が所定の大きさを超えた場合に、前記変化判定閾値の値を、当該更新領域が前記変化領域であると判定されにくくなる値に変更する(1)又は(2)に記載の画像処理装置。
(4)前記変化傾向特性パラメータとは、現在算出された前記差分値と、過去に算出された前記差分値とを時間フィルタ処理して得られる値である(3)に記載の画像処理装置。
(5)前記変化判定部は、前記更新領域と、当該更新領域に2次元座標方向で隣接する分割領域との間での前記特徴量の差分が所定の値よりも小さい場合に、前記変化判定閾値の値を、当該更新領域が前記変化領域であると判定されやすくなる値に変更する(1)〜(4)のいずれかに記載の画像処理装置。
(6)前記変化判定部は、前記第1の処理として、前記更新領域で算出された前記特徴量と、前記更新領域で所定の第1の期間分過去に算出された前記特徴量との差分値を算出する第1の比較処理を行い、前記第1の比較処理の実行時から第2の期間が経過後に、前記更新領域で算出された前記特徴量と、前記更新領域で前記第2の期間よりも長い第3の期間分過去に算出された前記特徴量との差分値を、算出する第2の比較処理を行い、前記第1の比較処理と前記第2の比較処理の結果に基づいて、前記更新領域が前記変化領域であるか否かの判定を行う(1)〜(5)のいずれかに記載の画像処理装置。
(7)前記変化判定部は、前記第1の比較処理で算出された前記差分値が所定の大きさを超えた場合に、前記第2の比較処理を行う(6)に記載の画像処理装置。
(8)前記変化判定部は、前記第1の比較処理で算出された前記差分値が所定の大きさを超えており、かつ前記第2の比較処理で算出された前記差分値も所定の大きさを超えた場合に、前記更新領域を前記変化領域であると判定する(6)又は(7)に記載の画像処理装置。
(9)撮影画像の画像データを取得することと、
取得された前記画像データを複数個の分割領域に分割することと、
前記分割領域における前記画像データの特徴量を算出することと、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定することとを含む画像処理方法。
(10)撮影画像の画像データを取得することと、
取得された前記画像データを複数個の分割領域に分割することと、
前記分割領域における前記画像データの特徴量を算出することと、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定することをコンピュータに実行させるプログラム。
21…画像処理装置、31…取得部、32…画像処理部、41…撮像信号処理部、42…データ保存部、43…画像解析部、51…変化領域検出部、52…妨害判定部、61…更新領域選択部、62…ヒストグラム保存部、63…画像分割部、64…ヒストグラム生成部、65…変化判定部、66…変化領域・判定値保存部、67…カウンタ部、68…閾値判定部、111…変化量演算部、112…閾値判定部
Claims (10)
- 撮影画像の画像データを取得する取得部と、
取得された前記画像データを複数個の分割領域に分割する分割部と、
前記分割領域における前記画像データの特徴量を算出する特徴量算出部と、
前記算出された特徴量を順次更新して保存する特徴量保存部と、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定する変化判定部とを備える
画像処理装置。 - 前記変化判定部は、前記第1の処理で算出された前記変化量又は一致量の大きさに応じて、前記更新領域が変化領域であるか否かの判定に用いる変化判定閾値の値を変更する
請求項1に記載の画像処理装置。 - 前記変化判定部は、前記第1の処理としての前記変化量の算出を順次行い、前記算出された変化量を用いて、現在算出された前記変化量の過去に算出された前記変化量からの変化の傾向を示す変化傾向特性パラメータを算出し、前記変化傾向特性パラメータの値が所定の大きさを超えた場合に、前記変化判定閾値の値を、当該更新領域が前記変化領域であると判定されにくくなる値に変更する
請求項2に記載の画像処理装置。 - 前記変化傾向特性パラメータとは、現在算出された前記差分値と、過去に算出された前記差分値とを時間フィルタ処理して得られる値である
請求項3に記載の画像処理装置。 - 前記変化判定部は、前記更新領域と、当該更新領域に2次元座標方向で隣接する分割領域との間での前記特徴量の差分が所定の値よりも小さい場合に、前記変化判定閾値の値を、当該更新領域が前記変化領域であると判定されやすくなる値に変更する
請求項2に記載の画像処理装置。 - 前記変化判定部は、前記第1の処理として、前記更新領域で算出された前記特徴量と、前記更新領域で所定の第1の期間分過去に算出された前記特徴量との差分値を算出する第1の比較処理を行い、前記第1の比較処理の実行時から第2の期間が経過後に、前記更新領域で算出された前記特徴量と、前記更新領域で前記第2の期間よりも長い第3の期間分過去に算出された前記特徴量との差分値を、算出する第2の比較処理を行い、前記第1の比較処理と前記第2の比較処理の結果に基づいて、前記更新領域が前記変化領域であるか否かの判定を行う
請求項1に記載の画像処理装置。 - 前記変化判定部は、前記第1の比較処理で算出された前記差分値が所定の大きさを超えた場合に、前記第2の比較処理を行う
請求項6に記載の画像処理装置。 - 前記変化判定部は、前記第1の比較処理で算出された前記差分値が所定の大きさを超えており、かつ前記第2の比較処理で算出された前記差分値も所定の大きさを超えた場合に、前記更新領域を前記変化領域であると判定する
請求項7に記載の画像処理装置。 - 撮影画像の画像データを取得することと、
取得された前記画像データを複数個の分割領域に分割することと、
前記分割領域における前記画像データの特徴量を算出することと、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定することとを含む
画像処理方法。 - 撮影画像の画像データを取得することと、
取得された前記画像データを複数個の分割領域に分割することと、
前記分割領域における前記画像データの特徴量を算出することと、
前記特徴量を算出する分割領域である更新領域で算出された前記特徴量と、前記更新領域とは時間方向及び/又は2次元座標方向に異なる前記分割領域で算出された前記特徴量との変化量又は一致量を算出する第1の処理と、前記更新領域で現在算出された前記特徴量と、前記更新領域で過去に算出された前記特徴量との差分を算出する第2の処理を行い、前記第1の処理の処理内容、及び前記第2の処理の処理内容に基づいて、前記更新領域が、過去に当該更新領域で取得された画像データとの変化が大きい変化領域であるか否かを判定することをコンピュータに実行させる
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050697A JP2014178739A (ja) | 2013-03-13 | 2013-03-13 | 画像処理装置及び画像処理方法、並びにプログラム |
US14/197,238 US9473746B2 (en) | 2013-03-13 | 2014-03-05 | Image processing device, image processing method, and program for obstruction detection |
CN201410081115.8A CN104052963B (zh) | 2013-03-13 | 2014-03-06 | 图像处理装置、图像处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050697A JP2014178739A (ja) | 2013-03-13 | 2013-03-13 | 画像処理装置及び画像処理方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014178739A true JP2014178739A (ja) | 2014-09-25 |
Family
ID=51505285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013050697A Pending JP2014178739A (ja) | 2013-03-13 | 2013-03-13 | 画像処理装置及び画像処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9473746B2 (ja) |
JP (1) | JP2014178739A (ja) |
CN (1) | CN104052963B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005582A (ja) * | 2015-06-12 | 2017-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2019159346A (ja) * | 2018-03-07 | 2019-09-19 | オムロン株式会社 | 撮像装置 |
JP2020115380A (ja) * | 2018-08-02 | 2020-07-30 | 株式会社マーケットヴィジョン | 商品特定システム |
US11640709B2 (en) | 2017-06-27 | 2023-05-02 | Marketvision Co., Ltd. | Merchandise specification systems and programs |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6034010B2 (ja) | 2011-10-24 | 2016-11-30 | ソニー株式会社 | 符号化装置、符号化方法、およびプログラム |
US20150189158A1 (en) * | 2013-12-28 | 2015-07-02 | Connor Hailey | Systems, methods, and media for presenting a field of view from a camera of a device on a display of the device in the background of non-camera functionality |
JP6302679B2 (ja) * | 2014-01-20 | 2018-03-28 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像方法、フォーカス制御装置 |
JP6234261B2 (ja) * | 2014-02-10 | 2017-11-22 | オリンパス株式会社 | 焦点調節装置および制御方法 |
US10140827B2 (en) | 2014-07-07 | 2018-11-27 | Google Llc | Method and system for processing motion event notifications |
US9420331B2 (en) * | 2014-07-07 | 2016-08-16 | Google Inc. | Method and system for categorizing detected motion events |
US9800825B2 (en) * | 2015-03-02 | 2017-10-24 | Chih-Ta Star Sung | Semiconductor display driver device, mobile multimedia apparatus and method for frame rate conversion |
CN107408302B (zh) * | 2015-03-02 | 2020-09-01 | 三菱电机株式会社 | 图像处理装置和图像处理方法 |
US10412316B2 (en) * | 2016-06-09 | 2019-09-10 | Google Llc | Taking photos through visual obstructions |
CN106844727B (zh) * | 2017-02-10 | 2020-07-10 | 山南远宏科技有限公司 | 海量图像特征数据分布式采集处理和分级应用系统及方法 |
JP6960230B2 (ja) * | 2017-03-16 | 2021-11-05 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US10547801B2 (en) * | 2017-10-26 | 2020-01-28 | International Business Machines Corporation | Detecting an image obstruction |
JP7200493B2 (ja) * | 2018-03-29 | 2023-01-10 | 京セラドキュメントソリューションズ株式会社 | 監視システム |
JP2019184670A (ja) * | 2018-04-03 | 2019-10-24 | シャープ株式会社 | 画像処理装置、及び表示装置 |
WO2020093164A1 (en) | 2018-11-07 | 2020-05-14 | Genetec Inc. | Methods and systems for detection of anomalous motion in a video stream and for creating a video summary |
CN112104878A (zh) * | 2020-08-21 | 2020-12-18 | 西安万像电子科技有限公司 | 图像编码方法、装置、编码端设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4229154B2 (ja) * | 2006-08-31 | 2009-02-25 | ソニー株式会社 | 画像処理方法 |
KR101299249B1 (ko) * | 2008-08-29 | 2013-08-22 | 삼성테크윈 주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
JP5561524B2 (ja) * | 2010-03-19 | 2014-07-30 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2012015914A (ja) | 2010-07-02 | 2012-01-19 | Sony Corp | 映像処理装置、映像処理方法及びコンピュータプログラム |
CN102479321B (zh) * | 2010-11-26 | 2016-10-26 | 罗普特(厦门)科技集团有限公司 | 差异影像自动识别系统及方法 |
JP5637383B2 (ja) * | 2010-12-15 | 2014-12-10 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5269921B2 (ja) * | 2011-01-24 | 2013-08-21 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの作動方法 |
JP6034010B2 (ja) | 2011-10-24 | 2016-11-30 | ソニー株式会社 | 符号化装置、符号化方法、およびプログラム |
-
2013
- 2013-03-13 JP JP2013050697A patent/JP2014178739A/ja active Pending
-
2014
- 2014-03-05 US US14/197,238 patent/US9473746B2/en active Active
- 2014-03-06 CN CN201410081115.8A patent/CN104052963B/zh active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005582A (ja) * | 2015-06-12 | 2017-01-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US11640709B2 (en) | 2017-06-27 | 2023-05-02 | Marketvision Co., Ltd. | Merchandise specification systems and programs |
JP2019159346A (ja) * | 2018-03-07 | 2019-09-19 | オムロン株式会社 | 撮像装置 |
JP2020115380A (ja) * | 2018-08-02 | 2020-07-30 | 株式会社マーケットヴィジョン | 商品特定システム |
Also Published As
Publication number | Publication date |
---|---|
CN104052963B (zh) | 2017-09-12 |
US20140267821A1 (en) | 2014-09-18 |
US9473746B2 (en) | 2016-10-18 |
CN104052963A (zh) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014178739A (ja) | 画像処理装置及び画像処理方法、並びにプログラム | |
JP5637383B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5561524B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6273685B2 (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
US20180343398A1 (en) | Control apparatus, control method, and storage medium | |
KR101064573B1 (ko) | 입자 여과를 이용하여 이동 물체를 추적하는 시스템 | |
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US9514541B2 (en) | Image processing apparatus and image processing method | |
JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
JP2013041400A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20150146006A1 (en) | Display control apparatus and display control method | |
JP2013152669A (ja) | 画像監視装置 | |
JP5606979B2 (ja) | 画像監視装置 | |
JP6275022B2 (ja) | 画像監視装置 | |
JP2007201933A (ja) | 画像を用いた監視装置 | |
JP5573387B2 (ja) | 監視装置、監視プログラム及び監視方法 | |
JP2015130698A (ja) | 情報出力装置、検知装置、プログラム及び情報出力方法 | |
US20210004571A1 (en) | Information processing apparatus, information processing method, and storage medium | |
Romić et al. | Influence of the input image resolution on the staircase detection | |
KR20150060032A (ko) | 움직임 검출 시스템 및 방법 | |
JP6266461B2 (ja) | 対象検出装置 | |
WO2022195837A1 (ja) | 画像解析装置、画像解析システム及び画像解析方法 | |
JP2013142930A (ja) | 画像処理装置、その制御方法、及びプログラム | |
JP7509245B2 (ja) | パラメータ最適化システム、パラメータ最適化方法、及びコンピュータプログラム | |
JP7521434B2 (ja) | 情報処理装置および情報処理方法 |