JP2021108181A - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】好適に個人情報を保護した画像を生成することのできる画像処理システム、画像処理方法及びプログラムを提供する。【解決手段】画像処理システム１００は、撮影装置から映像を構成する複数の画像フレームの入力を受ける画像入力部１１０と、複数の画像フレームの中の処理対象の画像フレームに含まれる特徴点を検出するエッジ検出部１５０と、特徴点として検出された領域の処理対象の画像フレームが、複数の画像フレームの少なくとも一部から生成される背景画像に重畳された出力画像を出力する出力部１８０とを備える。【選択図】図３

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。

監視カメラ等の撮影装置で撮影した映像は、防犯や犯罪捜査などに非常に有用であるだけでなく、顧客の動線分析等によるマーケティング分野での活用など、種々の用途に用いることができる。しかしながら、映像を使用する際には、映っている人物を抽象化することによって、個人情報や肖像権の保護を行うことが望ましい。

一方で、マーケティング等の目的のため、映像に映る人物の行動を分析するためには、人物がどのような動きを行っているか、背景物とどのようなやり取りを行っているか、といったことも理解できることが望ましい。

これらの両方のニーズに答えるためには、映像に映る人物が誰かは同定できないようにする一方で、人物の具体的な動きがわかり、かつ背景に何があるかも同時に見えるようにすることが求められる。

このような要求の少なくとも一部に応えるべく、特許文献１は、顔を検出してその部分にモザイク処理を施す技術を開示している。また、特許文献２は、背景との差分がある箇所にモザイク処理を施したり黒く塗りつぶしたりする技術を開示している。特許文献３は、個人情報保護の手段としてぼかし処理の技術を開示している。特許文献４は、ユーザの前景画像に対する権限に応じて、画像中の前景画像を背景画像に合成、又は、マスク処理等を行う技術を開示している。特許文献５は、画像から人物領域を特定して、人物領域を他の画像に変更する技術を開示している。更に、非特許文献１は、シースルーによる表現や輪郭を特定色で表現するなどの技術を開示している。

特許第４０３６０５１号公報 特開２０００−０００２１６号公報 特許第４７０１３５６号公報 特開２００９−２２５３９８号公報 特開２０１３−１８６８３８号公報

馬場口登， 「プライバシーを考慮した映像サーベイランス」， 情報処理， 特集， Vol．48， No．1， pp．30-36， January， 2007

しかしながら、特許文献１に記載の手法のように顔の部分にモザイク処理を施すだけでは、顔以外の服や持ち物などの情報が残るため、完全な個人情報の保護を図ることはできない。特許文献２、特許文献３は、人物全体にモザイク、ぼかし、塗りつぶし等を施す技術を開示しているが、人物領域内、あるいは人物周辺の情報が大きく削減されてしまうため、物を手に取る等の人物の行動に関する情報の多くが失われてしまう。非特許文献１の手法のようにシースルーによる表現では個人が容易に特定される。また、輪郭で表現する手法では、人物を高精度に抽出する必要があるが、人物の輪郭を正確に抽出するのは技術的に難しい。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、好適に個人情報を保護した画像を生成することのできる画像処理システム、画像処理方法及びプログラム記憶媒体を提供することを目的の１つとする。

本開示の一態様にかかる画像処理システムは、画像フレームの入力を受ける手段と、前記画像フレームの一部又は全体からエッジである特徴点を検出する手段と、前記画像フレームで検出された前記特徴点の位置に対応する、背景画像における位置の画素の画素値を、所定のルールに基づいて少なくとも２種類に変化させるうちの何れかを適用した画素値にした画像である出力画像を出力する手段と、を備える。

本開示の一態様にかかる画像処理方法は、画像フレームの入力を受け、前記画像フレームの一部又は全体からエッジである特徴点を検出し前記画像フレームで検出された前記特徴点の位置に対応する、背景画像における位置の画素の画素値を、所定のルールに基づいて少なくとも２種類に変化させるうちの何れかを適用した画素値にした画像である出力画像を出力する。

本開示の一態様にかかるプログラムは、画像フレームの入力を受ける処理と、前記画像フレームの一部又は全体からエッジである特徴点を検出する処理と、前記画像フレームで検出された前記特徴点の位置に対応する、背景画像における位置の画素の画素値を、所定のルールに基づいて少なくとも２種類に変化させるうちの何れかを適用した画素値にした画像である出力画像を出力する処理と、をコンピュータに実行させる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、好適に個人情報を保護した画像を生成することのできる画像処理システム、画像処理方法及びプログラム記憶媒体を提供することができる。

入力画像フレームと背景画像との関係の例を説明するための図である。 本実施形態に係る画像処理システムの処理の概要を説明するための図である。 第１実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。 図３に示す画像処理システムの処理の流れを示すフローチャートである。 図３に示す検出システムを実装可能なハードウェアの構成を示すブロック図である。 第２実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
（１ 第１実施形態）
（１．１ 概要）
図１乃至図５は、第１実施形態を説明するための図である。以下、これらの図を参照しながら説明する。

本実施形態は、監視カメラなどの撮影装置により撮影された映像から、人物等の移動体を示す画像を生成する画像処理システムに関する。特に、本実施形態に係る画像処理システムでは、個人情報に配慮しつつも、例えば商品を手にとった場合やどちらの方向を向いているか等の移動体の行動解析を行えるように配慮したものである。

そのために本実施形態に係る画像処理システムは、処理対象の画像フレーム（以下、原画像ともいう。）からエッジ領域のみを抽出する。そして、画像処理システムは、当該エッジ領域の原画像を、記憶部に記憶している背景画像と重畳し、その重畳した画像を出力する。これにより、人物等の移動体の顔や衣服等が認識可能な程度には出力画像には表示されないこととなるので、個人情報の保護を図ることができる。他方、人物などである移動体の輪郭線等はエッジとして出力画像に含まれることから、人物の向きや商品などの背景との関わり等の行動は解析することが可能である。更に、たとえ移動体以外のエッジが検出されたとしても、移動体以外の部分にかかるエッジは原画像中の背景領域に相当する部分になるので、重畳される背景画像と大きな差異がなく、画像を確認するユーザにとっては特に違和感を抱くことはない。

なお、本実施形態に係る画像処理システムは、処理対象の画像フレーム（原画像）中のエッジ領域を検出しているがこれに限られるものではない。例えば、画像処理システムは、コーナー点等の特異点を抽出するようにしても良い。

図１に、本実施形態に係る画像処理システムに入力される画像フレームの例を示す。図１の例では、映像を構成する、撮影時刻のそれぞれ異なる画像フレームが逐次入力される。背景画像は、撮影時刻の異なる複数の画像フレームについて、各画素毎に例えば画素値を平均化したり最頻値を取ったりする手法により生成できる。或いは、移動体の映っていない１枚の固定の画像フレームを背景画像とすることも考えられる。

以下、図２を参照しながら本実施形態において出力画像を生成するまでの処理の概要を説明する。図２の例では、移動体の写る処理対象の画像フレーム（原画像）と背景画像とが予め用意されているものとする。

画像処理システムは、まず、処理対象の画像フレーム中の、背景画像からの差分領域を特定する。より具体的には、例えば処理対象の画像フレームの画素値と背景画像の画素値とを画素毎に比較した上で、両者の差分が閾値以上の領域を、画像処理システムは特定する。当該領域は、通常、画像フレーム中の移動体の写る領域に相当する。

次に画像処理システムは、当該移動体の写る領域に相当する、処理対象の画像フレーム中の、背景画像からの差分領域に対して、エッジ検出を行う。その上で、画像処理システムは、処理対象の画像フレームから検出されたエッジ領域部分のみを抽出する。そして、画像処理システムは、当該抽出した部分の処理対象の画像フレーム（原画像）を背景画像に重畳することにより出力画像を生成する。

当該出力画像では、移動体以外の背景部分と移動体とがどのような関係にあるのかや、移動体がどのような動作を行っているのかを視認可能である。特に、移動体の輪郭部分が確認できるため、視線や顔の向き、姿勢等を目視或いは推測しやすい。また、移動体の輪郭部分を除く部分は背景画像が表示されるため、出力画像からは顔や服装等を特定できず、結果として個人情報の保護を図ることができる。

このような機能を有する本実施形態の画像処理システムは、監視カメラの映像を利用する監視などのセーフティ分野や、移動体の行動などを分析するマーケティング分野に適用可能である。
（１．２ システム構成）
以下、図３を参照しながら、本実施形態に係る画像処理システム１００のシステム構成を説明する。図３は個人情報の保護に配慮した画像を生成するための画像処理システム１００のシステム構成を示す。画像処理システム１００は、画像入力部１１０、背景画像生成部１２０、背景画像データベース（ＤＢ）１３０、差分領域抽出部１４０、エッジ検出部１５０、エッジ領域抽出部１６０、重畳部１７０、及び出力部１８０を含む。

画像入力部１１０は、図示しないカメラなどの撮影装置から映像を構成する画像フレーム、すなわちそれぞれ撮影時刻の異なる画像フレームの入力を受ける。

背景画像生成部１２０は、画像入力部１１０から逐次入力される１以上の画像フレームから背景画像を生成する。前述のとおり、例えば、処理時刻から過去一定時間に入力された画像フレームの各画素の画素値を時間方向に平均化あるいは最頻値をとることにより背景画像を生成してもよい。あるいは、例えば、移動体が存在しないと考えられる１枚の画像フレームを背景画像として用いることも考えられる。なお、固定の画像フレームを背景画像として用いる場合には、必ずしも画像処理システム１００は背景画像生成部１２０を有さなくとも良い。生成される背景画像は、背景画像ＤＢ１３０に格納される。

差分領域抽出部１４０は、画像入力部１１０から入力された処理対象の画像フレームのうち、背景画像生成部１２０で生成された背景画像との差分が一定閾値以上ある差分領域を抽出する。前述のとおり、当該差分領域は、一般的に、処理対象の画像フレーム中の移動体の写る領域に相当する。

エッジ検出部１５０は、差分領域抽出部１４０が抽出した、処理対象の画像フレーム中の差分領域に対してエッジ検出を行う。エッジ検出部１５０が用いるエッジ検出の手法には、既存の種々の手法を適用することが可能である。

エッジ領域抽出部１６０は、処理対象の画像フレームから、エッジ検出部１５０によりエッジとして検出された領域のみを抽出する。このとき、例えば検出されたエッジ領域のうち一部のみを抽出するようにしても良い。例えば、移動体に対して頭部や手の部分等を検出した上で、それらの部位のみを抽出したり、部位に応じて抽出する透明度を変えたりすることも考えられる。若しくは、体の所定部位に該当するエッジ又はエッジ全体を破線で表現すべく、検出された所定のエッジ領域を一定の長さ単位で区切ってそれらの単位で出力することも考えられる。このように、エッジ領域抽出部１６０は、処理対象の画像フレームから、エッジ部分として検出された領域を対応する移動体の部位によって異なる態様で抽出し、出力しても良いし、検出されたエッジ全体を破線で表す等の方法で出力しても良い。すなわち、エッジ領域抽出部１６０の出力方法は、特定のものに限定されない。

或いは、エッジ検出部１５０により検出されたエッジの強さ（重要度）に応じて透明度を変えることも考えられる。これにより、後に重畳部１７０で生成される出力画像において、重要度が高いと考えられる強いエッジの部分に関しては移動体（前景）が濃く、重要度が低いと考えられる弱いエッジの部分は移動体（前景）が薄く表示するため、視認性を向上させることができる。

重畳部１７０は、エッジ領域抽出部１６０から出力されたエッジ領域の処理対象の画像フレームを、背景画像の上に重畳させた出力画像を生成する。例えば、原画像（処理対象の画像フレーム）をｆｇ、背景画像をｂｇ、（ｘ，ｙ）を各画像の座標とすると、出力画像ｏｕｔは以下のように表現することができる。

ここで、（ｘ，ｙ）がエッジ領域に属する場合にはα＝１、エッジ領域でない場合にはα＝０とすれば良い。また、もし前述のようにエッジの部分等に応じて、重畳される原画像の領域に透明度が設定される場合には、当該透明度に応じて０≦α≦１の範囲の実数値としてαを設定すれば良い。

出力部１８０は生成された出力画像を、出力する。出力方法としては種々考えられるが、例えば、出力画像を逐次装置上に表示させることにより、ユーザに対して映像として見せたり、或いはこれらの出力画像を纏めて映像ファイルとして記憶媒体に記録したりすることが考えられる。

なお、本実施形態では、差分領域抽出部１４０が移動体に相当する、画像フレーム中の背景画像からの差分領域を抽出した上で、当該差分領域のみに対してエッジ検出を行っている。このように移動体が写ると推測される領域にのみエッジ検出を行うことで、解析対象ではない背景領域の画像フレームが出力画像に含まれることを防ぐことが可能である。

しかしながら、これに限られるものではなく、差分領域の抽出を行わずにエッジ検出を行うことも考えられる。このような場合には、エッジ検出部１５０は画像フレーム全体に対してエッジ検出を行うことになるが、画像フレーム中の移動体以外の領域の画素値は、背景画像の画素値と大きな違いはないものと考えられることから、出力画像を確認するユーザに違和感を抱かせる可能性は低い。この場合、画像処理システム１００は差分領域抽出部１４０を必ずしも含まなくとも良い。
（１．３ 処理の流れ）
以下、画像処理システム１００の処理の流れを、図４を参照しながら説明する。図４は、画像処理システム１００の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

画像入力部１１０は、新しい画像フレーム（処理時刻の画像フレーム）の入力を受ける（Ｓ４０１）。背景画像生成部１２０は、入力された画像フレームと、処理時刻以前に入力された画像フレームから生成された、背景画像ＤＢ１３０に格納された背景画像とから背景画像を生成する（Ｓ４０３）。

差分領域抽出部１４０は、入力された画像フレームの、背景画像からの差分領域を抽出する（Ｓ４０５）。当該差分領域は、例えば、入力画像フレームの各画素の画素値と背景画像の各画素の画素値とを比較した上で、両者の差分が閾値以上である画素の領域として特定される。前述のとおり、差分領域は移動体の写る移動体領域に相当する。

エッジ検出部１５０は、差分領域抽出部１４０が抽出した移動体領域（差分領域）に対してエッジ検出を行う（Ｓ４０７）。エッジ領域抽出部１６０は、処理対象の画像フレームから、当該エッジとして検出された領域のみを抽出する（Ｓ４０９）。重畳部１７０は、当該エッジ領域として検出された処理対象の画像フレームを、背景画像ＤＢ１３０に格納された背景画像に重畳することにより、出力画像を生成する（Ｓ４１１）。

出力部１８０は、生成された出力画像を、例えば表示装置や記憶媒体へと出力する（Ｓ４１３）。画像処理システム１００は、Ｓ４０１〜Ｓ４１３の処理を逐次行うことにより、出力画像を映像として表示したり記憶したりすることが可能となる。
（１．４ ハードウェア構成の具体例）
以下、図５を参照しながら、上述してきた画像処理システム１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。図５に示すように、画像処理システム１００は、プロセッサ５０１、メモリ５０３、記憶装置５０５、入力インタフェース（Ｉ／Ｆ）部５０７、データＩ／Ｆ部５０９、通信Ｉ／Ｆ部５１１、及び表示装置５１３を含む。

プロセッサ５０１は、メモリ５０３に記憶されているプログラムを実行することにより、画像処理システム１００の様々な処理を制御する。例えば、図３に示した画像入力部１１０、背景画像生成部１２０、差分領域抽出部１４０、エッジ検出部１５０、エッジ領域抽出部１６０、重畳部１７０、及び出力部１８０にかかる処理は、メモリ５０３に一時記憶された上で主にプロセッサ５０１上で動作するプログラムとして実現可能である。

メモリ５０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ５０３は、プロセッサ５０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。

記憶装置５０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置５０５は、オペレーティングシステムや、画像処理システム１００の各機能を実現するための各種プログラムや、背景画像ＤＢ１３０を含む各種データ等を記憶できる。記憶装置５０５に記憶されているプログラムやデータは、必要に応じてメモリ５０３にロードされることにより、プロセッサ５０１から参照される。

入力Ｉ／Ｆ部５０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部５０７の具体例としては、キーボードやマウス、タッチパネル等が挙げられる。入力Ｉ／Ｆ部５０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して画像処理システム１００に接続されても良い。

データＩ／Ｆ部５０９は、画像処理システム１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部５０９の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部５０９は、画像処理システム１００の外部に設けられても良い。その場合、データＩ／Ｆ部５０９は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００へと接続される。

通信Ｉ／Ｆ部５１１は、画像処理システム１００の外部の装置、例えば撮影装置（ビデオカメラや監視カメラ、デジタルカメラ）などとの間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ部５１１は画像処理システム１００の外部に設けられても良い。その場合、通信Ｉ／Ｆ部５１１は、例えばＵＳＢ等のインタフェースを介して画像処理システム１００に接続される。

表示装置５１３は、例えば、出力部１８０が出力する出力画像等を表示するためのデバイスである。表示装置５１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置５１３は、画像処理システム１００の外部に設けられても良い。その場合、表示装置５１３は、例えばディスプレイケーブルなどを介して画像処理システム１００に接続される。
（１．５ 本実施形態に係る効果）
以上説明したように本実施形態に係る画像処理システム１００は、エッジ領域の処理対象の画像フレーム（原画像）のみを背景画像に重畳することにより出力画像を生成する。
これにより、出力画像を視認するユーザは、検出されるエッジ領域に相当する移動体の形状や背景との関係等を確認することができる。また、移動体はエッジ領域以外の領域は出力画像には含まれないことから、出力画像からはどのようなユーザが映っているのかを判別することはできない。すなわち、当該画像処理システム１００により生成される出力画像は個人情報に配慮したものである。

移動体の検出等を行って検出された移動体の輪郭部分を表示する等の手法は移動体の検出精度が充分でない場合には、移動体以外の部分が出力画像に表示されてしまうといった課題がある。これに対して、本実施形態に係る手法では、エッジ領域の処理対象の画像フレーム自体を表示するようにしているため、たとえ移動体以外の部分がエッジ領域として検出されたとしても、背景画像とほぼ同化するので、出力画像を確認するユーザに違和感を抱かせる可能性が低い。
（２ 第２実施形態）
以下、第２実施形態を、図６を参照しながら説明する。図６は、本実施形態に係る画像処理システム６００の機能構成を示すブロック図である。画像処理システム６００は、入力部６１０、検出部６２０、及び出力部６３０を含む。

入力部６１０は、図示しないカメラ等の撮影装置から映像を構成する複数の画像フレームの入力を受ける。

検出部６２０は、複数の画像フレームの中の処理対象の画像フレームに含まれる特徴点を検出する。ここで、特徴点とは、人物などである移動体の輪郭線等のエッジや、コーナー点等の特異点を含んでいてもよい。

出力部６３０は、特徴点として検出された領域の処理対象の画像フレームが、複数の画像フレームの少なくとも一部から生成される背景画像に重畳された出力画像を出力する。

このように実装することで、本実施形態に係る画像処理システム６００は、好適に個人情報を保護した画像を生成することができる。
（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
撮影装置から映像を構成する複数の画像フレームの入力を受ける手段と、前記複数の画像フレームの中の処理対象の画像フレームに含まれる特徴点を検出する検出手段と、前記特徴点として検出された領域の前記処理対象の画像フレームが、前記複数の画像フレームの少なくとも一部から生成される背景画像に重畳された出力画像を出力する手段とを備える画像処理システム。

（付記２）
前記特徴点は、エッジ部分である、付記１記載の画像処理システム。

（付記３）
前記検出手段は、前記処理対象の画像フレーム中の、前記背景画像との差分が閾値以上である領域に対して、前記エッジ部分を検出する、付記２記載の画像処理システム。

（付記４）
前記出力画像は、前記エッジ部分として検出された領域のうちの一部の前記処理対象の画像フレームが、前記背景画像に重畳されている、付記２又は付記３記載の画像処理システム。

（付記５）
前記出力画像は、前記エッジ部分として検出された領域の画像フレームが、位置によって異なる態様で前記背景画像に重畳されている付記２乃至付記４のいずれか１項記載の画像処理システム。

（付記６）
前記出力画像は、前記エッジ部分として検出された領域の画像フレームが、対応する移動体の部位によって異なる態様で前記背景画像に重畳されている付記５記載の画像処理システム。

（付記７）
撮影装置から映像を構成する複数の画像フレームの入力を受けるステップと、前記複数の画像フレームの中の処理対象の画像フレームに含まれる特徴点を検出するステップと、前記特徴点として検出された領域の前記処理対象の画像フレームが、前記複数の画像フレームの少なくとも一部から生成される背景画像に重畳された出力画像を出力するステップとを画像処理システムが実行する画像処理方法。

（付記８）
前記特徴点は、エッジ部分である、付記７記載の画像処理方法。

（付記９）
前記処理対象の画像フレーム中の、前記背景画像との差分が閾値以上である領域に対して、前記エッジ部分を検出する、付記８記載の画像処理方法。

（付記１０）
前記出力画像は、前記エッジ部分として検出された領域のうちの一部の前記処理対象の画像フレームが、前記背景画像に重畳されている、付記８又は付記９記載の画像処理方法。

（付記１１）
前記出力画像は、前記エッジ部分として検出された領域の画像フレームが、位置によって異なる態様で前記背景画像に重畳されている付記８乃至付記１０のいずれか１項記載の画像処理方法。

（付記１２）
前記出力画像は、前記エッジ部分として検出された領域の画像フレームが、対応する移動体の部位によって異なる態様で前記背景画像に重畳されている付記１１記載の画像処理方法。

（付記１３）
撮影装置から映像を構成する複数の画像フレームの入力を受ける処理と、前記複数の画像フレームの中の処理対象の画像フレームに含まれる特徴点を検出する処理と、前記特徴点として検出された領域の前記処理対象の画像フレームが、前記複数の画像フレームの少なくとも一部から生成される背景画像に重畳された出力画像を出力する処理とをコンピュータに実行させるプログラム。

（付記１４）
前記特徴点は、エッジ部分である、付記１３記載のプログラム。

（付記１５）
前記処理対象の画像フレーム中の、前記背景画像との差分が閾値以上である領域に対して、前記エッジ部分を検出する、付記１４記載のプログラム。

（付記１６）
前記出力画像は、前記エッジ部分として検出された領域のうちの一部の前記処理対象の画像フレームが、前記背景画像に重畳されている、付記１４又は付記１５記載のプログラム。

（付記１７）
前記出力画像は、前記エッジ部分として検出された領域の画像フレームが、位置によって異なる態様で前記背景画像に重畳されている付記１４乃至付記１６のいずれか１項記載のプログラム。

（付記１８）
前記出力画像は、前記エッジ部分として検出された領域の画像フレームが、対応する移動体の部位によって異なる態様で前記背景画像に重畳されている付記１７記載のプログラム。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１４年６月３０日に出願された日本出願特願２０１４−１３４９６１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ ：画像処理システム
１１０ ：画像入力部
１２０ ：背景画像生成部
１３０ ：背景画像データベース
１４０ ：差分領域抽出部
１５０ ：エッジ検出部
１６０ ：エッジ領域抽出部
１７０ ：重畳部
１８０ ：出力部
５０１ ：プロセッサ
５０３ ：メモリ
５０５ ：記憶装置
５０７ ：入力インタフェース部
５０９ ：データインタフェース部
５１１ ：通信インタフェース部
５１３ ：表示装置
６００ ：画像処理システム
６１０ ：入力部
６２０ ：検出部
６３０ ：出力部

Claims (18)

1. 画像フレームの入力を受ける手段と、
   前記画像フレームの一部又は全体からエッジである特徴点を検出する手段と、
   前記画像フレームで検出された前記特徴点の位置に対応する、背景画像における位置の画素の画素値を、所定のルールに基づいて少なくとも２種類に変化させるうちの何れかを適用した画素値にした画像である出力画像を出力する手段と、
   を含む画像処理システム。
2. 前記出力画像を出力する手段は、前記出力画像を逐次出力する、
   請求項１に記載の画像処理システム。
3. 前記特徴点を検出する手段は、前記画像フレームの一部又は全体から移動体のエッジである前記特徴点を検出する、
   請求項１または２に記載の画像処理システム。
4. 移動体の行動解析を行う手段をさらに備える、
   請求項１乃至３のいずれか一項に記載の画像処理システム。
5. 前記移動体は、人物である、
   請求項４に記載の画像処理システム。
6. 前記エッジは、前記移動体の輪郭線を含む、
   請求項４または５に記載の画像処理システム。
7. 画像フレームの入力を受け、
   前記画像フレームの一部又は全体からエッジである特徴点を検出し
   前記画像フレームで検出された前記特徴点の位置に対応する、背景画像における位置の画素の画素値を、所定のルールに基づいて少なくとも２種類に変化させるうちの何れかを適用した画素値にした画像である出力画像を出力する、
   画像処理方法。
8. 前記出力画像を出力する処理において、前記出力画像を逐次出力する、
   請求項７に記載の画像処理方法。
9. 前記特徴点を検出する処理において、前記画像フレームの一部又は全体から移動体のエッジである前記特徴点を検出する、
   請求項７または８に記載の画像処理方法。
10. 移動体の行動解析を行う、
    請求項７乃至９のいずれか一項に記載の画像処理方法。
11. 前記移動体は、人物である、
    請求項１０に記載の画像処理方法。
12. 前記エッジは、前記移動体の輪郭線を含む、
    請求項１０または１１に記載の画像処理方法。
13. 画像フレームの入力を受ける処理と、
    前記画像フレームの一部又は全体からエッジである特徴点を検出する処理と、
    前記画像フレームで検出された前記特徴点の位置に対応する、背景画像における位置の画素の画素値を、所定のルールに基づいて少なくとも２種類に変化させるうちの何れかを適用した画素値にした画像である出力画像を出力する処理と、をコンピュータに実行させる
    プログラム。
14. 前記出力画像を出力する処理において、前記出力画像を逐次出力する、
    請求項１３に記載のプログラム。
15. 前記特徴点を検出する処理において、前記画像フレームの一部又は全体から移動体のエッジである前記特徴点を検出する、
    請求項１３または１４に記載のプログラム。
16. 移動体の行動解析を行う処理をさらに実行させる、
    請求項１３乃至１５のいずれか一項に記載のプログラム。
17. 前記移動体は、人物である、
    請求項１６に記載のプログラム。
18. 前記エッジは、前記移動体の輪郭線を含む、
    請求項１６または１７に記載のプログラム。

Images