JP2022026211A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】人物が含まれない背景画像の生成のための検出処理に係る処理負荷を低減しつつ効率的に背景画像を生成する画像処理装置を提供する。【解決手段】画像処理装置１００は、撮像手段により撮像された画像である基準画像において人物が含まれる部分領域を特定する特定部と、基準画像と異なるタイミングで撮像手段により撮像された複数の画像から、所定の条件に基づき、人物が含まれない背景画像の生成に用いる一又は複数の画像を対象画像として抽出する抽出部と、抽出部により抽出された一又は複数の対象画像において、部分領域に対応する対応領域に対し人物を検出する検出処理を実行する検出部と、対応領域に対する検出処理の結果に基づき一又は複数の対象画像から選択された対象画像と、基準画像とに基づき、背景画像を生成する背景生成部と、を有する。【選択図】図２

Description

本発明は、画像処理技術に関する。

街中や建物などにおいて撮像装置の設置が広まる一方で、撮像装置により撮像された画像に映る人物のプライバシーを保護する重要性が高まっている。特許文献１では、撮像された画像に含まれる人物に対応するマスク画像と、人物が映っていない背景画像とを合成することでプライバシー保護がなされた画像を生成する方法について開示されている。また、特許文献１では、複数の画像各々に対して人物の検出を行い、当該複数の画像各々において人物が検出された領域以外の画像を用いて、人物が含まれない背景画像を生成する方法について開示されている。

特開２０１６－１１５２１４号公報

しかしながら特許文献１では、人物が含まれない背景画像を生成するにあたって、撮像された複数の画像各々について画像全体の領域に対し人物を検出する処理を実行しているため、検出処理に係る処理負荷が高くなることがある。

そこで、本発明は、人物が含まれない背景画像の生成のための検出処理に係る処理負荷を低減しつつ効率的に背景画像を生成することを目的としている。

上記課題を解決するために、例えば、本発明に係る画像処理装置は、以下の構成を備える。すなわち、撮像手段により撮像された画像である基準画像において人物が含まれる部分領域を特定する特定手段と、前記基準画像と異なるタイミングで前記撮像手段により撮像された複数の画像から、所定の条件に基づき、人物が含まれない背景画像の生成に用いる一又は複数の画像を対象画像として抽出する抽出手段と、前記抽出手段により抽出された一又は複数の前記対象画像において、前記部分領域に対応する対応領域に対し人物を検出する検出処理を実行する検出手段と、前記対応領域に対する前記検出処理の結果に基づき一又は複数の前記対象画像から選択された対象画像と、前記基準画像とに基づき、前記背景画像を生成する生成手段とを有する。

本発明によれば、人物が含まれない背景画像の生成のための検出処理に係る処理負荷を低減しつつ効率的に背景画像を生成することができる。

システム構成の一例を示す図である。 画像処理装置の機能ブロックを示す図である。 背景画像を生成する生成処理を説明するための図である。 背景画像を生成する生成処理の流れを示すフローチャートである。 保護画像を生成する処理の流れを示すフローチャートである。 各装置のハードウェア構成の一例を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、画像処理装置１００、撮像装置１１０、記録装置１２０、およびディスプレイ１３０を有している。

画像処理装置１００、撮像装置１１０、および記録装置１２０は、ネットワーク１４０を介して相互に接続されている。ネットワーク１４０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク１４０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

画像処理装置１００は、例えば、後述する画像処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等によって実現される。撮像装置１１０は、画像を撮像する装置であり、撮像手段として機能する。撮像装置１１０は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１１０を識別する情報である識別情報とを関連付けて、ネットワーク１４０を介し、画像処理装置１００や記録装置１２０等の外部装置へ送信する。なお、本実施形態に係るシステムにおいて、撮像装置１１０は１つとするが、複数であってもよい。すなわち、複数の撮像装置１１０が、ネットワーク１４０を介して、画像処理装置１００や記録装置１２０と接続されてもよい。この場合、画像処理装置１００および記録装置１２０は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置１１０のうちどの撮像装置１１０により撮像されたかを判断する。

記録装置１２０は、撮像装置１１０が撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１１０を識別する識別情報とを関連付けて記録する。そして、画像処理装置１００からの要求に従って、記録装置１２０は、記録したデータ（画像、識別情報など）を画像処理装置１００へ送信する。

ディスプレイ１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、画像処理装置１００により生成された後述する保護画像や、撮像装置１１０が撮像した画像などを表示する。ディスプレイ１３０は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して画像処理装置１００と接続されている。なお、ディスプレイ１３０、画像処理装置１００、および記録装置１２０の少なくともいずれか２つ又は全ては、単一の筐体に設けられてもよい。

なお、画像処理装置１００が生成した保護画像や、撮像装置１１０により撮像された画像は、画像処理装置１００にディスプレイケーブルを介して接続されたディスプレイ１３０に限らず、例えば、次のような外部装置が有するディスプレイに表示されてもよい。すなわち、ネットワーク１４０を介して接続されたスマートフォン、タブレット端末などのモバイルデバイスが有するディスプレイに表示されていてもよい。

次に、図２に示す本実施形態に係る画像処理装置１００の機能ブロックを参照して、本実施形態に係る画像処理装置１００の画像処理について説明する。なお、図２に示す各機能は、例えば、図６を参照して後述するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６２０とＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６００とを用いて、次のようにして実現されるものとする。すなわち、図２に示す各機能は、画像処理装置１００のＲＯＭ６２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ６００が実行することにより実現される。

通信部２００は、図６を参照して後述するＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）６４０によって実現でき、ネットワーク１４０を介して、撮像装置１１０や記録装置１２０と通信を行う。通信部２００は、例えば、撮像装置１１０が撮像した画像の画像データを受信したり、撮像装置１１０を制御するための制御コマンドを撮像装置１１０へ送信したりする。なお、制御コマンドは、例えば、撮像装置１１０に対して画像を撮像するよう指示を行うコマンド、または、撮像した画像を送信するよう要求する送信要求であって送信対象となる撮像画像の撮像日時の指定を含む送信要求のコマンドなどである。送信要求のコマンドを受け取った撮像装置１１０は、送信要求に含まれる撮像日時に対応する画像の画像データを画像処理装置１００に送信する。

記憶部２０１は、図６を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６３０等によって実現でき、例えば、通信部２００が取得した画像の画像データを記憶（保持）する。操作受付部２０２は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。

検出部２０３は、撮像装置１１０に撮像された画像に対して人物を検出する検出処理を実行する。本実施形態における検出部２０３は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、画像に含まれる人物の検出を行う。なお、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。なお、照合パターンとして、斜め方向からや上方向からなど他の角度から人物を見た場合の照合パターンを用意しておいてもよい。また、人物を検出するにあたって、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。なお、本実施形態における検出部２０３は、画像から人物を検出する方法として、パターンマッチング処理を用いるが、他の従来技術を用いて画像から人物を検出してもよい。

特定部２０４は、撮像装置１１０により撮像された画像である基準画像における人物が含まれる部分領域を特定する。本実施形態における特定部２０４は、基準画像に対する検出部２０４による検出処理の結果に基づき、基準画像における人物が含まれる部分領域を特定する。例えば、検出部２０３は、基準画像に対し検出処理を実行し、特定部２０４は、基準画像から検出された人物の位置に基づき、当該人物の外接矩形を部分領域として基準画像上で特定する。

抽出部２０５は、基準画像と異なるタイミングで撮像装置１１０により撮像された複数の画像から、所定の条件に基づき、人物が含まれない背景画像の生成に用いる一又は複数の画像を対象画像として抽出する。

背景生成部２０６は、抽出部２０５により抽出された一又は複数の対象画像各々の部分領域に対応する対応領域に対する検出処理の結果に基づき選択された対象画像と、基準画像とに基づき、人物が含まれない背景画像を生成する。具体的には、検出部２０３は、抽出部２０５により抽出された一又は複数の対象画像各々における領域であって、特定部２０４により基準画像上で特定された部分領域に対応する領域である対応領域に対し、人物を検出する検出処理を実行する。そして、背景生成部２０６は、対応領域に対する検出処理の結果に基づき、一又は複数の対象画像のうち、対応領域において人物が検出されなかった対象画像を選択する。そして、背景生成部２０６は、対応領域において人物が検出されなかった対象画像と、基準画像とに基づき、背景画像を生成する。例えば、背景生成部２０６は、人物が検出されなかった対応領域の部分の画像と、基準画像とを合成することで、背景画像を生成する。

合成部２０７は、撮像装置１１０により撮像された画像から検出された人物を抽象化した画像である抽象化画像と、背景生成部２０６により生成された背景画像とを合成することで、人物のプライバシー保護がなされた画像である保護画像を生成する。

出力制御部２０８は、合成部２０７により生成された保護画像を出力する。例えば、出力制御部２０８は、ネットワーク１４０を介して、合成部２０７により生成された保護画像を記録装置１２０に送信したり、他の外部装置（不図示）に出力したりする。また、出力制御部２０８は、例えば、合成部２０７により生成された保護画像をディスプレイ１３０に表示させたりする。

ここで、図３を参照して、本実施形態における画像処理装置１００による背景画像を生成する生成処理についてより具体的に説明する。図３（ａ）は、或る時刻ａに撮像された画像である基準画像３００ａに対して検出処理が実行された結果を示す図である。図３（ａ）に示す基準画像３００ａには人物３１０と人物３２０とが映っている。また、図３（ａ）において、部分領域３０１ａは、基準画像３００ａから検出部２０３により検出された人物３１０の外接矩形の領域であり、部分領域３０２ａは、基準画像３００ａから検出部２０３により検出された人物３２０の外接矩形の領域である。また、図３（ｂ）～図３（ｄ）の各々は、基準画像３００ａと異なるタイミングで撮像装置１１０に撮像された複数の画像から、抽出部２０５により所定の条件に基づき抽出された対象画像３００ｂ、３００ｃ、３００ｄを示している。なお、本実施形態における抽出部２０５は、例えば、次のような処理を実行することで、撮像装置１１０により撮像された複数の画像から、対象画像を抽出する。すなわち、抽出部２０５は、撮像装置１１０により撮像された複数の画像から、基準画像３００ａが撮像された時刻ａから所定範囲の期間において撮像装置１１０に撮像された画像を対象画像として抽出する。このとき、抽出部２０５は、例えば、基準画像３００ａが撮像された時刻ａを起点として前後１０分以内の期間において撮像装置１１０に撮像された画像を対象画像として抽出する。なお、図３に示す例では、複数の画像が対象画像として抽出されているが、一つの画像が対象画像として抽出されてもよい。以上のようにして抽出部２０５に抽出された対象画像３００ｂ、３００ｃ、３００ｄの各々に対し、特定部２０４は、基準画像３００ａにおける部分領域３０１ａ，３０２ａに対応する対応領域を特定する。図３（ｂ）では、特定部２０４は、対象画像３００ｂにおいて、基準画像３００ａ上の部分領域３０１ａに対応する対応領域３０１ｂと、基準画像３００ａ上の部分領域３０２ａに対応する対応領域３０２ｂとを特定する。同様に、図３（ｃ）では、特定部２０４は、対象画像３００ｃにおいて、基準画像３００ａ上の部分領域３０１ａに対応する対応領域３０１ｃと、基準画像３００ａ上の部分領域３０２ａに対応する対応領域３０２ｃとを特定する。同様に、図３（ｄ）では、特定部２０４は、対象画像３００ｄにおいて、基準画像３００ａ上の部分領域３０１ａに対応する対応領域３０１ｄと、基準画像３００ａ上の部分領域３０２ａに対応する対応領域３０２ｄとを特定する。なお、本実施形態において、基準画像における部分領域の位置関係、および、対象画像における対応領域の位置関係は略同一となる。例えば、画像（基準画像、対象画像など）の左上の頂点を原点とした場合、基準画像における或る部分領域の各頂点の（Ｘ，Ｙ）座標と、当該部分領域に対応する対象画像上の対応領域の各頂点の（Ｘ，Ｙ）座標とが同一になる。図３（ａ）～（ｂ）に示す例では、例えば、基準画像３００ａにおける部分領域３０１ａの左上頂点の（Ｘ，Ｙ）座標と、対象画像３００ｂにおける部分領域３０１ｂの左上頂点の（Ｘ，Ｙ）座標とが同一となる。

対象画像３００ｂ、３００ｃ、３００ｄの各々に対し特定部２０４により対応領域が特定されたのち、検出部２０３は、対象画像３００ａ、３００ｃ、３００ｄの各々において特定された対応領域に対し、人物の検出処理を実行する。この結果、図３（ｂ）の例では、対象画像３００ｂの対応領域３０１ｂにおいて人物が検出されず、対象画像３００ｂの対応領域３０２ｂにおいて人物が検出される。また、図３（ｃ）の例では、対象画像３００ｃの対応領域３０１ｃにおいて人物が検出され、対象画像３００ｃの対応領域３０２ｃにおいて人物が検出されない。図３（ｄ）の例では、対象画像３００ｄの対応領域３０１ｄおよび対応領域３０２ｄの両方において人物が検出される。なお、検出部２０３は、対象画像における対応領域の全体のみに検出処理を実行するにようにしてもよいが、これに限らない。例えば、検出部２０３は、対象画像における対応領域を所定倍率だけ拡大した領域である拡張対応領域に対し検出処理を実行してもよい。このとき、図３（ｃ）に示す例では、検出部２０３は、対応領域３０１ｃを所定倍率（例えば１．２倍）だけ拡大した拡張対応領域に対して検出処理を実行する。そして、検出部２０３は、対応領域３０１ｃに対する拡張対応領域において人物が検出された場合、対応領域３０１ｃにて人物が検出されたと判断し、拡張対応領域において人物が検出されなかった場合、対応領域３０１ｃにて人物が検出されていないと判断する。

背景生成部２０６は、抽出部２０５により抽出された対象画像３００ｂ～ｄのうち、部分領域にて人物が検出されなかった対象画像を選択する。図３の例では、対象画像３００ｂの対応領域３０１ｂと、対象画像３００ｃの対応領域３０２ｃとにおいて人物が検出されなかったため、背景生成部２０６は、対象画像３００ｂおよび対象画像３００ｃを選択する。そして、背景生成部２０６は、対象画像３００ｂの対応領域３０１ｂの部分の画像と、対象画像３００ｃの対応領域３０２ｃの部分の画像と、基準画像３００ａとに基づいて、図３（ｅ）に示す背景画像３００ｅを生成する。このとき、背景生成部２０６は、例えば、基準画像３００ａの部分領域３０１ａの位置に、対応領域３０１ｂの部分の画像を合成し、同様に、基準画像３００ａの部分領域３０２ａの位置に、対応領域３０２ｃの部分の画像を合成する。このようにすることで、背景生成部２０６は、図３（ｅ）に示す背景画像３００ｅを生成する。図３（ｅ）に示すように、人物が含まれない対応領域の画像と基準画像３００ａとに基づき生成された背景画像３００ｅにおいて人物は含まれていない。

続いて、図４に示すフローを参照して、本実施形態における画像処理装置１００による背景画像を生成する生成処理についてより詳細に説明する。なお、図４に示すフローの処理を実行することで、プライバシー保護の対象である人物が含まれない背景画像を生成することができる。なお、図４に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。なお、図４に示すフローチャートの処理は、画像処理装置１００のＲＯＭ６２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ６００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

まず、Ｓ４０１にて、通信部２００は、撮像装置１１０に撮像された画像である基準画像を取得する。なおこのとき、通信部２００は、例えば、操作受付部２０２が受け付けたユーザ操作に基づき、基準画像を取得するようにしてもよい。例えば、ユーザにより日時を指定する操作を受け付けた場合、通信部２００は、当該指定された日時（以下、指定日時）に最も近い時刻に撮像された画像を要求するコマンドを撮像装置１１０や記録装置１２０に送信する。そして、通信部２００は、指定時刻に最も近い時刻に撮像された画像を撮像装置１１０や記録装置１２０から基準画像として取得するようにしてもよい。図３に示す例では、通信部２００は、基準画像３００ａを取得する。

次に、Ｓ４０２にて、検出部２０３は、基準画像に対し人物を検出する検出処理を実行する。次に、Ｓ４０３にて、基準画像にて人物が検出されなかった場合（Ｓ４０３にてＮｏ）、Ｓ４０４に遷移し、Ｓ４０４にて、記憶部２０１は、Ｓ４０１で取得した基準画像を背景画像として記録する。一方、基準画像にて人物が検出された場合（Ｓ４０３にてＹｅｓ）、Ｓ４０５に遷移する。Ｓ４０５にて、特定部２０４は、基準画像において検出された人物が含まれる部分領域を特定する。図３に示す例では、特定部２０４は、基準画像３００ａから検出された人物３１０、３２０各々に対し部分領域３０１ａ、３０２ａを特定する。なお、本実施形態における特定部２０４は、図３（ａ）に示すように、検出された人物を外接する外接矩形の領域を当該人物に対する部分領域として特定する。

次に、Ｓ４０６にて、抽出部２０５は、基準画像と異なるタイミングで撮像装置１１０により撮像された複数の画像から、所定の条件に基づき、人物が含まれない背景画像の生成に用いる一又は複数の画像を対象画像として抽出する。ここで、図３を参照して、抽出部２０５により対象画像を抽出する方法について説明する。対象画像を抽出する一つ目の方法として、抽出部２０５は、撮像装置１１０により撮像された複数の画像から、基準画像３００ａが撮像された日時から所定期間において撮像装置１１０に撮像された画像を対象画像として抽出する。このとき、基準画像３００ａが“２０２０年７月１日１３時”に撮像され、所定期間を２時間とした場合を想定する。ここで抽出部２０５は、撮像装置１１０に撮像され通信部２００に取得された複数の画像から、“２０２０年７月１日１３時”を起点とした前後１時間の範囲である“２０２０年７月１日１２時～１４時”の時間帯にて撮像された画像を対象画像として抽出する。

また、対象画像を抽出する二つ目の方法として、抽出部２０５は、次のような処理を実行する。すなわち、抽出部２０５は、基準画像３００ａが撮像された日と異なる日における時間帯であって、当該基準画像３００ａの撮像時刻に対応する時間帯に撮像された画像を対象画像として抽出する。このとき、基準画像３００ａの撮像日時が“２０２０年７月１日１３時”であり、撮像時刻に対応する時間帯は当該撮像時刻の前後１時間の期間である場合を想定する。この場合、抽出部２０５は、“２０２０年７月１日”の前日における時間帯であって、基準画像３００ａの撮像時刻“１３時”に対応する時間帯である“２０２０年６月３０日１２時～１４時”に撮像された画像を対象画像として抽出する。なお、基準画像の撮像された日（撮像日）の前日における時間帯であって基準画像の撮像時刻に対応する時間帯に撮像された画像を対象画像として抽出したが、これに限らない。例えば、抽出部２０５は、基準画像の撮像された日（撮像日）の翌日における時間帯であって基準画像の撮像時刻に対応する時間帯に撮像された画像を対象画像として抽出してもよい。また抽出部２０５は、基準画像の撮像された日（撮像日）の所定日数前（又は所定日数後）における時間帯であって基準画像の撮像時刻に対応する時間帯に撮像された画像を対象画像として抽出してもよい。

また、対象画像を抽出する三つ目の方法として、色情報を用いる方法がある。抽出部２０５は、例えば、基準画像の部分領域の外縁の色情報と、基準画像と異なるタイミングで撮像された画像における当該部分領域と対応する対応領域の外縁の色情報とが類似しているかを判定する。そして、抽出部２０５は、類似していると判定した場合、当該画像を対象画像として抽出する。なおこのとき、本実施形態における色情報として、ＲＧＢ値を用いるものとするが、例えばＹＵＶ値など他の色を示す情報を用いてもよい。図３に示す例において、抽出部２０５は、例えば、基準画像３００ａの部分領域３０１ａの外縁のＲＧＢ値の分布と、当該部分領域３０１ａに対応する他の画像上の対応領域の外縁のＲＧＢ値の分布とを比較することで類似度を算出する。このとき算出した類似度が閾値以上である場合、抽出部２０５は、当該他の画像を対象画像として抽出する。なお、図３（ａ）に示すように、基準画像上に複数の部分領域が存在する場合、抽出部２０５は、当該複数の部分領域のうち少なくとも１つの部分領域の外縁の色情報と類似していると判定された他の画像を対象画像として抽出する。

また、対象画像を抽出する四つ目の方法として、人物の移動の推定を用いた方法がある。図３に示す例において、抽出部２０５は、人物３１０に対する追尾の結果の情報基づき、人物３１０が部分領域３０１ａから外れる時刻を推定する。例えば、検出部２０３は、基準画像３００ａから直近Ｎフレーム前（Ｎは整数）の画像全体に対し検出処理を実行し、当該直近Ｎフレーム前の画像にて検出された人物について追尾を行う。なおこのとき、検出部２０３は、局所探索を実行することで人物の追尾を行うものとする。具体的には、検出部２０３は、直近Ｎフレーム前の画像において検出された人物の位置を含む局所領域を特定し、検出部２０３は、当該Ｎフレーム前の画像の次フレームの画像における当該局所領域に対し検出処理を実行する。このように、人物の追尾を実行するにあたって、局所探索により検出処理が実行される領域を絞ることで検出処理に係る処理負荷を低減することができる。このようにして本実施形態における検出部２０３は、図３に示す例において、直近Ｎフレーム前の画像から基準画像３００ａの画像までの複数のフレーム（Ｎ＋１フレーム）にわたり人物３１０の追尾を行う。そして、抽出部２０５は、検出部２０３により追尾された人物３１０の移動方向と、人物３１０の移動速度と、部分領域３０１ａのサイズとに基づき、人物３１０が部分領域３０１ａから外れる時間帯を推定する。例えば、画像水平方向に人物３１０が平均速度１０（ｐｉｘｅｌ／ｓｅｃ）で移動しており、部分領域３０１ａのサイズが１００×１２０（ｐｉｘｅｌ）である場合を想定する。このとき、抽出部２０５は、例えば、部分領域３０１ａの水平方向のサイズ“１２０（ｐｉｘｅｌ）”を人物３１０の平均速度“１０（ｐｉｘｅｌ／ｓｅｃ）”で割った値である“１２（ｓｅｃ）”を算出する。これより、抽出部２０５は、１２秒後には人物は部分領域３０１ａから外れていると推定する。そして、抽出部２０５は、基準画像３００ａの撮像日時の１２秒後から所定時間後までの時間帯に撮像された画像を対象画像として抽出する。なお、図３（ａ）に示すように、基準画像３００ａに複数の部分領域（複数の人物）が存在する場合、当該複数の部分領域の各々について、部分領域から人物が外れる時間帯を推定し、当該時間帯に撮像された画像を対象画像として抽出する。

以上説明したような方法を用いて、Ｓ４０５にて、抽出部２０５は、撮像装置１１０により撮像され通信部２００に取得された複数の画像から、背景画像の生成に用いる一又は複数の対象画像を抽出する。なお、以降の説明において、本実施形態における抽出部２０５は、一つ目の方法を用いて、対象画像を抽出するものとして説明する。すなわち、本実施形態における抽出部２０５は、撮像装置１１０により撮像された複数の画像から、基準画像３００ａが撮像された日時から所定範囲の期間において撮像装置１１０に撮像された画像を対象画像として抽出する。なお図３に示す例において、Ｓ４０６にて抽出部２０５は、対象画像３００ｂ，３００ｃ，３００ｄを抽出する。

次に、Ｓ４０７にて、検出部２０３は、Ｓ４０６にて抽出部２０５により抽出された一又は複数の対象画像から未だ注目対象としていない対象画像の１つを注目対象として決定する。ここで図３に示す例において、検出部２０３は、対象画像３００ｂを注目対象として決定した場合を想定する。なお、検出部２０３は、例えば、一又は複数の対象画像のうち、未だ注目対象としておらず最も撮像時刻が早い対象画像を注目対象として決定する。

次に、Ｓ４０８にて、検出部２０３は、注目対象である対象画像における対応領域に対し人物の検出処理を実行する。対象画像３００ｂを注目対象として決定している場合、検出部２０３は、対応領域３０１ｂおよび対応領域３０２ｂそれぞれに対し検出処理を実行する。検出処理の結果、対応領域３０１ｂからは人物は検出されず、対応領域３０２ｂからは人物が検出される。

次にＳ４０９にて、背景生成部２０６は、全ての部分領域について、人物が含まれない画像が得られたかを判定する。このとき具体的には、図３に示す例において、背景生成部２０６は、部分領域３０１ａに対応する対応領域、および、部分領域３０２ａに対応する対応領域のそれぞれについて、人物が検出されない対応領域が得られたかを判定する。対象画像３００ｂ～３００ｃのうち対象画像３００ｂのみを注目対象として決定している場合、部分領域３０１ａに対応する対応領域３０１ｂでは人物が検出されてないものの、部分領域３０２ａに対応する対応領域３０２ｂでは人物が検出されている。そのため、部分領域３０１ａについては人物が含まれない対応領域の画像が得られたものの、部分領域３０２ａについては人物が含まれない対応領域の画像が得られてないため、Ｓ４０９ではＮｏとして、Ｓ４１０へ遷移する。なおこのとき、以降の処理では、部分領域３０１ａについて既に人物が含まれない対応領域の画像（対応領域３０１ｂの画像）が得られたため、部分領域３０１ａに対応する対応領域は検出処理の対象から除外する。

Ｓ４１０にて、全ての対象画像を注目対象として決定した場合（Ｓ４１０にてＹｅｓ）、Ｓ４１１へ遷移する。なおＳ４１１についての処理は後述する。全ての対象画像を注目対象として決定してない場合（Ｓ４１０にてＮｏ）、Ｓ４０７へ遷移し、検出部２０３は、次に注目対象とする対象画像を決定する。図３に示す例において、対象画像３００ｂがはじめに注目対象として決定されていた場合を想定する。このとき、Ｓ４１０からＳ４０７へ遷移した場合、Ｓ４０７にて、検出部２０３は、次に注目対象とする対象画像として対象画像３００ｃを検出する。そして、Ｓ４０８にて、検出部２０３は、注目対象とした対象画像３００ｃにおける対応領域に対し検出処理を実行する。なお、上述したように、部分領域３０１ａについて人物が含まれない画像（対応領域３０１ｂの画像）が得られたため、部分領域３０１ａに対応する対象画像３００ｃ上の対応領域３０１ｃに対して検出処理は実行しない。すなわち、対象画像３００ｂに続いて対象画像３００ｃを注目対象とした場合のＳ４０８にて、検出部２０３は、対象画像３００ｃにおける部分領域３０２ｃに対してのみ、検出処理を実行する。このとき、図３（ｃ）に示すように、部分領域３０２ｃにおいて人物が検出されない。次に、Ｓ４０９にて、背景生成部２０６は、全ての部分領域について、人物が含まれない画像が得られたかを再度判定する。このとき、図３に示す例において、背景生成部２０６は、部分領域３０１ａについて人物が含まれない画像（対応領域３０１ｂの部分の画像）が得られ、部分領域３０２ａについて人物が含まれない画像（対応領域３０２ｃの部分の画像）が得られている。そのため、背景生成部２０６は、全ての部分領域について、人物が含まれない画像が得られたと判定し（Ｓ４０９にてＹｅｓ）、Ｓ４１２へ遷移する。

次に、Ｓ４１２にて、背景生成部２０６は、対象画像における人物が含まれない対応領域の画像と、基準画像とに基づき、背景画像を生成する。図３に示す例において、背景生成部２０６は、対象画像３００ｂの対応領域３０１ｂの部分の画像と、対象画像３００ｃの対応領域３０２ｃの部分の画像と、基準画像３００ａとに基づいて、図３（ｅ）に示す背景画像３００ｅを生成する。このとき、背景生成部２０６は、例えば、基準画像３００ａの部分領域３０１ａの位置に、対応領域３０１ｂの部分の画像を合成し、同様に、基準画像３００ａの部分領域３０２ａの位置に、対応領域３０２ｃの画像を合成することで、背景画像３００ｅを生成する。次に、Ｓ４１３にて、記憶部２０１は、Ｓ４１２にて生成された背景画像を記録する。

ここでＳ４１１の処理について説明する。Ｓ４０９にて全ての部分領域について人物が含まれない画像を取得できず（Ｓ４０９にてＮｏ）、且つ、抽出部２０５により抽出された全ての対象画像を既に注目対象としている場合（Ｓ４１０にてｙｅｓ）、Ｓ４１１へ遷移する。Ｓ４１１にて、出力制御部２０８は、人物が含まれない背景画像を適切に生成できなかったことを示す情報（所定のメッセージなど）をディスプレイ１３０に表示させる。このとき更に、出力制御部２０８は、基準画像を変更したり、対象画像を抽出する条件を変更したりするための設定画面をディスプレイ１３０に表示させる。このように、人物が含まれない背景画像を適切に生成できなかったことをユーザに通知するとともに、対象画像を抽出する条件や基準画像の変更を促すことができる。そして、ユーザにより対象画像を抽出する条件や基準画像を変更するためのユーザ操作を操作受付部２０２が受け付けた場合、ユーザにより変更された対象画像を抽出する条件又は基準画像に基づき、図４に示すフローの処理を再度実行する。

以上説明したように、図４に示すフローの処理を実行することで人物が含まれない背景画像を生成することができる。なお、Ｓ４０２にて、ユーザによる指定日時に最も近いタイミングで撮像された画像である基準画像に対する検出処理の結果、当該基準画像において所定数以上の人物が検出された場合、通信部２００は、別の基準画像を取得してもよい。この場合、通信部２００は、例えば、Ｓ４０１で取得された基準画像の撮像日時から所定時間前に撮像された画像を取得して、取得した当該画像を新たな基準画像としてもよい。またこのとき、Ｓ４０２にて、検出部２０３は、取得された新たな基準画像に対して検出処理を実行し、検出された人物の数が所定数未満であれば当該新たな基準画像をＳ４０３～Ｓ４１３の処理で用いる基準画像とする。一方、検出された人物の数が所定数以上であれば、通信部２００は、再度別の画像を新たな基準画像として取得するようにしてもよい。このように人物の数が所定数未満となる基準画像が得られるまでＳ４０１～Ｓ４０２の処理を繰り返してもよい。

ここで、図５に示すフローの処理を参照して、本実施形態における画像処理装置１００による保護画像を生成する処理について説明する。図５に示すフローの処理を実行することで、本実施形態における画像処理装置１００は、撮像装置１１０に撮像された画像に含まれる人物のプライバシーを保護した保護画像を生成することができる。なお図５に示すフローの処理は、例えば、ユーザによる指示に従って、開始又は終了するものとする。また、図５に示すフローチャートの処理は、画像処理装置１００のＲＯＭ６２０に格納されたコンピュータプログラムを画像処理装置１００のＣＰＵ６００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

まず、Ｓ５０１にて、通信部２００は、撮像装置１１０により撮像された処理対象の画像を取得する。このとき、通信部２００は、撮像装置１１０により撮像された静止画を取得してもよいし、撮像装置１１０により撮像された動画を構成する複数フレームのうち１つの画像を取得してもよい。

次に、Ｓ５０２にて、検出部２０３は、Ｓ５０１にて取得された画像からプライバシー保護の対象を検出する。本実施形態において、検出部２０３は、処理対象の画像に対して検出処理を実行することでプライバシー保護の対象である人物を検出する。なお、本実施形態では、パターンマッチング法を用いて、処理対象の画像からプライバシー保護の対象を検出したが、これに限らない。例えば、検出部２０３は、背景差分法を用いて、図４のフローの処理を経て得られた背景画像と、処理対象の画像との比較に基づき特定される前景の領域をプライバシー保護の対象である人物の領域として検出してもよい。

次に、Ｓ５０３にて、合成部２０７は、処理対象の画像から検出された人物を抽象化した画像である抽象化画像を生成する。このとき、合成部２０７による人物の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）した抽象化画像は、例えば、人物の領域を任意の色（ＲＧＢ値）で塗りつぶしたマスク画像である。また、合成部２０７による人物の領域を抽象化（Ａｎｏｎｙｍｉｚａｔｉｏｎ）した抽象化画像は、例えば、人物の領域に対しモザイク処理を施したモザイク画像や、人物の領域にぼかし処理を施したぼかし画像などであってもよい。

次に、Ｓ５０４にて、合成部２０７は、処理対象の画像から検出された人物を抽象化した抽象化画像と、背景生成部２０６により生成された背景画像とを合成することで、人物のプライバシー保護がなされた画像である保護画像を生成する。次に、Ｓ５０５にて、出力制御部２０８は、Ｓ５０４にて生成された保護画像を外部装置に出力する。例えば、出力制御部２０８は、Ｓ５０４にて生成された保護画像をディスプレイ１３０に表示させる。Ｓ５０６にて終了の指示がない場合（Ｓ５０６にてＮｏ）、Ｓ５０１へ遷移し、通信部２００は次に処理対象とする画像を取得する。また、Ｓ５０６にて終了の指示がある場合（Ｓ５０６にてＹｅｓ）、図５に示すフローの処理を終了する。このように、本実施形態における画像処理装置１００は、プライバシー保護の対象である人物を抽象化した抽象化画像と、図４のフローの処理を経て生成された背景画像とを合成することで、人物のプライバシーの保護がなされた保護画像を生成することができる。

以上説明してきたように、本実施形態における画像処理装置１００は、基準画像に対する検出処理に基づき、基準画像上に人物を含む部分領域を特定し、所定の条件に基づき抽出された一又は複数の対象画像の各々について対応領域に対し検出処理を実行する。そして、画像処理装置１００は、対象画像における人物が含まれない対応領域の画像と、基準画像とに基づき、背景画像を生成する。このように背景画像を生成する際に検出処理を実行する対象の領域を絞り込むことで、複数の撮像された画像の全ての領域に対する検出処理に基づく背景画像の生成に比べて、検出処理に係る処理負荷を低減しつつ効率的に背景画像を生成することが可能となる。

（その他の実施形態）
次に図６を参照して、各実施形態の各機能を実現するための画像処理装置１００のハードウェア構成を説明する。なお、以降の説明において画像処理装置１００のハードウェア構成について説明するが、記録装置１２０および撮像装置１１０も同様のハードウェア構成によって実現されるものとする。

本実施形態における画像処理装置１００は、ＣＰＵ６００と、ＲＡＭ６１０と、ＲＯＭ６２０、ＨＤＤ６３０と、Ｉ／Ｆ６４０と、を有している。

ＣＰＵ６００は画像処理装置１００を統括制御する中央処理装置である。ＲＡＭ６１０は、ＣＰＵ６００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ６１０は、ＣＰＵ６００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ６１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ６２０は、ＣＰＵ６００が画像処理装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ６３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ６４０は、ネットワーク１４０を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ６００が処理を実行する例について説明するが、ＣＰＵ６００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ１３０にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ６２０からプログラムコードを読み出してＲＡＭ７１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、画像処理装置１００の各部は、図６に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る画像処理装置１００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る画像処理装置１００の１以上の機能を撮像装置１１０が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 画像処理装置
１１０ 撮像装置
１２０ 記録装置
１３０ ディスプレイ
２００ 通信部
２０１ 記憶部
２０２ 操作受付部
２０３ 検出部
２０４ 特定部
２０５ 抽出部
２０６ 背景生成部
２０７ 合成部
２０８ 出力制御部

Claims (19)

1. 撮像手段により撮像された画像である基準画像において人物が含まれる部分領域を特定する特定手段と、
   前記基準画像と異なるタイミングで前記撮像手段により撮像された複数の画像から、所定の条件に基づき、人物が含まれない背景画像の生成に用いる一又は複数の画像を対象画像として抽出する抽出手段と、
   前記抽出手段により抽出された一又は複数の前記対象画像において、前記部分領域に対応する対応領域に対し人物を検出する検出処理を実行する検出手段と、
   前記対応領域に対する前記検出処理の結果に基づき一又は複数の前記対象画像から選択された対象画像と、前記基準画像とに基づき、前記背景画像を生成する生成手段とを有することを特徴とする画像処理装置。
2. 前記対応領域に対する前記検出処理の結果に基づき一又は複数の前記対象画像から選択された対象画像は、前記人物が検出されなかった前記対応領域を含む対象画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記人物が検出されなかった前記対応領域の部分の画像と、前記基準画像とに基づき、前記背景画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記抽出手段は、前記基準画像が撮像された日時に基づき、前記撮像手段に撮像された前記複数の画像から、一又は複数の前記対象画像を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記抽出手段は、前記基準画像が撮像された日と異なる日における時間帯であって前記基準画像が撮像された時刻に対応する時間帯に撮像された一又は複数の画像を前記対象画像として抽出することを特徴とする請求項４に記載の画像処理装置。
6. 前記抽出手段は、前記基準画像における前記部分領域の外縁の色情報に基づき、前記撮像手段に撮像された前記複数の画像から、一又は複数の前記対象画像を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記検出手段は、前記基準画像における前記人物を検出し、
   前記特定手段は、前記基準画像において前記検出手段に検出された人物の外接矩形の領域を当該人物が含まれる前記部分領域として特定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記撮像手段により撮像された画像から検出された人物を抽象化した抽象化画像と、前記生成手段により生成された背景画像とを合成した保護画像を生成する合成手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記合成手段により生成された保護画像を表示手段に表示させる出力制御手段を更に有することを特徴とする請求項８に記載の画像処理装置。
10. 撮像手段により撮像された画像である基準画像において人物が含まれる部分領域を特定する特定工程と、
    前記基準画像と異なるタイミングで前記撮像手段により撮像された複数の画像から、所定の条件に基づき、人物が含まれない背景画像の生成に用いる一又は複数の画像を対象画像として抽出する抽出工程と、
    前記抽出工程において抽出された一又は複数の前記対象画像において、前記部分領域に対応する対応領域に対し人物を検出する検出処理を実行する検出工程と、
    前記対応領域に対する前記検出処理の結果に基づき一又は複数の前記対象画像から選択された対象画像と、前記基準画像とに基づき、前記背景画像を生成する生成工程とを有することを特徴とする画像処理方法。
11. 前記対応領域に対する前記検出処理の結果に基づき一又は複数の前記対象画像から選択された対象画像は、前記人物が検出されなかった前記対応領域を含む対象画像であることを特徴とする請求項１０に記載の画像処理方法。
12. 前記生成工程において、前記人物が検出されなかった前記対応領域の部分の画像と、前記基準画像とに基づき、前記背景画像を生成することを特徴とする請求項１０又は１１に記載の画像処理方法。
13. 前記抽出工程において、前記基準画像が撮像された日時に基づき、前記撮像手段に撮像された前記複数の画像から、一又は複数の前記対象画像を抽出することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理方法。
14. 前記抽出工程において、前記基準画像が撮像された日と異なる日における時間帯であって前記基準画像が撮像された時刻に対応する時間帯に撮像された一又は複数の画像を前記対象画像として抽出することを特徴とする請求項１３に記載の画像処理方法。
15. 前記抽出工程において、前記基準画像における前記部分領域の外縁の色情報に基づき、前記撮像手段に撮像された前記複数の画像から、一又は複数の前記対象画像を抽出することを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理方法。
16. 前記検出工程において、前記基準画像における前記人物を検出し、
    前記特定工程において、前記基準画像において検出された前記人物の外接矩形の領域を当該人物が含まれる前記部分領域として特定することを特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理方法。
17. 前記撮像手段により撮像された画像から検出された人物を抽象化した抽象化画像と、前記生成工程において生成された背景画像とを合成した保護画像を生成する合成工程を更に有することを特徴とする請求項１０乃至１６のいずれか１項に記載の画像処理方法。
18. 前記合成工程において生成された保護画像を表示手段に表示させる出力制御工程を更に有することを特徴とする請求項１７に記載の画像処理方法。
19. コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images