JP2016144049A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】個人のプライバシーを考慮した背景画像を作成する。【解決手段】画像処理装置は、撮像された画像に映る被写体を検出し、該画像における前記被写体の混雑度を判定し、該撮影された画像における被写体の領域に対して画像処理を行い、画像処理された画像もしくは該撮像された画像を出力する。画像処理装置は、被写体を検出した場合、被写体の混雑度に応じて、異なる方法で画像処理を行う。【選択図】 図１

Description

本発明は、背景画像を生成する画像処理装置および画像処理方法に関する。

現在、監視カメラが広く設置されている一方で、監視カメラ映像に映る個人のプライバシー保護の重要性が高まっている。これに対し、人をシルエット化して表示することにより、個人が特定されず、プライバシーを保護する技術がある。こうした技術は、作成した背景画像にシルエット化された動体を重畳することにより、目的とした映像を作成している。

特許文献１には、入力画像から前景画像と人物のいない背景画像とを生成し、人物である前景画像にマスク処理やフィルタ処理を行った画像を背景画像に重畳することが記載されている。

特開２００９−２２５３９８号公報

しかしながら、人物が存在する状態で監視カメラ映像の背景画像が作成された場合、背景画像に該人物が含まれてしまい、プライバシーを保護できないケースが存在し得る。特許文献１の方法は、保護対象となる目的の人物が存在しない状態で背景画像が作成されることを前提としているため、上記課題となるケースが存在し得る。

本発明は上述した問題を解決するためになされたものであり、個人のプライバシーを考慮した背景画像を作成することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、撮像された画像に映る被写体を検出する検出手段と、前記撮像された画像における前記被写体の混雑度を判定する判定手段と、前記撮像された画像における前記被写体の領域に対して画像処理を行う画像処理手段と、前記画像処理手段により画像処理された画像もしくは前記撮像された画像を出力する出力手段と、を有し、前記検出手段により前記被写体が検出された場合、前記画像処理手段は、前記判定手段により判定された前記被写体の混雑度に応じて、異なる方法で前記画像処理を行うことを特徴とする。

以上の構成からなる本発明によれば、個人のプライバシーを考慮した背景画像を作成することが可能となる。

いくつかの実施形態におけるハードウェア構成の一例を示す図。 実施形態１の画像処理装置の機能ブロック構成の一例を示す図。 実施形態１における画像処理装置の処理フローを説明する図。 画像取得部２０１により取得された画像の一例を示す図。 実施形態２の画像処理装置の機能ブロック構成の一例を示す図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
図１は、本実施形態における画像処理装置のハードウェア構成の一例を示す図である。制御部１０１は例えばＣＰＵであり、各構成要素の動作を制御する。ＲＯＭ１０２は、制御命令つまりプログラムを格納する。ＲＡＭ１０３は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部１０４は、外部の装置と通信するための制御を行う。表示部１０５は、各種表示を行う。ユーザＩ／Ｆ（インタフェース）１０６は、利用者の操作を受け付ける。出力部１０７は、作成された画像を外部に出力する。

図２は、本実施形態における画像処理装置の機能ブロック構成の一例を示す図である。画像処理装置２００は、画像取得部２０１と被写体検出部２０２と混雑判定部２０３と背景画像作成管理部２０４（以下、管理部２０４）と画像不可視化処理部２０５（以下、不可視化部２０５）と画像補完処理部２０６（以下、補完処理部２０６）を備える。

画像取得部２０１は、レンズ、センサを備えた撮像部から、所定の間隔で画像を順次取得して、被写体検出部２０２および管理部２０４へ提供する。被写体検出部２０２は、画像取得部２０１より取得した画像に対して、プライバシーが保護されるべき被写体（例えば人物）の検出処理を行い、検出した被写体の追尾処理を行う。被写体の検出処理は、例えば、パターンマッチング処理により画像における被写体の中心座標と、被写体を囲む外接矩形の座標を検出する処理である。プライバシーが保護されるべき被写体の種別は、ユーザが任意に設定することが可能である。被写体の情報（以下、被写体情報）は、検出した全ての被写体についての中心座標と外接矩形の座標を含む。被写体検出部２０２は、１フレーム分の画像に対して検出処理を行う度に、被写体情報を後段の混雑判定部２０３と管理部２０４に提供する。ただし、被写体検出部２０２が被写体情報を提供する頻度は上記の頻度に限らない。

混雑判定部２０３は、被写体検出部２０２から取得した被写体情報より、混雑度を判定する。すなわち、混雑判定部は、混雑度が高い状態（混雑している状態）または混雑度が低い状態（混雑していない状態）の、２つの状態を判定する。画像中に存在する１つの被写体情報の外接矩形に別の被写体情報の外接矩形が重なっている場合、混雑判定部２０３は、混雑度が高い状態と判定する。また、画像中に存在する１つの被写体情報の外接矩形に別の被写体情報の外接矩形が重なっていない場合は、混雑判定部２０３は、混雑度が低い状態と判定する。なお、ここでは被写体情報の外接矩形を用いて混雑を判定する例を示したが、混雑判定部２０３が用いる方法はこれに限らず、動体検知を用いる方法や、外部センサを用いる方法など、混雑を判定する方法であれば何であってもよい。混雑判定部２０３により判定された混雑状態は、後段の管理部２０４に提供される。

管理部２０４は、被写体検出部２０２から取得した被写体情報、および必要であれば混雑判定部２０３から取得した混雑状態に基づいて、複数の背景画像作成処理方法から１つの処理方法を選択する。本実施形態における背景画像作成処理方法は、画像不可視化処理を行う方法、および画像補完処理を行う方法を含む。また、管理部２０４は、画像取得部２０１から提供された画像をそのまま背景画像として出力することもできる。管理部２０４が、どのような背景画像を出力するかの制御方法については、後述する。

管理部２０４は、画像不可視化処理を行う方法を選択した場合、画像取得部２０１から提供された画像を不可視化部２０５に出力し、その後、不可視化部２０５により不可視化された画像を取得する。また、管理部２０４は、画像補完処理を行う方法を選択した場合、画像取得部２０１から提供された画像を補完処理部２０６に出力し、その後、補完処理部２０６により補完処理された画像を取得する。管理部２０４は、画像不可視化処理を行う方法、または画像補完処理を行う方法を選択した場合、選択した処理方法により処理された画像を、背景画像として出力する。

次に、本実施形態における画像処理装置が背景画像を出力するための制御について説明する。図３は、本実施形態における画像処理装置の処理フローを説明する図である。また、図４は、画像取得部２０１により取得された画像例を示している。

背景画像作成処理が開始されると、被写体検出部２０２は、画像取得部２０１で取得された画像に映る、プライバシーが保護されるべき被写体（例えば人体）の検出を行う（Ｓ３０１）。被写体検出部２０２は、被写体の中心座標と、被写体を囲む外接矩形の座標を検出できた場合は、これらの座標を被写体情報に含めて、混雑判定部２０３と管理部２０４へ出力する。なお、被写体検出部２０２は、これらの座標を検出できなかった場合は、座標を含まない被写体情報、または、座標が検出されなかったことを示す情報を含んだ被写体情報を出力する。次に、管理部２０４は、被写体検出部２０２から取得した被写体情報から、画像中に被写体

図４の画像４００のように、画像取得部２０１で取得された画像において被写体が存在しない場合、被写体検出部２０２から取得した被写体情報には、座標の情報が含まれていない、もしくは、座標が検出されなかったことを示す情報が含まれる。この場合、管理部２０４は、画像取得部２０１から取得した画像に被写体が存在しないと判断し（Ｓ３０２のＮｏ）、画像取得部２０１から入力された画像を、そのまま背景画像として出力する（Ｓ３０８）。

画像取得部２０１で取得された画像において被写体が存在する場合、被写体検出部２０２から取得した被写体情報には、座標の情報が含まれる。この場合、管理部２０４は、画像取得部２０１から取得した画像に被写体が存在すると判断し（Ｓ３０２のＹｅｓ）、次に、被写体の大きさが所定値以上であるかを判断する（Ｓ３０３）。所定値は、あらかじめ設定された値であってもよいし、画像処理装置が処理中であっても外部から与えられるパラメータであってもよい。

被写体の大きさが所定値以上であり、被写体が画像全体に占める割合が大きい場合（Ｓ３０３のＹｅｓ）、画像補完処理による被写体の隠蔽は難しい。この場合、管理部２０４は、画像中に存在する被写体を隠蔽するために、被写体の領域に対して画像不可視化処理を行う方法を選択する。画像不可視化処理は、プライバシーが保護されるべき被写体領域に対して不鮮明化やモザイク処理を行うことで、画像を不可視化する処理である。例えば、画像取得部２０１で図４の画像４１０のような画像が取得された場合、被写体検出部２０２により検出された被写体の外接矩形は、外接矩形４１１のように表される。この場合、被写体が画像全体に占める割合が大きいことから、管理部２０４は、被写体を隠蔽するために、画像不可視化処理を行う方法を選択し、不可視化部２０５に画像を出力する。そして、不可視化部２０５は、取得した画像において被写体の領域に対して不可視化処理を行い（Ｓ３０７）、不可視化処理された画像を、管理部２０４に出力する。管理部２０４は、不可視化処理された画像を、背景画像として出力する（Ｓ３０８）。

被写体の大きさが所定値未満であり、被写体が画像全体に占める割合が小さい場合（Ｓ３０３のＮｏ）、管理部２０４は、混雑判定部２０３から混雑状態を取得し（Ｓ３０４）、該混雑状態に基づいて、背景画像処理方法を選択する（Ｓ３０５）。混雑判定部２０３は、被写体検出部２０２から取得した被写体情報から、被写体の混雑具合を判定する。混雑判定部２０３は、被写体の混雑具合として、画像中の被写体（人体）の数や大きさ、また外接矩形の重なりから、混雑度が高いか低いかの２つの状態を判断する。なお、ここでは被写体の数や外接矩形による混雑判定方法を示すが、動体検知による方法など、他の方法であっても構わない。

画像取得部２０１により、例えば図４の画像４２０のような画像が取得された場合、被写体検出部２０２による検出結果である被写体の外接矩形は、外接矩形４２１のように表される。この場合、被写体が画像全体占める割合は小さい。また、被写体は１つであり、混雑具合も低いため、混雑判定部２０３は、Ｓ３０５で混雑度が低いと判定する。このような場合、管理部２０４は、画像中の被写体を隠蔽するために、被写体の領域に対して画像補完処理を行う方法を選択し、補完処理部２０６に画像を出力する。画像補完処理は、例えば、被写体の周辺の画素や画素パッチを利用することにより画像補完を行う処理である。補完処理部２０６は、取得した画像において被写体の領域に対して画像補完処理を行い（Ｓ３０６）、画像補完処理された画像を、管理部２０４へ出力する。管理部２０４は、画像補完処理された画像を、背景画像として出力する（Ｓ３０８）。

また、画像取得部２０１により、例えば図４の画像４３０のような画像が取得された場合、被写体検出部２０２による検出結果である被写体の外接矩形は、外接矩形４３１から４３７のように表される。この場合、個々の被写体が画像全体に占める割合は小さい。また混雑度に関しては、被写体の数は多く、外接矩形はそれぞれ重なりがあるため、管理部２０４は、混雑度が高いと判定する。このような場合、例えば画像補完処理が行われたとしても、補完するためのパッチに他の人の顔が表われる場合があり、プライバシーを守る目的を達成できない可能性がある。そのため、このように被写体が画像全体に占める割合が小さい場合であっても、混雑度が高い場合には、管理部２０４は、画像不可視化処理を用いる方法を選択し、不可視化部２０５に画像を出力する。そして、不可視化部２０５は、取得した画像において被写体部の領域に対して不可視化処理を行い（Ｓ３０７）、不可視化処理された画像を、管理部２０４に出力する。管理部２０４は、不可視化処理された画像を、背景画像として出力する（Ｓ３０８）。

なお、本実施形態では、図３を用いて、Ｓ３０３で被写体の大きさを判定し、Ｓ３０５で混雑度を判定する例を示したが、Ｓ３０３の判定を省略する実施形態としてもよい。

以上説明したように、本実施形態による画像処理装置は、背景画像を作成する際、被写体の検出、混雑の判定を行い、被写体の大きさ、数、そして混雑度等を考慮し、背景画像の作成方法を選択する。これにより、画像処理装置は、背景画像を作成する際、被写体が存在しない画像を必要とするという前提条件なく、背景画像を作成することができる。また、画像処理装置は、背景画像を作成する方法を状況により選択することにより、背景画像に被写体が表示されることなく、プライバシーが守られた背景画像を作成することができる。

＜実施形態２＞
図５は、実施形態２における画像処理装置の機能ブロック図である。本実施形態における画像処理装置は、実施形態１で説明した図２に含まれる構成に加え、画像保存部５０１と画像補完処理部５０２（以下、補完処理部５０２）を含む。以下、実施形態１と異なる点を説明する。

画像保存部５０１には、過去の画像および被写体検出部２０２による検出結果、混雑判定部２０３による混雑判定結果が保存されている。画像保存部５０１には、画像に関連した被写体情報、混雑状態が保存されてもよい。補完処理部５０２は、画像補完を行う際、画像保存部５０１を参照する。画像補完の対象となる部分画像（被写体が存在する領域）に被写体が存在しない画像が、画像保存部５０１に保存されている場合、補完処理部５０２は、この保存されている画像を画像保存部５０１から取得する。補完処理部５０２は、被写体が存在する領域を、取得した画像を切り出した部分画像で重畳することにより、被写体が表示されない背景画像を作成する。また、補完処理部５０２は、補完を行う部分の周囲画素を、画像保存部５０１から取得してもよい。

実施形態２における画像処理装置の動作フローは、図３と同じである。以上により、本実施形態における画像処理装置は、背景画像を作成する場合、保存された画像を考慮して処理方法を選択することで、背景画像に被写体が表示されることなく、プライバシーが守られた背景画像を作成することができる。なお、第１及び第２の実施形態では、混雑度が高い（混雑している）状態と混雑度が低い（混雑していない）状態とを判別する場合の例を説明した。また、プライバシーを保護すべき被写体のサイズが閾値以上であるか否かを判別する場合の例を説明した。しかし、この例に限らない。例えば、被写体のサイズや混雑度のレベルを３段階以上の段階に分けて判別するようにしてもよい。この場合、多段階に判別された被写体のサイズと混雑度のレベルに基づいて背景画像の作成方法を決定することが可能となる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 制御部、 １０２ ＲＯＭ、 １０３ ＲＡＭ、 １０４ 通信部、 １０５ 表示部、 １０６ ユーザＩ／Ｆ １０７ 出力部、 ２００ 画像処理装置、 ２０１ 画像取得部、 ２０２ 被写体検出部、 ２０３ 混雑判定部、 ２０４ 背景画像作成管理部、 ２０５ 画像不可視化処理部、 ２０６ 画像補完処理部、 ５０１ 画像保存部、 ５０２ 画像補完処理部

Claims (11)

1. 撮像された画像に映る被写体を検出する検出手段と、
   前記撮像された画像における前記被写体の混雑度を判定する判定手段と、
   前記撮像された画像における前記被写体の領域に対して画像処理を行う画像処理手段と、
   前記画像処理手段により画像処理された画像もしくは前記撮像された画像を出力する出力手段と、を有し、
   前記検出手段により前記被写体が検出された場合、前記画像処理手段は、前記判定手段により判定された前記被写体の混雑度に応じて、異なる方法で前記画像処理を行うことを特徴とする画像処理装置。
2. 前記検出手段により所定値より小さい前記被写体が検出された場合、前記画像処理手段は、前記判定手段により判定された前記被写体の混雑度に応じて、異なる処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記被写体の領域を不鮮明化やモザイク処理を行うことにより、前記被写体の領域の不可視化処理を行うか、該被写体の周辺の領域を用いて前記被写体の領域を補完することにより、前記被写体の領域の補完処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像された画像において被写体が存在しない画像を保存する保存手段を更に有し、
   前記画像処理手段が前記補完処理を行う場合、前記保存手段に保存された前記画像を用いて、前記被写体の領域を補完することを特徴とする請求項３に記載の画像処理装置。
5. 前記検出手段により前記被写体が検出され、前記判定手段により前記被写体の混雑度が高いと判定された場合に、前記画像処理手段は、前記不可視化処理を行うことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記検出手段により前記被写体が検出され、前記判定手段により前記被写体の混雑度が低いと判定された場合に、前記画像処理手段は、前記補完処理を行うことを特徴とする請求項３から５のいずれか１項に記載の画像処理装置。
7. 前記検出手段により所定値以上の大きさの前記被写体が検出された場合、前記画像処理手段は、前記不可視化処理を行うことを特徴とする請求項３から６のいずれか１項に記載の画像処理装置。
8. 前記検出手段は、前記被写体を囲む外接矩形の座標を検出し、
   前記判定手段は、前記外接矩形の重なりから、前記混雑度を判定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記検出手段により前記被写体が検出されなかった場合、前記出力手段は、前記撮像された画像を出力することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 撮像された画像に映る被写体を検出する検出工程と、
    前記撮像された画像における前記被写体の混雑度を判定する判定工程と、
    前記撮像された画像における前記被写体の領域に対して画像処理を行う画像処理工程と、
    前記画像処理工程において画像処理された画像もしくは前記撮像された画像を出力する出力工程と、を有し、
    前記検出工程において前記被写体が検出された場合、前記画像処理工程では、前記判定手段により判定された前記被写体の混雑度に応じて、異なる方法で前記画像処理を行うことを特徴とする画像処理方法。
11. 請求項１から請求項９のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
    

Images