JP2016144049A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2016144049A JP2016144049A JP2015018799A JP2015018799A JP2016144049A JP 2016144049 A JP2016144049 A JP 2016144049A JP 2015018799 A JP2015018799 A JP 2015018799A JP 2015018799 A JP2015018799 A JP 2015018799A JP 2016144049 A JP2016144049 A JP 2016144049A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- image processing
- unit
- congestion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】個人のプライバシーを考慮した背景画像を作成する。【解決手段】画像処理装置は、撮像された画像に映る被写体を検出し、該画像における前記被写体の混雑度を判定し、該撮影された画像における被写体の領域に対して画像処理を行い、画像処理された画像もしくは該撮像された画像を出力する。画像処理装置は、被写体を検出した場合、被写体の混雑度に応じて、異なる方法で画像処理を行う。【選択図】 図1
Description
本発明は、背景画像を生成する画像処理装置および画像処理方法に関する。
現在、監視カメラが広く設置されている一方で、監視カメラ映像に映る個人のプライバシー保護の重要性が高まっている。これに対し、人をシルエット化して表示することにより、個人が特定されず、プライバシーを保護する技術がある。こうした技術は、作成した背景画像にシルエット化された動体を重畳することにより、目的とした映像を作成している。
特許文献1には、入力画像から前景画像と人物のいない背景画像とを生成し、人物である前景画像にマスク処理やフィルタ処理を行った画像を背景画像に重畳することが記載されている。
しかしながら、人物が存在する状態で監視カメラ映像の背景画像が作成された場合、背景画像に該人物が含まれてしまい、プライバシーを保護できないケースが存在し得る。特許文献1の方法は、保護対象となる目的の人物が存在しない状態で背景画像が作成されることを前提としているため、上記課題となるケースが存在し得る。
本発明は上述した問題を解決するためになされたものであり、個人のプライバシーを考慮した背景画像を作成することを目的とする。
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、撮像された画像に映る被写体を検出する検出手段と、前記撮像された画像における前記被写体の混雑度を判定する判定手段と、前記撮像された画像における前記被写体の領域に対して画像処理を行う画像処理手段と、前記画像処理手段により画像処理された画像もしくは前記撮像された画像を出力する出力手段と、を有し、前記検出手段により前記被写体が検出された場合、前記画像処理手段は、前記判定手段により判定された前記被写体の混雑度に応じて、異なる方法で前記画像処理を行うことを特徴とする。
以上の構成からなる本発明によれば、個人のプライバシーを考慮した背景画像を作成することが可能となる。
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施形態1>
図1は、本実施形態における画像処理装置のハードウェア構成の一例を示す図である。制御部101は例えばCPUであり、各構成要素の動作を制御する。ROM102は、制御命令つまりプログラムを格納する。RAM103は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部104は、外部の装置と通信するための制御を行う。表示部105は、各種表示を行う。ユーザI/F(インタフェース)106は、利用者の操作を受け付ける。出力部107は、作成された画像を外部に出力する。
図1は、本実施形態における画像処理装置のハードウェア構成の一例を示す図である。制御部101は例えばCPUであり、各構成要素の動作を制御する。ROM102は、制御命令つまりプログラムを格納する。RAM103は、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。通信部104は、外部の装置と通信するための制御を行う。表示部105は、各種表示を行う。ユーザI/F(インタフェース)106は、利用者の操作を受け付ける。出力部107は、作成された画像を外部に出力する。
図2は、本実施形態における画像処理装置の機能ブロック構成の一例を示す図である。画像処理装置200は、画像取得部201と被写体検出部202と混雑判定部203と背景画像作成管理部204(以下、管理部204)と画像不可視化処理部205(以下、不可視化部205)と画像補完処理部206(以下、補完処理部206)を備える。
画像取得部201は、レンズ、センサを備えた撮像部から、所定の間隔で画像を順次取得して、被写体検出部202および管理部204へ提供する。被写体検出部202は、画像取得部201より取得した画像に対して、プライバシーが保護されるべき被写体(例えば人物)の検出処理を行い、検出した被写体の追尾処理を行う。被写体の検出処理は、例えば、パターンマッチング処理により画像における被写体の中心座標と、被写体を囲む外接矩形の座標を検出する処理である。プライバシーが保護されるべき被写体の種別は、ユーザが任意に設定することが可能である。被写体の情報(以下、被写体情報)は、検出した全ての被写体についての中心座標と外接矩形の座標を含む。被写体検出部202は、1フレーム分の画像に対して検出処理を行う度に、被写体情報を後段の混雑判定部203と管理部204に提供する。ただし、被写体検出部202が被写体情報を提供する頻度は上記の頻度に限らない。
混雑判定部203は、被写体検出部202から取得した被写体情報より、混雑度を判定する。すなわち、混雑判定部は、混雑度が高い状態(混雑している状態)または混雑度が低い状態(混雑していない状態)の、2つの状態を判定する。画像中に存在する1つの被写体情報の外接矩形に別の被写体情報の外接矩形が重なっている場合、混雑判定部203は、混雑度が高い状態と判定する。また、画像中に存在する1つの被写体情報の外接矩形に別の被写体情報の外接矩形が重なっていない場合は、混雑判定部203は、混雑度が低い状態と判定する。なお、ここでは被写体情報の外接矩形を用いて混雑を判定する例を示したが、混雑判定部203が用いる方法はこれに限らず、動体検知を用いる方法や、外部センサを用いる方法など、混雑を判定する方法であれば何であってもよい。混雑判定部203により判定された混雑状態は、後段の管理部204に提供される。
管理部204は、被写体検出部202から取得した被写体情報、および必要であれば混雑判定部203から取得した混雑状態に基づいて、複数の背景画像作成処理方法から1つの処理方法を選択する。本実施形態における背景画像作成処理方法は、画像不可視化処理を行う方法、および画像補完処理を行う方法を含む。また、管理部204は、画像取得部201から提供された画像をそのまま背景画像として出力することもできる。管理部204が、どのような背景画像を出力するかの制御方法については、後述する。
管理部204は、画像不可視化処理を行う方法を選択した場合、画像取得部201から提供された画像を不可視化部205に出力し、その後、不可視化部205により不可視化された画像を取得する。また、管理部204は、画像補完処理を行う方法を選択した場合、画像取得部201から提供された画像を補完処理部206に出力し、その後、補完処理部206により補完処理された画像を取得する。管理部204は、画像不可視化処理を行う方法、または画像補完処理を行う方法を選択した場合、選択した処理方法により処理された画像を、背景画像として出力する。
次に、本実施形態における画像処理装置が背景画像を出力するための制御について説明する。図3は、本実施形態における画像処理装置の処理フローを説明する図である。また、図4は、画像取得部201により取得された画像例を示している。
背景画像作成処理が開始されると、被写体検出部202は、画像取得部201で取得された画像に映る、プライバシーが保護されるべき被写体(例えば人体)の検出を行う(S301)。被写体検出部202は、被写体の中心座標と、被写体を囲む外接矩形の座標を検出できた場合は、これらの座標を被写体情報に含めて、混雑判定部203と管理部204へ出力する。なお、被写体検出部202は、これらの座標を検出できなかった場合は、座標を含まない被写体情報、または、座標が検出されなかったことを示す情報を含んだ被写体情報を出力する。次に、管理部204は、被写体検出部202から取得した被写体情報から、画像中に被写体
図4の画像400のように、画像取得部201で取得された画像において被写体が存在しない場合、被写体検出部202から取得した被写体情報には、座標の情報が含まれていない、もしくは、座標が検出されなかったことを示す情報が含まれる。この場合、管理部204は、画像取得部201から取得した画像に被写体が存在しないと判断し(S302のNo)、画像取得部201から入力された画像を、そのまま背景画像として出力する(S308)。
画像取得部201で取得された画像において被写体が存在する場合、被写体検出部202から取得した被写体情報には、座標の情報が含まれる。この場合、管理部204は、画像取得部201から取得した画像に被写体が存在すると判断し(S302のYes)、次に、被写体の大きさが所定値以上であるかを判断する(S303)。所定値は、あらかじめ設定された値であってもよいし、画像処理装置が処理中であっても外部から与えられるパラメータであってもよい。
被写体の大きさが所定値以上であり、被写体が画像全体に占める割合が大きい場合(S303のYes)、画像補完処理による被写体の隠蔽は難しい。この場合、管理部204は、画像中に存在する被写体を隠蔽するために、被写体の領域に対して画像不可視化処理を行う方法を選択する。画像不可視化処理は、プライバシーが保護されるべき被写体領域に対して不鮮明化やモザイク処理を行うことで、画像を不可視化する処理である。例えば、画像取得部201で図4の画像410のような画像が取得された場合、被写体検出部202により検出された被写体の外接矩形は、外接矩形411のように表される。この場合、被写体が画像全体に占める割合が大きいことから、管理部204は、被写体を隠蔽するために、画像不可視化処理を行う方法を選択し、不可視化部205に画像を出力する。そして、不可視化部205は、取得した画像において被写体の領域に対して不可視化処理を行い(S307)、不可視化処理された画像を、管理部204に出力する。管理部204は、不可視化処理された画像を、背景画像として出力する(S308)。
被写体の大きさが所定値未満であり、被写体が画像全体に占める割合が小さい場合(S303のNo)、管理部204は、混雑判定部203から混雑状態を取得し(S304)、該混雑状態に基づいて、背景画像処理方法を選択する(S305)。混雑判定部203は、被写体検出部202から取得した被写体情報から、被写体の混雑具合を判定する。混雑判定部203は、被写体の混雑具合として、画像中の被写体(人体)の数や大きさ、また外接矩形の重なりから、混雑度が高いか低いかの2つの状態を判断する。なお、ここでは被写体の数や外接矩形による混雑判定方法を示すが、動体検知による方法など、他の方法であっても構わない。
画像取得部201により、例えば図4の画像420のような画像が取得された場合、被写体検出部202による検出結果である被写体の外接矩形は、外接矩形421のように表される。この場合、被写体が画像全体占める割合は小さい。また、被写体は1つであり、混雑具合も低いため、混雑判定部203は、S305で混雑度が低いと判定する。このような場合、管理部204は、画像中の被写体を隠蔽するために、被写体の領域に対して画像補完処理を行う方法を選択し、補完処理部206に画像を出力する。画像補完処理は、例えば、被写体の周辺の画素や画素パッチを利用することにより画像補完を行う処理である。補完処理部206は、取得した画像において被写体の領域に対して画像補完処理を行い(S306)、画像補完処理された画像を、管理部204へ出力する。管理部204は、画像補完処理された画像を、背景画像として出力する(S308)。
また、画像取得部201により、例えば図4の画像430のような画像が取得された場合、被写体検出部202による検出結果である被写体の外接矩形は、外接矩形431から437のように表される。この場合、個々の被写体が画像全体に占める割合は小さい。また混雑度に関しては、被写体の数は多く、外接矩形はそれぞれ重なりがあるため、管理部204は、混雑度が高いと判定する。このような場合、例えば画像補完処理が行われたとしても、補完するためのパッチに他の人の顔が表われる場合があり、プライバシーを守る目的を達成できない可能性がある。そのため、このように被写体が画像全体に占める割合が小さい場合であっても、混雑度が高い場合には、管理部204は、画像不可視化処理を用いる方法を選択し、不可視化部205に画像を出力する。そして、不可視化部205は、取得した画像において被写体部の領域に対して不可視化処理を行い(S307)、不可視化処理された画像を、管理部204に出力する。管理部204は、不可視化処理された画像を、背景画像として出力する(S308)。
なお、本実施形態では、図3を用いて、S303で被写体の大きさを判定し、S305で混雑度を判定する例を示したが、S303の判定を省略する実施形態としてもよい。
以上説明したように、本実施形態による画像処理装置は、背景画像を作成する際、被写体の検出、混雑の判定を行い、被写体の大きさ、数、そして混雑度等を考慮し、背景画像の作成方法を選択する。これにより、画像処理装置は、背景画像を作成する際、被写体が存在しない画像を必要とするという前提条件なく、背景画像を作成することができる。また、画像処理装置は、背景画像を作成する方法を状況により選択することにより、背景画像に被写体が表示されることなく、プライバシーが守られた背景画像を作成することができる。
<実施形態2>
図5は、実施形態2における画像処理装置の機能ブロック図である。本実施形態における画像処理装置は、実施形態1で説明した図2に含まれる構成に加え、画像保存部501と画像補完処理部502(以下、補完処理部502)を含む。以下、実施形態1と異なる点を説明する。
図5は、実施形態2における画像処理装置の機能ブロック図である。本実施形態における画像処理装置は、実施形態1で説明した図2に含まれる構成に加え、画像保存部501と画像補完処理部502(以下、補完処理部502)を含む。以下、実施形態1と異なる点を説明する。
画像保存部501には、過去の画像および被写体検出部202による検出結果、混雑判定部203による混雑判定結果が保存されている。画像保存部501には、画像に関連した被写体情報、混雑状態が保存されてもよい。補完処理部502は、画像補完を行う際、画像保存部501を参照する。画像補完の対象となる部分画像(被写体が存在する領域)に被写体が存在しない画像が、画像保存部501に保存されている場合、補完処理部502は、この保存されている画像を画像保存部501から取得する。補完処理部502は、被写体が存在する領域を、取得した画像を切り出した部分画像で重畳することにより、被写体が表示されない背景画像を作成する。また、補完処理部502は、補完を行う部分の周囲画素を、画像保存部501から取得してもよい。
実施形態2における画像処理装置の動作フローは、図3と同じである。以上により、本実施形態における画像処理装置は、背景画像を作成する場合、保存された画像を考慮して処理方法を選択することで、背景画像に被写体が表示されることなく、プライバシーが守られた背景画像を作成することができる。なお、第1及び第2の実施形態では、混雑度が高い(混雑している)状態と混雑度が低い(混雑していない)状態とを判別する場合の例を説明した。また、プライバシーを保護すべき被写体のサイズが閾値以上であるか否かを判別する場合の例を説明した。しかし、この例に限らない。例えば、被写体のサイズや混雑度のレベルを3段階以上の段階に分けて判別するようにしてもよい。この場合、多段階に判別された被写体のサイズと混雑度のレベルに基づいて背景画像の作成方法を決定することが可能となる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 制御部、 102 ROM、 103 RAM、 104 通信部、 105 表示部、 106 ユーザI/F 107 出力部、 200 画像処理装置、 201 画像取得部、 202 被写体検出部、 203 混雑判定部、 204 背景画像作成管理部、 205 画像不可視化処理部、 206 画像補完処理部、 501 画像保存部、 502 画像補完処理部
Claims (11)
- 撮像された画像に映る被写体を検出する検出手段と、
前記撮像された画像における前記被写体の混雑度を判定する判定手段と、
前記撮像された画像における前記被写体の領域に対して画像処理を行う画像処理手段と、
前記画像処理手段により画像処理された画像もしくは前記撮像された画像を出力する出力手段と、を有し、
前記検出手段により前記被写体が検出された場合、前記画像処理手段は、前記判定手段により判定された前記被写体の混雑度に応じて、異なる方法で前記画像処理を行うことを特徴とする画像処理装置。 - 前記検出手段により所定値より小さい前記被写体が検出された場合、前記画像処理手段は、前記判定手段により判定された前記被写体の混雑度に応じて、異なる処理を行うことを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理手段は、前記被写体の領域を不鮮明化やモザイク処理を行うことにより、前記被写体の領域の不可視化処理を行うか、該被写体の周辺の領域を用いて前記被写体の領域を補完することにより、前記被写体の領域の補完処理を行うことを特徴とする請求項1または2に記載の画像処理装置。
- 前記撮像された画像において被写体が存在しない画像を保存する保存手段を更に有し、
前記画像処理手段が前記補完処理を行う場合、前記保存手段に保存された前記画像を用いて、前記被写体の領域を補完することを特徴とする請求項3に記載の画像処理装置。 - 前記検出手段により前記被写体が検出され、前記判定手段により前記被写体の混雑度が高いと判定された場合に、前記画像処理手段は、前記不可視化処理を行うことを特徴とする請求項3または4に記載の画像処理装置。
- 前記検出手段により前記被写体が検出され、前記判定手段により前記被写体の混雑度が低いと判定された場合に、前記画像処理手段は、前記補完処理を行うことを特徴とする請求項3から5のいずれか1項に記載の画像処理装置。
- 前記検出手段により所定値以上の大きさの前記被写体が検出された場合、前記画像処理手段は、前記不可視化処理を行うことを特徴とする請求項3から6のいずれか1項に記載の画像処理装置。
- 前記検出手段は、前記被写体を囲む外接矩形の座標を検出し、
前記判定手段は、前記外接矩形の重なりから、前記混雑度を判定することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。 - 前記検出手段により前記被写体が検出されなかった場合、前記出力手段は、前記撮像された画像を出力することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 撮像された画像に映る被写体を検出する検出工程と、
前記撮像された画像における前記被写体の混雑度を判定する判定工程と、
前記撮像された画像における前記被写体の領域に対して画像処理を行う画像処理工程と、
前記画像処理工程において画像処理された画像もしくは前記撮像された画像を出力する出力工程と、を有し、
前記検出工程において前記被写体が検出された場合、前記画像処理工程では、前記判定手段により判定された前記被写体の混雑度に応じて、異なる方法で前記画像処理を行うことを特徴とする画像処理方法。 - 請求項1から請求項9のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015018799A JP2016144049A (ja) | 2015-02-02 | 2015-02-02 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015018799A JP2016144049A (ja) | 2015-02-02 | 2015-02-02 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016144049A true JP2016144049A (ja) | 2016-08-08 |
Family
ID=56568963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015018799A Pending JP2016144049A (ja) | 2015-02-02 | 2015-02-02 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016144049A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016033A (ja) * | 2017-07-04 | 2019-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020530167A (ja) * | 2017-08-07 | 2020-10-15 | スタンダード コグニション コーポレーション | 意味的差分抽出を使用した在庫イベントの予測 |
US11551079B2 (en) | 2017-03-01 | 2023-01-10 | Standard Cognition, Corp. | Generating labeled training images for use in training a computational neural network for object or action recognition |
US11790682B2 (en) | 2017-03-10 | 2023-10-17 | Standard Cognition, Corp. | Image analysis using neural networks for pose and action identification |
US12026665B2 (en) | 2017-08-07 | 2024-07-02 | Standard Cognition, Corp. | Identifying inventory items using multiple confidence levels |
-
2015
- 2015-02-02 JP JP2015018799A patent/JP2016144049A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11551079B2 (en) | 2017-03-01 | 2023-01-10 | Standard Cognition, Corp. | Generating labeled training images for use in training a computational neural network for object or action recognition |
US11790682B2 (en) | 2017-03-10 | 2023-10-17 | Standard Cognition, Corp. | Image analysis using neural networks for pose and action identification |
JP2019016033A (ja) * | 2017-07-04 | 2019-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2020530167A (ja) * | 2017-08-07 | 2020-10-15 | スタンダード コグニション コーポレーション | 意味的差分抽出を使用した在庫イベントの予測 |
JP7191088B2 (ja) | 2017-08-07 | 2022-12-16 | スタンダード コグニション コーポレーション | 意味的差分抽出を使用した在庫イベントの予測 |
US12026665B2 (en) | 2017-08-07 | 2024-07-02 | Standard Cognition, Corp. | Identifying inventory items using multiple confidence levels |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501535B2 (en) | Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region | |
JP6504364B2 (ja) | モニタリング装置、モニタリングシステムおよびモニタリング方法 | |
EP3425590B1 (en) | Image processing apparatus, image processing method, and storage medium | |
US9807300B2 (en) | Display apparatus for generating a background image and control method thereof | |
WO2017163955A1 (ja) | 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体 | |
JP2022118201A (ja) | 画像処理システム、画像処理方法及びプログラム | |
EP3113112A1 (en) | Apparatus for and method of processing image based on object region | |
JP2016144049A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2009194644A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
US11165974B2 (en) | Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium | |
JP2018041293A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10841642B2 (en) | System and method for masking objects in a video archive upon the demand of users | |
KR20150064761A (ko) | 투명 디스플레이를 포함하는 전자 장치 및 제어 방법 | |
US11263759B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2015002529A (ja) | 画像処理装置および画像処理方法 | |
US20230046226A1 (en) | Information processing apparatus, non-transitory computer readable medium, and information processing method | |
JP2018092507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012212235A (ja) | 物体検出システム、物体検出方法、及びプログラム | |
JP2021056899A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20200322519A1 (en) | Image capturing and processing device, electronic instrument, image capturing and processing method, and recording medium | |
JP5055462B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP7130375B2 (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム | |
JP2020182161A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2021064871A (ja) | 情報処理装置および情報処理方法 | |
JP2019115031A (ja) | 情報処理装置、システム、情報処理方法及びプログラム |