JP7431557B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、カメラで撮影した撮影画像に映る被写体のプライバシーを保護する技術が知られる。例えば、特許文献１には、画像取得部と、人数・人流推定部と、プライバシーレベル設定部と、画像加工部と、を備える画像処理装置が開示される。

特許文献１の画像処理装置において、画像取得部は画像を取得する。人数・人流推定部は、画像取得部にて取得された画像を入力として、その画像に含まれる群衆の頭部位置に対応した密度分布と当該密度分布に基づく群衆を構成する人数とを推定する。プライバシーレベル設定部は、複数の被写体のプライバシーを保護するために行う画像加工の度合いを表すプライバシーレベルを設定する。画像加工部は、画像取得部により取得された画像を入力として、人数・人流推定部による推定の結果を基に、プライバシーレベルに応じた加工処理を行う。特許文献１の画像処理装置によれば、人数・人流推定部による推定の結果が用いられるために、混雑状況化でも頭部の検出漏れが少なく、被写体の秘匿処理を適切に行うことができる。

特開２０１９－７１０５０号公報

ところで、例えば、撮影画像中において検知したい対象物のサイズが小さい等、対象物の特徴が検出できない場合には、混雑状況等に関係なく、検知したい対象物の検知に失敗することがある。顔等の個人を特定することができる対象物の検知に失敗すると、顔等を秘匿化する処理に漏れが生じる可能性があり、問題となる。

また、撮影画像において秘匿化を行う範囲が広くなり過ぎると、撮影画像から抽出できる情報が減る。このために、撮影画像に対する過剰な秘匿化は避けることが望まれる。

本発明は、上記の課題に鑑み、撮影画像に対して行われる個人情報の保護のための秘匿化を適切に行うことができる技術を提供することを目的とする。

上記目的を達成するために本発明の画像処理装置は、取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体および前記特定部位を検知可能に設けられる検知部と、前記検知部の検知結果に基づき、前記撮影画像に対して前記秘匿化のための秘匿化処理を行う秘匿化部と、を備え、前記秘匿化処理は、前記物体および前記特定部位の両方を検知した場合と、前記物体および前記特定部位のうち前記物体のみを検知した場合とで異なる構成（第１の構成）になっている。

また、上記第１の構成の画像処理装置において、前記秘匿化処理は、前記物体および前記特定部位の両方を検知した場合には、前記特定部位を対象として前記秘匿化を行う第１秘匿化処理であり、前記物体および前記特定部位のうち前記物体のみを検知した場合には、前記物体を対象として前記秘匿化を行う第２秘匿化処理である構成（第２の構成）が好ましい。

また、上記第２の構成の画像処理装置は、取得した前記撮影画像に対してピクセル毎に意味をラベル付けする画像セグメンテーションを行う画像セグメンテーション部を更に備え、前記第２秘匿化処理は、前記画像セグメンテーションにより得られる前記物体の領域を、前記物体の特徴を削減した画像とする処理である構成（第３の構成）であってよい。

また、上記第３の構成の画像処理装置において、前記物体の特徴を削減した画像には、前記画像セグメンテーションの際に生成された画像が適用される構成（第４の構成）であることが好ましい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記秘匿化部は、前記撮影画像から得られる前記物体および前記特定部位のうちの少なくとも一方について、前記撮影画像から得られる特徴を反映しつつ前記秘匿化処理を行う構成（第５の構成）であることが好ましい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記秘匿化部は、前記撮影画像における前記物体および前記特定部位のうちの少なくとも一方について、復号可能に暗号化することにより前記秘匿化を行う構成（第６の構成）であってよい。

また、上記目的を達成するために本発明の画像処理方法は、取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体および前記特定部位の検知を試みる検知工程と、前記検知工程の検知結果に基づき、前記撮影画像に対して前記秘匿化のための秘匿化処理を行う秘匿化工程と、を備え、前記秘匿化処理は、前記物体および前記特定部位の両方を検知した場合と、前記物体および前記特定部位のうち前記物体のみを検知した場合とで異なる構成（第７の構成）になっている。

本発明によれば、撮影画像に対して行われる個人情報の保護のための秘匿化を適切に行うことができる。

個人情報保護システムの構成を示す図 第１実施形態に係る画像処理装置の構成を示す図 第１実施形態に係る画像処理装置の動作例を示すフローチャート 取得部により取得される撮影画像の一例を示す図 図４に示す撮影画像に対する検知部の検知結果を例示する図 図５に示す検知結果に従って実行された秘匿化処理の結果を例示する図 秘匿化部が行う秘匿化処理の変形例について説明するための図 第２実施形態に係る画像処理装置の構成を示す図 第２実施形態に係る画像処理装置の動作例を示すフローチャート 図４に示す撮影画像に対する画像セグメンテーションの結果を例示する図 第２実施形態の画像処理装置において、図４に示す撮影画像が入力された場合の秘匿化処理結果を例示する図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下においては、本発明が車両に利用される場合を例に説明するが、本発明は車両以外のものにも広く適用できる。

＜１．個人情報保護システム＞
図１は、本発明の実施形態に係る個人情報保護システム１００の構成を示す図である。個人情報保護システム１００は、車両用装置１とデータ収集装置２とを備える。

車両用装置１は、車両に搭載して使用される端末装置である。車両は、例えば、自動車、オートバイ、電車、無人搬送車等の車輪を有する乗り物である。車両には、カメラを含む各種のセンサが搭載される。車両用装置１は、各種のセンサから各種のデータを取得する。各種のデータには、カメラで撮影された撮影画像の他に、例えば、車両の速度、車両の位置、車両の特定位置の通過時間等が含まれてよい。

なお、車両用装置１は、例えば、ドライブレコーダやナビゲーション装置によって兼用されてよい。ただし、車両用装置１は、ドライブレコーダやナビゲーション装置とは別の装置であってもよい。また、車両用装置１は、車載装置であってもよいし、車両の乗員が持ち運ぶことができる携帯端末であってもよい。車両用装置１が携帯端末である場合、車両用装置１は、例えばスマートフォンやタブレット等であってよい。

データ収集装置２は、例えばインターネットや携帯電話回線網などのネットワーク（不図示）を介して車両用装置１と通信可能に設けられる。データ収集装置２は、例えば、ネットワークを介したクラウドサービスを提供するクラウドサーバとして構成される。データ収集装置２は、データ利用者（不図示）からデータの収集要求を受け付けるとともに、受け付けた収集要求に基づいて車両用装置１から収集したデータをデータ利用者に提供する。なお、データ収集装置２は、通常、複数台の車両用装置１と通信可能に設けられ、各車両用装置１からデータを収集する。

図１に示すように、車両用装置１は、個人情報保護処理部１１を備える。個人情報保護処理部１１は、車両に搭載される各種のセンサから得られたデータに含まれる個人情報について、個人を特定することができない状態とする保護処理を行う。車両用装置１は、各種のデータについて、適宜、個人情報を保護する保護処理を行ってデータ収集装置２に送信する。

なお、個人情報は、原則として、特定の個人を特定できる情報のことであるが、本明細書において、個人情報はプライバシーと同義で用いられてよい。個人情報には、例えば、カメラによって撮影された撮影画像に含まれる人の顔、車のナンバープレート、車両が通過した場所を特定できる地点名標識等が含まれる。また、個人情報には、撮影画像に含まれる情報に限らず、車両識別番号（ＶＩＮ：Vehicle Identification Number）や、各種の時間等が含まれてよい。個人情報には、車両用装置１が搭載される車両の乗員に関する個人情報と、車両用装置１が搭載される車両外に存在する人に関する個人情報との両方、又は、いずれか一方だけが含まれてよい。

個人情報保護処理部１１による個人情報の保護方法としては、例えば、撮影画像の解像度を低下させる処理、撮影画像の全体又は一部を暗号化する処理、文字や数字データを暗号化する処理、撮影画像内の不要な情報（個人情報を含む）を全てマスクする処理等が挙げられる。なお、暗号化を行う場合は、データ収集装置２側において復号化を行える構成であることが好ましい。

本実施形態では、個人情報保護処理部１１は、取得した撮影画像について、車両用装置１に含まれる後述の画像処理装置３、３Ａ（図２、図８参照）により個人情報を保護する保護処理を行う。個人情報保護処理部１１は、車両識別番号等の撮影画像以外から検出された個人情報については、暗号化手段によって暗号化を行う。車両用装置１は、個人情報保護処理部１１によって保護処理を行ったデータについて、送信部１２を介してデータ収集装置２に送信する。

図１に示すように、データ収集装置２は、個人情報管理部２１を備える。個人情報管理部２１は、車両用装置１の送信部１２からデータを受信する受信部２２を介して各種のデータを取得し、当該各種のデータの個人情報を管理する。個人情報管理部２１は、取得したデータを個人が特定されないように加工して記憶部２３に記憶させる。記憶部２３に記憶されたデータは、上述のデータ利用者によって利用される。

なお、本実施形態では、車両用装置１において個人情報を保護する保護処理が行われるが、これに限定されず、データ収集装置２側にて個人情報を保護する保護処理が行われてもよい。この場合には、後述の画像処理装置３、３Ａは、データ収集装置２側に含まれる。ただし、個人情報を保護する処理を行う画像処理装置３、３Ａは、サーバとして構成されるデータ収集装置２ではなく、データを送信する車両用装置１側に含まれることが好ましい。また、データ収集装置２にデータを送信する装置は、車両用装置１ではなく、例えば監視カメラを備える商業施設、駅、駐車場等に設置される端末装置等であってよい。

＜２．画像処理装置＞
（２－１．第１実施形態）
［２－１－１．画像処理装置の構成］
図２は、本発明の第１実施形態に係る画像処理装置３の構成を示す図である。なお、図２においては、第１実施形態の画像処理装置３の特徴を説明するために必要な構成要素のみが示されており、一般的な構成要素についての記載は省略されている。また、図２には、理解を容易とするために画像処理装置３とは別の構成要素であるカメラ４も示されている。図２に示すように、画像処理装置３は、取得部３１と、制御部３２と、記憶部３３と、を備える。

取得部３１は、撮影画像を取得する。本実施形態では、取得部３１は、車両に搭載されるカメラ４からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。取得部３１によって取得される撮影画像の集合体がカメラ４で撮影された動画像である。取得した撮影画像がアナログの場合には、取得部３１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部３１は、取得した撮影画像（Ａ／Ｄ変換が行われた場合は変換後の画像）を制御部３２に出力する。

なお、カメラ４は、例えば車両の前方や後方等、車両の周囲を監視するカメラである。ただし、カメラ４は、例えば、車両の室内を撮影するカメラであってもよい。

制御部３２は、画像処理装置３の全体を統括的に制御するコントローラである。制御部３２は、例えば、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、および、ＲＯＭ（Read Only Memory）等を含むコンピュータとして構成される。

記憶部３３は、例えば、ＲＡＭやフラッシュメモリ等の半導体メモリ素子、ハードディスク、或いは、光ディスク等の可搬型の記録媒体を用いる記憶装置等で構成される。記憶部３３は、ファームウェアとしてのプログラムや各種のデータを記憶する。本実施形態では、記憶部３３は、物体の検知を可能とする学習済みモデル３３１を記憶する。学習済みモデル３３１は、例えばディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）等の機械学習のアルゴリズムにより学習を行うことで得られる。学習済みモデル３３１は、例えば教師あり学習により得られてよい。

図２に示す、検知部３２１および秘匿化部３２２は、制御部３２のＣＰＵが記憶部３３に記憶されるプログラムに従って演算処理を実行することにより実現される制御部３２の機能である。換言すると、画像処理装置３は、検知部３２１と、秘匿化部３２２と、を備える。

なお、制御部３２の検知部３２１および秘匿化部３２２の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェアで構成されてもよい。また、検知部３２１および秘匿化部３２２は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。また、取得部３１は、制御部３２のＣＰＵがプログラムに従って演算処理を行うことによって実現される構成としてもよい。また、画像処理装置３の具体的なハードウェア構成に関して、実施の形態に応じて、適宜、構成要素の省略、置換、又は、追加を行ってよい。例えば、制御部３２は、複数のハードウェアプロセッサを含んでもよい。

検知部３２１は、取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体および前述の特定部位を検知可能に設けられる。本実施形態では、検知部３２１は、記憶部３３に記憶される学習済みモデル３３１を用いて、秘匿化が必要な特定部位を含む所定の物体、および、所定の物体の特定部位を、撮影画像から検知する。検知部３２１は、取得部３１から取得した撮影画像の解像度を低下させた低解像度画像を用いて、学習済みモデル３３１による物体検知を行うことが好ましい。これにより、検知部３２１における物体検知処理の処理負担を低減することができる。

所定の物体としては、例えば、人、自動車等の車両、および、信号機の近傍等に設けられる場所を特定する地点名標識等が挙げられる。特定部位は、特定の個人を特定したり、個人のプライバシーを推定したりすることを可能とする部位である。所定の物体が人である場合、特定部位は例えば顔である。所定の物体が車両である場合、特定部位は例えばナンバープレートである。所定の物体が地点名標識である場合、特定部位は例えば標識の文字部分である。なお、所定の物体に、複数の特定部位が含まれてもよい。また、所定の物体には、複数種類の物体が含まれてよい。検知部３２１に検知可能に設けられる所定の物体には、人および車両のうち、少なくとも一方が含まれることが好ましい。

学習済みモデル３３１は、ＤＮＮを用いて物体および特定部位を検知する構成が好ましい。ただし、学習済みモデル３３１は、例えば、ＨＯＧ（Histogram Of Gradient）特徴量を利用したＳＶＭ（Support Vector Machine）等の他の機械学習のアルゴリズムにより物体および特定部位を検知する構成であってもよい。また、検知部３２１は、機械学習を行った学習済みモデル３３１を使用することなく、例えば、テンプレートマッチング等を用いて物体および特定部位を検知する構成であってもよい。

秘匿化部３２２は、検知部３２１の検知結果に基づき、撮影画像に対して秘匿化のための秘匿化処理を行う。秘匿化処理は、個人情報を保護するために撮影画像（データ）を加工する処理である。秘匿化処理は、物体（特定部位を含む）および特定部位の両方を検知した場合と、物体（特定部位を含む）および特定部位のうち物体のみを検知した場合とで異なる。すなわち、秘匿化部３２２は、物体および特定部位の両方を検知した場合と、物体および特定部位のうち物体のみを検知した場合とで秘匿化の仕方を変更する。例えば、車両とナンバープレートとの両方を検知した場合と、ナンバープレートは検知できず車両のみを検知した場合とでは、秘匿化処理の仕方が変更される。

本構成によれば、個人情報の保護が必要である特定部位を検知できた場合に、秘匿化の範囲が過剰になることを抑制して特定部位の秘匿化を図ることができる。また、特定部位を検知できなかった場合でも、特定部位を含む物体を検知できた場合には、特定部位を検知できた場合と異なる手法で秘匿化処理を行うことができるために、個人情報の保護のための秘匿化処理に漏れが生じる可能性を低減することができる。

なお、特定部位は物体の一部の要素であり、特定部位を検知できる場合は、通常、特定部位を含む物体も検知できる。すなわち、特定部位を含む物体および特定部位のうち特定部位のみが検知される状態は、生じる可能性が少ない。仮に、このような状態が生じた場合には、物体と特定部位との両方を検知できた場合と同様の秘匿化処理を行えばよい。これにより、個人情報を保護することができる。また、物体および特定部位の両方を検知できない場合には、個人情報を保護する対象がなく、秘匿化処理は行われない。

詳細には、秘匿化部３２２により行われる秘匿化処理は、物体および特定部位の両方を検知した場合には、特定部位を対象として秘匿化を行う第１秘匿化処理である。第１秘匿化処理は、撮影画像中における物体全体のうち、特定部位に絞って秘匿化を行う処理である。例えば、第１秘匿化処理は、撮影画像中における車両全体のうちナンバープレートに絞って秘匿化を行う処理である。第１秘匿化処理は、例えば、特定部位を一つの色で塗りつぶす処理であってよい。また、第１秘匿化処理は、例えば、特定部位をぼかしたり、特定部位にモザイクを施したりする処理であってもよい。

なお、第１秘匿化処理によって秘匿化が行われる範囲は、特定部位の検知範囲と完全に一致してもよいが、完全に一致しなくてもよい。特定部位の秘匿化処理により、個人情報の保護が図れればよい。第１秘匿化処理によって秘匿化が行われる範囲は、特定部位の検知範囲より広くすることが好ましい。これにより、特定部位の検知範囲の誤差を考慮して適切に個人情報の保護を図ることができる。

秘匿化部３２２により行われる秘匿化処理は、物体および特定部位のうち物体のみを検知した場合には、物体を対象として秘匿化を行う第２秘匿化処理である。第２秘匿化処理は、撮影画像中における物体全体に対して秘匿化を行う処理である。例えば、第２秘匿化処理は、撮影画像から車両を検知できたがナンバープレートを検知できなかった場合に、撮影画像中における車両全体を秘匿化する処理である。第２秘匿化処理は、例えば、撮影画像中における物体全体を一つの色で塗りつぶす処理であってよい。また、第２秘匿化処理は、例えば、撮影画像中における物体全体をぼかしたり、物体全体にモザイクを施したりする処理であってもよい。

なお、第２秘匿化処理によって秘匿化が行われる範囲は、物体の検知範囲と完全に一致してもよいが、完全に一致しなくてもよい。物体の秘匿化処理により、個人情報の保護が図れればよい。第２秘匿化処理によって秘匿化が行われる範囲は、物体の検知範囲より広くすることが好ましい。これにより、物体の検知範囲の誤差を考慮して適切に個人情報の保護を図ることができる。

本実施形態では、画像処理装置３は、個人情報の保護が必要な特定部位を検知できた場合には、当該特定部分に絞って秘匿化を行う。このために、過剰に撮影画像に加工が加えられることを抑制して、物体に関する情報が過剰に削減されることを抑制することができる。一方で、本実施形態によれば、特定部位を検知できなかった場合でも、特定部位を含む物体を検知できた場合には、物体全体を対象として秘匿化を行うために、特定部位の秘匿化に漏れが生じる可能性を低減することができる。

［２－１－２．画像処理装置の動作例］
図３は、本発明の第１実施形態に係る画像処理装置３の動作例を示すフローチャートである。なお、画像処理装置３は、例えば、取得部３１により撮影画像が取得される毎に図３に示すフローチャートの動作を行う。

ステップＳ１では、取得部３１がカメラ４より撮影画像を取得する。取得部３１は、例えば、図４に示すような撮影画像を取得する。図４に示す撮影画像には、道路Ｒの脇に配置される壁Ｗに沿って二人の人Ｈ１、Ｈ２が歩いている様子が映っている。取得部３１が撮影画像を取得すると、次のステップＳ２に処理が進められる。

ステップＳ２では、検知部３２１が物体検知処理を行う。詳細には、検知部３２１は、学習済みモデル３３１を利用して、所定の物体および所定の物体に含まれる特定部位の検知を試みる。例えば、所定の物体が人である場合、検知部３２１は、撮影画像に含まれる人および顔の検知を試みる。物体検知処理が完了すると、ステップＳ３に処理が進められる。

図５は、図４に示す撮影画像に対する検知部３２１の検知結果を例示する図である。図５において、太枠Ｂ１～Ｂ３はバウンディングボックスである。検知部３２１は、各バウンディングボックスＢ１～Ｂ３内の物体に対して分類を完了している。図５に示す例では、検知部３２１は、撮影画像中の人Ｈ１（バウンディングボックスＢ１）を検知することはできているが、人Ｈ１の顔まで検知することはできていない。本例では、例えば人Ｈ１が下を向いていること等が原因となって、顔の特徴が認識されず、人Ｈ１の顔が検知できなかったと考えられる。検知部３２１は、撮影画像中の人Ｈ２については、人（バウンディングボックスＢ２）および顔（バウンディングボックスＢ３）の検知ができている。

ステップＳ３では、秘匿化部３２２により、検知部３２１が所定の物体を検知したか否かが判断される。例えば、所定の物体が人である場合、撮影画像から人が検知されたか否かが判断される。所定の物体が検知されていると判断された場合（ステップＳ３でＹｅｓ）、ステップＳ４に処理が進められる。一方、所定の物体が検知されていないと判断された場合（ステップＳ３でＮｏ）、図３にフローチャートで示される処理が一旦終了される。なお、図３に示す例では、所定の物体が検知されることなく特定部位のみが検知されるという事態は生じないことを前提としている。

図５に示す例では、人Ｈ１および人Ｈ２の両方について人の検知ができている。このために、図５に示す例では、ステップＳ４に処理が進められる。

ステップＳ４では、秘匿化部３２２により、検知部３２１が所定の物体に含まれる特定部位を検知したか否かが判断される。例えば、検知部３２１で検知された物体が人である場合、撮影画像から特定部位である顔が検知されたか否かが判断される。特定部位が検知されていると判断された場合（ステップＳ４でＹｅｓ）、ステップＳ５に処理が進められる。一方、特定部位が検知されていないと判断された場合（ステップＳ４でＮｏ）、ステップＳ６に処理が進められる。

なお、ステップＳ４では、ステップＳ２において所定の物体が複数検知されている場合には、各所定の物体に対して特定部位が検知されている否かが判断される。すなわち、検知された各物体に対して、ステップＳ５とステップＳ６とのうちのいずれに処理を進めればよいかが判断される。

図５に示す例では、人Ｈ１と人Ｈ２とが検知されているために、それぞれの人Ｈ１、Ｈ２に対して特定部位である顔が検知されたか否かが判断される。人Ｈ１については、顔が検知されていないために、ステップＳ６に処理を進めると判断される。人Ｈ２については、顔が検知されているために、ステップＳ５に処理を進めると判断される。

ステップＳ５では、秘匿化部３２２が、特定部位を対象とした第１秘匿化処理を行う。例えば、検知部３２１で検知された物体が人である場合、検知された顔を対象として第１秘匿化処理が行われる。第１秘匿化処理が完了すると、図３にフローチャートで示される処理が一旦終了される。

ステップＳ６では、秘匿化部３２２が、所定の物体を対象とした第２秘匿化処理を行う。例えば、検知部３２１で検知された物体が人である場合、検知された人全体を対象として第２秘匿化処理が行われる。第２秘匿化処理が完了すると、図３にフローチャートで示される処理が一旦終了される。

図６は、図５に示す検知結果に従って実行された秘匿化処理の結果を例示する図である。人Ｈ１に対しては、特定部位である顔が検知されていないので、ステップＳ６に処理が進められ、検知された人全体を対象とした秘匿化が行われている。図６に示す例では、人Ｈ１の検知を示すバウンディングボックスＢ１で囲まれた領域の全体に秘匿化のためのモザイクが施されている。一方、人Ｈ２に対しては、特定部位である顔が検知されているので、ステップＳ５に処理が進められ、検知された顔を対象とした秘匿化が行われている。図６に示す例では、人Ｈ２の顔の検知を示すバウンディングボックスＢ３で囲まれた領域の全体に秘匿化のためのモザイクが施されている。

なお、秘匿化のためのモザイク処理に替えて、例えばぼかし処理や塗りつぶし処理が行われてよい。また、秘匿化のための処理は、例えば、バウンディングボックスＢ１、Ｂ３で囲まれた領域より少し広めの範囲に施されてよい。

[２－１－３．変形例]
図７は、秘匿化部３２２が行う秘匿化処理の変形例について説明するための図である。図７は、秘匿化処理が施された撮影画像を示す図である。なお、図７に示す例では、上述の図６と同様に、人Ｈ１には検知された人全体を対象とする秘匿化処理（第２秘匿化処理）が行われ、人Ｈ２には特定部位（顔）を対象とする秘匿化処理（第１秘匿化処理）が行われている。

秘匿化部３２２は、秘匿化処理を行うにあたって、撮影画像から得られる物体（特定部位を含む）および特定部位のうちの少なくとも一方をＣＧ（Computer Graphics）に置き換えてもよい。図７に示す例では、撮影画像から得られる特定部位（人Ｈ２の顔）のみがＣＧに置き換えられている。撮影画像から得られる物体（人Ｈ１）については、秘匿化のためにＣＧで置き換えるのではなくモザイクが施されている。ただし、撮影画像から得られる物体（人Ｈ１）についても、ＣＧへの置き換えが行われてもよい。また、撮影画像から得られる物体（人Ｈ１）がＣＧで置き換えられ、特定部位（人Ｈ２の顔）に対してはＣＧへの置き換えではなくモザイク等が施されてもよい。

また、秘匿化部３２２は、撮影画像から得られる物体（特定部位を含む）および特定部位のうちの少なくとも一方について、撮影画像から得られる特徴を反映しつつ秘匿化処理を行ってよい。これにより、個人情報の保護を行いつつ、撮影画像から得られる情報の量が低減することを抑制することができる。

図７に示す例では、撮影画像から得られる特定部位（人Ｈ２の顔）のみに対して、撮影画像から得られる特徴を反映しつつ秘匿化処理が行われている。撮影画像から得られる物体（人Ｈ１）については、単に、秘匿化のためのモザイクが施されている。ただし、撮影画像から得られる物体（人Ｈ１）についても、撮影画像から得られる特徴を反映しつつ秘匿化処理が行われてよい。また、撮影画像から得られる物体（人Ｈ１）について、撮影画像から得られる特徴を反映しつつ秘匿化処理が行われ、特定部位（人Ｈ２の顔）については、単にモザイク等が施される構成としてもよい。

撮影画像から得られる特徴は、例えば特定部位が顔である場合には、顔の向き、視線、表情、年齢層、性別等である。撮影画像から得られる特徴は、例えば特定部位を含む物体が人である場合には、年齢、性別等である。撮影画像から得られる特徴は、例えば特定部位を含む物体が車両である場合には、車両の種別（自動車、バイク等）、自動車の用途による種別（乗用車、トラック、バス、タクシー等）、自動車のボディ種別（セダン、ミニバン、ステーションワゴン等）等である。

図７に示す例では、撮影画像から得られる表情（笑顔）が反映されたＣＧが使われている。表示の他に、例えば、人Ｈ１が女の子であることが検知されている場合には、撮影画像中の女の子の顔が、笑顔の女の子のＣＧに置き換えられてもよい。撮影画像から得られる特徴の検知には、例えばＤＮＮ等の機械学習のアルゴリズムやテンプレートマッチング等が利用されてよい。また、撮影画像から得られる特徴は、生体センサ等のカメラ以外のセンサから得られる情報を加味して検知されてもよい。

また、秘匿化部３２２は、撮影画像における物体（特定部位を含む）および特定部位のうちの少なくとも一方について、復号可能に暗号化することにより秘匿化を行ってよい。これによれば、例えば事件を解決するために撮影画像中の個人情報の確認が必要である等の特殊な事情が生じた場合に、暗号化された撮影画像に対して復号化を行うことにより個人情報を確認することが可能になる。

例えば、車両用装置１にて暗号化が行われ、データ収集装置２側において、所定の条件を満たした場合に復号化が行われる。所定の条件は、例えば車両用装置１の乗員から許可を得た場合等である。暗号化方式には、例えば、公知の共通鍵暗号、公開鍵暗号、又は、共通鍵暗号と公開鍵暗号のハイブリッド方式等が使用されてよい。ハイブリッド方式では、例えば、共通鍵の受け渡しの際に公開鍵と秘密鍵を用いる公開鍵暗号が使用され、画像データの暗号化には共通鍵が使用される。なお、車両用装置１は、暗号化前のデータを保存してもよいし、暗号化後のデータを保存してもよい。

（２－２．第２実施形態）
次に、第２実施形態に係る画像処理装置について説明する。第２実施形態の画像処理装置の説明に際して、第１実施形態と重複する部分については、特に説明の必要がない場合には説明を省略する。

[２－２－１．画像処理装置の構成]
図８は、本発明の第２実施形態に係る画像処理装置３Ａの構成を示す図である。なお、図８においては、第２実施形態の画像処理装置３Ａの特徴を説明するために必要な構成要素のみが示されており、一般的な構成要素についての記載は省略されている。また、図８には、理解を容易とするために画像処理装置３Ａとは別の構成要素であるカメラ４も示されている。図８に示すように、画像処理装置３Ａは、取得部３１と、制御部３２Ａと、記憶部３３Ａと、を備える。

取得部３１は、第１実施形態と同様であるために、その説明を省略する。

制御部３２Ａは、第１実施形態と同様に、画像処理装置３Ａの全体を統括的に制御するコントローラである。制御部３２Ａは、例えば、ＣＰＵ、ＲＡＭ、および、ＲＯＭ等を含むコンピュータとして構成される。ただし、制御部３２Ａは、第１実施形態と異なる機能を備える。この異なる点については、後述する。

記憶部３３Ａも、第１実施形態と同様の構成であるが、第１学習済みモデル３３１と第２学習済みモデル３３２とを記憶する点が第１実施形態と異なる。第１学習済みモデル３３１は、第１実施形態の学習済みモデル３３１と同様であり、物体検知に使用される。第２学習済みモデル３３２は、後述の画像セグメンテーションに使用される。第２学習済みモデル３３２は、例えばＤＮＮ等の機械学習のアルゴリズムにより学習を行うことで得られる。

図８に示す、検知部３２１、秘匿化部３２２、および、画像セグメンテーション部３２３は、制御部３２ＡのＣＰＵが記憶部３３Ａに記憶されるプログラムに従って演算処理を実行することにより実現される制御部３２Ａの機能である。換言すると、画像処理装置３Ａは、検知部３２１と、秘匿化部３２２Ａと、画像セグメンテーション部３２３と、を備える。

なお、制御部３２Ａの各部３２１、３２２Ａ、３２３の少なくともいずれか１つは、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェアで構成されてもよい。また、各部３２１、３２２Ａ、３２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてよい。

検知部３２１の構成は、第１実施形態と同様であるために、その説明を省略する。なお、検知部３２１は、第１学習済みモデル３３１を用いて、秘匿化が必要な特定部位を含む所定の物体、および、所定の物体の特定部位を、撮影画像から検知する。

画像セグメンテーション部３２３は、取得部３１で取得した撮影画像に対してピクセル毎に意味をラベル付けする画像セグメンテーションを行う。画像セグメンテーション部３２３は、記憶部３３Ａに記憶される第２学習済みモデル３３２を用いて、撮影画像に対して画像セグメンテーションを行う。画像セグメンテーションにより、撮影画像に含まれる複数の要素が区分される。

本実施形態では、一例として、画像セグメンテーションにより、特定部位を含む物体を他の物体等の要素に対して区分するレベルでセグメンテーションが行われ、特定部位を含む物体を構成する各要素を区分するレベルのセグメンテーションは行われない。画像セグメンテーションにより、特定部位を含む物体が画像中に占める領域を抽出することができる。

なお、本実施形態では、検知部３２１による物体検知と、画像セグメンテーション部３２３による画像セグメンテーションとは並行して行われる。また、画像セグメンテーション部３２３は、取得部３１から取得した撮影画像の解像度を低下させた低解像度画像を用いて、第２学習済みモデル３３２による画像セグメンテーションを行うことが好ましい。これにより、画像セグメンテーション部３２３における画像セグメンテーションの処理負担を低減することができる。検知部３２１による物体検知に用いられる低解像度画像と、画像セグメンテーションに用いられる低解像度画像とは同じ解像度でもよいが、互いに異なってもよい。例えば、画像セグメンテーションに用いられる低解像度画像の方が、物体検知に用いられる低解像度画像に比べて低解像度であってよい。

秘匿化部３２２Ａは、第１実施形態と同様に、検知部３２１の検知結果に基づき、特定部位を対象とする第１秘匿化処理と、特定部位を含む物体を対象とする第２秘匿化処理とを切り替えて行う。秘匿化部３２２Ａが行う第１秘匿化処理は第１実施形態と同様である。ただし、秘匿化部３２２Ａが行う第２秘匿化処理は第１実施形態と異なる。

第２実施形態においては、第２秘匿化処理は、画像セグメンテーションにより得られる物体（特定部位を含む）の領域を、物体の特徴を削減した画像とする処理である。物体の特徴を削減した画像とは、例えば塗りつぶし画像、ぼかし画像、モザイク画像等である。このような構成によれば、特定部位を含む物体を対象として秘匿化を行う場合に、物体の形状をなるべく残して秘匿化を行うことができる。すなわち、秘匿化処理によって撮影画像から削減される情報量を低減しつつ、適切に個人情報保護のための秘匿化を行うことができる。本実施形態では、第２秘匿化処理は、撮影画像から得られる物体（特定部位を含む）の特徴を反映しつつ秘匿化処理を行っていると解釈することができる。

なお、第２秘匿化処理によって秘匿化が行われる範囲は、画像セグメンテーションにより得られる物体（特定部位を含む）の領域と完全に一致していてもよいが、完全に一致していなくてもよい。第２秘匿化処理によって秘匿化が行われる範囲は、例えば、画像セグメンテーションにより得られる物体の領域より少し広めであってもよい。

［２－２－２．画像処理装置の動作例］
図９は、本発明の第２実施形態に係る画像処理装置３Ａの動作例を示すフローチャートである。第２実施形態の画像処理装置３Ａの動作は、概ね第１実施形態の画像処理装置３の動作と同じであるため、異なる点を中心に説明する。

まず、取得部３１がカメラ４より撮影画像を取得する（ステップＳ１）。取得した撮影画像を用いて、検知部３２１による物体検知処理（所定の物体および特定部位の検知）と、画像セグメンテーション部３２３による画像セグメンテーションとが並行して行われる（ステップＳ２Ａ）。

図１０は、図４に示す撮影画像に対する画像セグメンテーションの結果を例示する図である。画像セグメンテーションにより、道路Ｒと、壁Ｗと、人Ｈとがクラス分けされている。図１０に示す例では、クラス分けされた各要素Ｒ、Ｗ、Ｈは、塗りつぶしの色を変えて区別されている。なお、クラス分けされた各要素の区別は、塗りつぶしの色を変えるのではなく、例えば、ハッチングの種類を変えること等により行われてよい。

検知部３２１による物体検知と、画像セグメンテーション部３２３による画像セグメンテーションとが完了すると、検知部３２１により所定の物体が検知されたか否かが判断される（ステップＳ３）。所定の物体が検知されなかった場合（ステップＳ３でＮｏ）、図３にフローチャートで示される処理が一旦終了される。所定の物体が検知された場合（ステップＳ３でＹｅｓ）、検知部３２１により所定の物体に含まれる特定部位が検知されたか否かが判断される（ステップＳ４）。なお、ステップＳ４では、ステップＳ２において所定の物体が複数検知されている場合には、各所定の物体に対して特定部位が検知されている否かが判断される。

特定部位が検知されている場合（ステップＳ４でＹｅｓ）、当該特定部位を対象に第１秘匿化処理が行われる（ステップＳ５）。特定部位が検知されていない場合（ステップＳ４でＮｏ）、当該特定部位を含む物体を対象に第２秘匿化処理が行われる（ステップＳ６）。第２秘匿化処理は、画像セグメンテーションの結果に基づき実行される。

図１１は、第２実施形態の画像処理装置３Ａにおいて、図４に示す撮影画像が入力された場合の秘匿化処理結果を例示する図である。この例において、検知部３２１の検知結果は、第１実施形態の図５に示す結果と同じである。すなわち、人Ｈ１については、人として検知されているが、特定部位である顔の検知はできていない。人Ｈ２については、人および顔の検知ができている。

図１１において、人Ｈ１については、第２秘匿化処理が行われている。すなわち、取得部３１で取得した撮影画像について、画像セグメンテーションにより得られた人Ｈ１の領域が、人の特徴を削減した画像（本例では塗りつぶし画像）にされている。これにより、人Ｈ１の大きさや姿勢等の情報を残しつつ、人Ｈ１の個人情報が秘匿化されている。

本例では、詳細には、人の特徴を削減した画像には、画像セグメンテーションの際に生成される画像（図１０参照）が適用されている。すなわち、物体（特定部位を含む）の特徴を削減した画像には、画像セグメンテーションの際に生成される画像が適用されている。これによれば、例えばアルファブレンド等の画像合成手法を利用して、個人情報の秘匿化を行った画像を得ることができる。

図１１において、人Ｈ２については、第１秘匿化処理が行われている。図１１に示す例では、検知部３２１により検知された特定部位（顔）の領域がＣＧに置換されている。ただし、特定部位の秘匿化には、例えば塗りつぶし、ぼかし、モザイク等が利用されてよい。

＜３．留意事項等＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で適宜組み合わせて実施されてよい。

３、３Ａ・・・画像処理装置
３２１・・・検知部
３２２、３２２Ａ・・・秘匿化部
３２３・・・画像セグメンテーション部

Claims (8)

1. コントローラを備える画像処理装置であって、
   前記コントローラは、
   取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体を検知する第１検知処理、および、前記特定部位を検知する第２検知処理を行い、
   前記第１検知処理および前記第２検知処理により、
   前記物体および前記特定部位を検知した場合、前記特定部位を対象とする秘匿化処理を行い、
   前記物体のみを検知した場合、前記物体を対象とする秘匿化処理を行う、
   画像処理装置。
2. 前記コントローラは、取得した前記撮影画像に対してピクセル毎に意味をラベル付けする画像セグメンテーションを行い、
   前記物体を対象とする秘匿化処理は、前記画像セグメンテーションにより得られる前記物体の領域を、前記物体の特徴を削減した画像とする処理である、請求項１に記載の画像処理装置。
3. 前記物体の特徴を削減した画像には、前記画像セグメンテーションの際に生成された画像が適用される、請求項２に記載の画像処理装置。
4. 前記コントローラは、前記撮影画像から得られる前記物体および前記特定部位のうちの少なくとも一方について、前記撮影画像から得られる特徴を反映しつつ前記秘匿化処理を行う、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記コントローラは、前記撮影画像における前記物体および前記特定部位のうちの少なくとも一方について、復号可能に暗号化することにより前記秘匿化を行う、請求項１から３のいずれか１項に記載の画像処理装置。
6. 取得した撮影画像から、個人情報を保護する秘匿化が必要な特定部位を含む物体を検知する第１検知処理、および、前記特定部位を検知する第２検知処理を行い、
   前記第１検知処理および前記第２検知処理により、
   前記物体および前記特定部位を検知した場合、前記特定部位を対象とする秘匿化処理を行い、
   前記物体のみを検知した場合、前記物体を対象とする秘匿化処理を行う、
   画像処理方法。
7. 撮影画像から人物部分および当該人物の顔部分を認識すると、当該顔部分を対象としてモザイク処理を実施し、
   撮像画像から人物部分のみを認識し、当該人物の顔部分を認識しない場合は、当該人物部分を対象としてモザイク処理を実施するコントローラを備える、画像処理装置。
8. 撮影画像から車両部分および当該車両のナンバープレート部分を認識すると、当該ナンバープレート部分を対象としてモザイク処理を実施し、
   撮像画像から車両部分のみを認識し、当該車両のナンバープレート部分を認識しない場合は、当該車両部分を対象としてモザイク処理を実施するコントローラを備える、画像処理装置。

Images