JP2014067131A - 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】取得された画像において、個人を特定可能な部分を、雰囲気を損ねずに個人を特定不能な部分に置換する。
【解決手段】撮像された画像を取得する画像取得部と、取得された画像に、個人を特定可能な部分が含まれるか否かを解析する画像解析部と、置換用画像を記憶する置換用画像記憶部と、個人が特定可能な画像を置換用画像を用いて置換する置換部を備える画像処理装置。置換部は、個人を特定可能な部分を、該部分の雰囲気を損ねず個人を特定不能な部分に置換するための置換用画像を用いて置換を行う。
【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラムに関する。

近年、ブログやＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）の利用が広まっておりスマートフォンやデジタルカメラで撮影した画像を、アップロードすることが日常的に行われている。しかし、撮影した画像をそのままアップロードすると、プライバシーや、肖像権、著作権等が問題になる場合がある。このような問題を回避するために、例えば、特許文献１には、被写体画像をモザイク化、ソフトフォーカス化し、または顔画像へ目線等の追加を行う技術が開示されている。

特開２００８−２３６１４１号公報

しかし、特許文献１に記載された画像処理装置では、被写体画像に対してモザイク化等を行うと、画像全体の雰囲気を損ねるおそれがあった。そのほか、従来の画像処理装置においては、その使い勝手の向上や処理負担の軽減が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、画像処理装置が提供される。この画像処理装置は、撮像された画像を取得する画像取得部と；前記取得された画像に、個人を特定可能な部分が含まれるか否かを解析する画像解析部と；前記個人を特定可能な部分を、該部分の雰囲気を損ねず前記個人を特定不能な部分に置換するための置換用画像を記憶する置換用画像記憶部と；前記個人を特定可能な部分を前記置換用画像を用いて置換する置換部と、を備える。この形態の画像処理装置によれば、取得された画像の中に個人を特定可能な部分が含まれる場合には、その部分が、個人を特定不能な画像に置換される。よって、取得された画像を、個人のプライバシーを守ることの可能な画像に置換できるため、ユーザは、撮影した画像を安心してアップロードすることができる。また、個人を特定可能な部分の雰囲気を損ねずに個人を特定不能な画像へ置換できるので、置換前後で、撮影された画像全体の雰囲気を保つことができる。

（２）上記形態の画像処理装置において、前記個人を特定可能な部分は、人物の顔および車両のナンバープレートの少なくとも一方であってもよい。この形態の画像処理装置によれば、取得された画像に人物の顔又は車両のナンバープレートが含まれる場合には、置換用画像を用いて異なる人物の顔又は異なる車両のナンバープレートに置換される。そのため、取得された画像の中に、人物の顔や、車両のナンバープレートが含まれていても、それらによって個人が特定されない画像を得ることができる。

（３）上記形態の画像処理装置において、前記個人を特定可能な部分を含み、該部分が公開されることに対して同意がされた個人識別情報を記憶する個人識別情報記憶部を更に備え；前記画像解析部は、更に、前記個人を特定可能な部分が、前記取得された画像と前記個人識別情報とにおいて同一であるか否かを解析し；前記置換部は、前記個人を特定可能な部分に関する情報が、前記取得された画像と前記個人識別情報とにおいて同一である場合には、該個人を特定可能な部分を置換しなくともよい。この形態の画像処理装置によれば、取得された画像と個人識別情報とにおいて、個人を特定可能な部分が同一である場合には、その部分に対して置換が行われない。そのため、取得された画像において、例えば置換をする人物と、置換をしない人物とを選別しなくともよいため、置換をする人物のプライバシーを守り、置換をしない人物が含まれる画像を、簡易に得ることができる。

（４）上記形態の画像処理装置において、前記画像解析部は、前記取得された画像に前記個人を特定可能な部分が含まれている場合には、前記個人を特定可能な部分の属性を解析し；前記置換部は、前記属性に基づいて、前記個人を特定可能な部分を前記置換用画像を用いて置換してもよい。この形態の画像処理装置によれば、個人を特定可能な部分の属性に基づいて、置換が行われるため、個人を特定可能な部分の雰囲気をより損ねずに置換することができる。

（５）上記形態の画像処理装置において、前記個人を特定可能な部分が前記人物の顔である場合には、前記画像解析部は、前記属性として、前記人物の人種、年齢、性別又は表情の少なくとも一つを解析し；前記置換部は、解析された前記人物の人種、年齢、性別又は表情の少なくとも一つに基づいて、前記置換用画像を用いて、前記人物の顔を異なる人物の顔に置換してもよい。この形態の画像処理装置によれば、取得された画像の中に人物の顔が含まれる場合には、その人物の人種、年齢、性別又は表情の少なくとも一つに基づいて、置換用画像を用いて異なる人物の顔に置換される。よって、取得された画像に人物の顔が含まれていても、個人のプライバシーを守りつつ、取得された画像全体の雰囲気を保つことができる画像を得ることが可能となる。

（６）上記形態の画像処理装置において、前記個人を特定可能な部分が車両のナンバープレートである場合には、前記画像解析部は、前記属性として、前記車両の種別、用途又は使用されている地域の少なくとも一つを解析し；前記置換部は、解析された前記車両の種別、用途又は使用されている地域の少なくとも一つに基づいて、前記置換用画像を用いて、前記車両のナンバープレートを異なる車両のナンバープレートに置換してもよい。この形態の画像処理装置によれば、取得された画像の中に車両のナンバープレートが含まれる場合には、その車両の種別、用途又は使用されている地域の少なくとも一つに基づいて、置換用画像を用いて異なるナンバープレートに置換される。よって、取得された画像にナンバープレートが含まれていても、個人のプライバシーを守りつつ、取得された画像全体の雰囲気を保つことができる画像を得ることが可能となる。

（７）上記形態の画像処理装置において、前記画像取得部は、更に、前記画像が撮像された位置に関する情報を取得し；前記画像解析部は、前記属性として、前記画像が撮像された位置に関する情報を解析し；前記置換部は、前記個人を特定可能な部分を解析された前記画像が撮像された位置に関する情報に基づいて、前記置換用画像を用いて置換してもよい。この形態の画像処理装置によれば、画像が撮像された位置に関する情報に基づいて、個人が特定可能な部分が置換されるので、画像が撮影された位置にそぐわない画像に置換されることを防ぐことができる。

（８）上記形態の画像処理装置において、警告を発する警告部を更に備え；前記画像取得部は、前記警告部が警告を発した後に、画像を取得してもよい。この形態の画像処理装置によれば、画像取得部が画像を取得する前に、警告部が警告を発するので、例えば、画像処理装置の周辺に存在する画像に写りこむことを望まない人物に、撮影が行われることを周知することができる。よって、より個人のプライバシーを守ることのできる画像を得ることが可能となる。

（９）本発明の他の形態によれば、画像処理システムが提供される。画像処理システムは、画像を撮像可能な端末と、該端末と通信可能なサーバを備える画像処理システムであって；前記端末は；撮像された画像を取得する画像取得部と；前記取得された画像を前記サーバに送信する送信部と、を備え；前記サーバは；前記取得された画像を前記端末から受信する受信部と；前記取得された画像に、個人を特定可能な部分が含まれるか否かを解析する画像解析部と；前記個人を特定可能な部分を、該部分の雰囲気を損ねず前記個人を特定不能な部分に置換するための置換用画像を記憶する置換用画像記憶部と；前記個人を特定可能な部分を前記置換用画像を用いて置換する置換部と、を備える。この画像処理システムによれば、サーバにおいて、取得された画像の解析と置換とが行われるので、端末における処理負担を軽減することができる。また、サーバに置換用画像記憶部が設けられているため、端末の記憶領域を有効に活用することができる。よって、端末の他の動作が遅延することを防ぐことができるので、ユーザの便宜を図りつつ、個人のプライバシーを守り、画像全体の雰囲気を保つことができる画像を得ることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部又は全部を解決するため、あるいは、本明細書に記載された効果の一部又は全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部又は全部を上述した本発明の他の形態に含まれる技術的特徴の一部又は全部と組み合わせて、本発明の独立した一形態とすることも可能である。

本発明は、画像処理装置以外の種々の形態で実現することも可能である。例えば、画像処理方法や画像処理を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

本発明の一実施形態としての画像処理装置の構成を説明するための図である。 置換用画像の一例を示す図である。 個人識別画像の一例を示す図である。 スマートフォンにより実行されるプライバシーモードによる撮影処理のフローチャートである。 撮像画像の一例を示す図である。 人物３１３および人物３１４の顔を置換用画像を用いて置換する様子について示す図である。 図５に示した撮像画像３１０を置換した撮像画像３１０ｃを示す図である。 撮像画像の別の例を示す図である。 図８に示した撮像画像４１０を置換した撮像画像４１０ｃを示す図である。 人物の顔とナンバープレートを含む撮像画像を示す図である。 図１０に示した撮像画像３２０を置換した撮像画像３２０ｃを示す図である。 本発明の一実施形態としての画像処理システムの構成を説明するための図である。 画像処理システムにより実行されるプライバシーモードによる撮影処理のフローチャートである。

Ａ．第１実施形態：
Ａ１．装置構成：
図１は、本発明の一実施形態としての画像処理装置の構成を説明するための図である。本実施形態では、画像処理装置として、スマートフォン２０を用いている。スマートフォン２０は、カメラ２０１と、警告部２０２と、ＧＰＳ受信機２０３と、タッチパネル２０４と、表示部２０５と、無線ＬＡＮ通信部２０６と、移動体通信網通信部２０７と、音声通信部２０８と、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２２５と、フラッシュメモリ２３０と、を備えている。

カメラ２０１は、スマートフォン２０の裏面に設けられており、静止画像や、動画像を撮像して取得する。以下、撮像された静止画像や動画像を、「撮像画像」ともいう。カメラ２０１は、表示部２０５に表示されたシャッタボタンがタッチパネル２０４を介して押された場合に、静止画像や動画像を撮影する。カメラ２０１は、本願の「画像取得部」に相当する。

警告部２０２は、音声を出力するためのスピーカやＬＥＤライト（不図示）、これらを駆動する回路などから構成される。警告部２０２は、スマートフォン２０の備えるカメラ２０１により画像が撮影される前に、音声やライトの点滅によって、これから画像が撮影されることを周囲に警告する。

ＧＰＳ受信機２０３は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ／全地球測位システム）を構成する人工衛星から受信した電波に基づいて、スマートフォン２０（ユーザ）の現在位置（経度・緯度）を測位する。撮像画像（カメラ２０１によって撮影された画像）には、画像を撮影した際にＧＰＳ受信機２０３により測位された現在位置に関する位置情報が、ＥＸＩＦ規格に基づきデータとして埋め込まれる。

表示部２０５は、種々の画像やテキスト等を表示する装置である。タッチパネル２０４は、表示部２０５に重畳して設けられており、指やペンによるユーザからのタッチ操作を受け付ける。

無線ＬＡＮ通信部２０６は、無線ＬＡＮ規格（ＩＥＥＥ８０２．１１シリーズ）に基づいて、インフラストラクチャやアドホックモードによって外部機器と無線通信を行うための回路である。

移動体通信網通信部２０７は、例えば３Ｇ／ＨＳＰＡに準拠した移動体通信方式により、通信キャリア（不図示）との間で、データ通信や音声通信を行うための回路である。

音声通信部２０８は、音声を出力するためのスピーカや音声を入力するためのマイク、これらを駆動する回路などから構成される。音声通信部２０８の備えるスピーカは、警告部２０２が警告を発する際にも使用される。スマートフォン２０は、移動体通信網通信部２０７と音声通信部２０８とを備えることにより電話としても動作する。

フラッシュメモリ２３０は、不揮発的にデータを記憶可能な記憶装置である。フラッシュメモリ２３０には、置換用画像２３１と個人識別画像２３２とが記憶されている。フラッシュメモリ２３０は、本願の「置換用画像記憶部」および「個人識別情報記憶部」に相当する。個人識別画像２３２は本願の「個人識別情報」に相当する。

置換用画像２３１とは、撮像画像に人物の顔等が含まれる場合において、その人物の顔等を他の人物の顔等に、雰囲気を損ねないようにしつつ、置換するために用いられる画像である。置換用画像２３１は、例えば、使用許諾、加工許諾がされている画像や、著作権フリーの画像から構成されている。本実施形態において、フラッシュメモリ２３０には、性別、人種、年齢、表情等のそれぞれの属性に適合する人物の画像や、車両のそれぞれの属性に適合するナンバープレートの画像が、置換用画像として、複数記憶されている。個人識別画像２３２とは、インターネットを通じて公開することに同意が得られた人物の顔等の画像である。なお、フラッシュメモリ２３０は、個人識別画像２３２にかえて、インターネットを通じて公開することに同意が得られた人物の顔等に関する数値（例えば、人物の顔の形、目、鼻、口の大きさや位置に関する情報）を記憶するものとしてもよい。

ＣＰＵ２１０は、ＲＯＭ２２５に記憶された制御プログラムをＲＡＭ２２０に展開して実行することで、スマートフォン２０の各部を制御するとともに、画像解析部２１１及び置換部２１２として機能する。

画像解析部２１１は、撮像画像に人物の顔や車両のナンバープレート（以下、まとめて「人物の顔等」ともいう）など、個人が特定できるような部分が含まれているか否かを例えば、公知の顔検出技術や、テンプレートマッチング法を用いて解析する。具体的には、画像解析部２１１は、標準的な顔の特徴（形、顔の色、目や鼻などの特徴）をフラッシュメモリ２３０に記憶しておき、撮像画像にその特徴と合致する部分が含まれている場合、その部分を顔として検出する（顔検出技術）。また、画像解析部２１１は、ナンバープレートの特徴（形、大きさ、数字や記号の配置等）をフラッシュメモリ２３０に記憶しておき、撮像画像中のその特徴と合致する部分を、ナンバープレートとして検出する（テンプレートマッチング法）。さらに、画像解析部２１１は、撮像画像に人物の顔等が含まれている場合には、公知の顔属性推定技術を用い、属性として、その人物の人種、性別、年齢、表情を解析する。また、撮像画像に車両のナンバープレートが含まれている場合には、画像解析部２１１は、ナンバープレートに表示されている番号や記号に基づき、車両の種別や、事業用又は自家用等の用途、使用されている地域等を属性として解析する。

また、画像解析部２１１は、撮像画像に人物の顔等が含まれている場合には、その人物の顔等と、フラッシュメモリ２３０に記憶されている個人識別画像２３２とを、例えば公知の顔識別技術により照合して、撮像画像に含まれる人物の顔等と、個人識別画像２３２とが一致するか否かを解析する。

置換部２１２は、撮像画像に含まれる人物の顔等を、画像解析部２１１により解析された属性に基づいて、フラッシュメモリ２３０に記憶されている置換用画像２３１を用いて置換する。また、置換部２１２は、撮像画像に含まれる人物の顔等の向きや、サイズに合わせて、置換用画像２３１を加工する。ただし、置換部２１２は、撮像画像に人物の顔等が含まれていても、その人物の顔等がフラッシュメモリ２３０に記憶されている個人識別画像２３２と一致する場合には、置換を行わない。

図２（ａ）（ｂ）は、置換用画像２３１の一例を示す図である。図２（ａ）には、人種は日本人、性別は女性、年齢は３０代、表情は笑顔という属性を有する置換用画像２３１ａを示している。また、図２（ｂ）には、人種は日本人、性別は女性、年齢は７０代、表情は微笑という属性を有する人物の置換用画像２３１ｂを示している。例えば、撮像画像に含まれる人物の属性が、図２（ａ）に示す置換用画像２３１ａに示す人物の属性と一致する場合には、置換部２１２は、撮像画像に含まれる人物の顔を、図２（ａ）の置換用画像２３１ａを用いて置換する。また、撮像画像に含まれる人物の属性が、フラッシュメモリ２３０に記憶されたいずれの置換用画像２３１とも一致しない場合には、置換部２１２は、撮像画像に含まれる人物の顔を、最も近い属性を有する置換用画像を用いて置換する。

なお、本明細書において置換部２１２が行う「置換」とは、撮影された画像の人物の顔等を削除して、置換用画像や置換用画像を加工した画像に置換することや、撮影された画像の人物の顔等を、置換用画像や置換用画像を加工した画像によって上書きすることをいう。本実施形態では、置換用画像２３１はフラッシュメモリ２３０にあらかじめ記憶されていることとしたが、置換用画像２３１は、インターネットを介してダウンロードすることも可能である。

図３（ａ）（ｂ）は、個人識別画像２３２の一例を示す図である。本実施形態では、図３（ａ）に示す個人識別画像２３２ａは、スマートフォン２０のユーザの画像であり、図３（ｂ）に示す個人識別画像２３２ｂはスマートフォン２０のユーザの知人の画像である。本実施形態の個人識別画像２３２ａ、２３２ｂは、カメラ２０１によって撮影され、フラッシュメモリ２３０に記憶されている。なお、個人識別画像２３２は、インターネットを介してダウンロードしてもよく、また、メモリーカード等外部記憶媒体から取得することともできる。

Ａ２．プライバシーモードによる撮影処理：
図４は、スマートフォン２０により実行されるプライバシーモードによる撮影処理のフローチャートである。この処理は、スマートフォン２０のユーザにより、撮影後の画像処理として置換処理を行う撮影モード（プライバシーモード）が選択された場合に自動的に開始される。置換処理は、撮像画像の中に人物の顔等が含まれる場合において、撮像画像全体の雰囲気を損ねないようにしつつ、かつ、個人のプライバシーが守られるように、人物の顔等を置換するための処理である。

撮影処理が開始されると、スマートフォン２０のＣＰＵ２１０は、警告部２０２に、これから画像が撮影されることを警告させる（ステップＳ１００）。具体的には、ＣＰＵ２１０は、警告部２０２の備えるスピーカ（不図示）から、「撮影を行います」等の音声を出力させて、スマートフォン２０の周辺に存在する人物に、撮影が行われることを周知する。警告が行われると、スマートフォン２０のＣＰＵ２１０は、カメラ２０１により、撮影を行う（ステップＳ１０２）。ＣＰＵ２１０は、カメラ２０１により撮影された画像を、フラッシュメモリ２３０に記憶する。

撮影が行われると、画像解析部２１１は、撮像画像に人物の顔等が含まれているか否かを解析する（ステップＳ１０４）。例えば、画像解析部２１１は、公知の顔検出技術を用いて、撮像画像に人物の顔が含まれているか否かを解析する。また、画像解析部２１１は、公知のテンプレートマッチング法を用いて、撮像画像にナンバープレートが含まれているか否かを解析する。撮像画像の中に人物の顔等が含まれない場合には（ステップＳ１０４：ＮＯ）、ＣＰＵ２１０はプライバシーモードによる撮影処理を終了する。

撮像画像に人物の顔等が含まれている場合には（ステップＳ１０４：ＹＥＳ）、画像解析部２１１は、撮像画像に含まれる人物の顔等と、フラッシュメモリ２３０に記憶された個人識別画像２３２（個人識別画像２３２に含まれる人物の顔等）との一致度合いから、撮像画像に含まれる人物の顔等と、個人識別画像２３２とが同一か否かを解析する（ステップＳ１０６）。

撮像画像に含まれる人物の顔等と、フラッシュメモリ２３０に記憶された個人識別画像２３２とが同一でない場合には（ステップＳ１０６：ＮＯ）、画像解析部２１１は、公知の顔属性判別技術や、テンプレートマッチング法により、撮像画像に含まれる人物の顔等の属性を解析する（ステップＳ１０８）。撮像画像に含まれる人物の顔等と、個人識別画像２３２とが同一である場合には（ステップＳ１０６：ＹＥＳ）、画像解析部２１１は、撮像画像の個人識別画像２３２以外の人物の顔等の属性を解析する（ステップＳ１１０）。

画像解析部２１１により属性が解析されると（ステップＳ１０８、ステップＳ１１０）、置換部２１２は、解析された属性と一致する属性を有する置換用画像２３１を選択し、人物の顔等の向きや、サイズに合わせて加工して置換する（ステップＳ１１２）。なお、置換部２１２は、ステップＳ１０６において、個人識別画像２３２と同一であると解析された人物の顔等については、置換を行わない。

撮像画像の人物の顔等を、置換用画像２３１を用いて置換すると（ステップＳ１１２）、スマートフォン２０のＣＰＵ２１０は、フラッシュメモリ２３０に記憶されている撮像画像を、置換を行った画像によって上書きして保存する（ステップＳ１１４）。以上のようにして、一連のプライバシーモードによる撮影処理が終了する。

次に、図５から図１１に基づき、置換処理の具体例について説明する。図５は、撮像画像の一例を示す図である。図５に示す撮像画像３１０には、４人の人物の顔（人物３１１、３１２、３１３、３１４の顔）が含まれている（図４、ステップＳ１０４：ＹＥＳ）。このうち、人物３１１は、図３（ａ）に示した個人識別画像２３２ａと同一である。また、人物３１２は、図３（ｂ）に示した個人識別画像２３２ｂと同一である（図４、ステップＳ１０６：ＹＥＳ）。よって、画像解析部２１１は、撮像画像３１０に含まれる残りの人物３１３および人物３１４の顔の属性を解析する（図４、ステップＳ１１０）。

図６は、人物３１３および人物３１４の顔を、置換用画像２３１を用いて置換する様子について示す図である。撮像画像３１０に含まれる人物３１３に対して、画像解析部２１１が、人種は日本人、性別は女性、年齢は３０代、表情は笑顔という属性を解析した場合（図４、ステップＳ１１０）、置換部２１２は、置換用画像２３１の中から、これらの属性と一致する置換用画像２３１を選択する。人物３１３の属性は、図２（ａ）に示した置換用画像２３１ａの属性と一致する。よって、置換部２１２は、置換用画像２３１ａを選択し、人物３１３の顔の向きや、サイズにあわせて加工する。そして、人物３１３の顔を、加工した置換用画像２３１ａを用いて置換する（図４、ステップＳ１１２）。同様に、撮像画像３１０に含まれる人物３１４に対して、画像解析部２１１が、人種は日本人、性別は女性、年齢は７０代、表情は微笑という属性を解析した場合（図４、ステップＳ１１０）、この属性は、図２（ｂ）に示した置換用画像２３１ｂの属性と一致するので、置換部２１２は、置換用画像２３１ｂを選択して、人物３１４の顔の向きや、サイズにあわせて加工する。そして、人物３１３と同様に、人物３１４の顔を、置換用画像２３１ｂを用いて置換する（図４、ステップＳ１１２）。こうすることで、人物３１３の顔は、人物３１３の顔の雰囲気を保ったまま異なる人物３１３ｃの顔に置換され、人物３１４の顔は、人物３１４の顔の雰囲気を保ったまま異なる人物３１４ｃの顔に置換される。

図７は、図５に示した撮像画像３１０に置換処理を施した画像３１０ｃを示す図である。人物３１１、３１２は、個人識別画像２３２と同一の人物であるため置換が行われていない。また、図５に示した撮像画像３１０のうち、人物３１３、３１４の顔は、異なる人物３１３ｃ、３１４ｃの顔に置換されている。置換は、人物３１３、３１４の属性が解析されて行われているため、図７に示すように、置換後の撮像画像３１０ｃは、もとの撮像画像３１０の雰囲気を損ねていない。また、置換後の撮像画像３１０ｃの人物３１３ｃ、人物３１４ｃを拡大して閲覧したとしても、図５に示した人物３１３、３１４とは異なっているため、置換後の撮像画像３１０ｃからは、図５に示した人物３１３、３１４を特定することはできない。

図８は、撮像画像の別の例を示す図である。図８に示す撮像画像４１０には、３台の車両４０１、４０２、４０３のナンバープレートが含まれている（図４、ステップＳ１０４：ＹＥＳ）。この撮像画像４１０には、フラッシュメモリ２３０に記憶された個人識別画像２３２と同一の人物の顔等は含まれていない（図４、ステップＳ１０６：ＮＯ）。よって、画像解析部２１１は、撮像画像４１０に含まれる車両４０１、４０２、４０３のナンバープレートの属性を全て解析する（図４、ステップＳ１０８）。例えば、画像解析部２１１は、テンプレートマッチング法により、図８に示す車両４０１のナンバープレートの属性を「軽自動車、自家用車、登録地域・品川」であると解析する。また、車両４０２のナンバープレートの属性を、「普通自動車、自家用車、登録地域・相模」であると解析する。同様に、車両４０３のナンバープレートの属性を、「普通自動車、商用車（タクシー）、登録地域・練馬」であると解析する。置換部２１２は、画像解析部２１１により解析された属性と一致する属性を有する置換用画像２３１をそれぞれ選択して、車両４０１、４０２、４０３のそれぞれのナンバープレートの向きやサイズに合わせて加工して置換する（図４、ステップＳ１１２）。

図９は、図８に示した撮像画像４１０に置換処理を施した画像４１０ｃを示す図である。図８に示した車両４０１、４０２、４０３のナンバープレートは、それぞれ異なる車両４０１ｃ、４０２ｃ、４０３ｃのナンバープレートに置換されている。置換は、車両４０１、４０２、４０３のナンバープレートの属性が解析されて行われているため、例えば、「軽自動車、自家用車、登録地域・品川」の属性を有する車両４０１のナンバープレート（図８）は、「軽自動車、自家用車、登録地域・品川」の属性を有する車両４０１ｃのナンバープレート（図９）に置換されている。同様に、普通自動車の車両４０２のナンバープレート（図８）は、同じ属性を有する車両４０２ｃのナンバープレート（図９）に置換されている。また、タクシー車両４０３のナンバープレート（図８）はタクシー車両４０３ｃのナンバープレート（図９）に置換されている。そのため、もとの撮像画像４１０の車両４０１は軽自動車であるのに対し、置換後の撮像画像４１０ｃの車両４０１ｃは大型車のナンバープレートに置換されるといったことはなく、撮像画像４１０ｃは、撮像画像４１０の雰囲気を損ねていない。また、置換後の撮像画像４１０ｃの車両４０１ｃ、４０２ｃ、４０３ｃのナンバープレートを拡大して閲覧したとしても、もとの撮像画像４１０に含まれる車両４０１、４０２、４０３のナンバープレートとは異なっているため、車両４０１、４０２、４０３の所有者とナンバープレートとの相関を知る者は、置換後の撮像画像４１０ｃから、車両の所有者を特定することはできない。

図１０は、人物の顔とナンバープレートを含む撮像画像３２０を示す図である。図１０に示す撮像画像３２０には、４人の人物の顔（人物３１１、３１２、３１３、３１４の顔）と、一台の車両４０５のナンバープレートが含まれている（図４、ステップＳ１０４：ＹＥＳ）。このうち、人物３１１は、図３（ａ）に示した個人識別画像２３２ａと同一の人物である。また、人物３１２は、図３（ｂ）に示した個人識別画像２３２ｂと同一の人物である（図４、ステップＳ１０６：ＹＥＳ）。よって、画像解析部２１１は、人物３１１、人物３１２を除いて、撮像画像３２０に含まれる人物３１３、人物３１４の顔および車両４０５のナンバープレートの属性を解析する（図４、ステップＳ１１０）。置換部２１２は、属性に基づいて、置換用画像２３１を選択し、人物３１３、３１４の顔、および車両４０５のナンバープレートのそれぞれの向きやサイズに合わせて加工して置換する。

図１１は、図１０に示した撮像画像３２０に置換処理を施した画像３２０ｃを示す図である。人物３１１、３１２は、個人識別画像２３２ａ、２３２ｂと同一の人物であるため置換が行われない。一方、図１０に示した撮像画像３２０のうち、人物３１３、３１４の顔は、異なる人物３１３ｃ、３１４ｃの顔に置換されている。また、車両４０５のナンバープレートは、異なる車両４０５ｃのナンバープレートに置換されている。このように、人物の顔とナンバープレートがともに含まれる撮像画像であっても、置換は、人物３１３、３１４および車両４０５のナンバープレートの属性が解析されて行われる。そのため、図１１に示すように、置換後の撮像画像３２０ｃは、もとの撮像画像３２０の雰囲気を損ねていない。また、置換後の撮像画像３２０ｃの人物３１３ｃ、人物３１４ｃの顔や、車両４０５ｃのナンバープレートを拡大して閲覧したとしても、置換前の人物３１３、３１４や、車両４０５の所有者を特定することはできない。

以上のような置換処理を行えば、撮像画像の中に人物の顔やナンバープレートが含まれる場合には、その属性が解析され、置換用画像２３１を用いて置換される。そのため、例えば、置換処理が行われた画像をアップロードした場合においても、その画像に含まれる個人が特定されることを抑制することができるため、個人のプライバシーを侵害することを防ぐことができる。また、置換部２１２は、撮像画像に含まれる人物の顔やナンバープレートを、モザイクや、塗りつぶしによって加工するのではなく、置換用画像２３１を用いて加工する。そのため、撮像画像の雰囲気を損なうことなく人物の顔やナンバープレートを置換することができる。さらに、置換部２１２は、画像解析部２１１により解析された属性と同一もしくは最も近い属性を有する置換用画像２３１を選択して、その置換用画像２３１を用いて置換を行う。そのため、例えば、撮像画像に含まれる人物の顔や車両のナンバープレートが、撮像された場にそぐわない人物の顔や、撮像された車両の車種等にそぐわないナンバープレートに置換されることがないため、より撮像画像の雰囲気を損なうことなく置換をすることができる。

また、置換用画像２３１は、使用許諾が得られている、もしくは使用許諾を得ずに使用及び加工を自由に行うことのできる画像である。そのため、スマートフォン２０のユーザは、置換処理に際し、著作権等を考慮しなくともよい。よって、ユーザの利便性を図ることができる。さらに、置換部２１２は、個人識別画像２３２と同一人物の顔等については置換を行わないので、例えば、スマートフォン２０のユーザやその知人のみが判別でき、それ以外の人物の顔等を置換した画像を得ることができる。また、これらの処理を、プライバシーモードを選択して、撮影をするだけで自動的に行うことができるので、ユーザの利便性が向上する。また、撮影をする際には、警告部２０２により警告が発せられるので、スマートフォン２０の周辺に存在する、写真に写り込むことを望まない人物に、これから撮像が行われることを周知することができる。よって、個人のプライバシーにより配慮しつつ、撮影された画像の雰囲気を損ねない画像を得ることが可能となる。

Ｂ．第２実施形態：
Ｂ１．システム構成：
図１２は、本発明の一実施形態としての画像処理システム１０の構成を説明するための図である。画像処理システム１０は、画像を撮影可能な端末としてのスマートフォン２０ａと、サーバ５０とを備える。スマートフォン２０ａとサーバ５０は、互いにインターネットＩＮＴによって接続されている。スマートフォン２０ａは、通信キャリアＢＳを介して無線によってインターネットＩＮＴに接続可能である。なお、通信キャリアＢＳには、送受信アンテナや、無線基地局、交換局が含まれる。

サーバ５０は、ＣＰＵ５１０と、ＲＯＭ５２０と、ＲＡＭ５３０と、ハードディスク５４０と、通信部５５０と、を備える。サーバ５０は、通信部５５０により、インターネットＩＮＴを介してスマートフォン２０とデータ通信を行う。本実施形態では、サーバ５０は、ＳＮＳに用いられるサーバであり、置換が行われた画像をインターネット上に公開する。

本実施形態の画像処理システム１０と、第１実施形態の画像処理装置との差異は、第１実施形態においては画像処理装置としてのスマートフォン２０のＣＰＵ２１０が、画像解析部２１１、置換部２１２として機能するのに対し、本実施形態の画像処理システム１０は、サーバ５０のＣＰＵ５１０が、画像解析部５１１、置換部５１２として機能する点である。また、第１実施形態においては、スマートフォン２０のフラッシュメモリ２３０に個人識別画像２３２、置換用画像２３１が記憶されていたのに対し、本実施形態においては、サーバ５０のハードディスク５４０に、個人識別画像５４２、置換用画像５４１が記憶されている。スマートフォン２０ａのその他の構成については、第１実施形態のスマートフォン２０と同様であるため、説明を省略する。

Ｂ２．プライバシーモードによる撮影処理：
図１３は、画像処理システム１０により実行されるプライバシーモードによる撮影処理のフローチャートである。この処理は、第１実施形態のプライバシーモードによる撮影処理と同様に、スマートフォン２０ａのユーザにより、撮影後の画像処理として置換処理を行う撮影モード（プライバシーモード）が選択された場合に開始される処理である。本実施形態の画像処理システム１０においてスマートフォン２０ａおよびサーバ５０が実行するプライバシーモードによる撮影処理は、図４に示した処理とほぼ同様である。異なる点は、スマートフォン２０ａでなく、サーバ５０が置換処理を行う点と、置換処理が終わると、サーバ５０が置換後の撮像画像をインターネット上に公開する点である。

撮影処理が開始されると、第１実施形態と同様に、スマートフォン２０ａのＣＰＵ２１０ａは、警告部２０２にこれから撮影が行われることを警告させ（ステップＳ２００）、カメラ２０１を起動して、撮影を行う（ステップＳ２０２）。

撮影を行うと、スマートフォン２０ａの移動体通信網通信部２０７は、撮像画像をサーバ５０へ送信する（ステップＳ２０４）。既にスマートフォン２０ａにおいて個人識別画像５４２が撮影され、もしくは個人識別画像５４２がダウンロードされてフラッシュメモリ２３０ａに記憶されている場合には、移動体通信網通信部２０７は、個人識別画像５４２もあわせてサーバ５０へ送信する。

スマートフォン２０ａから撮像画像を受信すると（ステップＳ３００：ＹＥＳ）、サーバ５０のＣＰＵ５１０は、撮像画像をハードディスク５４０に記憶する。また、撮像画像とあわせて個人識別画像５４２を受信した場合には、受信した個人識別画像５４２をハードディスク５４０に記憶する。

以降、サーバ５０の画像解析部５１１が受信した撮像画像を解析する工程（図１３、ステップＳ３０４〜ステップＳ３１０）においては、第１実施形態におけるスマートフォン２０の画像解析部２１１が撮像画像を解析する工程（図４、ステップＳ１０４〜ステップＳ１１０）と同様の処理が行われるため、説明を省略する。また、サーバ５０の置換部５１２が属性に基づいて、置換用画像５４１を用いて置換を行う工程（図１３、ステップＳ３１２）においては、第１実施形態におけるスマートフォン２０の置換部２１２が属性に基づいて、置換用画像５４１を用いて置換を行う工程（図４、ステップＳ１１２と同様の処理が行われるため説明を省略する。

置換部５１２により人物の顔等の置換が行われると（ステップＳ３１２）、サーバ５０のＣＰＵ５１０は、置換後の撮像画像を、インターネット上に公開する（ステップＳ３１４）。また、ステップＳ３０４において、受信した撮像画像に人物の顔等が含まれていない場合には（ステップＳ３０４：ＮＯ）、サーバ５０は受信した撮像画像をそのままインターネット上に公開する（ステップＳ３１４）。以上のようにして、画像処理システム１０による一連のプライバシーモードによる撮影処理が終了する。

以上のようなプライバシーモードによる撮影処理を行えば、第１実施形態におけるスマートフォン２０の画像解析部２１１、置換部２１２と同様に、サーバ５０の画像解析部５１１は撮像画像を解析し、置換部５１２は、置換用画像５４１によって人物の顔やナンバープレートを置換する。そのため、本実施形態においても、第１実施形態と同様の効果を奏する。また、置換用画像５４１、個人識別画像５４２は、スマートフォン２０ａのフラッシュメモリ２３０ａではなく、サーバ５０の備えるハードディスク５４０に記憶されるため、スマートフォン２０ａの記憶領域を有効に活用することができる。さらに、撮像画像の画像解析や、置換は、スマートフォン２０ａではなく、サーバ５０の画像解析部５１１および置換部５１２によって行われる。そのため、スマートフォン２０ａのＣＰＵ２１０の処理負担を軽減することができる。よって、スマートフォン２０ａの動作が遅延することを防ぐことができ、スマートフォン２０ａのユーザの便宜を図ることができる。さらに、スマートフォン２０のユーザがサーバ５０に撮像画像を送信するだけで、撮像画像に人物の顔やナンバープレートが含まれる場合には、置換された画像がインターネット上に公開される。そのため、スマートフォン２０ａのユーザが、人物の顔やナンバープレートが含まれる撮像画像を不用意にインターネット上に公開することが抑制されるので、より個人のプライバシーを守ることが可能となる。

Ｃ．変形例：
Ｃ１．変形例１：
上述の第１実施形態では、画像処理装置としてスマートフォン２０を用いている。これに対し、画像処理装置は、デジタルカメラであってもよい。また、第１実施形態における画像処理装置としてのスマートフォン２０は、無線ＬＡＮ通信部２０６、移動体通信網通信部２０７、音声通信部２０８を備えている。これに対し、スマートフォン２０は、無線ＬＡＮ通信部２０６、移動体通信網通信部２０７、音声通信部２０８を備えないこととしてもよい。すなわち、画像処理装置は、通信機能を備えていなくともよい。

Ｃ２．変形例２：
上述の第１実施形態では、スマートフォン２０のＣＰＵ２１０は、ステップＳ１０８において、フラッシュメモリ２３０に記憶されている撮像画像を、置換した画像によって上書きしている。これに対し、スマートフォン２０のＣＰＵ２１０は、フラッシュメモリ２３０に記憶されている置換前の撮像画像を上書きするのではなく、置換前の撮像画像と置換を行った画像とを、フラッシュメモリ２３０に保存することとしてもよい。

Ｃ３．変形例３：
上述の第２実施形態では、サーバ５０は、スマートフォン２０ａのカメラ２０１によって撮影された画像を、移動体通信網通信部２０７によりインターネットＩＮＴを介して受信している。これに対して、サーバ５０は、例えば、デジタルカメラ等によって撮影され、コンピュータ等他の端末で読み出された画像を、受信するものとしてもよい。すなわち、画像処理システム１０の備える端末は、画像取得部としてのカメラと、通信機能とを一台で備えていなくともよい。

Ｃ４．変形例４：
上述の種々の実施形態では、画像解析部は、個人を特定可能な部分として、人物の顔およびナンバープレートを解析し、置換部は、これらを置換している。これに対し、画像解析部は、個人を特定可能な部分として、例えば、表札、看板、ポスター、建築物等を解析し、置換部は、表札、看板、ポスター、建築物等の属性に適合する置換用画像を用いて、これらを置換してもよい。

Ｃ５．変形例５：
上述の種々の実施形態では、画像解析部は、車両の種別、用途又は使用されている地域を解析し、置換部は解析された結果に基づいて、ナンバープレートの置換を行っている。これに対し、置換部は、画像解析部によって解析された車両の使用されている地域でなく、ＧＰＳ受信機により測位された位置情報を用いて、または位置情報を優先して、置換を行ってもよい。

Ｃ６．変形例６：
上述の種々の実施形態では、警告を発した後に撮影が行われている。これに対し、警告は発せられなくてもよく、また、警告を発するか否かを選択する表示をタッチパネル２０４の表示部２０５に表示するものとしてもよい。

Ｃ７．変形例７：
上述の第２実施形態では、サーバ５０は、スマートフォン２０ａから撮像画像を受信し、画像解析や置換が行われると（図１３、ステップＳ３００〜ステップＳ３１２）、撮像画像に人物の顔等が含まれる場合には置換後の撮像画像を、撮像画像に人物の顔等が含まれない場合には撮像画像をインターネット上に公開している（図１３、ステップＳ３１４）。これに対し、サーバ５０は、置換が行われた撮像画像を、スマートフォン２０ａへ送信するものとしてもよい。

Ｃ８．変形例８：
上述の種々の実施形態では、置換処理は、スマートフォンにより画像が撮影された後に、引き続いて、置換部による置換が行われている。これに対し、あらかじめフラッシュメモリに記憶された撮像画像の中から置換処理を行う画像を選択し、その画像に対して置換を行ってもよい。すなわち、置換処理は、撮影がされると同時に進行するものでなくともよい。なお、画像解析部による画像解析や、置換部による置換は、撮影とは無関係に行ってもよい。

Ｃ９．変形例９：
上述の種々の実施形態では、置換部は、人物の顔等の属性と一致する置換用画像を選択し、撮像画像に含まれる人物の顔等の向きやサイズに合わせて加工して、もとの撮像画像に含まれる人物の顔等を置換している。これに対し、置換部は、置換用画像に含まれる人物の顔等を、モーフィングして置換することとしてもよい。

Ｃ１０．変形例１０：
上述の種々の実施形態では、カメラ２０１は、静止画像を撮影し、画像解析部は静止画像を解析して、置換部は静止画像に対して置換処理を行っている。これに対し、カメラ２０１は、動画像を撮影するものとしてもよい。動画像が撮影された場合には、画像解析部は動画像に含まれる複数の画像のそれぞれに対して解析を行い、置換部はそれぞれの画像に対して解析結果に基づいて置換処理を行ってもよい。

本発明は、上述の実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…画像処理システム
２０、２０ａ…スマートフォン
５０…サーバ
２０１…カメラ
２０２…警告部
２０４…タッチパネル
２０５…表示部
２０７…移動体通信網通信部
２０８…音声通信部
２１０、２１０ａ、５１０…ＣＰＵ
２１１、５１１…画像解析部
２１２、５１２…置換部
２２０、５２０…ＲＡＭ
２２５、５２５…ＲＯＭ
２３０、２３０ａ…フラッシュメモリ
２３１、２３１ａ、２３１ｂ、５４１…置換用画像
２３２、２３２ａ、２３２ｂ、５４２…個人識別画像
３１０、３１０ｃ、３２０、３２０ｃ、４１０、４１０ｃ、４２０、４２０ｃ…撮像画像
３１１、３１２、３１３、３１３ｃ、３１４、３１４ｃ…人物
４０１、４０２、４０３、４０５、４０１ｃ、４０２ｃ、４０３ｃ、４０５ｃ…車両
５４０…ハードディスク
５５０…通信部
２０６…無線ＬＡＮ通信部
ＢＳ…通信キャリア
ＩＮＴ…インターネット

Claims (11)

1. 画像処理装置であって、
   撮像された画像を取得する画像取得部と、
   前記取得された画像に、個人を特定可能な部分が含まれるか否かを解析する画像解析部と、
   前記個人を特定可能な部分を、該部分の雰囲気を損ねず前記個人を特定不能な部分に置換するための置換用画像を記憶する置換用画像記憶部と、
   前記個人が特定可能な画像を前記置換用画像を用いて置換する置換部と、を備える、
   画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記個人を特定可能な部分は、人物の顔および車両のナンバープレートの少なくとも一方である、画像処理装置。
3. 請求項１または請求項２記載の画像処理装置であって、
   前記個人を特定可能な部分を含み、該部分が公開されることに対して同意がされた個人識別情報を記憶する個人識別情報記憶部を更に備え、
   前記画像解析部は、更に、前記個人を特定可能な部分が、前記取得された画像と前記個人識別情報とにおいて同一であるか否かを解析し、
   前記置換部は、前記個人を特定可能な部分が、前記取得された画像と前記個人識別情報とにおいて同一である場合には、該個人を特定可能な部分を置換しない、画像処理装置。
4. 請求項１から請求項３までのいずれか一項記載の画像処理装置であって、
   前記画像解析部は、前記取得された画像に前記個人を特定可能な部分が含まれている場合には、前記個人を特定可能な部分の属性を解析し、
   前記置換部は、前記属性に基づいて、前記個人を特定可能な部分を前記置換用画像を用いて置換する、画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記個人を特定可能な部分が前記人物の顔である場合には、前記画像解析部は、前記属性として、前記人物の人種、年齢、性別又は表情の少なくとも一つを解析し、
   前記置換部は、解析された前記人物の人種、年齢、性別又は表情の少なくとも一つに基づいて、前記置換用画像を用いて、前記人物の顔を異なる人物の顔に置換する、画像処理装置。
6. 請求項４記載の画像処理装置であって、
   前記個人を特定可能な部分が車両のナンバープレートである場合には、前記画像解析部は、前記属性として、前記車両の種別、用途又は使用されている地域の少なくとも一つを解析し、
   前記置換部は、解析された前記車両の種別、用途又は使用されている地域の少なくとも一つに基づいて、前記置換用画像を用いて、前記車両のナンバープレートを異なる車両のナンバープレートに置換する、画像処理装置。
7. 請求項４から請求項６までのいずれか一項に記載の画像処理装置であって、
   前記画像取得部は、更に、前記画像が撮像された位置に関する情報を取得し、
   前記画像解析部は、前記属性として、前記画像が撮像された位置に関する情報を解析し、
   前記置換部は、解析された前記画像が撮像された位置に関する情報に基づいて、前記個人を特定可能な部分を前記置換用画像を用いて置換する、画像処理装置。
8. 請求項１から請求項７までのいずれか一項に記載の画像処理装置であって、
   警告を発する警告部を更に備え、
   前記画像取得部は、前記警告部が警告を発した後に画像を取得する、画像処理装置。
9. 画像を撮像可能な端末と、該端末と通信可能なサーバを備える画像処理システムであって、
   前記端末は、
   撮像された画像を取得する画像取得部と、
   前記取得された画像を前記サーバに送信する送信部と、を備え、
   前記サーバは、
   前記取得された画像を前記端末から受信する受信部と、
   前記取得された画像に、個人を特定可能な部分が含まれるか否かを解析する画像解析部と、
   前記個人を特定可能な部分を、該部分の雰囲気を損ねず前記個人を特定不能な部分に置換するための置換用画像を記憶する置換用画像記憶部と、
   前記個人を特定可能な部分を前記置換用画像を用いて置換する置換部と、を備える、
   画像処理システム。
10. 画像処理方法であって、
    撮像された画像を取得する工程と、
    前記取得された画像に、個人を特定可能な部分が含まれるか否かを解析する工程と、
    前記個人を特定可能な部分を、該部分の雰囲気を損ねず前記個人を特定不能な部分に置換するための置換用画像を用いて置換する工程と、
    を備える画像処理方法。
11. 画像を処理するためのコンピュータプログラムであって、
    撮像された画像を取得する機能と、
    前記取得された画像に、個人を特定可能な部分が含まれるか否か解析する機能と、
    前記個人を特定可能な部分を、該部分の雰囲気を損ねず前記個人を特定不能な部分に置換するための置換用画像を用いて置換する機能と、
    をコンピュータに実現させるコンピュータプログラム。

Images