JP2018082234A - 画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ、及び電子機器 - Google Patents

Abstract

【課題】撮像された画像から、プライバシーを保護すべき対象物の検出に失敗した場合であっても、該検出に失敗した対象物が開示されることのない画像を生成することができる画像認識処理方法を提供すること。【解決手段】少なくとも１つの撮像部で撮像された画像を少なくとも１つのコンピュータで処理する画像認識処理方法であって、少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データと、対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した背景画像とを用い、背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップＳ１４を含む。【選択図】図６

Description

本発明は画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ、及び電子機器に関し、より詳細には、プライバシーに配慮した画像認識処理を行う画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供プログラム、記録媒体、プロセッサ、及び電子機器に関する。

近年、各種センサで検出されたデータを収集し、収集したデータを活用して新しい情報を抽出し、付加価値のあるサービスを新たに提供するセンサーデータ流通市場の開拓が検討されている。

例えば、監視カメラを用いるカメラシステムでは、システム運用元（データ提供元）から画像データの提供を受ける第３者（データ利用先）が、提供された画像データを利用した新たなアプリケーションによるサービスを提供する検討も進められている。
監視カメラで撮像された画像には、人や車両などが映り込み、個人を特定可能なプライバシー情報が含まれている場合が多く、そのためこのような画像データの流通を促進させる場合、プライバシー情報の保護に配慮したデータ流通の仕組みを構築する必要がある。

従来よりカメラで撮像された画像中における特定の対象物のプライバシーを保護する技術が種々提案されている。例えば、下記の特許文献１には、撮影された画像中におけるプライバシー保護の必要な保護領域（顔領域）を検出し、撮影された画像（実画像）上の前記保護領域にぼかし処理、モザイク処理又は塗りつぶし処理等の画像処理を施した保護画像を生成して出力するシステムが開示されている。

［発明が解決しようとする課題］
しかしながら、特許文献１記載の技術では、前記保護領域の検出に失敗した場合、例えば、鏡や窓ガラスなどに写された保護対象を検出できなかった場合、これらの検出に失敗した保護領域に対してぼかし処理等の画像処理は行われずに、撮影された画像がそのまま出力される。そのため、出力された画像は、本来保護するべき領域（検出に失敗した保護領域）が画像処理されていない状態となっており、このような保護領域が画像処理されていない画像データを第３者に提供した場合、保護対象のプライバシーを適切に保護することができないという課題があった。
また、このような課題を排除するために、撮影された画像全体にぼかし処理等を行う方法も考えられるが、画像全体にぼかし処理等を行った場合、背景に存在する物（構造物や展示・陳列物など）の情報も除去されるため、保護対象と背景に存在する物との関係が把握しにくくなり、第３者が画像データを活用する利点が少なくなるという課題があった。

特開２００６−２１７１６１号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、取得した画像からプライバシーを保護すべき対象物の検出に失敗した場合であっても、該検出に失敗した対象物が開示されることのない画像を生成することができる画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ、及び電子機器を提供することを目的としている。

上記目的を達成するために本発明に係る画像認識処理方法（１）は、少なくとも１つの撮像部で撮像された画像を少なくとも１つのコンピュータで処理する画像認識処理方法であって、前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップを含んでいることを特徴としている。

上記画像認識処理方法（１）によれば、前記撮像された画像から検出された前記対象物の位置データと、前記背景画像とを用い、該背景画像に前記対象物の模型が描画された合成画像を生成する。したがって、前記撮像された画像から位置が検出された前記対象物は前記模型として前記背景画像に描画されるので、前記検出された対象物のプライバシー情報を含まない合成画像を生成することができる。また、前記背景画像に前記対象物の模型を描画するので、撮像された画像毎にモザイク処理等を行う方法と比較して、前記合成画像を連続的に生成する際の前記コンピュータにかかる処理負荷を削減することができる。また、前記撮像された画像から前記対象物の検出に失敗したとしても、前記背景画像を用いるため、前記合成画像には、前記検出に失敗した対象物が含まれることがなく、検出に失敗した対象物のプライバシーも適切に保護することができ、前記対象物のプライバシー情報が流出しないようにチェックするための複雑な処理が不要となり、簡素化された画像認識処理を実現できる。
なお、前記対象物の模型とは、前記撮像された画像に存在する前記対象物を、前記プライバシー情報を含まない形態で模した表示物であり、コンピュータによって前記背景画像上に前記対象物の代替物として描画される表示物である。

また、本発明に係る画像認識処理方法（２）は、少なくとも１つの撮像部で撮像された画像を少なくとも１つのコンピュータで処理する画像認識処理方法であって、前記少なくとも１つの撮像部で撮像された画像からプライバシー情報を含む対象物の位置を検出する処理を行うステップと、検出された前記対象物の位置データと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを含んでいることを特徴としている。

上記画像認識処理方法（２）によれば、上記画像認識処理方法（１）と同様の効果を得ることができるとともに、前記対象物の位置を検出する処理を行うステップと、前記合成画像を生成するステップとを連続的に実行することができ、前記コンピュータの処理効率を高めることができる。

また本発明に係る画像認識処理方法（３）は、上記画像認識処理方法（１）又は（２）において、前記背景画像が、前記撮像された画像の撮像範囲に対応したものであることを特徴としている。

上記画像認識処理方法（３）によれば、前記撮像された画像の撮像範囲に対応した画像を前記合成画像として生成することができ、背景の再現性を高めることができる。

また本発明に係る画像認識処理方法（４）は、上記画像認識処理方法（１）〜（３）のいずれかにおいて、前記合成画像は、前記背景画像に前記対象物の模型が、前記撮像された画像における前記対象物の位置状態が再現されるように描画されたものであることを特徴としている。

上記画像認識処理方法（４）によれば、前記画像における前記対象物の位置状態を再現するように前記模型が描画された前記合成画像を生成することができ、前記対象物の位置や姿勢などの状態の再現性を高めることができる。

また本発明に係る画像認識処理方法（５）は、上記画像認識処理方法（１）〜（４）のいずれかにおいて、前記背景画像が、３次元背景データから生成されたものであることを特徴としている。

上記画像認識処理方法（５）によれば、前記背景画像が、３次元背景データから生成されたものであるので、前記撮像された画像の背景部分の再現性を高めることができ、前記撮像された画像と比較しても違和感の少ない前記合成画像を生成することができる。

また本発明に係る画像認識処理方法（６）は、上記画像認識処理方法（１）〜（４）のいずれかにおいて、前記背景画像が、前記撮像された複数の画像を平均処理して得られた平均画像から生成されたものであることを特徴としている。

上記画像認識処理方法（６）によれば、前記背景画像が、前記平均画像から生成されたものであるので、前記撮像された画像の背景が忠実に再現された背景画像を用いて前記合成画像を生成することができる。

また本発明に係る画像認識処理方法（７）は、上記画像認識処理方法（１）〜（６）のいずれかにおいて、前記対象物の位置データが、前記撮像された画像から検出された前記対象物の３次元位置データから復元された、前記撮像された画像上における２次元位置データであることを特徴としている。

上記画像認識処理方法（７）によれば、１つの前記対象物の位置検出を複数の前記撮像部で撮像された画像を用いて３次元的に行う場合であっても、前記３次元位置データから復元された前記２次元位置データを用いることで、前記背景画像上、すなわち２次元画像上で前記対象物の模型が描画される位置精度が高い合成画像を生成することができる。

また本発明に係る画像認識処理方法（８）は、上記画像認識処理方法（１）又は（２）において、前記対象物の位置データが、前記撮像された画像から検出された前記対象物の３次元位置データであり、前記背景画像が、３次元背景データであり、前記合成画像を生成するステップが、前記対象物の３次元位置データを用い、前記３次元背景データ上の前記対象物の３次元位置に前記模型を描画し、該模型が描画された前記３次元背景データから前記模型を含む前記撮像された画像領域を切り出した画像を前記合成画像として生成するものであることを特徴としている。

上記画像認識処理方法（８）によれば、前記対象物の３次元位置データを用い、前記３次元背景データ上の前記対象物の３次元位置に前記模型を描画し、該模型が描画された前記３次元背景データから前記模型を含む前記撮像された画像領域を切り出した画像を前記合成画像として生成するので、前記模型の描画状態に違和感の少ない俯瞰画像を前記合成画像として生成することができる。

また本発明に係る画像認識処理プログラム（１）は、少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのコンピュータに実行させるための画像認識処理プログラムであって、前記少なくとも１つのコンピュータに、前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データが記憶された位置データ記憶部から前記対象物の位置データを読み出すステップと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から前記背景画像を読み出すステップと、前記読み出した対象物の位置データと、前記読み出した背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを実行させることを特徴としている。

上記画像認識処理プログラム（１）によれば、前記少なくとも１つのコンピュータに実行させることにより、上記画像認識処理方法（１）と同様の効果を得ることができる。

また本発明に係る画像認識処理プログラム（２）は、少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのコンピュータに実行させるための画像認識処理プログラムであって、前記少なくとも１つのコンピュータに、前記少なくとも１つの撮像部で撮像された画像からプライバシー情報を含む対象物の位置を検出する処理を行うステップと、該検出した対象物の位置データを位置データ記憶部に記憶するステップと、前記位置データ記憶部から前記対象物の位置データを読み出すステップと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から前記背景画像を読み出すステップと、前記読み出した対象物の位置データと、前記読み出した背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを実行させることを特徴としている。

上記画像認識処理プログラム（２）によれば、前記少なくとも１つのコンピュータに実行させることにより、上記画像認識処理方法（２）と同様の効果を得ることができる。

また本発明に係る画像認識処理プログラム（３）は、少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのコンピュータに実行させるための画像認識処理プログラムであって、上記画像認識処理方法（３）〜（８）いずれかの方法を、前記少なくとも１つのコンピュータに実行させることを特徴としている。

上記画像認識処理プログラム（３）によれば、前記少なくとも１つのコンピュータに実行させることにより、上記画像認識処理方法（３）〜（８）のいずれかと同様の効果を得ることができる。

また本発明に係るコンピュータ読み取り可能な記録媒体（１）は、上記画像認識処理プログラム（１）〜（３）のいずれかを記録したコンピュータ可読媒体であることを特徴としている。

上記コンピュータ読み取り可能な記録媒体（１）によれば、該記録媒体に記録された上記画像認識処理プログラムをコンピュータに読み取らせて実行させることにより、上記画像認識処理プログラム（１）〜（３）のいずれかと同様の効果を実現させることができる。前記記録媒体は、有形の記録媒体であればよく、内蔵式や外付け式の各種ＩＣメモリ、ハードディスク、光ディスクなどが含まれる。

また本発明に係るプロセッサ（１）は、上記画像認識処理プログラム（１）〜（３）のいずれかを読み込み実行するものであることを特徴としている。

上記プロセッサ（１）によれば、上記画像認識処理プログラム（１）〜（３）のいずれかを読み込み実行することにより、当該プロセッサにより、上記画像認識処理プログラム（１）〜（３）のいずれかと同様の効果を実現させることができる。

また本発明に係る電子機器（１）は、上記プロセッサ（１）が搭載されていることを特徴としている。

上記電子機器（１）によれば、上記プロセッサ（１）が搭載されているので、上記画像認識処理プログラム（１）〜（３）のいずれかと同様の効果を実現させることができる。

また本発明に係るデータ提供方法（１）は、ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行されるデータ提供方法であって、前記少なくとも１つのコンピュータが、上記画像認識処理方法（１）〜（８）のいずれかにおける前記合成画像を生成するステップで生成された前記合成画像を別のコンピュータに送信するステップを含んでいることを特徴としている。

上記データ提供方法（１）によれば、前記少なくとも１つのコンピュータが、上記画像認識処理方法（１）〜（８）のいずれかにおける前記合成画像を生成するステップで生成された前記合成画像を別のコンピュータに送信するので、前記少なくとも１つのコンピュータが、前記合成画像を前記別のコンピュータに提供することができ、プライバシーが適切に保護された前記合成画像を第３者に提供することで、該合成画像を用いた新たなサービス提供の可能性を広げることができる。

また本発明に係るデータ提供方法（２）は、上記データ提供方法（１）において、前記撮像された画像を必要とする所定の条件が成立した場合に前記撮像された画像を前記別のコンピュータに送信するステップをさらに含んでいることを特徴としている。

上記データ提供方法（２）によれば、前記所定の条件が成立した場合に前記撮像された画像を前記別のコンピュータに送信することができ、前記所定の条件下で前記撮像された画像も活用することができる。

また本発明に係るデータ提供方法（３）は、ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行されるデータ提供方法であって、前記少なくとも１つのコンピュータが、上記画像認識処理方法（１）〜（８）のいずれかにおける前記合成画像を生成するステップで生成された前記合成画像を表示部に表示するステップを含んでいることを特徴としている。

上記データ提供方法（３）によれば、前記少なくとも１つのコンピュータが、上記画像認識処理方法（１）〜（８）のいずれかにおける前記合成画像を生成するステップで生成された前記合成画像を表示部に表示するので、プライバシーが適切に保護された前記合成画像を前記表示部に表示させて第３者に提示することができ、該合成画像を用いた新たなサービス提供の可能性を広げることができる。

また本発明に係るデータ提供方法（４）は、上記データ提供方法（３）において、前記合成画像と前記撮像された画像とを切り替えて前記表示部に表示するステップをさらに含んでいることを特徴としている。

上記データ提供方法（４）によれば、前記合成画像と前記撮像された画像とを切り替えて前記表示部に表示させることができ、状況に応じて前記合成画像と前記撮像された画像と切り替えることができるサービスを提供することができ、該サービスの付加価値を高めることができる。

また本発明に係るデータ提供システム（１）は、少なくとも１つのコンピュータがネットワークを介して別のコンピュータにデータを提供するデータ提供システムであって、前記少なくとも１つのコンピュータが、少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データを前記別のコンピュータに送信する位置データ送信部と、前記対象物が含まれていない背景画像を前記別のコンピュータに送信する背景画像送信部とを備え、前記別のコンピュータに、前記対象物の位置データと前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成させることを特徴としている。

上記データ提供システム（１）によれば、前記少なくとも１つのコンピュータから前記別のコンピュータに前記背景画像と、前記対象物の位置データとを送信し、前記別のコンピュータで前記合成画像を生成させるので、プライバシーが適切に保護された前記合成画像を前記別のコンピュータを使用する第３者に提供し、該合成画像を用いた新たなサービス提供の可能性を広げることができる。また、前記別のコンピュータに前記背景画像を送信した後、前記対象物の位置データのみを適宜送信することが可能となるので、前記撮像された画像をリアルタイムで前記別のコンピュータに送信するような構成と比較して、前記別のコンピュータに送信するデータ容量（データ転送量）を大幅に削減することができる。

また本発明に係るデータ提供プログラム（１）は、ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行させるためのデータ提供プログラムであって、前記少なくとも１つのコンピュータに、上記画像認識処理プログラム（１）〜（３）のいずれかにおける前記合成画像を生成するステップで生成された前記合成画像を別のコンピュータに送信するステップを実行させることを特徴としている。

上記データ提供プログラム（１）によれば、前記少なくとも１つのコンピュータに、前記合成画像を前記別のコンピュータに提供させることができ、プライバシーが適切に保護された前記合成画像を第３者に提供することで、該合成画像を用いた新たなサービス提供の可能性を広げることができる。

また本発明に係るデータ提供プログラム（２）は、上記データ提供プログラム（１）において、前記少なくとも１つのコンピュータに、前記撮像された画像を必要とする所定の条件が成立した場合に前記撮像された画像を前記別のコンピュータに送信するステップをさらに実行させることを特徴としている。

上記データ提供プログラム（２）によれば、前記所定の条件が成立した場合に前記撮像された画像を前記別のコンピュータに送信させることができ、前記別のコンピュータにおいて前記所定の条件下で前記撮像された画像も活用させることができる。

また本発明に係るデータ提供プログラム（３）は、ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行させるためのデータ提供プログラムであって、前記少なくとも１つのコンピュータに、上記画像認識処理プログラム（１）〜（３）のいずれかにおける前記合成画像を生成するステップで生成された前記合成画像を表示部に表示するステップを実行させることを特徴としている。

上記データ提供プログラム（３）によれば、前記少なくとも１つのコンピュータに、前記合成画像を生成するステップで生成された前記合成画像を表示部に表示させることにより、プライバシーが適切に保護された前記合成画像を前記表示部に表示させて第３者に提示することができ、新たなサービス提供の可能性を広げることができる。

また本発明に係るデータ提供プログラム（４）は、上記データ提供プログラム（３）において、前記少なくとも１つのコンピュータに、前記合成画像と前記撮像された画像とを切り替えて前記表示部に表示するステップをさらに実行させることを特徴としている。

上記データ提供プログラム（４）によれば、前記合成画像と前記撮像された画像とを切り替えて前記表示部に表示させることができ、状況に応じて前記合成画像と前記撮像された画像と切り替えることができるサービスを提供することができ、該サービスの付加価値を高めることができる。

また本発明に係るコンピュータ読み取り可能な記録媒体（２）は、上記データ提供プログラム（１）〜（４）のいずれかを記録したコンピュータ可読媒体であることを特徴としている。

上記コンピュータ読み取り可能な記録媒体（２）によれば、該記録媒体に記録された上記データ提供プログラムをコンピュータに読み取らせて実行させることにより、上記データ提供プログラム（１）〜（４）のいずれかと同様の効果を実現させることができる。前記記録媒体は、有形の記録媒体であればよく、内蔵式や外付け式の各種ＩＣメモリやハードディスク、光ディスクなどが含まれる。

また本発明に係るプロセッサ（２）は、上記データ提供プログラム（１）〜（４）のいずれかを読み込み実行することを特徴としている。

上記プロセッサ（２）によれば、上記画データ提供プログラム（１）〜（４）のいずれかを読み込み実行することにより、当該プロセッサにより、データ提供プログラム（１）〜（４）のいずれかと同様の効果を実現させることができる。

また本発明に係る電子機器（２）は、上記プロセッサ（２）が搭載されていることを特徴としている。

上記電子機器（２）によれば、上記プロセッサ（２）が搭載されているので、上記画データ提供プログラム（１）〜（４）のいずれかと同様の効果を実現させることができる。

本発明の実施の形態（１）に係るデータ提供システムの構成を説明するための概念図である。 画像センサ装置のハードウェア構成を概略的に示すブロック図である。 画像処理サーバ及び画像提供サーバのハードウェア構成を概略的に示すブロック図である。 画像センサ装置、画像処理サーバ及び画像提供サーバが実行する処理を説明するための機能ブロック図である。 画像処理サーバが行う各種データの登録処理を説明するためのフローチャートである。 画像処理サーバが行う合成画像生成処理を説明するためのフローチャートである。 実施の形態（１）に係るデータ提供システムで実行される処理動作を説明するためのフローチャートである。 合成画像を説明するための表示例であり、（ａ）は撮像された画像、（ｂ）は３Ｄ地図データから生成した背景画像、（ｃ）は対象物の検出に成功した場合の合成画像、（ｄ）は対象物の検出に失敗した場合の画像である。 実施の形態（２）に係るデータ提供システムの構成を説明するための概念図である。 画像センサ装置及び画像提供サーバが実行する処理を説明するための機能ブロック図である。 実施の形態（２）に係るデータ提供システムで実行される処理動作を説明するためのフローチャートである。 実施の形態（３）に係るデータ提供システムの構成を説明するための概念図である。 画像センサ装置、画像処理サーバ及び利用者端末が実行する処理を説明するための機能ブロック図である。 実施の形態（３）に係るデータ提供システムで実行される処理動作を説明するためのフローチャートである。 利用者端末の表示部に表示された合成画像の表示例を示した図である。

以下、本発明に係る画像認識処理方法、画像認識処理プログラム、データ提供方法、データ提供システム、データ提供プログラム、記録媒体、プロセッサ、及び電子機器の実施の形態を図面に基づいて説明する。図１は、実施の形態（１）に係るデータ提供システムの構成を説明するための概念図である。

データ提供システム１は、画像センサ装置１０、ルーター２０、画像処理サーバ３０及び画像提供サーバ４０を含んで構成され、プライバシー情報を含む対象物２のプライバシーが保護された画像を利用者端末５０に提供可能なシステムとなっている。実施の形態（１）では、画像処理サーバ３０が、本実施の形態に係る画像認識処理方法を実行するコンピュータを備えた画像処理装置３００（図４）として機能する。

本実施の形態では、プライバシーを保護する対象物２が人間である場合について説明するが、対象物２は人間に限定されるものではない。例えば、個人を特定し得る情報を示すもの、車や自転車など人間が操作や所持しているものも対象物として設定することができる。なお、本明細書においてプライバシー情報とは対象物２が人間である場合は、その人間を特定し得る情報であり、対象物２が車や自転車の場合は所有者を特定し得る情報である。

画像センサ装置１０は、画像を撮像するカメラ装置として機能するものである。画像センサ装置１０で撮像される画像（実画像）は、動画像の他、静止画像でもよく、また、カラー画像の他、グレー画像等であってもよい。

ルーター２０は、画像センサ装置１０と画像処理サーバ３０との間に設けられた通信接続機器である。ルーター２０は、制御部、記憶部、ネットワーク用インターフェース、機器接続用インターフェース、電源部等（いずれも図示せず）を備え、ＩＰアドレスに従ってデータを転送するネットワーク経路（送信先）を選択する機能を備えている。画像センサ装置１０とルーター２０との接続は、有線接続の他、無線接続であってもよい。なお、ルーター２０は必須の構成ではなく、画像センサ装置１０を直接ネットワーク６０に接続する構成としてもよい。

画像処理サーバ３０は、コンピュータを備えた電子機器であり、画像提供サーバ４０側から要求があった場合や一定時間毎などの所定のタイミングで、対象物２のプライバシーが保護された合成画像を生成し、ネットワーク（通信網）６０を介して画像提供サーバ４０にアップロード（転送）する機能を備えている。ネットワーク６０には、インターネット、ＶＰＮネットワーク、専用回線、これらを組み合わせた通信回線などが適用され、有線系及び無線系のネットワークが含まれる。画像処理サーバ３０及び画像提供サーバ４０の設置個数は特に限定されない。データ提供システム１に少なくとも１つ以上装備されていればよい。

画像センサ装置１０の設置場所や設置個数は特に限定されない。画像センサ装置１０は、例えば、店舗、商業施設、商店街、地下街、事業施設、屋外又は車両等の移動体など（以下、施設等と記す）に設置され、例えば、施設等の監視カメラとして機能する。また、画像処理サーバ３０は、画像センサ装置１０が設置された（画像センサ装置１０を管理する）施設等毎に内部（施設内ネットワークの）サーバとして設けることができる。なお、別の実施の形態では、ルーター２０内に画像処理サーバ３０の機能を装備させたシステム構成とすることもできる。

画像提供サーバ４０は、コンピュータを備えた電子機器であり、例えば、利用者端末５０からの要求に基づいて、画像処理サーバ３０からアップロードされた画像データをネットワーク６０を介して利用者端末５０に提供する機能を備えている。画像センサ装置１０、画像処理サーバ３０、画像提供サーバ４０、及び利用者端末５０には、ネットワーク６０を介して相互に連携して画像データを処理して提供するための画像認識処理やデータ提供用のプログラムが組み込まれている。相互に連携可能なサービスプラットフォームが構築されることによりシステムの運用が効率良く行われるようになっている。

利用者端末５０は、コンピュータを備えた電子機器であり、汎用のパーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末などの情報端末装置で構成されている。利用者端末５０は、画像センサ装置１０を管理する施設等の運用者とは異なる第３者が使用するものである。画像提供サーバ４０と利用者端末５０には、相互に連携するアプリケーションソフトウェア（外部アプリ）５１（図４参照）がダウンロード等により組み込まれている。外部アプリ５１は、画像提供サーバ４０から提供された画像データを第３者が利用可能なサービスを提供するためのソフトウェアである。

外部アプリ５１を通じて第３者に提供可能なサービスには、画像提供サーバ４０から提供される合成画像等のデータから得られる情報、例えば、対象物２の位置や姿勢などの位置状態、背景にある物（構造物や配置物）との位置関係などの情報を利用するサービスが挙げられる。より具体的には、異常や異変を検知する各種警備サービス、電力予測や交通予測などの各種予測サービス、販売促進・顧客開拓・商品配置・人材配置などの各種マーケティングサービスなどが含まれる。また、画像提供サーバ４０は、外部アプリ５１の種類などに応じて複数設けることができる。

図２は、画像センサ装置１０のハードウェア構成を概略的に示すブロック図である。画像センサ装置１０は、撮像部１１、画像処理部１２、記憶部１３、制御部１４、入出力インターフェース（Ｉ／Ｆ）１５、操作部１６、時計部１７、及び電源部１８を含んで構成されている。画像センサ装置１０には、これら各部が一つの筐体内に装備された一体式のものだけでなく、撮像部１１を含むカメラ部分と、制御部１４等を含むコントローラ部分が別体で構成されたものも含まれる。

撮像部１１は、レンズ系、ＣＣＤやＣＭＯＳなどの撮像素子、及び駆動回路を含んで構成されている。画像処理部１２は、各種の画像処理回路や画像処理プロセッサを含んで構成され、各種の画像補正処理や画像認識処理などを行う。画像認識処理には、対象物２の特徴抽出処理、識別処理、統計計算処理、位置姿勢・属性などの推定判断処理などが含まれる。対象物２が人間である場合は、人間の識別、頭部等の身体的特徴点の抽出、姿勢、属性（男性又は女性、大人又は子供など）などを推定判断する処理機能が含まれていることが好ましい。

制御部１４は、ＣＰＵ（プロセッサ）、ＲＡＭ、ＲＯＭなどを含むマイクロコンピュータを含んで構成され、画像センサ装置１０の各部の動作制御を行うためのプログラムが格納されている。これらプログラムは、コンピュータ読み取り可能な内蔵式の記録媒体の他、外付け式の記録媒体に格納してもよい。記憶部１３は、撮像された画像データなどを一時記憶可能な半導体メモリなどで構成されている。

入出力Ｉ／Ｆ１５は、ルーター２０などの外部機器と接続するための各種インターフェースで構成されている。操作部１６は、画像センサ装置１０の各種機能を作動させるための操作ボタンや操作パネル等を含んで構成されている。時計部１７は、画像が撮像された時間を記録する時計回路を含んで構成されている。電源部１８は、画像センサ装置１０の各部に電源を供給する電源回路やバッテリを含んで構成されている。

図３は、画像処理サーバ３０と画像提供サーバ４０のハードウェア構成を概略的に示すブロック図である。画像処理サーバ３０は、画像処理部３１、記憶部３２、通信処理部３３、制御部３４、操作部３５、表示部３６、及び電源部３７を含んで構成されているが、この構成に限定されるものではない。画像処理サーバ３０は、表示部３６を含んでいなくとも良い。

画像処理部３１は、対象物２のプライバシーを保護した画像を合成する処理等を行う画像処理回路や画像処理プロセッサを含んで構成されている。記憶部３２は、ハードディスクドライブなどの大容量の記憶装置を含んで構成されている。記憶部３２には、対象物２を含んでいない背景画像を生成するために用いる３Ｄ地図データ（背景データ）、画像センサ装置１０のパラメータ情報、画像センサ装置１０で撮像された画像領域に対応させて生成された背景画像などの各種データがデータベース化されて記憶されるようになっている。

通信処理部３３は、ネットワーク６０を介して画像センサ装置１０や外部の画像提供サーバ４０側と通信接続するための通信インターフェースや通信制御部を含んで構成されている。制御部３４は、ＣＰＵ（プロセッサ）、ＲＡＭ、ＲＯＭなどを含むマイクロコンピュータを含んで構成され、画像処理サーバ３０の各部の動作制御を行うためのプログラムが格納されている。これらプログラムは、コンピュータ読み取り可能な内蔵式の記録媒体の他、外付け式の記録媒体に格納してもよい。

操作部３５は、画像処理サーバ３０の各種機能の作動、データ入出力・更新指示等を行うためのキーボード等の入力機器を含んで構成されている。表示部３６は、画像処理サーバ３０で処理されたデータ等を表示可能な表示装置を含んで構成されている。電源部３７は、画像処理サーバ３０の各部に電源供給を行う電源回路やバックアップ電源などを含んで構成されている。

画像提供サーバ４０は、記憶部４１、通信処理部４２、制御部４３、操作部４４、表示部４５、及び電源部４６を含んで構成されているが、この構成に限定されるものではない。
記憶部４１は、ハードディスクドライブなどの大容量の記憶装置を含んで構成され、画像処理サーバ３０から送信されてきた合成画像や実画像のデータなどがデータベース化されて記憶されるようになっている。

通信処理部４２は、ネットワーク６０を介して利用者端末５０側や画像処理サーバ３０側と通信するための通信インターフェースや通信制御部を含んで構成されている。制御部４３は、ＣＰＵ（プロセッサ）、ＲＡＭ、ＲＯＭなどを含むマイクロコンピュータを含んで構成され、画像提供サーバ４０の各部の動作制御を行うためのプログラムが格納されている。これらプログラムは、コンピュータ読み取り可能な内蔵式の記録媒体の他、外付け式の記録媒体に格納してもよい。

操作部４４は、画像提供サーバ４０の各種機能の作動、データ入出力・更新指示等を行うためのキーボード等の入力機器を含んで構成されている。表示部４５は、画像提供サーバ４０で処理されたデータ等を表示可能な表示装置を含んで構成されている。電源部４６は、画像提供サーバ４０の各部に電源供給を行う電源回路やバックアップ電源などを含んで構成されている。

図４は、画像センサ装置１０、画像処理サーバ３０及び画像提供サーバ４０が実行する処理を説明するための機能ブロック図である。
［画像センサ装置１０］
画像取得部１２ａが、撮像部１１で撮像された画像を取得する処理を行い、対象検出部１２ｂが、取得した画像（実画像）からプライバシー情報を含む対象物（人間）２を検出（認識）する処理を行う。取得した画像と対象物検出（画像認識）結果のデータが、例えば、画像センサ装置１０のＩＤ（識別子）及び画像取得日時等のデータと関連付けた状態で画像処理サーバ３０に送信される。

［画像処理サーバ３０］
画像処理サーバ３０に画像処理装置３００が装備されている。画像処理装置３００は、画像受信部３３ａ、画像送信部３３ｂ、位置検出部３１ａ、背景画像生成部３１ｂ、合成画像生成部３１ｃ、及び３Ｄ地図登録部３２ｂを含んで構成され、これら各部は、画像処理サーバ３０の画像処理部３１、記憶部３２、通信処理部３３、及び制御部３４の機能により実現される。

画像受信部３３ａが、画像センサ装置１０から送信されてきた画像データを受信して取得し（画像取得部として機能し）、実画像データベース３２ａに記憶する処理を行う一方、位置検出部３１ａが、対象物検出のデータに基づいて、撮像された画像上における対象物（人間）２の位置（座標又は領域）を算出する処理を行う。位置検出部３１ａで検出された対象物２の位置データは、例えば、画像センサ装置１０のＩＤ（識別子）、画像取得日時等のデータと関連付けた状態で制御部３４内のＲＡＭ又は記憶部３２に記憶される。制御部３４内のＲＡＭ又は記憶部３２が、対象物２の位置データを記憶する位置データ記憶部として機能する。なお、対象検出部１２ｂの機能を画像処理サーバ３０に設ける構成としてもよい。

位置検出部３１ａで実行される対象物２の位置算出方法には、２次元位置算出方法や３次元位置算出方法などが適用される。
２次元位置算出方法としては、
（１）撮像された画像上から対象物２である人間の頭部の特徴点（ｘ、ｙ座標）を抽出し、頭部位置（座標又は領域）を算出する方法、
（２）撮像された画像上から対象物２である人間の頭部、胴体部、腕部、脚部等の身体的特徴点（ｘ、ｙ座標）を抽出し、人位置（座標又は領域）を算出する方法、
（３）事前取得した画像（比較用背景画像）と撮像された画像とを比較して、対象物２である人間が存在する前景領域（ｘ、ｙ座標又は領域）を抽出する背景差分処理を行い、人位置を算出する方法などが適用され得る。

３次元位置算出方法としては、
（１）単眼の画像センサ装置１０で取得した画像上で検出された対象物２の位置（座標又は領域）データ、画像センサ装置１０の位置・姿勢（内部・外部パラメータ）情報、３次元地図データ、及び検出対象物（人間）の属性（男性又は女性、大人又は子供など）や姿勢状態（立った状態、座った状態、屈んだ状態、又は倒れている状態）等の画像認識データを利用して３次元位置座標を算出する方法、
（２）単眼の画像センサ装置１０で取得した画像上で検出された対象物２の位置（座標又は領域）データと、画像以外のセンサ情報、例えば、対象物（人間）２が所持しているスマートフォンなどの携帯端末が発する電波強度（Bluetooth Low Energy（BLE）、Wi-Fi）データ（屋内外での位置測位データ）とを利用して３次元位置座標を算出する方法（この場合、画像センサ装置１０にBLE受信機（ビーコン）やWi-Fi電波の受信機が接続されている。）、
（３）複数の画像センサ装置１０で同じ領域を撮像している場合、複数の画像センサ装置１０からの視線（エピポーラ線）が空間中の１点に交わるエピポーラ条件（カメラ姿勢に基づく基礎行列を用いて対応点の拘束ラインを決定する、２枚の画像間に存在する幾何学的関係を示す条件）、及び３次元地図データを用いて、エピポーラ線の交点を対象物２の３次元位置として算出する方法（特に対象物が複数存在する場合には、エピポーラ条件などの３次元幾何学上の制約と、時系列的な制約とを組み合わせることで、より正確な位置推定を行うことが可能となっている。）、
（４）画像センサ装置１０、３次元地図データ、及び各種センサ（磁気センサ、電子コンパス、加速度センサ、ジャイロセンサ、位置測位センサなど）を組み合わせて、これらセンサ情報に基づいて対象物２の３次元位置座標を算出する方法などが適用される。

また、３Ｄ地図登録部３２ｂが、画像センサ装置１０が設置されている施設等の３Ｄ（３次元）地図データを背景データベース（ＤＢ）３２ｃに登録する処理を行う。３Ｄ地図データは、画像センサ装置１０の撮像範囲に対応する領域の背景画像を生成するために用いられる。

外部パラメータ登録部３２ｄが、画像センサ装置１０の外部パラメータをパラメータデータベース（ＤＢ）３２ｆに登録し、内部パラメータ登録部３２ｅが、画像センサ装置１０の内部パラメータをパラメータＤＢ３２ｆに登録する処理を行う。内部パラメータは、画像センサ装置１０の焦点距離、画像中心、画像（画素）サイズ、歪収差係数を含む。外部パラメータは、画像センサ装置１０の位置や姿勢を示す回転、平行移動量を含み、ある座標系における３次元座標を別の座標系での座標に変換するために必要となるパラメータである。

背景画像生成部３１ｂが、背景ＤＢ３２ｃに登録されている３Ｄ地図データ、パラメータＤＢ３２ｆに登録されている画像センサ装置１０のパラメータ等を用いて、３Ｄ地図データから画像センサ装置１０の撮像範囲に対応する背景画像を生成する処理を行う。生成された背景画像は、例えば、画像センサ装置１０のＩＤと関連付けて背景画像データベース（ＤＢ）３２ｇに登録される。

合成画像生成部３１ｃが、制御部３４内のＲＡＭ又は記憶部３２から読み出した対象物の位置（座標）データと、背景画像ＤＢ３２ｇから読み出した、対応する背景画像とを用い、該背景画像上における対象物２の検出位置に、対象物２のプライバシー情報が除去された（含まれていない）模型、例えば対象物２のシルエットを表したＣＧ画像（人形）を描画して合成画像を生成する処理を行う。なお、対象物２の模型とは、撮像された画像に含まれる対象物２を、プライバシー情報を含まない形態で模した表示物であり、コンピュータによって背景画像上に対象物２の代替物として描画される表示物である。
画像送信部３３ｂが、画像センサ装置１０のＩＤや画像取得日時等のデータと関連付けられた合成画像データを画像提供サーバ４０に送信する処理を行う。

なお、位置検出部３１ａが対象物２の画像上の２次元座標を算出する場合、合成画像生成部３１ｃは、背景画像に２次元的に模型を配置した合成画像を生成する処理を行う。
また、位置検出部３１ａが対象物２の３Ｄ地図上の３次元座標を算出する場合、合成画像生成部３１ｃは、３次元座標から画像上の２次元座標を復元し、復元した２次元座標に基づいて背景画像に２次元的に模型を配置した合成画像を生成する処理を行う。

また、画像送信部３３ｂは、所定の条件成立時に実画像ＤＢ３２ａに記憶されている実画像を画像提供サーバ４０に送信する処理も行う。また、画像送信部３３ｂは、画像提供サーバ４０を管理するためのアプリケーションソフトウェア（内部アプリ）３８が組み込まれた管理端末装置（図示せず）に、実画像ＤＢ３２ａに記憶されている実画像や合成画像生成部３１ｃで生成された合成画像を送信する処理も行うようになっている。

［画像提供サーバ４０］
画像提供サーバ４０は、コンピュータを備えた電子機器であり、画像処理サーバ３０で生成された合成画像や撮像された実画像を利用者端末５０に送信する処理などを実行する。
画像受信部４２ａが、画像処理サーバ３０から送信されてきた合成画像や実画像のデータを受信し、画像センサ装置１０のＩＤや撮像日時等のデータと関連付けて合成画像データベース４１ａ、実画像データベース４１ｂにそれぞれ記憶する処理を行う。

画像送信部４２ｂが、合成画像を要求してきた利用者端末５０に、合成画像ＤＢ４１ａから読み出した合成画像（前記要求に対応した場所の合成画像）を送信する処理を行う。また、実画像を要求してきた利用者端末５０に、所定の条件下で実画像ＤＢ４１ｂから読み出した実画像（前記要求に対応した場所の実画像）を送信する処理を行う。なお、実画像には対象物２のプライバシー情報が含まれている場合があるため、実画像は、画像処理サーバ３０又は画像提供サーバ４０が、対象物２に関する異常事態や緊急事態などの特別な条件が成立したと判断した場合にのみ利用者端末５０に送信可能となっている。

図５は、画像処理サーバ３０が行う各種データの登録処理を説明するためのフローチャートである。本処理は、撮像された画像に対応する領域の背景画像を生成するために必要な処理であり、例えば、画像センサ装置１０を設置する際に実行される。

ステップＳ１では、背景画像を生成する元となる背景データとしての３Ｄ地図データを背景ＤＢ３２ｃに登録する処理を行う。３Ｄ地図データには、設置される画像センサ装置１０の個数及び撮像範囲等に基づいて適切な背景領域が含まれる３次元背景データが採用される。３Ｄ地図データは、実写ベースの３Ｄ地図の他、ＣＧベースの３Ｄ地図でもよい。３Ｄ地図データには、プライバシー情報を含む対象物２のデータ（少なくともプライバシーに関わる部分のデータ）が含まれていないデータが採用される。外部のデータベースサーバや記録媒体（いずれも図示せず）などから３Ｄ地図データを取得して登録する処理を行ってもよい。

ステップＳ２では、画像センサ装置１０の内部パラメータを登録する処理を行う。内部パラメータには、画像センサ装置１０の焦点距離、画像中心、歪収差係数画像、画素サイズが含まれる。内部パラメータの取得方法は、画像センサ装置１０の出荷時のキャリブレーション情報を取得する方法、内部パラメータの取得用ツール（ソフトウェア）を使用して取得する方法、画像処理サーバ３０に搭載されたキャリブレーションツール（ソフトウェア）を使用し、撮像した画像を用いて内部パラメータを取得する方法などが採用され得る。内部パラメータのキャリブレーション（校正）は、チェスボード等のキャリブレーション用マーカを写した画像を複数枚取得し、これら画像上のチェスボードの対応点を計算することにより行うこともできる。

ステップＳ３では、画像センサ装置１０の外部パラメータを登録する処理を行う。外部パラメータは、画像センサ装置１０の位置姿勢に関する情報を含んでいる。外部パラメータの取得方法は、画像センサ装置１０の設置後にキャリブレーションツールを使用して取得する方法がある。一般的なキャリブレーション方法は、３Ｄ地図上における３次元位置が既知の点ａと、点ａが画像上に投影された点ａ’との組み合わせを複数点対応付ける処理を行い、外部パラメータである回転パラメータＲ、平行移動量パラメータＴを計算する。

下記の数式１は、画像センサ装置１０における実際の空間（実空間）と表示画像との関係式を表している。Ｘ、Ｙ、Ｚは実空間における３次元座標、Ｒが回転パラメータ、Ｔが平行移動量パラメータ、Ａが内部パラメータ、ｘ、ｙが画像上における投影点を示している。

ステップＳ４では、内部パラメータと外部パラメータとを登録した後、これらパラメータの調整処理を行う。パラメータの調整は、例えば、３Ｄ地図データを用いて生成された背景画像と、画像センサ装置１０で撮像された画像（実画像）とを表示部３６に表示させて行うことができる。３Ｄ地図データの精度や外部パラメータのキャリブレーション精度によっては、背景画像と実画像とに位置ずれが生じている場合がある。このような場合、実画像と３Ｄ地図上の対応点を並べたほぼ同一視点上の画像上で対応付けを行う処理を実行するツールによりパラメータの微調整を行うようにしてもよい。

ステップＳ５では、事前登録された３Ｄ地図データ、内部パラメータ、外部パラメータを用いて、画像センサ装置１０で撮像される画像に対応する撮像範囲の背景画像を生成する処理を行い、その後処理を終える。生成される背景画像は、背景に存在する構造物などを含む画像であり、プライバシー情報を含む対象物２は含まれていない。また、画像の撮像時間帯等に応じて光源を変更したり、木々を揺らす等の処理を背景画像に反映させて、実画像で得られる情景に合わせた数種類の画像を背景画像として生成するようにしてもよい。生成された背景画像は、例えば、画像センサ装置１０のＩＤ、画像取得日時等のデータと関連付けて背景画像ＤＢ３２ｇに登録される。

図６は、画像処理サーバ３０が行う合成画像生成処理を説明するためのフローチャートである。本処理動作は、例えば、画像提供サーバ４０側から合成画像の送信要求があった場合に実行される。または、該送信要求後の一定時間毎に実行するようにしてもよい。

まずステップＳ１１では、画像センサ装置１０から画像を取得する処理を行う。画像センサ装置１０から取得する画像は、リアルタイムで撮像された画像の他、画像センサ装置１０の記憶部１３に保存された撮像済みの画像（保存画像）であってもよい。

ステップＳ１２では、ステップＳ１１で取得した画像からプライバシーを保護（開示を制限）するべき対象物２を検出する処理を行う。本実施の形態では、対象物２が人間に設定されている場合について説明しているが、対象物２は人間に限定されるものではなく、プライバシーを保護すべきものを対象とすることができる。また、対象物２は１種類に限定されるものではなく、２種類以上のものを対象物として設定することもできる。

画像上の対象物（人間）２を検出する方法は、例えば、人間の体（頭部、胴体部、腕部、脚部など）の特徴部を抽出して検出する方法、取得した連続フレーム画像の差分に基づいて人間を検出する方法、事前取得した基準背景画像と取得画像との差分に基づいて人間を検出する方法など、各種の画像認識方法が採用され得る。

ステップＳ１３では、ステップＳ１２で検出された対象物２の位置を検出する処理を行う。対象物２の位置を検出する方法は、上記した画像上の２次元位置（ｘ、ｙ座標又は領域）を算出する方法、３Ｄ地図上の３次元位置（ｘ、ｙ、ｚ座標又は領域）を算出する方法が採用され得る。

ステップＳ１４では、ステップＳ１３で検出された対象物２の位置データを用いて、事前に生成された背景画像に対象物２のプライバシー情報が除かれた模型（人形）を投影して描画した合成画像を生成する処理を行い、生成した合成画像を記憶部３２に記憶した後、処理を終える。
模型の合成方法としては、上記した方法、すなわち、事前に生成された背景画像上に模型を投影して合成する方法（２次元的な合成方法）の他、３Ｄ地図データ上に３次元位置データに基づいて模型を３次元的に配置し、画像センサ装置１０の撮像領域に対応する領域を画像として切り出して合成画像を生成する方法（３次元的な合成方法）が採用され得る。３次元的な合成方法を採用した場合は、模型が描画された状態に違和感の少ない合成画像を生成することが可能となる。

図７は、実施の形態（１）に係るデータ提供システム１で実行される処理動作を説明するためのフローチャートである。本処理動作は、例えば、利用者端末５０で外部アプリ５１が起動された場合に開始される。

利用者端末５０が、ステップＳ２１において、外部アプリ５１を起動する処理を行う。ステップＳ２２において、合成画像の要求操作があったと判断した場合に、合成画像の要求信号を画像提供サーバ４０に送信する処理を行う。合成画像の要求信号には、利用者端末５０のＩＤ（識別子）、要求する合成画像に関する情報などが含まれる。要求する合成画像に関する情報には、対象とする施設、場所、画像センサ装置１０の情報、撮像日時・期間などの情報が含まれる。これら情報は、外部アプリ５１上で適宜入力できる他、予め設定できるようにしてもよい。

次に、画像提供サーバ４０が、ステップＳ２３において、利用者端末５０から合成画像の要求信号を受信する処理を行う。次のステップＳ２４では、受信した合成画像の要求信号に基づいて、画像処理サーバ３０に合成画像の要求信号を送信する処理を行う。

次に、画像処理サーバ３０が、ステップＳ２５において、画像提供サーバ４０から合成画像の要求信号を受信する処理を行う。次のステップＳ２６では、受信した合成画像の要求信号に基づいて、画像取得対象として指定された画像センサ装置１０から撮像画像（実画像）を含むデータを取得する処理を行う。取得したデータには、実画像データ、撮像日時データ、画像センサ装置１０のＩＤなどが含まれ、これらデータが実画像ＤＢ３２ａに互いに関連付けた形式で記憶される。

次にステップＳ２７では、取得した実画像から対象物２を検出（認識）する処理を行う。本処理は、先に説明した、図６のステップＳ１２に対応する処理である。次のステップＳ２８では、実画像中で検出された対象物２の位置を検出する処理を行う。本処理は、先に説明した、図６のステップＳ１３に対応する処理である。続くステップＳ２９では、検出された対象物２の位置データを制御部３４内のＲＡＭ又は記憶部３２に記憶する。対象物２の位置データは、画像センサ装置１０のＩＤや撮像日時データなどの実画像に関するデータと関連付けた形式で記憶される。

次にステップＳ３０では、背景画像ＤＢ３２ｇから、実画像の撮像範囲に対応する背景画像を読み出す処理を行い、次のステップＳ３１では、制御部３４内のＲＡＭ又は記憶部３２から、対応する実画像で検出された対象物２の位置データを読み出す処理を行い、ステップＳ３２に進む。

ステップＳ３２では、ステップＳ３１で読み出した対象物２の位置データと、ステップＳ３０で読み出した背景画像とを用い、該背景画像に対象物２のプライバシー情報が除かれた対象物２の模型が描画された合成画像を生成する処理を行う。本処理は、先に説明した、図６のステップＳ１４に対応する処理である。続くステップＳ３３では、生成された合成画像を記憶部３２に記憶する。生成された合成画像のデータは、画像センサ装置１０のＩＤや撮像日時データなどと関連付けた形式で記憶される。次にステップＳ３４では、記憶部３２から読み出した合成画像のデータを画像提供サーバ４０に送信する処理を行う。

画像提供サーバ４０では、ステップＳ３５において、画像処理サーバ３０から送信されてきた合成画像のデータを受信する処理を行い、次のステップＳ３６で、受信した合成画像のデータを合成画像ＤＢ４１ａに記憶する処理を行う。合成画像は、画像センサ装置１０のＩＤや撮像日時等のデータと関連付けた形式で記憶される。次のステップＳ３７では、合成画像ＤＢ４１ａから合成画像のデータを読み出して利用者端末５０に送信する処理を行う。

利用者端末５０では、ステップＳ３８において、画像提供サーバ４０から送信されてきた合成画像のデータを受信する処理を行い、次のステップＳ３９において、受信した合成画像のデータを記憶部（図示せず）に記憶する処理を行い、続くステップＳ４０において、合成画像を表示部に表示する処理を行う。その後、ステップＳ４１において、外部アプリ５１で合成画像を用いたデータ処理が実行され、その後、ステップＳ４２において、外部アプリ５１の終了操作を検出すると終了処理を行い、その後、処理を終える。

図８は、画像処理サーバ３０で生成される合成画像を説明するための表示例であり、（ａ）は、画像センサ装置１０で撮像された画像（実画像）、（ｂ）は３Ｄ地図データを基に生成された背景画像、（ｃ）は対象物が検出された場合の合成画像、（ｄ）は対象物の検出に失敗した場合の画像である。

図８（ａ）に示すように、実画像Ｐ１には対象物２が写されている。図８（ｂ）に示すように、３Ｄ地図データを基に生成された背景画像Ｐ２には対象物２は含まれていない。図８（ｃ）に示すように、対象物２が検出された場合、背景画像Ｐ２にプライバシー情報が除去された模型３が合成される。実画像Ｐ１上における対象物２の位置に対応する背景画像Ｐ２上の位置に、対象物２の模型３が表示されるので、対象物２のプライバシーを保護することが可能となっている。

また、模型３が対象物２の位置や姿勢（この場合、立っている状態）などの状態を再現するように描画され、背景画像Ｐ２が実画像Ｐ１の撮像範囲に対応したものであるので、対象物２を除いた領域の再現性を高めることができ、背景に存在する物との位置関係等の情報も正確に把握することが可能となっている。
模型３の表示形態は、対象物２である個人が特定されないようにプライバシー情報が除去された形態であれば特に限定されない。例えば、画像センサ装置１０による対象物２の画像認識結果に基づく属性（男性又は女性、大人又は子供など）や動作姿勢に対応させた、模型３のモデルや動作モデルを用いることで、より対象物２の位置状態の再現性を高めることができる。合成画像の再現性を高めることにより、合成画像の利用価値を高めることができ、第３者による合成画像を利用したサービスを広く展開させることが可能となる。

また、図８（ｄ）に示すように、対象物２の検出に失敗した場合、実画像Ｐ１ではなく背景画像Ｐ２が提示されるため、実画像Ｐ１に写っている対象物２が提示されることなく、対象物２のプライバシーが確実に保護されるようになっている。

なお、上記合成画像の表示例では、背景画像Ｐ２が実画像Ｐ１の撮像範囲に対応したものとなっているが、この表示形態に限定されるものではなく、別の表示例では、実画像Ｐ１の撮像範囲よりも広い領域を示す背景画像を用いることができる。例えば、複数の実画像で表される領域を３Ｄ地図データから背景画像として切り出し、該背景画像に、前記複数の実画像で検出された対象物２の位置に模型３を描画した合成画像を生成することもできる。

上記実施の形態（１）に係るデータ提供システム１によれば、本実施の形態に係る画像認識処理方法を実行するコンピュータを備えた電子機器として機能する画像処理サーバ３０により対象物２のプライバシーが適切に保護された合成画像が生成され、画像提供サーバ４０が、前記合成画像を利用者端末５０に提供することが可能となり、対象物２のプライバシーが適切に保護された合成画像を第３者に提供することで、該合成画像を用いた新たなサービスを外部アプリ５１を通じて提供することができる。

上記実施の形態（１）に係る画像認識処理方法を実行する画像処理サーバ３０によれば、画像センサ装置１０から取得した実画像から対象物２の位置が検出され、対象物２の位置データを用いて、背景画像上の対応する位置に模型３が描画された合成画像が生成される。したがって、実画像から位置が検出された対象物２は模型３として背景画像に描画されるので、対象物２のプライバシー情報を含まない合成画像を生成することができる。また、背景画像に対象物２の模型３を描画するので、撮像された画像毎にモザイク処理等を行う方法と比較して、前記合成画像を連続的に生成する際の画像処理サーバ３０にかかる処理負荷を削減することができる。また、実画像から対象物２の検出に失敗したとしても、提供する画像に背景画像を用いるため、検出に失敗した対象物２が利用者端末５０に提示されることなく、検出に失敗した対象物２のプライバシーも適切に保護することができ、対象物２のプライバシー情報が流出しないようにチェックするための複雑な処理が不要となり、簡素化された画像認識処理を実現できる。

図９は、実施の形態（２）に係るデータ提供システムの構成を説明するための概念図である。但し、図１に示したデータ提供システム１と同様の構成要素については、同符号を付し、その説明を省略する。
実施の形態（１）に係るデータ提供システム１では、画像処理サーバ３０が、本実施の形態に係る画像認識処理方法を実行するコンピュータを備えた画像処理装置３００として機能するように構成されていたが、実施の形態（２）に係るデータ提供システム１Ａでは、画像センサ装置１０Ａが、本実施の形態に係る画像認識処理方法を実行するコンピュータを備えた画像処理装置１００（図１０）として機能するように構成されている。

データ提供システム１Ａは、画像センサ装置１０Ａ及び画像提供サーバ４０を含んで構成され、プライバシー情報を含む対象物２のプライバシーが適切に保護された画像を利用者端末５０に提供可能なセンサシステムとなっている。画像センサ装置１０Ａがネットワーク６０を介して画像提供サーバ４０に接続されている。画像提供サーバ４０は、ネットワーク６０を介して利用者端末５０と接続されるようになっている。画像センサ装置１０Ａ及び画像提供サーバ４０の設置個数は特に限定されない。データ提供システム１Ａに少なくとも１つ以上装備されていればよい。

画像センサ装置１０Ａのハードウェア構成は、図２に示した構成と略同様であるが、画像処理部１２Ａ、制御部１４Ａ、記憶部１３Ａが異なる機能を備えている。また、画像センサ装置１０Ａには、ネットワーク６０に接続するためのルーター２０（図１）の機能が装備されている。なお、ルーター２０は必須の構成ではなく、画像センサ装置１０Ａを直接ネットワーク６０に接続してもよい。画像提供サーバ４０のハードウェア構成は、図３に示した構成と略同様である。

図１０は、画像センサ装置１０Ａ及び画像提供サーバ４０が実行する処理を説明するための機能ブロック図である。
［画像センサ装置１０Ａ］
画像センサ装置１０Ａに画像処理装置１００が装備されている。画像処理装置１００は、画像取得部１２ｃ、位置検出部１２ｄ、合成画像生成部１２ｅ、背景画像生成部１２ｆ、背景画像登録部１３ｂ、画像切替部１４ａ、及び画像送信部１５ａを含んで構成され、これら各部は、画像センサ装置１０Ａの画像処理部１２Ａ、記憶部１３Ａ、制御部１４Ａ、及び入出力Ｉ／Ｆ１５の機能により実現される。

画像取得部１２ｃが、撮像部１１で撮像された画像を取得する処理を行い、位置検出部１２ｄが、取得した画像からプライバシー情報を含む対象物（人間）２を検出（認識）し、撮像された画像上における対象物（人間）２の位置（座標又は領域）を検出する処理を行う。対象物２の検出（画像認識）、位置検出方法には、上記した２次元位置算出方法や３次元位置算出方法が適用される。位置検出部１２ｄで検出された対象物２の位置データは、例えば、画像センサ装置１０ＡのＩＤ（識別子）、画像取得日時等のデータと関連付けた状態で制御部１４Ａ内のＲＡＭ又は記憶部１３Ａに記憶される。制御部１４Ａ内のＲＡＭ又は記憶部１３Ａが、対象物２の位置データが記憶される位置データ記憶部として機能する。
制御部１４Ａ内のＲＡＭ又は記憶部１３Ａから読み出された対象物２の位置（座標又は領域）データが、例えば、画像センサ装置１０ＡのＩＤ（識別子）、画像取得日時等のデータと関連付けた状態で合成画像生成部１２ｅに送られる。
また、画像取得部１２ｃで取得した画像は、例えば、画像センサ装置１０ＡのＩＤ（識別子）、画像取得日時等のデータと関連付けた状態で実画像ＤＢ１３ａに記憶される。

背景画像生成部１２ｆが、対象物２が含まれていない背景画像を生成する処理を行う。背景画像登録部１３ｂが、生成された背景画像を背景画像ＤＢ１３ｃに登録する処理を行う。
本実施の形態における背景画像の生成及び登録処理は、（１）撮像部１１で撮像された複数の画像を平均処理して求めた平均画像を背景画像として登録する方法、（２）対象物２が存在しない条件下で撮像した画像を背景画像として登録する方法、（３）撮像した画像を画像処理により背景のみ表した絵画風画像やＣＧ画像に変換した画像を背景画像として登録する方法などが適用される。

合成画像生成部１２ｅが、制御部１４Ａ内のＲＡＭ又は記憶部１３Ａから読み出した対象物２の位置（座標）データと、背景画像ＤＢ１３ｃから読み出した背景画像とを用い、該背景画像上における対象物２の検出位置に、対象物２のプライバシー情報が除去された模型、例えば対象物２のシルエットを表すＣＧ画像（人形）を描画して合成画像を生成する処理を行う。生成された合成画像のデータは、例えば、画像センサ装置１０ＡのＩＤや画像取得日時のデータと関連付けた状態で記憶部１３Ａに記憶され、その後、画像切替部１４ａに送られる。

位置検出部１２ｄが対象物２の画像上の２次元座標を算出する場合、合成画像生成部１２ｅは、背景画像に２次元的に模型を配置した合成画像を生成する処理を行う。
また、位置検出部１２ｄが、１つの対象物２の位置検出を複数の画像センサ装置１０Ａを用いて３次元的に行う場合、合成画像生成部１２ｅは、対象物２の３次元座標から画像上の２次元座標を復元し、復元した２次元座標に基づいて背景画像に２次元的に模型を配置した合成画像を生成する処理を行う。

画像切替部１４ａが、画像提供サーバ４０に送信する画像として、画像取得部１２ｃで取得した画像（実画像）と、合成画像生成部１２ｅで生成された合成画像とを切り替える処理を行う。

画像送信部１５ａが、合成画像または実画像を画像提供サーバ４０に送信する。また、画像送信部１５ａは、画像センサ装置１０Ａを管理するためのアプリケーションソフトウェア（内部アプリ）１９が搭載された管理端末装置（図示せず）に、合成画像生成部１２ｅで生成された合成画像や実画像ＤＢ１３ａに記憶されている画像を送信することも可能となっている。

［画像提供サーバ４０］
画像提供サーバ４０は、コンピュータを備えた電子機器であり、画像センサ装置１０Ａで生成された合成画像や撮像された実画像を利用者端末５０に送信する処理などを実行する。
画像受信部４２ａが、画像センサ装置１０Ａから送信されてきた合成画像や実画像のデータを受信する処理を行い、受信した合成画像や実画像のデータが、合成画像データベース４１ａ、実画像データベース４１ｂに記憶される。

画像送信部４２ｂが、合成画像を要求してきた利用者端末５０に、合成画像ＤＢ４１ａから読み出した合成画像を送信する処理を行う。また、実画像を要求してきた利用者端末５０に、所定の条件下で実画像ＤＢ４１ｂから読み出した実画像を送信する処理を行う。
なお、実画像には対象物２のプライバシー情報が含まれている場合があるため、実画像は、画像センサ装置１０Ａ又は画像提供サーバ４０が、対象物２に関する異常事態や緊急事態などの特別な条件が成立したと判断した場合にのみ利用者端末５０に送信可能となっている。

図１１は、実施の形態（２）に係るデータ提供システム１Ａで実行される処理動作を説明するためのフローチャートである。本処理動作は、例えば、利用者端末５０で外部アプリ５１が起動された場合に開始される。

利用者端末５０が、ステップＳ５１において、外部アプリ５１を起動する処理を行う。ステップＳ５２において、合成画像の要求操作があったと判断した場合に、合成画像の要求信号を画像提供サーバ４０に送信する処理を行う。合成画像の要求信号には、利用者端末５０のＩＤ（識別子）、要求する合成画像に関する情報が含まれる。要求する合成画像に関する情報には、対象とする施設、場所、画像センサ装置１０Ａの情報、撮像日時・期間などの情報が含まれる。これら情報は、外部アプリ５１で適宜入力できる他、予め設定できるようにしてもよい。

次に、画像提供サーバ４０が、ステップＳ５３において、利用者端末５０から合成画像の要求信号を受信する処理を行う。次のステップＳ５４では、受信した合成画像の要求信号に基づいて、画像センサ装置１０Ａに合成画像の要求信号を送信する処理を行う。

次に、画像センサ装置１０Ａが、ステップＳ５５において、画像提供サーバ４０から合成画像の要求信号を受信する処理を行う。次のステップＳ５６では、受信した合成画像の要求信号に基づいて、取得対象として指定された撮像画像（実画像）を含むデータを取得する処理を行う。取得したデータには、実画像データ、撮像日時データ、画像センサ装置１０ＡのＩＤなどが含まれ、これらデータが実画像ＤＢ１３ａに互いに関連付けた形式で記憶される。

次にステップＳ５７では、取得した実画像から対象物２を検出（認識）する処理を行う。本処理は、先に説明した、図６のステップＳ１２と同様の処理である。次のステップＳ５８では、実画像中で検出された対象物２の位置を検出する処理を行う。本処理は、先に説明した、図６のステップＳ１３と同様の処理である。続くステップＳ５９では、検出された対象物２の位置データを制御部１４Ａ内のＲＡＭ又は記憶部１３Ａに記憶する。対象物２の位置データは、画像センサ装置１０ＡのＩＤや撮像日時データなどの実画像に関するデータと関連付けた形式で記憶される。

次にステップＳ６０では、背景画像ＤＢ１３ｃから、実画像の撮像範囲に対応する背景画像を読み出す処理を行い、次のステップＳ６１では、制御部１４Ａ内のＲＡＭ又は記憶部１３Ａから、対応する実画像で検出された対象物２の位置データを読み出す処理を行い、ステップＳ６２に進む。

ステップＳ６２では、ステップＳ６１で読み出した対象物２の位置データと、ステップＳ６０で読み出した背景画像とを用い、該背景画像に対象物２のプライバシー情報が除かれた対象物２の模型が描画された合成画像を生成する処理を行う。本処理は、先に説明した、図６のステップＳ１４と同様の処理である。続くステップＳ６３では、生成された合成画像を記憶部１３Ａに記憶する。生成された合成画像のデータは、画像センサ装置１０ＡのＩＤや撮像日時データなどと関連付けた形式で記憶される。次にステップＳ６４では、記憶部１３Ａから読み出した合成画像のデータを画像提供サーバ４０に送信する処理を行う。

画像提供サーバ４０では、ステップＳ６５において、画像センサ装置１０Ａから送信されてきた合成画像のデータを受信する処理を行い、次のステップＳ６６で、受信した合成画像のデータを合成画像ＤＢ４１ａに記憶する処理を行う。合成画像は、画像センサ装置１０ＡのＩＤや撮像日時等のデータと関連付けた形式で記憶される。次のステップＳ６７では、合成画像ＤＢ４１ａから合成画像のデータを読み出して利用者端末５０に送信する処理を行う。

利用者端末５０では、ステップＳ６８において、画像提供サーバ４０から送信されてきた合成画像のデータを受信する処理を行い、次のステップＳ６９において、受信した合成画像のデータを記憶部（図示せず）に記憶する処理を行い、続くステップＳ７０において、合成画像を表示部に表示する処理を行う。その後、ステップＳ７１において、外部アプリ５１で合成画像を用いたデータ処理が実行され、その後、ステップＳ７２において、外部アプリ５１の終了操作を検出すると終了処理を行い、その後、処理を終える。

上記実施の形態（２）に係るデータ提供システム１Ａによれば、本実施の形態に係る画像認識処理方法を実行するコンピュータを備えた電子機器として機能する画像センサ装置１０Ａにより対象物２のプライバシーが適切に保護された合成画像が生成され、画像提供サーバ４０が、合成画像を利用者端末５０に提供することが可能となり、対象物２のプライバシーが適切に保護された合成画像を第３者に提供することで、該合成画像を用いた新たなサービスを外部アプリ５１を通じて提供することができる。

上記実施の形態（２）に係る画像認識処理方法を実行する画像センサ装置１０Ａによれば、画像取得部１２ｃから取得した画像から対象物２の位置が検出され、対象物２の位置データを用いて、背景画像上の対応する位置に模型３が描画された合成画像が生成される。したがって、実画像から位置が検出された対象物２は模型３として背景画像に描画されるので、対象物２のプライバシー情報を含まない合成画像を生成することができる。また、背景画像に対象物２の模型３を描画するので、撮像された画像毎にモザイク処理等を行う方法と比較して、前記合成画像を連続的に生成する際の画像センサ装置１０Ａにかかる処理負荷を削減することができる。また、実画像から対象物２の検出に失敗したとしても、利用者端末５０に提供する画像に背景画像を用いるため、検出に失敗した対象物２が利用者端末５０に提示されることなく、検出に失敗した対象物２のプライバシーも適切に保護することができ、対象物２のプライバシー情報が流出しないようにチェックするための複雑な処理が不要となり、簡素化された画像認識処理を実現できる。

図１２は、実施の形態（３）に係るデータ提供システムの構成を説明するための概念図である。但し、図１に示したデータ提供システム１と同様の構成要素については、同符号を付し、その説明を省略する。
実施の形態（１）に係るデータ提供システム１では、画像提供サーバ４０から利用者端末５０に、画像処理サーバ３０で生成された合成画像（背景画像に模型が合成された画像）を提供するように構成されていた。一方、実施の形態（３）に係るデータ提供システム１Ｂでは、画像処理サーバ３０Ａで生成された背景画像を事前に利用者端末５０Ａへ送信しておき、その後、利用者端末５０Ａからのデータ要求に応じて、対象物２の位置データを利用者端末５０Ａに送信し、利用者端末５０Ａが、受信した対象物２の位置データと背景画像とを用い、該背景画像上に模型が描画された合成画像を生成する構成となっている。すなわち、利用者端末５０Ａが、本実施の形態に係る画像認識処理方法を実行するコンピュータとして機能する。

データ提供システム１Ｂは、画像センサ装置１０、ルーター２０、画像処理サーバ３０Ａ、及び利用者端末５０Ａを含んで構成され、プライバシーが適切に保護された画像を利用者端末５０Ａに提供可能なセンサシステムとなっている。画像処理サーバ３０Ａに画像処理装置３００Ａ（図１３）が装備されている。
画像センサ装置１０がルーター２０に接続され、ルーター２０がネットワーク６０を介して画像処理サーバ３０Ａに接続されている。画像処理サーバ３０Ａは、ネットワーク６０を介して利用者端末５０Ａと接続可能となっている。なお、ルーター２０は必須の構成ではなく、画像センサ装置１０をネットワーク６０に接続するようにしてもよい。

画像センサ装置１０のハードウェア構成は、図２に示した構成と略同様である。画像処理サーバ３０Ａのハードウェア構成は、図３に示した画像処理サーバ３０の構成と略同様であるが、画像処理部３１Ａ、制御部３４Ａが異なる機能を備えている。

図１３は、画像センサ装置１０、画像処理サーバ３０Ａ、及び利用者端末５０Ａが実行する処理を説明するための機能ブロック図である。図４に示した機能ブロック図と同一機能を有する構成部分には、同一符号を付しその説明を省略する。
［画像センサ装置１０］
画像取得部１２ａが、撮像部１１で撮像された画像を取得する処理を行い、対象検出部１２ｂが、取得した画像からプライバシー情報を含む対象物（人間）２を検出（認識）する処理を行う。取得した画像や対象物検出（画像認識）結果のデータが、例えば、画像センサ装置１０のＩＤ（識別子）及び画像取得日時等のデータと関連付けた状態で画像処理サーバ３０Ａに送信される。

［画像処理サーバ３０Ａ］
画像処理サーバ３０Ａに画像処理装置３００Ａが装備されている。画像処理装置３００Ａは、画像受信部３３ａ、画像送信部３３ｂ、位置検出部３１ａ、背景画像生成部３１ｂ、位置送信部３１ｄ、背景画像送信部３１ｅ、及び３Ｄ地図登録部３２ｂを含んで構成され、これら各部は、画像処理サーバ３０Ａの画像処理部３１Ａ、記憶部３２、通信処理部３３、及び制御部３４Ａの機能により実現されている。

画像受信部３３ａが、画像センサ装置１０から送信されてきた画像を受信する処理を行い、受信した画像（実画像）が実画像ＤＢ３２ａに記憶される。位置検出部３１ａが、撮像された画像上における検出対象物（人間）２の位置を検出する処理を行う。対象物２の位置検出方法には、上記した２次元位置算出方法や３次元位置算出方法が適用される。画像処理サーバ３０Ａが、利用者端末５０Ａからの要求信号を受信した場合に、位置送信部３１ｄが、位置検出部３１ａで算出された対象物２の位置データを利用者端末５０Ａに送信する処理を行う。なお、対象検出部１２ｂの機能を画像処理サーバ３０Ａに設ける構成としてもよい。

背景画像生成部３１ｂが、背景ＤＢ３２ｃに登録されている３Ｄ地図データ、パラメータＤＢ３２ｆに登録されている外部パラメータ及び内部パラメータ等を用いて、３Ｄ地図データから画像センサ装置１０の撮像範囲に対応する背景画像を生成する処理を行う。生成された背景画像は、例えば、画像センサ装置１０のＩＤと関連付けて背景画像ＤＢ３２ｇに登録される。画像処理サーバ３０Ａが利用者端末５０Ａからサービス（外部アプリ）利用開始信号を受信した場合に、背景画像送信部３１ｅが、背景画像生成部３１ｂで生成された背景画像を背景画像ＤＢ３２ｇから読み出し、背景画像に関連付けられた画像センサ装置１０のＩＤ等とともに利用者端末５０Ａに送信する処理を行う。

［利用者端末５０Ａ］
利用者端末５０Ａは、コンピュータを備えた電子機器であり、汎用のパーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末などの情報端末装置で構成されている。利用者端末５０Ａは、通信処理部５２、記憶部５３、制御部５４、表示部５５、及び操作部５６を含んで構成されている。

通信処理部５２は、背景画像受信部５２ａ、位置受信部５２ｂ、及び実画像受信部５２ｃとしての機能を備え、ネットワーク６０を介して各種データの送受信等を行う通信インターフェースや通信制御回路を含んで構成されている。記憶部５３は、通信処理部５２で受信した各種データ等を記憶可能な半導体メモリなどで構成されている。表示部５５は、液晶パネルなどの各種表示パネルを含んで構成されている。操作部５６は、タッチパネル、ボタンスイッチ、又はキーボード等の入力装置で構成されている。制御部５４は、これら各部を制御する機能の他、合成画像生成部５４ａとしての機能を有し、マイクロコンピュータ（ＣＰＵ（プロセッサ）、ＲＡＭ、ＲＯＭ）を含んで構成されている。制御部５４には、これら各部の処理を実行するためのプログラムが格納されている。これらプログラムは、コンピュータ読み取り可能な内蔵式の記録媒体の他、外付け式の記録媒体、例えば、着脱可能な半導体メモリなどに格納してもよい。

背景画像受信部５２ａが、画像処理サーバ３０Ａから送信されてきた背景画像を受信する処理を行う。サービス利用開始時等に受信した背景画像は記憶部５３に記憶される。
位置受信部５２ｂが、画像処理サーバ３０Ａから送信されてきた対象物２の位置データを受信する処理を行う。受信した対象物２の位置データは、例えば、画像センサ装置１０のＩＤ（識別子）、画像取得日時等のデータと関連付けた状態で制御部５４内のＲＡＭ又は記憶部５３などに記憶される。制御部５４内のＲＡＭ又は記憶部５３が位置データ記憶部として機能する。
合成画像生成部５４ａが、制御部５４内のＲＡＭ又は記憶部５３から読み出した対象物２の位置データと、記憶部５３から読み出した、対応する背景画像とを用い、背景画像上における対象物２の検出位置に、対象物２のプライバシー情報が除去された模型を描画して合成画像を生成する処理を行い、生成された合成画像が表示部５５に表示可能となっている。

また、実画像受信部５２ｃが、所定条件が成立した場合に、画像処理サーバ３０Ａから送信されてきた実画像を受信する処理を行い、受信した実画像が表示部５５に表示可能となっている。なお、実画像には対象物２のプライバシー情報が含まれている場合があるため、実画像は、画像処理サーバ３０Ａが対象物２に関する異常事態や緊急事態などの特別な条件が成立したと判断した場合にのみ利用者端末５０Ａに提供可能となっている。

図１４は、実施の形態（３）に係るデータ提供システム１Ｂで実行される処理動作を説明するためのフローチャートである。本処理動作は、例えば、利用者端末５０Ａで外部アプリ５１が起動された場合に開始される。

利用者端末５０Ａが、ステップＳ８１において、外部アプリ５１を起動する処理を行う。ステップＳ８２において、合成画像の要求操作があったと判断した場合に、合成画像の要求信号を画像処理サーバ３０Ａに送信する処理を行う。合成画像の要求信号には、利用者端末５０ＡのＩＤ（識別子）、要求する合成画像に関する情報が含まれる。要求する合成画像に関する情報には、対象とする施設、場所、画像センサ装置１０の情報、撮像日時・期間などの情報が含まれる。これら情報は、外部アプリ５１で適宜入力できる他、予め設定できるようにしてもよい。

次に、画像処理サーバ３０Ａが、ステップＳ８３において、利用者端末５０Ａから合成画像の要求信号を受信する処理を行う。次のステップＳ８４では、受信した合成画像の要求信号に基づいて、画像センサ装置１０に合成画像の要求信号を送信する処理を行い、ステップＳ８５に進む。ステップＳ８５では、背景画像ＤＢ３２ｇから画像センサ装置１０の撮像範囲に対応する背景画像のデータを読み出し、利用者端末５０Ａに送信する。

利用者端末５０Ａでは、ステップＳ８６において、画像処理サーバ３０Ａから送信されてきた背景画像のデータを受信する処理を行い、次のステップＳ８７では、受信した背景画像のデータを記憶部５３に記憶する処理を行う。

一方、画像センサ装置１０では、ステップＳ８８において、画像処理サーバ３０Ａから合成画像の要求信号を受信する処理を行う。次のステップＳ８９では、受信した合成画像の要求信号に基づいて、取得対象として指定された撮像画像（実画像）を含むデータを取得する処理を行う。取得したデータには、実画像データ、撮像日時データ、画像センサ装置１０のＩＤなどが含まれ、これらデータが記憶部１３に互いに関連付けた形式で記憶される。

続くステップＳ９０では、取得した実画像から対象物２を検出（認識）する処理を行い、検出した対象物２の認識データを記憶部１３に記憶する。本処理は、先に説明した、図６のステップＳ１２と同様の処理である。次のステップＳ９１では、記憶部１３から実画像を含むデータと、対象物２の検出（認識）データとを読み出し、画像処理サーバ３０Ａに送信する処理を行う。

画像処理サーバ３０Ａでは、ステップＳ９２において、画像センサ装置１０から送信されてきたデータを受信する処理を行い、次のステップＳ９３で、受信した実画像を含むデータを実画像ＤＢ３２ａに、対象物２の検出データを記憶部３２に記憶する処理を行う。続くステップＳ９４では、実画像中で検出（認識）された対象物２の位置を検出する処理を行う。本処理は、先に説明した、図６のステップＳ１３と同様の処理である。

続くステップＳ９５では、検出された対象物２の位置データを制御部３４Ａ内のＲＡＭ又は記憶部３２に記憶する。対象物２の位置データは、画像センサ装置１０のＩＤや撮像日時データなどの実画像に関するデータと関連付けた形式で記憶される。次のステップＳ９６では、制御部３４Ａ内のＲＡＭ又は記憶部３２から、実画像に対応する対象物２の位置データを読み出し、利用者端末５０Ａに送信する処理を行う。

利用者端末５０Ａでは、ステップＳ９７において、画像処理サーバ３０Ａから送信されてきた対象物２の位置データを受信し、制御部５４内のＲＡＭ又は記憶部５３に記憶する処理を行い、ステップＳ９８に進む。ステップＳ９８では、記憶部５３から、対応する背景画像のデータを読み出し、次のステップＳ９９で、制御部５４内のＲＡＭ又は記憶部５３から対象物２の位置データを読み出す処理を行う。

続くステップＳ１００では、読み出した対象物２の位置データと、読み出した背景画像とを用い、該背景画像に対象物２のプライバシー情報が除かれた対象物２の模型が描画された合成画像を生成する処理を行う。本処理は、先に説明した、図６のステップＳ１４と同様の処理である。続くステップＳ１０１では、生成された合成画像を記憶部５３に記憶する。生成された合成画像のデータは、画像センサ装置１０のＩＤや撮像日時データなどと関連付けた形式で記憶される。

続くステップＳ１０２において、記憶部５３から読み出した合成画像を表示部に表示する処理を行う。その後、ステップＳ１０３において、外部アプリ５１で合成画像を用いたデータ処理が実行され、その後、ステップＳ１０４において、外部アプリ５１の終了操作を検出すると終了処理を行い、その後、処理を終える。

図１５は、利用者端末５０Ａの表示部５５に表示された合成画像の表示例を示している。
表示部５５に、背景画像Ｐ２に模型（人形）３が合成された合成画像が表示されている。合成画像はＣＧ表示ボタン５６ａを操作すると表示されるようになっている。ＣＧ表示ボタン５６ａを操作すると、利用者端末５０Ａは、画像処理サーバ３０Ａに対象物２の位置データを要求し、該要求に応じて受信した対象物２の位置データと、事前取得した背景画像とを用いて合成画像を生成して表示部５５に表示する処理を行う。

実画像表示ボタン５６ｂは、通常時は機能しないが、例えば、模型３が倒れた状態で一定時間経過した場合など、画像処理サーバ３０Ａが対象物２に関する異常事態や緊急事態の発生を検出した場合に、実画像表示ボタン５６ｂを点滅等させて利用者に警告するとともに、実画像表示ボタン５６ｂの操作が受け付け可能になっている。実画像表示ボタン５６ｂが操作されると、実画像受信部５２ｃで受信した実画像が表示されるようになっている。

実施の形態（３）に係るデータ提供システム１Ｂによれば、画像処理サーバ３０Ａから利用者端末５０Ａに背景画像と、対象物２の位置データとを別々に送信して、利用者端末５０Ａで合成画像を生成させるので、プライバシーが適切に保護された前記合成画像を第３者に提供し、該合成画像を用いた新たなサービス提供の可能性を広げることができる。また、背景画像を利用者端末５０Ａに事前に送信して記憶させておき、検出された対象物２の位置データ等の模型３の描画に必要な情報のみをリアルタイムで利用者端末５０Ａに送信し、利用者端末５０Ａで背景画像と模型３とを合成した画像を生成するので、撮像された画像（実画像）をリアルタイムで利用者端末に送信するような構成と比較して、利用者端末５０Ａに転送するデータ量（データ転送量）を大幅に削減することができるシステムを構築することができる。

本発明は、上記した実施の形態に限定されるものではなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

（付記１）
少なくとも１つの撮像部で撮像された画像を少なくとも１つのプロセッサで処理する画像認識処理方法であって、
前記少なくとも１つのプロセッサによって、
前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップを含んでいる、画像認識処理方法。

（付記２）
少なくとも１つの撮像部で撮像された画像を少なくとも１つのプロセッサで処理する画像認識処理方法であって、
前記少なくとも１つのプロセッサによって、
前記少なくとも１つの撮像部で撮像された画像からプライバシー情報を含む対象物の位置を検出する処理を行うステップと、
前記検出された対象物の位置データと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを含んでいる、画像認識処理方法。

（付記３）
少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのプロセッサに実行させるための画像認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記少なくとも１つのプロセッサに、
前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データが記憶された位置データ記憶部から前記対象物の位置データを読み出すステップと、
前記対象物が含まれていない背景画像が記憶された背景画像記憶部から前記背景画像を読み出すステップと、
前記読み出した対象物の位置データと、前記読み出した背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを実行させるための画像認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記４）
少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのプロセッサに実行させるための画像認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記少なくとも１つのプロセッサに、
前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データが記憶された位置データ記憶部から前記対象物の位置データを読み出すステップと、
前記対象物が含まれていない背景画像が記憶された背景画像記憶部から前記背景画像を読み出すステップと、
前記読み出した対象物の位置データと、前記読み出した背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを実行させるための画像認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

（付記５）
少なくとも１つのコンピュータがネットワークを介して別のコンピュータにデータを提供するデータ提供システムであって、
前記少なくとも１つのコンピュータが、記憶部と、該記憶部に接続された少なくとも１つのプロセッサとを有し、
前記記憶部は、
少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データを記憶する位置データ記憶部と、
前記対象物が含まれていない背景画像を記憶する背景画像記憶部とを有し、
前記少なくとも１つのプロセッサは、
前記位置データ記憶部から読み出した前記対象物の位置データを前記別のコンピュータに送信し、
前記背景画像記憶部から読み出した前記背景画像を前記別のコンピュータに送信するように構成され、
前記別のコンピュータは、少なくとも１つのプロセッサを有し、
該少なくとも１つのプロセッサは、
前記少なくとも１つのコンピュータから受信した前記対象物の位置データと前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するように構成されている、データ提供システム。

１、１Ａ、１Ｂ データ提供システム
１０、１０Ａ 画像センサ装置
１００ 画像処理装置
１２ａ、１２ｃ 画像取得部
１２ｂ 対象検出部
１２ｄ 位置検出部
１２ｅ 合成画像生成部
１３ｂ 背景画像登録部
１４ａ 画像切替部
１５ａ 画像送信部
２０ ルーター
３０、３０Ａ 画像処理サーバ
３００、３００Ａ 画像処理装置
３１ａ 位置検出部
３１ｂ 背景画像生成部
３１ｃ 合成画像生成部
３２ｂ ３Ｄ地図登録部
４０ 画像提供サーバ
４２ａ 画像受信部
４２ｂ 画像送信部
５０、５０Ａ 利用者端末
６０ ネットワーク

Claims (26)

1. 少なくとも１つの撮像部で撮像された画像を少なくとも１つのコンピュータで処理する画像認識処理方法であって、
   前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップを含んでいることを特徴とする画像認識処理方法。
2. 少なくとも１つの撮像部で撮像された画像を少なくとも１つのコンピュータで処理する画像認識処理方法であって、
   前記少なくとも１つの撮像部で撮像された画像からプライバシー情報を含む対象物の位置を検出する処理を行うステップと、
   検出された前記対象物の位置データと、前記対象物が含まれていない背景画像が記憶された背景画像記憶部から読み出した前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを含んでいることを特徴とする画像認識処理方法。
3. 前記背景画像が、前記撮像された画像の撮像範囲に対応したものであることを特徴とする請求項１又は請求項２記載の画像認識処理方法。
4. 前記合成画像は、前記背景画像に前記対象物の模型が、前記撮像された画像における前記対象物の位置状態が再現されるように描画されたものであることを特徴とする請求項１〜３のいずれかの項に記載の画像認識処理方法。
5. 前記背景画像が、３次元背景データから生成されたものであることを特徴とする請求項１〜４のいずれかの項に記載の画像認識処理方法。
6. 前記背景画像が、前記撮像された複数の画像を平均処理して得られた平均画像から生成されたものであることを特徴とする請求項１〜４のいずれかの項に記載の画像認識処理方法。
7. 前記対象物の位置データが、前記撮像された画像から検出された前記対象物の３次元位置データから復元された、前記撮像された画像上における２次元位置データであることを特徴とする請求項１〜６のいずれかの項に記載の画像認識処理方法。
8. 前記対象物の位置データが、前記撮像された画像から検出された前記対象物の３次元位置データであり、
   前記背景画像が、３次元背景データであり、
   前記合成画像を生成するステップが、
   前記対象物の３次元位置データを用い、前記３次元背景データ上の前記対象物の３次元位置に前記模型を描画し、該模型が描画された前記３次元背景データから前記模型を含む前記撮像された画像領域を切り出した画像を前記合成画像として生成するものであることを特徴とする請求項１又は請求項２記載の画像認識処理方法。
9. 少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのコンピュータに実行させるための画像認識処理プログラムであって、
   前記少なくとも１つのコンピュータに、
   前記少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データが記憶された位置データ記憶部から前記対象物の位置データを読み出すステップと、
   前記対象物が含まれていない背景画像が記憶された背景画像記憶部から前記背景画像を読み出すステップと、
   前記読み出した対象物の位置データと、前記読み出した背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを実行させることを特徴とする画像認識処理プログラム。
10. 少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのコンピュータに実行させるための画像認識処理プログラムであって、
    前記少なくとも１つのコンピュータに、
    前記少なくとも１つの撮像部で撮像された画像からプライバシー情報を含む対象物の位置を検出する処理を行うステップと、
    該検出した対象物の位置データを位置データ記憶部に記憶するステップと、
    前記位置データ記憶部から前記対象物の位置データを読み出すステップと、
    前記対象物が含まれていない背景画像が記憶された背景画像記憶部から前記背景画像を読み出すステップと、
    前記読み出した対象物の位置データと、前記読み出した背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成するステップとを実行させることを特徴とする画像認識処理プログラム。
11. 少なくとも１つの撮像部で撮像された画像の処理を少なくとも１つのコンピュータに実行させるための画像認識処理プログラムであって、
    請求項３〜８のいずれかの項に記載の画像認識処理方法を、前記少なくとも１つのコンピュータに実行させることを特徴とする画像認識処理プログラム。
12. 請求項９〜１１のいずれかの項に記載の画像認識処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
13. 請求項９〜１１のいずれかの項に記載の画像認識処理プログラムを読み込み実行することを特徴とするプロセッサ。
14. 請求項１３記載のプロセッサが搭載されていることを特徴とする電子機器。
15. ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行されるデータ提供方法であって、
    前記少なくとも１つのコンピュータが、
    請求項１〜８のいずれかの項に記載の画像認識処理方法における前記合成画像を生成するステップで生成された前記合成画像を別のコンピュータに送信するステップを含んでいることを特徴とするデータ提供方法。
16. 前記撮像された画像を必要とする所定の条件が成立した場合に前記撮像された画像を前記別のコンピュータに送信するステップをさらに含んでいることを特徴とする請求項１５記載のデータ提供方法。
17. ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行されるデータ提供方法であって、
    前記少なくとも１つのコンピュータが、
    請求項１〜８のいずれかの項に記載の画像認識処理方法における前記合成画像を生成するステップで生成された前記合成画像を表示部に表示するステップを含んでいることを特徴とするデータ提供方法。
18. 前記合成画像と前記撮像された画像とを切り替えて前記表示部に表示するステップをさらに含んでいることを特徴とする請求項１７記載のデータ提供方法。
19. 少なくとも１つのコンピュータがネットワークを介して別のコンピュータにデータを提供するデータ提供システムであって、
    前記少なくとも１つのコンピュータが、
    少なくとも１つの撮像部で撮像された画像から検出されたプライバシー情報を含む対象物の位置データを前記別のコンピュータに送信する位置データ送信部と、
    前記対象物が含まれていない背景画像を前記別のコンピュータに送信する背景画像送信部とを備え、
    前記別のコンピュータに、
    前記対象物の位置データと前記背景画像とを用い、該背景画像に前記対象物のプライバシー情報が除かれた前記対象物の模型が描画された合成画像を生成させることを特徴とするデータ提供システム。
20. ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行させるためのデータ提供プログラムであって、
    前記少なくとも１つのコンピュータに、
    請求項９〜１１のいずれかの項に記載の画像認識処理プログラムにおける前記合成画像を生成するステップで生成された前記合成画像を別のコンピュータに送信するステップを実行させることを特徴とするデータ提供プログラム。
21. 前記少なくとも１つのコンピュータに、
    前記撮像された画像を必要とする所定の条件が成立した場合に前記撮像された画像を前記別のコンピュータに送信するステップをさらに実行させることを特徴とする請求項２０記載のデータ提供プログラム。
22. ネットワークを介して通信可能な少なくとも１つのコンピュータを含むシステムで実行させるためのデータ提供プログラムであって、
    前記少なくとも１つのコンピュータに、
    請求項９〜１１のいずれかの項に記載の画像認識処理プログラムにおける前記合成画像を生成するステップで生成された前記合成画像を表示部に表示するステップを実行させることを特徴とするデータ提供プログラム。
23. 前記少なくとも１つのコンピュータに、
    前記合成画像と前記撮像された画像とを切り替えて前記表示部に表示するステップをさらに実行させることを特徴とする請求項２２記載のデータ提供プログラム。
24. 請求項２０〜２３のいずれかの項に記載のデータ提供プログラムを記録したコンピュータ読み取り可能な記録媒体。
25. 請求項２０〜２３のいずれかの項に記載のデータ提供プログラムを読み込み実行することを特徴とするプロセッサ。
26. 請求項２５記載のプロセッサが搭載されていることを特徴とする電子機器。

Images