JP2017533484A - 撮影制限要素を含む映像を修正する方法、それを遂行するためのデバイス及び該システム - Google Patents

Abstract

データが保存される保存部、及び映像に含まれた人物を認識し、保存部に保存されたデータを利用して、認識された人物が、ユーザと互いに関連性がなければ、認識された人物の識別が不可能になるように、認識された人物に対応する映像の一部を修正する制御部を含むユーザデバイスである。

Description

本発明は、ユーザデバイスで撮影された写真または動画に、撮影が制限される要素が含まれた場合、映像を修正する方法、それを遂行するためのデバイス及び該システムに関する。

カメラまたはカムコーダのような撮影デバイスを介して、写真または動画を撮影する場合、撮影者が不面識の人が撮影映像に含まれることもある。ところで、本人の意図と係わりなく、他人の撮影に露出されることを、被撮影者の立場からは願うことではなく、場合によっては、プライバシー保護問題が提起される。しかし、撮影者は、撮影をするたびに自分の知らない人物が映像に含まれないようにすることは、困難なことである。

もし撮影された映像に含まれた人物のうち撮影が制限される人物を区分し、当該人物に対して、識別が不可能になるように映像処理を行うならば、該撮影者は、既存のような方法で、簡便に撮影を行いながらも、被撮影者のプライバシーを保護することができる。

特に、最近では、スマートフォンまたはタブレットＰＣ（personal computer）のように、個人が常時携帯するデバイスが、一般的に撮影機能を支援することにより、知らない他人の撮影に露出される可能性が高まり、従って、それに対する対備策が必要である。

一方、個人に撮影が制限される必要があることは、仮に知らない他人だけではなく、特定事物または特定位置にもなる。従って、個人のデバイスで撮影した映像に含まれた、撮影が制限される事物または位置が含まれている場合、それを映像で識別することができないように映像処理を行う必要もある。

本発明が解決しようとする課題は、個人のデバイスで撮影した映像に、撮影が制限される要素が含まれている場合、映像を修正する方法を提供することである。

本発明の実施形態によるユーザデバイスは、データが保存される保存部、及びユーザデバイスによって撮影された映像に含まれた人物を認識するか、あるいは外部ソースからユーザデバイスによって受信され、前記保存部に保存されたデータを利用して、前記認識された人物と、前記ユーザデバイスのユーザとの類似度（degree of closeness）が所定のレベルより低いことにより、前記認識が不可能になるように、前記認識された人物に対応する映像の一部を修正する制御部を含む。

本発明によれば、撮影制限人物、客体（object）または位置を含む映像が、ユーザ装置によって撮影された場合、映像の一部を修正し、撮影制限人物、客体または場所を区別できなくし、撮影制限人物のプライバシーを保護し、保安上または著作権上の理由で撮影が制限された客体や場所を含む映像を得ることができないように防止する。

本発明の実施形態による、撮影制限要素を含む映像を修正する方法の実施環境を図示した図面である。 本発明の実施形態による、撮影制限要素を含む映像を修正する方法を示すフローチャートである。 本発明の一実施形態による、撮影映像を修正する方法について説明するための図面である。 本発明の一実施形態による、撮影映像を修正する方法について説明するための図面である。 本発明の一実施形態による、撮影映像を修正する方法について説明するための図面である。 本発明の一実施形態による、撮影映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される人物が映像に含まれた場合、映像を修正する多様な方法を図示した図面である。 本発明の実施形態による、撮影が制限される人物が映像に含まれた場合、映像を修正する多様な方法を図示した図面である。 本発明の実施形態による、撮影が制限される人物が映像に含まれた場合、映像を修正する多様な方法を図示した図面である。 本発明の実施形態による、撮影が制限される人物が映像に含まれた場合、映像を修正する多様な方法を図示した図面である。 本発明の実施形態による、撮影が制限される人物が映像に含まれた場合、映像を修正する多様な方法を図示した図面である。 本発明の実施形態による、撮影が制限される人物が映像に含まれた場合、映像を修正する多様な方法を図示した図面である。 本発明の実施形態による、撮影が制限される人物が含まれた映像を修正する方法を示すフローチャートである。 本発明の実施形態による、撮影が制限される人物が含まれた映像を修正する方法を示すフローチャートである。 本発明の実施形態による、撮影が制限される人物が含まれた映像を修正する方法を示すフローチャートである。 本発明の実施形態による、撮影が制限される人物が含まれた映像を修正する方法を示すフローチャートである。 本発明の実施形態による、２以上のユーザデバイスを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、２以上のユーザデバイスを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、２以上のユーザデバイスを利用して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。 本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。 本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。 本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法を示すフローチャートである。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法を示すフローチャートである。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法を示すフローチャートである。 本発明の実施形態による、プライバシー保護情報によって、人物の撮影を制限する実施形態について説明するための図面である。 本発明の実施形態による、プライバシー保護情報によって、人物の撮影を制限する実施形態について説明するための図面である。 本発明の実施形態による、プライバシー保護情報によって、人物の撮影を制限する実施形態について説明するための図面である。 本発明の実施形態による、プライバシー保護情報によって、人物の撮影を制限する実施形態を示すフローチャートである。 本発明の実施形態によるユーザデバイスの構成を図示した図面である。 本発明の実施形態による、撮影映像の修正方法において、撮影された映像をユーザ端末に保存する前に修正する実施形態について説明するための図面である。 本発明の実施形態による、撮影映像の修正方法において、撮影された映像をユーザ端末に保存する前に修正する実施形態について説明するためのフローチャートである。 本発明の実施形態による、撮影映像の修正方法において、ユーザ端末に保存された映像を外部に伝送するときに修正する実施形態について説明するための図面である。 本発明の実施形態による、撮影映像の修正方法において、ユーザ端末に保存された映像を外部に伝送するときに修正する実施形態について説明するための図面である。 本発明の実施形態による、撮影映像の修正方法において、ユーザ端末に保存された映像を外部に伝送するときに修正する実施形態について説明するためのフローチャートである。 本発明の実施形態による、撮影映像の修正方法において、撮影された映像をユーザ端末に保存せずに、すぐ修正して外部で伝送する実施形態について説明するための図面である。 本発明の実施形態による、撮影映像の修正方法において、撮影された映像をユーザ端末に保存せずに、すぐ修正して外部に伝送する実施形態について説明するためのフローチャートである。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法を示すフローチャートである。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する方法を示すフローチャートである。 本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する方法を示すフローチャートである。

前記技術的課題を解決するための本発明の実施形態によるユーザデバイスは、データが保存される保存部、及びユーザデバイスによって撮影された映像に含まれた人物を認識するか、あるいは外部ソースからユーザデバイスによって受信され、前記保存部に保存されたデータを利用して、前記認識された人物と、前記ユーザデバイスのユーザとの類似度（degree of closeness）が所定のレベルより低いことにより、前記認識が不可能になるように、前記認識された人物に対応する映像の一部を修正する制御部を含む。

このとき、前記ユーザデバイスは、映像を撮影する撮影部（カメラ）をさらに含んでもよい。

このとき、前記制御部は、前記映像が撮影された位置が、撮影が制限される位置であるか否かということを判断し、撮影が制限される位置である場合、前記認識された人物に対応する映像の一部を修正するように構成される。

このとき、前記保存部に保存されたデータがアドレスブックでもあり、前記制御部は、前記認識された人物が前記アドレスブックに存在しないことにより、類似度が所定レベルより低いと判断することができる。

このとき、前記保存部に保存されたデータが少なくとも１枚の写真でもあり、前記制御部は、前記認識された人物が、前記少なくとも１枚の写真に存在しないことによって、前記ユーザと、前記認識された人物との類似度が低いと判断することができる。

前記保存部に保存されたデータは、前記ユーザのＳＮＳ（social network service）使用記録でもあり、前記制御部は、前記ＳＮＳ使用記録を分析することにより、類似度判断を行うことができる。

このとき、前記制御部は、外部サーバのデータベースにアクセスし、前記映像が撮影された位置が、撮影が制限される位置であるか否かということを判断することができ、撮影が制限される位置であると判断されれば、前記映像を修正することができる。

前記制御部は、前記映像で撮影制限事物を認識すれば、前記映像が撮影された位置を撮影が制限される位置と判断することができる。

前記制御部は、前記映像の一部に、モザイク処理（mosaic process）、ブラー（blur）処理、背景画面合成処理（background image composing process）または代替映像合成処理（alternative image composing process）のうち少なくとも一つを遂行することができる。

前記技術的課題を解決するための本発明の他の実施形態による、映像を修正するシステムにおいて映像処理を行うためのサーバと、映像をサーバに伝送する間、映像処理を要請するユーザデバイスと、を含み、前記サーバは、前記ユーザデバイスから受信された映像に含まれた人物を認識し、前記認識された人物と、前記ユーザとの類似度が所定レベルより低いことにより、認識されることがないように、前記認識された人物に対応する映像の一部を修正する。

前記サーバは、既保存のデータを利用して、前記映像が撮影された位置が、撮影が制限される位置であるか否かということを判断し、撮影が制限される位置である場合、前記認識された人物に対応する映像の一部を修正することができる。

前記サーバは、前記ユーザデバイスから、前記映像が撮影された時間及び位置を受信し、既保存のデータを利用して、前記受信した時間及び位置で、前記認識された人物の撮影が制限されるか否かということを判断することができる。

前記ユーザデバイスは、前記サーバから受信された暗号化キーを利用して、前記映像を符号化し、符号化された映像を前記サーバに伝送することができ、前記サーバは、前記符号化された映像を復号し、前記認識された人物に対応する復号された映像の一部を修正することができる。

前記技術的課題を解決するための本発明の他の実施形態によるユーザデバイスは、映像を撮影する撮影部、映像が撮影される被撮影者のデバイスに撮影通知を伝送し、前記被撮影者のデバイスから撮影通知に対する応答を受信する通信インターフェース、及び前記撮影が許容されたか否かということを示す応答に基づいて、映像を修正する制御部を含む。

前記技術的課題を解決するための本発明の実施形態による映像を修正する方法は、映像に含まれた人物を認識する段階、前記認識された人物が、前記ユーザデバイスのユーザ間の類似度が所定基準以下であるか否かということを判断する段階、及び前記類似度が所定レベル以下であるならば、前記認識された人物の識別が不可能になるように、前記認識された人物に対応する前記映像の一部を修正する段階を含む。

前記判断する段階は、前記映像が撮影される位置が、撮影が制限される位置であるか否かということを判断する段階を含み、前記修正する段階は、前記位置が、撮影が制限される位置である場合、前記映像の一部を修正する段階を含んでもよい。

前記判断する段階は、前記ユーザデバイスに保存されたアドレスブックに、前記認識された人物が含まれなければ、前記類似度は、所定レベル以下であると判断する段階であることを特徴とする。

前記判断する段階は、前記認識された人物が、前記ユーザデバイスに保存された少なくとも１枚の写真に含まれていないのであるならば、前記類似度は、所定レベル以下であると判断する段階を含んでもよい。

前記判断する段階は、前記ユーザデバイスに保存されたデータを利用して、前記ユーザのＳＮＳ使用記録を分析することにより、前記ユーザと、前記認識された人物との類似度が所定レベル以下であると判断する段階を含んでもよい。

前記修正する段階は、前記映像の一部に、モザイク処理、ブラー処理、背景画面合成処理または代替映像合成処理のうち少なくとも一つを遂行する段階を含んでもよい。

前記本発明の実施形態によるサーバで映像を修正する方法は、ユーザデバイスから映像及び映像処理要請を受信する段階と、前記映像処理要請に応答し、前記映像に含まれた客体を認識する段階と、前記映像が撮影された位置、前記映像が撮影された時刻、ユーザと、前記認識された客体との類似度のうち少なくとも一つに基づいて、前記客体が撮影制限要素（photographing restricted element）であるか否かということを判断する段階と、前記客体が前記撮影制限要素と決定されることにより、前記映像に含まれた前記客体を修正するために映像処理を行う段階と、を含む。

前記映像処理要請は、前記客体に対して遂行される前記映像処理のタイプを示すことができ、前記映像処理のタイプは、モザイク処理、ブラー処理、背景映像合成処理または代替映像合成処理に対応する。

前記客体が撮影制限要素であるか否かということを判断する段階は、位置情報を示す特徴を抽出するために、前記受信された映像を分析する段階と、前記位置を探すために抽出された特徴を、前記サーバに保存されたデータと比較する段階と、前記位置が撮影禁止領域に指定された位置によって、前記客体を撮影制限要素と判断する段階と、を含んでもよい。

ユーザデバイスは、映像を撮影する撮影部と、前記撮影された映像に含まれた人物、事物、または前記映像が撮影された位置のうち少なくとも一つを認識し、前記デバイスのユーザと、前記認識された人物との関係（relationship）、前記認識された事物、または前記認識された位置のうち少なくとも一つに基づいて、前記映像の修正を行う制御部と、を含んでもよい。

以下では、図面を参照し、本発明の実施形態について詳細に説明する。

以下の実施形態において、類似した図面番号は、他の図面においても、類似した構成要素に使用される。詳細な構造及び要素と共に、詳細な説明に定義された事項は、例示的な実施形態をさらに良好に理解することができるように提供される。しかし、例示的な実施形態は、具体的に定義された事項なしに実施されるということは、明白である。また、必要以上に詳細に説明する場合、詳細な説明が明瞭に記載されないために、周知の機能及び構造については、詳細に説明しない。

図１は、本発明の実施形態による、撮影制限要素を含む映像を修正する方法の実施環境を図示した図面である。

図１を参照すれば、ユーザＡは、スマートグラス１００を利用して、人物または事物を含む映像、または特定位置に係わる映像を撮影することができる。このとき、撮影される映像とは、写真のような静止映像だけではなく、動画も含む。

スマートグラス１００は、図示されているように、人物（ユーザＢ）、事物（彫刻品２０）または撮影禁止標識３０などを含む映像も撮影する。スマートグラス１００は、撮影された映像に含まれた人物、事物、または映像が撮影された位置のうち少なくとも一つを認識し、認識結果に基づいて、映像に、撮影が制限される要素、すなわち、撮影制限要素が含まれているか否かということを判断することができる。

このとき、撮影制限要素とは、プライバシー、著作権または保安などの理由で撮影が制限される人物、事物または位置などを意味する。かような撮影制限要素は、全ての人に一括しても適用され、あるいは撮影者によって、撮影制限要素が異なることもある。例えば、軍事保安地域に対する撮影は、全ての人に制限されるが、特定人物に対する撮影は、前記特定人物を知らない人にだけ制限されるのである。撮影が制限される人物または事物が映像に含まれているか、あるいは前記映像が、撮影が制限される位置で撮影されているならば、当該映像は、撮影制限要素を含むと判断する。

一方、スマートグラス１００が映像を撮影し、撮影された映像を、スマートグラス１００と連結された他のデバイスやサーバに伝送すれば、映像を受信したデバイスまたはサーバが、人物、事物または位置の認識を行い、映像に撮影制限要素が含まれているか否かということを判断することもできる。

該映像に撮影制限要素が含まれていると判断されれば、スマートグラス１００、スマートグラス１００と連結された他のデバイスまたはサーバは、撮影された映像を修正する。詳細には、撮影された映像において、撮影制限要素を識別または区別することができないように映像を修正する。映像を修正する具体的な方法については、以下、図面を参照して詳細に説明する。

一方、ユーザＡ １は、スマートグラス１００以外にも、多様なデバイスを利用して、撮影が行うことができるが、スマートウォッチ１００−１のようなウェアラブルデバイス、スマートフォン１００−２またはタブレットＰＣ（personal computer）１００−５のようなモバイルデバイス、カメラ１００−３またはカムコーダ１００−４のような一般的な撮影デバイスなどを使用することができる。また、たとえ以上で言及されていないデバイスであっても、写真または動画の撮影が可能な多様なデバイスが、本発明の実施形態に適用されるということは、自明である。

一般的に、最も多くのユーザが携帯するデバイスがスマートフォン１００−２であろう上に、スマートフォン１００−２に、本発明の実施に必要なユーザの情報が保存される可能性が高く、スマートフォン１００−２は、映像修正のような処理の遂行も可能であるので、以下の実施形態においては、ユーザデバイスとして、スマートフォン１００−２を利用する場合を仮定する。

図２は、本発明の実施形態による、撮影制限要素を含む映像を修正する方法の段階を図示したフローチャートである。

図２を参照すれば、２０１段階において、ユーザのデバイスで映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

２０２段階において、ユーザのデバイスは、撮影された映像に含まれた人物、事物、または映像が撮影された位置のうち少なくとも一つを認識する。このとき、ユーザのデバイスが、映像に含まれた人物を認識する具体的な方法は、例えば、顔認識（face recognition）方式が利用されてもよい。ただし、それに限定されずに、人物を識別することができる多様な方式が利用されもする。該顔認識は、具体的に映像から顔を検出し、一方、ユーザのデバイスは、映像に含まれた事物を検出し、検出された事物の形態及び色相のような特徴を抽出する方式で事物の認識を行うことができる。

一方、ユーザのデバイスが、映像が撮影された位置を認識する方法には、絶対的な位置を認識する方法、前記位置が特定場所であるか否かということを判断する方法、または前記位置が、撮影が制限される位置であるか否かということを判断する方法などが利用される。

第一に、絶対的な位置を認識する方法は、撮影を行うユーザのデバイスが直接内蔵したＧＰＳ（global position system）、または位置システムに基づいたＷｉ−Ｆｉ（wireless fidelity）（ＷＰＳ（Wi-Fi-based positioning system））を介して、撮影が行われた時点の緯度及び経度のような絶対的な位置を認識する方式によって遂行される。

第二に、特定場所に該当するか否かということを判断する方法は、撮影を行うユーザのデバイスが、撮影が行われる時点に、特定場所（例えば、博物館、レストランまたは教会など）内に位置するか否かということを判断する方式によって遂行される。例えば、ユーザのデバイスが特定場所に位置する場合、当該場所に具備されたサーバなどとの通信を介して、特定場所に位置すると判断することができる。または、ユーザのデバイスが、無線接触装置（wireless access point）またはＧＰＳを利用した絶対的な位置を認識した後、データベースに既保存の特定場所の絶対的位置と比較することもできる。

第三に、撮影が制限される位置に該当するか否かということを判断する方法は、撮影を行うユーザのデバイスが、撮影が行われる時点に、撮影禁止区域に位置するか否かということを判断する方式によって遂行される。例えば、ユーザのデバイスが、撮影された映像に含まれた表示板（例えば、撮影禁止区域標識）を認識及び分析し、撮影禁止区域であるか否かということを判断することができる。または、ユーザのデバイスがＧＰＳを利用した絶対的な位置を認識した後、データベースに既保存の撮影禁止区域の絶対的位置と比較することもできる。

映像に含まれた人物、事物、または映像が撮影された位置のうち少なくとも一つに対する認識が完了したならば、２０３段階において、ユーザのデバイスは、デバイスのユーザと、認識された人物との関係、認識された事物、及び認識された位置のうち少なくとも一つに基づいて、映像に撮影制限要素が含まれているか否かということを判断する。すなわち、ユーザのデバイスは、該映像に修正が必要であるか否かということを判断する。もし該映像に撮影制限要素が含まれているのであるならば、ユーザのデバイスは、映像の修正が必要であると判断し、含まれていないのであるならば、修正が必要ではないと判断する。

このとき、デバイスのユーザと、認識された人物との関係とは、言い換えれば、撮影者と被撮影者との関係であり、撮影者と被撮影者とが互いに知り合いであるか否かということ、被撮影者が撮影者に自分の撮影を許容した関係であるか否かということ、または被撮影者が有名人であるので、特別に撮影者の撮影が制限されない関係であるか否かということなどを意味する。かようなデバイスのユーザと、認識された人物との関係に基づいて、該映像に含まれた被撮影者の撮影が制限される場合であるならば、映像に撮影制限要素が含まれていると判断する。

一方、認識された事物が、撮影が制限される事物であるならば、ユーザのデバイスは、映像に撮影制限要素が含まれていると判断する。撮影が制限される事物とは、例えば、芸術品のように、著作権保護の対象になる事物でもあり、それ以外にも、多様な理由で、一般人の撮影が制限される事物でもある。

認識された事物が撮影が制限される事物に該当するか否かということに係わる具体的な判断は、多様な方法によって行われるが、例えば、ユーザのデバイス内のメモリに、撮影が制限される事物に係わるデータベースが保存され、ユーザのデバイスは、認識された事物を、保存されたデータベースと比較することができる。または、外部のサーバに、撮影が制限される事物に係わるデータベースが保存されており、ユーザのデバイスは、サーバと通信を行い、データベースにアクセスし、認識された事物をデータベースと比較することもできる。または、選択的に、ユーザデバイスは、前記認識された事物の映像を前記外部サーバに伝送した後、前記外部サーバは、前記伝送された映像を自体のデータベースに保存された映像と比較し、比較結果を、前記ユーザデバイスに伝送することができる。または、ユーザのデバイスは、博物館のような特定場所に入ったとき、当該場所で管理するサーバから、当該場所内に存在する撮影が制限される事物に係わるデータベースを受信し、それを、認識された事物と比較することもできる。それ以外にも、認識された事物が撮影が制限される事物であるか否かということに係わる判断は、多様な方法によって行われる。

一方、認識された位置が、撮影が制限される位置であるならば、ユーザのデバイスは、映像に撮影制限要素が含まれていると判断する。撮影が制限される位置とは、例えば、軍事保安地域のように、保安上の理由で撮影が制限される位置でもあり、または公演場のように、著作権上の理由で撮影が制限される位置でもある。それ以外にも、多様な理由によって、許可されない人物による撮影が制限される位置がある。

認識された位置が、撮影が制限される位置に該当するか否かということに係わる具体的な判断は、多様な方法によって遂行されるが、例えば、ユーザのデバイス内のメモリに、撮影が制限される位置に係わるデータベースが保存され、ユーザのデバイスは、認識された位置を、保存されたデータベースと比較することができる。または、外部のサーバに、撮影が制限される位置に係わるデータベースが保存されており、ユーザのデバイスは、サーバと通信を行い、データベースにアクセスし、認識された位置をデータベースと比較することもできる。または、ユーザのデバイスは、撮影された映像に含まれた表示板（例えば、撮影禁止区域標識）を認識及び分析し、撮影禁止区域であるか否かということを判断することもできる。

２０４段階において、映像撮影制限要素が含まれているのであるならば、２０５段階に進み、ユーザのデバイスは、撮影映像を修正することができる。詳細には、ユーザのデバイスは、映像に含まれた撮影制限要素が識別または区別が不可能になるように、映像を修正することができる。例えば、ユーザのデバイスは、撮影が制限される人物または事物をモザイク処理するか、またはブラー処理することができる。または、ユーザのデバイスは、撮影が制限される人物または事物を除いた撮影された映像内の画面と合成するか、または既設定の代替イメージを合成することもできる。一方、撮影が制限される位置で撮影された映像であるならば、ユーザのデバイスは、映像全体に対して、識別または区別することができないように、モザイク処理、ブラー処理するか、あるいは映像全体に既設定の代替イメージを合成することもできる。それ以外にも、ユーザのデバイスは、映像に含まれた撮影制限要素を識別または区別が不可能になるように、映像を修正することができる。映像を修正する具体的な方法は、以下で当該図面を参照して詳細に説明する。

２０４段階において、映像に撮影制限要素が含まれていないのであるならば、映像の修正なしにプロセスを終了する。

一方、前記においては、図２の２０２段階ないし２０５段階が、撮影を行ったユーザのデバイスで遂行されると説明したが、それとは異なり、ユーザのデバイスと連結された他のデバイスまたはサーバにおいて、前記段階のうち一部または全部を遂行することもできる。詳しい例示は、以下で説明する。

図３ないし図６は、本発明の実施形態による、撮影制限要素を含む映像を修正する方法について説明するための図面である。

図３を参照すれば、ユーザＡのスマートフォン１００−２において、ユーザＢ及びユーザＣ含む映像を撮影する。次に、スマートフォン１００−２は、撮影された映像に、撮影が制限される人物が含まれているか否かということを判断し、撮影が制限される人物が含まれている場合、映像を修正する。

図４ないし図６には、スマートフォン１００−２がそれぞれ異なる方法によって映像に撮影が制限される人物が含まれているか否かということを判断し、映像を修正する例をそれぞれ図示している。

図４を参照すれば、スマートフォン１００−２は、撮影された原本映像４００ａにおいて顔認識を行い、ユーザＢ及びユーザＣの顔を認識する。スマートフォン１００−２は、ユーザＡとユーザＢとの類似度、及びユーザＡとユーザＣとの類似度が所定レベル以下であるか否かということを決定することができる。スマートフォン１００−２は、映像で認識された顔を、それぞれスマートフォン１００−２に保存されたアドレスブックに含まれた写真と比較する。スマートフォン１００−２に保存されたアドレスブックには、氏名及び電話番号共に、対応する人の写真が保存されている。

図４において、スマートフォン１００−２は、原本映像４００ａで認識された顔と、アドレスブックに含まれた写真とを比較した結果、ユーザＢの写真がアドレスブックに存在することを確認する。スマートフォン１００−２は、ユーザＡとユーザＢとの類似度が所定レベルと同じであるか、あるいはそれより高く、ユーザＢが撮影が許容される人物ということを決定する。

しかし、スマートフォン１００−２は、ユーザＣと一致する写真をアドレスブックで探し出すことができなければ、ユーザＡとユーザＣとの類似度が所定レベル以下であり、ユーザＣは撮影が制限される人物であるということを決定する。言い換えれば、スマートフォン１００−２は、ユーザＡとユーザＣとが互いに関連性がないと判断することができる。従って、スマートフォン１００−２は、映像に撮影制限要素が含まれていると判断して映像を修正する。例えば、スマートフォン１００−２は、認識されたユーザＣの識別または区別が不可能になるよう、にユーザＣに対応する映像の一部を修正することができる。具体的には、スマートフォン１００−２は、図４に図示されているように、撮影が制限される人物であるユーザＣの顔領域に、モザイク処理を行い、修正映像４００ｂを出力する。

例示的な実施形態において、前記モザイク処理は、さらに低い解像度で、ユーザＣの顔領域を出力することを含む。

かように、スマートフォン１００−２が認識された顔を、アドレスブックに含まれた写真と比較し、撮影制限要素を判断する理由は、ユーザＡのスマートフォン１００−２のアドレスブックに登録された人であるならば、ユーザＡと互いに知り合い関係である可能性が高いからである。すなわち、スマートフォン１００−２は、保存されたアドレスブックを利用して、ユーザＡと被撮影者との関係を把握し、それに基づいて、撮影制限要素を含んでいるか否かということを判断する。

図５を参照すれば、スマートフォン１００−２は、撮影された原本映像５００ａで顔認識を行い、ユーザＢとユーザＣとの顔を認識する。ユーザスマートフォン１０２−２は、ユーザＡとユーザＢとの類似度と、ユーザＡとユーザＣとの類似度とが所定レベル以下であるか否かということを決定する。スマートフォン１００−２は、映像で認識された顔を、それぞれスマートフォン１００−２のアルバムに保存された写真と比較する。

図５において、スマートフォン１００−２は、原本映像５００ａで認識された顔と、アルバムに保存された写真とを比較した結果、ユーザＢが、アルバムに保存された写真のうち少なくとも一つに含まれているということを確認する。スマートフォン１００−２は、ユーザＡとユーザＢとの類似度が所定レベルと同じであるか、あるいはそれより高く、ユーザＢを撮影が許容される人物と決定する。

しかし、スマートフォン１００−２は、ユーザＣ ３が含まれた写真をアルバムで探し出すことができなければ、スマートフォン１００−２は、ユーザＡとユーザＣとの類似度が所定レベルより低く、ユーザＣを、撮影が制限される人物と判断する。言い換えれば、スマートフォン１００−２は、ユーザＡとユーザＣとが互いに関連性がないと判断することができる。従って、スマートフォン１００−２は、映像に撮影制限要素が含まれていると判断して映像を修正する。例えば、スマートフォン１００−２は、認識されたユーザＣの識別または区別が不可能になるように、ユーザＣに対応する映像の一部を修正することができる。具体的には、スマートフォン１００−２は、図５に図示されているように、撮影が制限される人物であるユーザＣの顔領域にモザイク処理を行い、修正映像５００ｂを出力する。

スマートフォン１００−２が、認識された顔を、アルバムに保存された写真と比較し、撮影制限要素を判断する理由は、ユーザＡのスマートフォン１００−２のアルバムに保存された写真に含まれた人であるならば、ユーザＡと互いに知り合い関係である可能性が高いからである。すなわち、スマートフォン１００−２は、保存されたアルバムの写真を利用して、ユーザＡと被撮影者との関係を把握し、それに基づいて、撮影制限要素を含んでいるか否かということを判断する。

図６を参照すれば、スマートフォン１００−２は、撮影された原本映像６００ａで顔認識を行い、ユーザＢとユーザＣとの顔を認識する。ユーザスマートフォン１０２−２は、ユーザＡとユーザＢとの類似度と、ユーザＡとユーザＣとの類似度とが所定レベル以下であるか否かということを決定する。スマートフォン１００−２は、ユーザＡのＳＮＳ使用記録を分析し、認識された人物とユーザＡとの関係を把握する。例示的な実施形態において、ＳＮＳは、社会的ネットワーク（social networks）または社会的関係（social relations）を構築するプラットホームでもあるウェブ基盤またはインターネット基盤のonline ＳＮＳでもある。

図６において、スマートフォン１００−２は、ＳＮＳの使用記録を分析し、ユーザＡとユーザＢとの類似度所定レベルが同しであるか、あるいはそれ以上であると決定すれば、スマートフォン１００−２は、ユーザＢを、撮影が許容される人物であると判断する。例えば、類似度は、ユーザＡとユーザＢとがＳＮＳ上で友人であるか否かということ、二人のうちいずれか一人が、ＳＮＳ上に登録した掲示物に、他の一人がコメントを書き込んだか否かということなどのファクタ（factor）によって決定する。

ファクタそれぞれは、ユーザ設定またはデフォルトに基づいて、同一加重値または異なる加重値を有することができる。例えば、ユーザＡ及びユーザＢが、ＳＮＳ上で友人であるというファクタに対して、加重値３が与えられ、ユーザ二人のうちいずれか一つが、登録した掲示物に対して、他の一人がコメントを残したか否かということについては、加重値０．２が与えられる。所定レベルが１０に設定され、ユーザＡ及びユーザＢは、友人として登録されており（すなわち、ウェート３）、二人が他のユーザの掲示物にコメントを残した場合（すなわち、ウェート２０）、前記類似度（すなわち、２３）は、所定レベル（すなわち、１０）より高いと決定される。

しかし、スマートフォン１００−２は、ＳＮＳの使用記録を分析した結果、ユーザＡとユーザＣとの類似度が所定レベルより低い場合、スマートフォン１００−２は、ユーザＣが、撮影が制限される人物と判断する。言い換えれば、スマートフォン１００−２は、ユーザＡとユーザＣとが互いに関連性がないと判断することができる。従って、スマートフォン１００−２は、映像に撮影制限要素が含まれていると判断し、映像を修正する。例えば、スマートフォン１００−２は、認識されたユーザＣの識別または区別が不可能になるように、ユーザＣに対応する映像の一部を修正することができる。具体的には、スマートフォン１００−２は、図６に図示されているように、撮影が制限される人物であるユーザＣの顔領域にモザイク処理を行い、修正映像６００ｂを出力する。

ユーザＡとユーザＢとの類似度と、ユーザＡとユーザＣとの類似度とを決定するとき、スマートフォン１００−２は、アドレスブック、アルバム、ＳＮＳ使用記録を共に分析することができる。例えば、スマートフォン１００−２は、ユーザＡとユーザＢとの類似度を決定するとき、次のファクタ、すなわち、ユーザＢがユーザＡのアドレスブックに登録されているか否かということ、ユーザＡのアルバムにユーザＢの写真が保存された回数、ユーザＡとＢとが互いの掲示物に対してコメントを作成したか否かということなどを考慮することができる。例示的な実施形態は、それらに限定されるものではなく、撮影者と被撮影者との類似度を決定するとき、他のファクタを考慮することができる。

図７ないし図１２には、本発明の実施形態による、撮影制限要素が映像に含まれた場合、映像を修正する多様な方法を図示している。

図７には、撮影制限要素にブラー処理を行う例を図示している。図７を参照すれば、原本映像７００ａには、ユーザＢ ２及びユーザＣ ３が含まれている。このうち、ユーザＣ ３が撮影制限要素に該当すると仮定する。従って、該映像において、ユーザＣ ３が表示された領域は、ブラー処理される。修正映像７００ｂを参照すれば、ユーザＣ ３がブラー処理されているということを確認することができる。一方、映像の特定領域にブラー処理を行う具体的な方法は、一般的に周知の技術であるので、ここでは詳細な説明は省略する。

図８には、撮影制限要素を背景画面と合成する例を図示している。図８を参照すれば、原本映像８００ａには、ユーザＢ ２及びユーザＣ ３が含まれている。そのうちユーザＣ ３が撮影制限要素に該当すると仮定する。従って、映像において、ユーザＣ ３は、背景画面と合成される。

このとき、ユーザＣ ３を背景画面と合成する方法は、具体的には、映像からユーザＣ ３を削除し、ユーザＣ ３周辺の背景画面と類似したイメージで、ユーザＣ ３が削除された領域を充填する。

図８の修正映像８００ｂを参照すれば、ユーザＣ ３の枠（edge）３−１を境界に、外部に存在するピクセルと同一または類似したピクセルで、枠３−１の内部を充填する。例えば、枠３−１に隣接した内部のピクセル８０２は、枠３−１に隣接した外部のピクセル８０１と同一または類似した色相、彩度及び明度を有するように設定される。また、枠３−１内部のピクセルのうちピクセル８０２と隣接した他のピクセルは、ピクセル８０２と類似した色相、彩度及び明度などを有するように設定される。一方、映像のうち特定領域を背景画面と合成する方法には、当該技術分野で一般的に使用される多様な技術が適用されるので、ここで詳細な説明は省略する。

図９には、撮影制限要素を含む映像、に既保存の背景画面を合成する例を図示している。図９を参照すれば、原本映像９００ａには、ユーザＢ ２、ユーザＣ ３及び構造物９０１が含まれている。このうちユーザＣ ３が撮影制限要素に該当すると仮定する。原本映像９００ａを参照すれば、ユーザＣ ３は、構造物９０１と一部が重なるように表示されている。従って、該映像からユーザＣ ３を削除し、既保存の構造物９０１のイメージで、ユーザＣ ３が削除された領域を充填する。修正映像９００ｂを参照すれば、映像からユーザＣ ３が表示された領域のうち構造物９０１と重なる部分は、既保存の構造物９０１のイメージで代替されているということが分かる。このとき、構造物９０１の全体イメージは、映像を修正するユーザデバイスまたはサーバなどにあらかじめ保存されている。

図１０には、撮影制限要素を、既保存の代替イメージと合成する例を図示している。図１０を参照すれば、原本映像１０００ａには、ユーザＢ ２及びユーザＣ ３が含まれている。このうちユーザＣ ３が撮影制限要素に該当すると仮定する。既保存の代替イメージ１００１でユーザＣ ３を代替することにより、修正映像１０００ｂを生成する。図１０において、代替イメージ１００１は、人物の顔を代替するためのイメージとして選択された。しかし、それとは異なり、人物全体を代替するためのイメージが選択されもする。

一方、撮影制限要素に該当する人物の顔に代替イメージを合成するにおいて、さらに自然な映像を得るために、原本映像での人物の顔の方向及び角度によって、代替イメージを合成することもできる。それに係わる例を、図１１及び図１２に図示している。

図１１を参照すれば、原本映像１１００ａに含まれた人物の顔が正面を見ている。従って、修正映像１１００ｂに図示されているように、原本映像１１００ａの人物の顔の方向及び角度によって、正面を見る代替イメージ１１１０を人物の顔部分に合成した。

一方、図１２を参照すれば、原本映像１２００ａに含まれた人物の顔が側面を見ている。従って、修正映像１２００ｂに図示されているように、原本映像１２００ａの人物の顔の方向及び角度によって、側面を見る代替イメージ１２１０を人物の顔部分に合成した。

かように、人物の顔の方向及び角度によって、対応する代替イメージを合成することにより、さらに自然な映像を得ることができる。

図１３ないし図１６は、本発明の実施形態による、撮影が制限される人物が含まれた映像を修正する方法を示すフローチャートである。

図１３を参照すれば、１３０１段階において、ユーザデバイスで、人物が含まれた映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

１３０２段階において、ユーザデバイスは、撮影映像に含まれた人物の顔認識を行う。具体的には、映像から顔領域を検出し、検出された顔領域から特徴を抽出する方式で顔認識を行うことができる。

１３０３段階において、ユーザデバイスは、ユーザデバイスに保存されたデータを利用して、撮影者と被撮影者との関連度を判断する。すなわち、ユーザデバイスは、撮影者と被撮影者とが互いに知り合いであるか否かということを判断する。

１３０４段階において、ユーザデバイスは、撮影された映像に、撮影者と関連のない人物が含まれているか否かということを判断する。このとき、撮影者と被撮影者との関連度を判断し、映像に、撮影者と関連のない人物が含まれているか否かということを判断する具体的な方法は、多様に具現され、何種類かの実施形態を、以下の図１４ないし図１６に図示している。

判断結果、撮影者と関連のない人物が撮影映像に含まれているのであるならば、１３０５段階に進み、ユーザデバイスは、撮影者と関連性がない人物に対する保護処理を行う。すなわち、ユーザデバイスは、撮影者と関連性がない人物を、映像で識別することができないように、映像を修正する。映像を修正する具体的な方法は、先に図７ないし図１２を参照して説明した通りである。

図１４を参照すれば、１４０１段階において、スマートフォンで、人物が含まれた映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

１４０２段階において、スマートフォンは、撮影映像に含まれた人物の顔認識を行う。具体的には、映像から顔領域を検出し、検出された顔領域から特徴を抽出する方式で顔認識を行うことができる。

１４０３段階において、スマートフォンは、認識された人物がスマートフォンのアドレスブックに存在するか否かということを判断する。詳細には、認識された人物がスマートフォンのアドレスブックに含まれた少なくとも１枚の写真と一致するか否かということを判断する。判断結果、認識された人物がスマートフォンのアドレスブックに存在しないのであるならば、１４０４段階に進む。

１４０４段階において、スマートフォンは、認識された人物に対してモザイク処理を行う。一方、スマートフォンは、認識された人物に対して、ブラー処理、背景画面との合成処理などを行うこともできる。

図１５を参照すれば、１５０１段階において、スマートフォンで、人物が含まれた映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

１５０２段階において、スマートフォンは、撮影映像に含まれた人物の顔認識を行う。具体的には、映像から顔領域を検出し、検出された顔領域から特徴を抽出する方式で顔認識を行うことができる。

１５０３段階において、スマートフォンは、認識された人物がスマートフォンのアルバムに保存された写真に存在するか否かということを判断する。詳細には、認識された人物と一致する人物が、アルバムに保存された少なくとも１枚の写真に含まれているか否かということを判断する。判断結果、認識された人物が、スマートフォンのアルバムに保存された写真に存在しないのであるならば、１５０４段階に進む。

１５０４段階において、スマートフォンは、認識された人物に対して、モザイク処理を行う。一方、スマートフォンは、認識された人物に対して、ブラー処理、背景画面との合成処理などを行うこともできる。

図１６を参照すれば、１６０１段階において、スマートフォンで、人物が含まれた映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

１６０２段階において、スマートフォンは、撮影映像に含まれた人物の顔認識を行う。具体的には、映像から顔領域を検出し、検出された顔領域から特徴を抽出する方式で顔認識を行うことができる。

１６０３段階において、スマートフォンは、撮影者、すなわち、スマートフォンユーザのＳＮＳ使用記録を分析する。スマートフォンには、ユーザがスマートフォンを使用した多様な記録が保存されており、そのうちＳＮＳ使用記録を分析する。

１６０４段階において、スマートフォンは、認識された人物が、ＳＮＳ上で撮影者の知人として登録されているか否かということを判断する。判断結果、認識された人物が、ＳＮＳ上で撮影者の知人として登録されていないのであるならば、１６０５段階に進む。

１６０５段階において、スマートフォンは、認識された人物に対して、モザイク処理を行う。一方、スマートフォンは、認識された人物に対して、ブラー処理、背景画面との合成処理などを行うこともできる。

一方、図１４ないし図１６では、ユーザデバイスがスマートフォンである場合を例として挙げたが、それとは異なり、タブレットＰＣのように、写真撮影が可能であり、アドレスブックを含む多様なデバイスが使用されてもよい。

図１７及び図１８は、本発明の実施形態による、２以上のユーザデバイスを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。特に、図１７及び図１８に図示された実施形態においては、撮影を行うユーザデバイスと、映像処理を行うユーザデバイスとが互いに分離される。

図１７を参照すれば、ユーザＡ １は、自分のウェアラブルデバイスであるスマートグラス１００を利用して、人物を含む映像を撮影する。このとき、撮影映像には、ユーザＢ ２及びユーザＣ ３が含まれる。スマートグラス１００は、撮影された映像を、やはりユーザＡ １のデバイスであるスマートフォン１００−２に伝送する。撮影映像を受信したスマートフォン１００−２は、受信された映像に、撮影制限要素が含まれているか否かということを判断し、含まれていると判断されれば、映像の修正を行う。

図１８を参照すれば、スマートフォン１００−２は、スマートグラス１００から受信した原本映像１８００ａに含まれた人物の顔認識を行う。原本映像１８００ａに含まれたユーザＢ ２及びユーザＣ ３の顔認識が完了すれば、スマートフォン１００−２は、認識された人物の顔を、それぞれスマートフォン１００−２に保存されたアドレスブックに含まれた写真と比較する。スマートフォン１００−２に保存されたアドレスブックには、氏名及び電話番号と共に、対応する人の写真が保存されている。

図１８において、スマートフォン１００−２が、原本映像１８００ａで認識された顔と、アドレスブックに含まれた写真とを比較した結果、ユーザＢ ２の写真が、アドレスブックに存在すると確認されたならば、スマートフォン１００−２は、ユーザＢ ２を、撮影が許容される人物であると判断する。しかし、スマートフォン１００−２は、ユーザＣ ３と一致する写真は、アドレスブックで探し出すことができなければ、ユーザＣ ３を、撮影が制限される人物と判断する。従って、スマートフォン１００−２は、映像に、撮影制限要素が含まれていると判断し、映像を修正する。例えば、スマートフォン１００−２は、撮影が制限される人物であるユーザＣ ３を背景画面と合成し、修正映像１８００ｂを出力することができる。ユーザＣ ３を背景画面と合成する具体的な方法は、先に図８を参照して説明した通りである。

それ以外にも、スマートフォン１００−２は、原本映像１８００ａで認識された顔をスマートフォン１００−２のアルバムに保存された写真と比較したり、ユーザＡ １のＳＮＳ使用記録を分析したりする方法で、撮影が制限される人物を判断することもできる。具体的な方法は、先に図５及び図６を参照して説明した部分を参照する。

また、図１８には、スマートフォン１００−２が、ユーザＣ ３を背景画面と合成する例を図示したが、それ以外にも、ユーザＣ ３に対して、モザイク処理するか、ブラー処理するか、または代替イメージで合成するなど多様な方法で映像を修正することができる。詳細な内容は、図７ないし図１２を参照する。

図１９は、本発明の実施形態による、撮影制限要素を含む映像を修正する方法を示すフローチャートである。

図１９を参照すれば、１９０１段階において、ウェアラブルデバイスで、人物が含まれた映像を撮影する。このとき、ウェアラブルデバイスは、スマートグラスまたはスマートウォッチのように撮影機能が具備されたウェアラブルデバイスが使用されてもよい。

１９０２段階において、ウェアラブルデバイスは、撮影映像をスマートフォンに伝送する。このとき、ウェアラブルデバイスのユーザが所持したスマートフォンに映像が伝送されるが、スマートフォンではないタブレットＰＣなどのデバイスが使用されもする。

１９０３段階において、映像を受信したスマートフォンは、映像に含まれた人物の顔認識を行う。具体的には、映像から顔領域を検出し、検出された顔領域から特徴を抽出する方式で顔認識を行うことができる。

１９０４段階において、スマートフォンは、認識された人物がスマートフォンのアドレスブックに存在するか否かということを判断する。すなわち、スマートフォンは、認識された顔を、アドレスブックに保存された写真と比較し、一致する写真があるか否かということを判断する。

判断結果、認識された人物がスマートフォンのアドレスブックに存在しないのであるならば、１９０５段階に進み、認識された人物に対して、背景画面と合成処理する。

図２０ないし図２２は、本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法について説明するための図面である。特に、図２０ないし図２２に図示された実施形態においては、被撮影者のデバイスが撮影者のデバイスに撮影許容いかんを伝送する。

図２０を参照すれば、ユーザＡ １のスマートフォン１００−２で、ユーザＢ ２を含む映像を撮影する。ユーザＡ １のスマートフォン１００−２は、撮影を行うとき、被撮影者であるユーザＢ ２のスマートフォン２００に、撮影通知を伝送する。このとき、伝送される撮影通知には、ユーザＡ １を識別することができる識別情報が含まれている。

撮影通知を受信したユーザＢ ２のスマートフォン２００は、撮影通知に含まれた識別情報を利用して、撮影者がユーザＡ １であることを確認し、ユーザＡ １の撮影を許容するか否かということを判断する。撮影通知に含まれた識別情報を利用して撮影者を識別し、撮影許容いかんを判断する具体的な方法は、以下、図２１を参照して説明する。

ユーザＢ ２のスマートフォン２００は、撮影許容いかんを判断したならば、ユーザＡ １のスマートフォン１００−２に撮影許容いかんを伝送する。ユーザＡ １のスマートフォン１００−２は、受信した撮影許容いかんにより、映像を修正するか、あるいは修正せずに保存する。

図２１には、ユーザＡ １のスマートフォン１００−２が、ユーザＢ ２のスマートフォン２００に撮影通知を伝送し、ユーザＢ ２のスマートフォン２００が撮影許容いかんを判断した後、それをユーザＡ １のスマートフォン１００−２に伝送する過程を図示している。

図２１を参照すれば、ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２を撮影するとき、ユーザＢ ２のスマートフォン２００に、ユーザＡ １の識別情報を含む撮影通知を伝送する。このとき、撮影通知に含まれる識別情報には、ユーザＡ １の氏名及び写真などが含まれている。

ユーザＢ ２のスマートフォン２００は、ユーザＡ １のスマートフォン１００−２から受信した撮影通知に含まれたユーザＡ １の識別情報を利用して、撮影許容いかんを判断する。詳細には、ユーザＢ ２のスマートフォン２００は、識別情報に含まれたユーザＡ １の写真を、アドレスブックに保存された写真と比較するか、あるいは識別情報に含まれたユーザＡ １の氏名を、アドレスブックに保存された氏名と比較する。比較した結果、アドレスブックにユーザＡ １の写真または氏名が存在しないのであるならば、スマートフォン２００は、撮影が許容されないと判断する。反対に、アドレスブックに、ユーザＡ １の写真または氏名が存在するのであるならば、スマートフォン２００は、撮影が許容されると判断する。

一方、ユーザＢ ２のスマートフォン２００は、識別情報に含まれたユーザＡ １の写真を、スマートフォン２００のアルバムに保存された写真と比較するか、あるいはユーザＢ ２のＳＮＳ使用記録分析を介して、撮影許容いかんを判断することもできる。

図２１において、ユーザＢ ２のスマートフォン２００は、アドレスブックに、ユーザＡ １の写真が存在しないのであるならば、撮影が不可能であると判断し、ユーザＡ １のスマートフォン１００−２に撮影不可メッセージを伝送する。このとき、ユーザＢ ２のスマートフォン２００は、撮影不可メッセージと共に、ユーザＢ ２の写真を、ユーザＡ １のスマートフォン１００−２に伝送する。

次に、図２２を参照すれば、ユーザＡ １のスマートフォン１００−２は、撮影された原本映像１６００ａで顔認識を行う。顔認識が完了すれば、ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２のスマートフォン２００から、撮影不可メッセージと共に受信したユーザＢ ２の写真と、原本映像１６００ａで認識された顔とを比較する。比較結果、認識された顔が、撮影不可メッセージと共に受信したユーザＢ ２の写真と一致すると判断されれば、ユーザＡ １のスマートフォン１００−２は、原本映像１６００ａにおいて、ユーザＢ ２の顔部分をモザイク処理し、修正映像１６００ｂを出力する。一方、ユーザＡ １のスマートフォン１００−２は、モザイク処理以外に、ブラー処理、背景画面との合成、または代替イメージとの合成などの方法で映像を修正することもできる。

図２３は、本発明の実施形態による、被撮影者のデバイスとの通信を介して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。

図２３を参照すれば、２３０１段階において、撮影者のデバイスは、被撮影者のデバイスに、撮影者の識別情報を含む撮影通知を伝送する。例えば、撮影者のデバイスは、撮影遂行時、周辺の一定距離以内に位置するデバイスを検索し、検索されたデバイスに、撮影通知を伝送することができる。デバイスの検索、及び撮影通知の伝送には、Ｗｉ−Ｆｉダイレクトまたはブルートゥース（登録商標）（Bluetooth（登録商標））のような近距離無線通信が使用され、撮影通知を受信するためには、被撮影者のデバイスで同意が必要でもある。

２３０２段階において、被撮影者のデバイスは、受信した撮影通知に含まれた撮影者の識別情報を利用して、撮影の許容いかんを判断する。

判断結果、撮影が許容されると判断されれば、２３０３段階を経て、２３０７段階に進む。２３０７段階において、被撮影者のデバイスは、撮影許容メッセージを撮影者のデバイスに伝送する。それを受信した撮影者のデバイスは、撮影された映像に、撮影制限要素が含まれていないと判断し、映像を、修正なしに保存する。

一方、判断結果、撮影が許容されないと判断されれば、２３０３段階を経て２３０４段階に進む。２３０４段階において、被撮影者のデバイスは、被撮影者の写真と共に、撮影不可メッセージを撮影者のデバイスに伝送する。

２３０５段階において、撮影者のデバイスは、撮影映像に含まれた人物の顔認識を行う。

２３０６段階において、撮影者のデバイスは、撮影映像で認識された顔を、受信した被撮影者の写真と比較し、被撮影者の写真と一致する顔を保護処理する。すなわち、被撮影者の写真と一致する顔に、モザイク処理、ブラー処理、背景画面との合成処理、または代替イメージとの合成処理などを行う。

図２４には、被撮影者のデバイスのアドレスブックを利用して、撮影許容いかんを判断する具体的な実施形態のフローチャートを図示している。

図２４を参照すれば、２４０１段階において、撮影者のスマートフォンは、被撮影者のスマートフォンに、撮影者の識別情報を含む撮影通知を伝送する。

２４０２段階において、被撮影者のスマートフォンは、受信した撮影者の識別情報を利用して、アドレスブックに撮影者が存在するか否かということを判断する。詳細には、撮影者の識別情報に含まれた撮影者の氏名または写真を、アドレスブックに保存された氏名または写真と比較する。一方、被撮影者のスマートフォンは、撮影者の識別情報を、被撮影者のスマートフォンに保存されたアルバムと比較するか、被撮影者のＳＮＳ使用記録を分析することにより、撮影許容いかんを判断することもできる。

判断結果、アドレスブックに撮影者が存在するのであるならば、撮影が許容されると判断し、２４０６段階に進み、被撮影者のスマートフォンは、撮影許容メッセージを撮影者のスマートフォンに伝送する。

一方、判断結果、アドレスブックに撮影者が存在しないのであるならば、撮影が許容されないと判断して２４０３段階に進む。

２４０３段階において、被撮影者のスマートフォンは、被撮影者の写真と共に、撮影不可メッセージを撮影者のスマートフォンに伝送する。

２４０４段階において、撮影者のスマートフォンは、撮影映像に含まれた人物の顔認識を行う。

２４０５段階において、撮影者のスマートフォンは、撮影映像で認識された顔を、受信した被撮影者の写真と比較し、被撮影者の写真と一致する顔を保護処理する。すなわち、被撮影者の写真と一致する顔に、モザイク処理、ブラー処理、背景画面との合成処理、または代替イメージとの合成処理などを行う。

図２５及び図２６は、本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。

図２５を参照すれば、ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２及びユーザＣ ３を含む映像を撮影し、撮影された原本映像をサーバ３００に伝送し、映像処理を要請する。サーバ３００は、受信した原本映像に、撮影制限要素が含まれているか否かということを判断した後、含まれていると判断された場合、映像を修正し、ユーザＡ １のスマートフォン１００−２に伝送する。サーバ３００が、映像に撮影制限要素が含まれているか否かということを判断する具体的な方法は、以下、図２６を参照して詳細に説明する。

図２６を参照すれば、サーバ３００は、ユーザＡ １のスマートフォン１００−２から受信した原本映像２６００ａで、ユーザＢ ２及びユーザＣ ３の顔認識を行う。サーバ３００は、既保存のプライバシー保護情報２６１０を参照し、認識された人物が撮影が許容されるか否かということを判断する。

このとき、プライバシー保護情報２６１０は、少なくとも１人のユーザに対して、撮影が許容される他のユーザを定義する。図２６を参照すれば、プライバシー保護情報２６１０には、各ユーザ別に撮影が許容される他のユーザがマッピングされている。例えば、ユーザＡは、他のユーザの撮影を全く許容しない。また、ユーザＢは、ユーザＡの撮影のみを許容し、ユーザＣは、ユーザＢ及びユーザＤの撮影を許容する。

サーバ３００は、原本映像２６００ａで認識されたユーザＢ ２及びユーザＣ ３の顔を、プライバシー保護情報２６１０と比較し、撮影許容いかんを判断する。プライバシー保護情報２６１０によれば、ユーザＢ ２は、ユーザＡ １の撮影を許容し、ユーザＣ ３は、ユーザＡ １の撮影を許容しないので、サーバ３００は、ユーザＣ ３を撮影制限要素と判断する。

一方、撮影許容いかんの判断のために、サーバ３００は、原本映像２６００ａの撮影者が、ユーザＡ １であるということを確認しなければならないが、このために、ユーザＡ １のスマートフォン１００−２は、原本映像２６００ａと共に、ユーザＡ １の識別情報をサーバ３００に伝送することができる。

サーバ３００は、ユーザＣ ３が撮影制限要素であるということを確認すれば、原本映像２６００ａにおいて、ユーザＣ ３にモザイク処理して修正映像２６００ｂを生成し、生成された修正映像２６００ｂを、ユーザＡ １のスマートフォン１００−２に伝送する。一方、サーバ３００は、モザイク処理以外に、ブラー処理、背景画面合成処理または代替イメージ合成処理を介して、映像を修正することもできる。

図２７は、本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。

図２７を参照すれば、２７０１段階において、ユーザデバイスで映像を撮影する。

２７０２段階において、ユーザデバイスは、撮影された映像をサーバに伝送し、映像処理を要請する。

２７０３段階において、サーバは、ユーザデバイスから受信した撮影映像に含まれた人物の顔認識を行う。

２７０４段階において、サーバは、既保存のプライバシー保護情報を参照し、認識された人物の撮影許容いかんを判断する。すなわち、サーバは、受信した撮影映像の撮影者に認識された人物の撮影が許容されるか否かということを判断する。プライバシー保護情報を利用して、撮影許容いかんを判断する具体的な方法は、前述の図２６を参照する。

２７０５段階において、サーバは、認識された人物がユーザの撮影を許容しないと判断すれば、２７０６段階に進み、受信した撮影映像において、人物に対する保護処理を行う。次に、２７０７段階において、サーバは、修正された映像をユーザデバイスに伝送する。

一方、２７０５段階において、サーバは、認識された人物がユーザの撮影を許容すると判断すれば、２７０７段階に進み、受信した映像を、修正なしにユーザデバイスに伝送する。

図２８ないし図３１は、本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法について説明するための図面である。特に、図２８ないし図３１に図示された実施形態において、撮影を行うユーザデバイスは、サーバが管理する暗号化キーを利用して撮影映像を暗号化した後、サーバに伝送することにより、撮影者は、サーバでの処理を経ていない原本映像にアクセスすることができない。

図２８を参照すれば、ユーザＡ １のスマートフォン１００−２は、サーバ３００から暗号化キーを受信する。このとき、暗号化キーは、サーバ３００によって管理される。ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２及びユーザＣ ３を撮影し、サーバ３００から受信した暗号化キーを利用して、撮影映像を暗号化する。このとき、ユーザＡ １のスマートフォン１００−２は、撮影後直ちに映像を暗号化するので、ユーザＡ １は、原本映像にアクセスすることができない。

図２９に図示されているように、ユーザＡ １のスマートフォン１００−２は、暗号化された映像をサーバ３００に伝送する。

図３０を参照すれば、サーバ３００は、受信した映像を復号する。映像の暗号化に使用された暗号化キーは、サーバ３００で管理されるので、サーバ３００は、それを利用して、受信した映像を復号することができる。サーバ３００は、復号された映像で顔認識を行い、ユーザＢ ２及びユーザＣ ３の顔を認識する。顔認識遂行後、サーバ３００は、既保存のプライバシー保護情報３０１０を利用して、認識された人物の撮影許容いかんを判断する。プライバシー保護情報３０１０を利用して、撮影許容いかんを判断する具体的な方法は、先に図２６を参照して説明した通りである。

サーバ３００は、プライバシー保護情報３０１０を参照し、撮影許容いかんを判断した結果、ユーザＣ ３の撮影が許容されないと判断されれば、映像において、ユーザＣ ３をモザイク処理して映像を修正する。

次に、サーバ３００は、図３１に図示されているように、修正された映像を、ユーザＡ １のスマートフォン１００−２に伝送する。

図３２は、本発明の実施形態による、サーバを利用して、撮影制限要素を含む映像を修正する方法を示すフローチャートである。

図３２を参照すれば、３２０１段階において、ユーザデバイスは、人物が含まれた映像を撮影する。

３２０２段階において、ユーザデバイスは、サーバから受信した暗号化キーを利用して、撮影映像を暗号化する。このとき、暗号化キーは、サーバで管理する。

３２０３段階において、ユーザデバイスは、暗号化された映像をサーバに伝送する。

３２０４段階において、サーバは、ユーザデバイスから受信した映像を復号し、映像に含まれた人物の顔認識を行う。

３２０５段階において、サーバは、既保存のプライバシー保護情報を参照し、認識された人物の撮影許容いかんを判断する。プライバシー保護情報を参照し、撮影許容いかんを判断する具体的な方法は、先に図２６を参照して説明した通りである。

３２０６段階において、サーバは、撮影が許容されない人物に対する保護処理を行う。例えば、映像に含まれた人物のうち撮影が許容されない人物に対して、モザイク処理、ブラー処理、背景画面合成処理または代替イメージ合成処理などを行う。

３２０７段階において、サーバは、修正された映像を、ユーザデバイスに伝送する。

図３３ないし図３７は、本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法について説明するための図面である。

図３３を参照すれば、ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２及び彫刻品２０を含む映像を撮影する。ユーザＡ １のスマートフォン１００−２は、撮影映像をサーバ３００に伝送し、映像処理を要請する。サーバ３００は、受信した映像に、撮影制限要素が含まれているか否かということを判断し、含まれていると判断される場合、映像を修正し、修正された映像を、ユーザＡ １のスマートフォン１００−２に伝送する。このとき、サーバ３００が、映像に、撮影制限要素が含まれているか否かということを判断し、映像を修正する実施形態を、図３４ないし図３７に図示する。

図３４を参照すれば、サーバ３００は、原本映像３４００ａに含まれた事物を認識する。すなわち、原本映像３４００ａに含まれた彫刻品２０の形態及び色相などの特徴を抽出する方式で、彫刻品２０を認識する。サーバ３００は、認識した彫刻品２０が、サーバ３００に保存された撮影制限事物データベースに存在するか否かということを判断する。撮影制限事物データベースには、撮影が制限される事物の写真が保存されている。

判断結果、撮影制限事物データベースに認識された彫刻品２０が含まれているならば、サーバ３００は、彫刻品２０を、撮影制限要素と判断する。サーバ３００は、原本映像３４００ａにおいて、彫刻品２０をモザイク処理し、修正映像３４００ｂを生成し、生成された修正映像３４００ｂを、ユーザＡ １のスマートフォン１００−２に伝送する。

一方、図３５ないし図３７には、他の方法で映像を修正する実施形態を図示している。図３５ないし図３７において、サーバ３００が、映像で事物を認識し、既保存の撮影制限事物データベースを利用して、映像に、撮影制限要素が含まれているか否かということを判断する方法は、図３４で説明した通りである。ただし、映像修正において、図３５では、ブラー処理を行い、修正映像３５００ｂを生成する。図３６では、背景画面合成処理を行い、修正映像３６００ｂを生成するが、背景画面と合成をする具体的な方法は、先に図８で説明した通りである。図３７では、代替イメージ３７１０を合成し、修正映像３７００ｂを生成する。

図３８は、本発明の実施形態による、撮影が制限される事物を含む映像を修正する方法を示すフローチャートである。

図３８を参照すれば、３８０１段階において、ユーザのデバイスで映像を撮影する。

３８０２段階において、ユーザのデバイスは、撮影映像をサーバに伝送する。

３８０３段階において、サーバは、撮影映像に含まれた事物の認識を行う。具体的には、映像に含まれた事物を検出し、検出された事物の形態及び色相のような特徴を抽出する。

３８０４段階において、サーバは、認識された事物が、既保存の撮影制限事物データベースに存在するか否かということを判断する。撮影制限事物データベースには、撮影が制限される事物のリストが保存されている。

判断結果、認識された事物が、撮影制限事物データベースに存在すれば、３８０５段階に進み、サーバは、認識された事物に対する保護処理を行って映像を修正し、３８０６段階において、サーバは、修正された映像を、ユーザデバイスに伝送する。

しかし、判断結果、認識された事物が、撮影制限事物データベースに存在しないのであるならば、３８０６段階に進み、サーバは、映像の修正なしに、映像をユーザデバイスに伝送する。

図３９ないし図４１は、本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。

図３９を参照すれば、ユーザＡ １のスマートフォン１００−２は、撮影が制限される公演場で撮影を行い、撮影映像をサーバ３００に伝送し、映像処理を要請する。このとき、ユーザＡ １のスマートフォン１００−２は、撮影映像と共に、位置情報を、サーバ３００に伝送する。伝送される位置情報は、スマートフォン１００−２が撮影を行った位置に係わる情報であり、スマートフォン１００−２は、内蔵されたＧＰＳなどを利用して、撮影時の位置を確認し、確認された位置を、サーバ３００に伝送する。または、スマートフォン１００−２は、連結された基地局またはＡＰ（access point）の位置などを利用して、撮影時の位置を確認するような多様な方法で、位置情報を生成することができる。

サーバ３００は、受信した位置情報を利用して、映像に、撮影制限要素が含まれているか否かということを判断する。サーバ３００が、映像に撮影制限要素が含まれているか否かということを判断する具体的な方法は、以下、図４０及び図４１を参照して説明する。

一方、サーバ３００は、映像に、撮影制限要素が含まれているならば、映像を修正し、修正された映像を、ユーザＡ １のスマートフォン１００−２に伝送する。

図４０を参照すれば、サーバ３００は、ユーザＡ １のスマートフォン１００−２から受信した位置情報を分析して撮影が行われた位置を確認し、確認された位置が、撮影が制限される位置に該当するか否かということを判断する。すなわち、サーバ３００は、既保存の撮影制限位置データベースに確認された撮影位置が含まれているか否かということを判断する。このとき、撮影制限位置データベースには、公演場、博物館または軍事保安地域のように、一般人の撮影が制限される位置情報が保存されている。

判断結果、確認された撮影位置が、撮影制限位置データベースに含まれているならば、サーバ３００は、映像に、撮影制限要素が含まれていると判断し、映像を修正する。図４０において、サーバ３００は、原本映像４０００ａ全体にモザイク処理を行い、修正映像４０００ｂを生成した。

図４１を参照すれば、サーバ３００は、ユーザＡ １のスマートフォン１００−２から受信した位置情報を分析して撮影が行われた位置を確認し、確認された位置が、撮影が制限される位置に該当するか否かということを判断する。すなわち、サーバ３００は、既保存の撮影制限位置データベースに確認された撮影位置が含まれているか否かということを判断する。このとき、撮影制限位置データベースには、公演場、博物館または軍事保安地域のように、一般人の撮影が制限される位置情報が保存されている。

判断結果、確認された撮影位置が、撮影制限位置データベースに含まれているならば、サーバ３００は、映像に、撮影制限要素が含まれていると判断し、映像を修正する。図４１において、サーバ３００は、原本映像４１００ａ全体に代替イメージを合成し、修正映像４１００ｂを生成した。一方、それ以外にも、サーバ３００は、映像全体をブラー処理する方式で映像を修正することもできる。

一方、図３９ないし図４１では、サーバ３００が映像を修正する実施形態について説明したが、それとは異なり、サーバ３００は、単に、スマートフォン１００−２から受信した位置情報を分析し、撮影制限位置に該当するか否かということのみを判断し、スマートフォン１００−２に伝送し、それを受信したスマートフォン１００−２が映像を修正することもできる。

図４２は、本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法を示すフローチャートである。

図４２を参照すれば、４２０１段階において、ユーザのデバイスで、映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

４２０２段階において、ユーザのデバイスは、撮影時の位置を認識し、位置情報を、サーバに伝送する。このとき、ユーザのデバイスは、内蔵されたＧＰＳなどを利用して、撮影時の位置を確認することができる。または、ユーザのデバイスは、連結された基地局またはＡＰの位置などを利用して、撮影時の位置を確認することもできる。

４２０３段階において、サーバは、認識された位置が、撮影制限位置に含まれるか否かということを判断する。詳細には、サーバは、受信した位置情報を分析して撮影が行われた位置を確認し、確認された位置を、既保存の撮影制限位置データベースと比較する。このとき、撮影制限位置データベースには、公演場、博物館または軍事保安地域のように、一般人の撮影が制限される位置情報が保存されている。

判断結果、確認された撮影位置が、撮影制限位置データベースに含まれているならば、サーバは、映像に、撮影制限要素が含まれていると判断し、４２０４段階に進む。４２０４段階において、サーバは、映像を修正し、修正された映像をユーザのデバイスに伝送する。すなわち、サーバは、映像に、モザイク処理、ブラー処理または代替イメージ合成処理を行い、修正映像を生成し、生成された修正映像をユーザのデバイスに伝送する。

図４３ないし図４５は、本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法について説明するための図面である。特に、図４３ないし図４５に図示された実施形態において、ユーザデバイスは、撮影禁止標識の認識を介して、撮影制限位置に該当すると判断する。

図４３を参照すれば、ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２及び撮影禁止標識３０を含む映像を撮影する。このとき、撮影禁止標識３０は、図４３に図示されているように、撮影禁止を意味する記号及び文言で構成され、あるいは、それと異なる形態で構成されもする。例えば、撮影禁止の意味を含むバーコード、ＱＲコード（登録商標）またはカラーコードの形態で構成されもする。撮影禁止標識が、バーコード、ＱＲコード（登録商標）またはカラーコードで構成されれば、撮影者は、当該標識が撮影禁止標識に該当するということを知ることができないこともあるが、スマートフォン１００−２は、撮影者が、不注意にまたは意図的に、標識を避けて撮影することを防止することがである。

図４４を参照すれば、ユーザＡ １のスマートフォン１００−２は、原本映像４４００ａに含まれた撮影禁止標識３０を認識する。詳細には、スマートフォン１００−２は、撮影禁止標識３０に含まれた記号３０−１または文言３０−２のうち少なくとも一つを認識する。撮影禁止標識３０を認識したスマートフォン１００−２は、映像が撮影制限位置で撮影されたと判断する。すなわち、スマートフォン１００−２は、映像に、撮影制限要素が含まれていると判断する。従って、スマートフォン１００−２は、原本映像４４００ａ全体をモザイク処理し、修正映像４４００ｂを生成する。

図４５を参照すれば、ユーザＡ １のスマートフォン１００−２は、原本映像４５００ａに含まれた撮影禁止標識３０を認識する。詳細には、スマートフォン１００−２は、撮影禁止標識３０に含まれた記号３０−１または文言３０−２のうち少なくとも一つを認識する。撮影禁止標識３０を認識したスマートフォン１００−２は、映像が撮影制限位置で撮影されたと判断する。すなわち、スマートフォン１００−２は、映像に、撮影制限要素が含まれていると判断する。従って、スマートフォン１００−２は、原本映像４５００ａ全体に代替イメージを合成し、修正映像４５００ｂを生成する。

図４６は、本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法を示すフローチャートである。

図４６を参照すれば、４６０１段階において、ユーザのデバイスで映像を撮影する。

４６０２段階において、ユーザのデバイスは、映像に含まれた客体を認識する。

４６０３段階において、ユーザのデバイスは、認識された客体において、撮影制限標識が存在するか否かということを判断する。判断結果、認識された客体内に、撮影制限標識が存在するならば、４６０４段階に進み、ユーザデバイスは、映像を修正する。このとき、ユーザデバイスは、映像全体を、モザイク処理、ブラー処理または代替イメージ合成処理する方式で映像を修正する。

図４７ないし図４９は、本発明の実施形態による、プライバシー保護情報によって、人物の撮影を制限する実施形態について説明するための図面である。

図４７を参照すれば、ユーザＡ １のスマートフォン１００−２は、ユーザＢ ２及びユーザＣ ３を含む映像を撮影する。撮影後、ユーザＡ １のスマートフォン１００−２は、サーバ３００に撮影映像を伝送し、映像処理を要請する。このとき、ユーザＡ １のスマートフォン１００−２は、サーバ３００から受信した暗号化キーを利用して、撮影映像を暗号化した後、サーバ３００に伝送することもできる。

サーバ３００は、既保存のプライバシー保護情報４７１０を利用して、受信した映像に、撮影制限要素が含まれるか否かということを判断する。もし受信した映像が、暗号化された映像であるならば、サーバ３００は、暗号化キーを利用して、映像の復号を行った後、撮影制限要素を含んでいるか否かということを判断する。このとき、プライバシー保護情報４７１０には、各ユーザ別に撮影が制限される時間及び位置がマッピングされて保存されている。

一方、プライバシー保護情報４７１０を利用して、映像に、撮影制限要素が含まれているか否かということを判断する具体的な方法は、以下、図４８及び図４９を参照して詳細に説明する。

サーバ３００は、受信した映像に、撮影制限要素が含まれていると判断された場合、映像を修正し、修正された映像をユーザＡ １のスマートフォン１００−２に伝送する。

以下では、図４８及び図４９を参照し、サーバ３００が、プライバシー保護情報４７１０を利用して、映像に、撮影制限要素が含まれているか否かということを判断し、映像を修正する具体的な方法について詳細に説明する。

図４８を参照すれば、スマートフォン１００−２は、暗号化された撮影映像を、サーバ３００に伝送する。このとき、スマートフォン１００−２は、映像と共に、撮影が行われた位置に係わる位置情報も、サーバ３００に伝送する。スマートフォン１００−２は、内蔵されたＧＰＳを利用するか、連結された基地局またはＡＰの位置を利用して、撮影が行われる位置を把握し、それを、位置情報として、サーバ３００に伝送することができる。図４８に図示された実施形態においては、スマートフォン１００−２は、撮影位置に係わる位置情報として、「学校」をサーバ３００に伝送した。

図４９を参照すれば、サーバ３００は、受信した映像を復号した後、映像で、ユーザＢ ２及びユーザＣ ３に対する顔認識を行う。サーバ３００は、認識された顔のユーザに対応する撮影制限時間及び位置を、既保存のプライバシー保護情報４９１０から確認する。プライバシー保護情報４９１０には、各ユーザ別に、撮影が制限される時間または位置のうち少なくとも一つが保存されている。

図４９に図示されたプライバシー保護情報４９１０を見れば、ユーザＡは、２４時から０６時の間には、撮影を許容せず、「家」での撮影を許容しない。ユーザＢは、２２時から０９時の間には、撮影を許容しないが、撮影が制限される位置は設定していない。ユーザＣは、撮影が制限される時間を設定せず、「学校」での撮影を許容しない。

サーバ３００は、ユーザＡ １のスマートフォン１００−２から受信した位置情報（「学校」）及び撮影時刻に基づいて、映像に、撮影制限要素が含まれているか否かということを判断する。このために、サーバ３００は、ユーザＡ １のスマートフォン１００−２から、撮影映像の受信時、撮影が行われた時刻を共に受信することができる。

図４９において、サーバ３００は、ユーザＡ １のスマートフォン１００−２から受信した位置情報及び時刻情報を利用して、撮影が行われた位置及び時刻が、それぞれ「学校」及び「２１時」であるということを確認する。

サーバ３００は、プライバシー保護情報４７１０を参照し、ユーザＢ ２は、２２時から９時の間に撮影が制限され、位置については、撮影制限条件がないということを確認する。サーバ３００は、確認された撮影時刻（「２１時」）は、ユーザＢ ２の撮影制限時間帯に含まれないので、ユーザＢ ２は、撮影が制限されないと判断する。すなわち、サーバ３００は、ユーザＢ ２は、撮影制限要素ではないと判断する。

一方、サーバ３００は、プライバシー保護情報４７１０を参照し、ユーザＣ ３は、「学校」での撮影が制限され、時間については、撮影制限条件がないということを確認する。サーバ３００は、確認された撮影位置（「学校」）が、ユーザＣ ３の撮影制限位置に含まれるので、ユーザＣ ３は、撮影が制限されると判断する。すなわち、サーバ３００は、ユーザＣ ３は、撮影制限要素に該当すると判断する。

従って、サーバ３００は、ユーザＣ ３に対してのみモザイク処理を行い、映像を修正する。

図５０は、本発明の実施形態による、プライバシー保護情報によって、人物の撮影を制限する実施形態を示すフローチャートである。

図５０を参照すれば、５００１段階において、ユーザデバイスで、人物が含まれた映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

５００２段階において、ユーザデバイスは、サーバから受信した暗号化キーを利用して、撮影映像を暗号化する。このとき、暗号化キーは、サーバで管理する。

５００３段階において、ユーザデバイスは、暗号化された映像、及びデバイスの位置情報をサーバに伝送する。

５００４段階において、サーバは、受信した映像を復号し、映像に含まれた人物の顔認識を行う。具体的には、映像から顔領域を検出し、検出された顔領域から特徴を抽出する方式で顔認識を行うことができる。

５００５段階において、サーバは、ユーザデバイスから受信した位置情報及び撮影時刻に基づいて、既保存のプライバシー保護情報を参照し、認識された人物の撮影許容いかんを判断する。

５００６段階において、サーバは、撮影が許容されない人物に対する保護処理を行う。すなわち、サーバは、映像で、撮影が許容されない人物を識別することができないように、モザイク処理、ブラー処理、背景画面合成処理または代替イメージ合成処理のうち少なくとも一つを行い、映像を修正することができる。

５００７段階において、サーバは、修正された映像をユーザデバイスに伝送する。

図５１は、本発明の実施形態によるユーザデバイスの構成を図示した図面である。図５１を参照すれば、本発明の実施形態によるユーザデバイス１０００は、ユーザ・インターフェース部１１００、カメラ１２００、保存部１３００、通信インターフェース１４００及び制御部１５００を含んでもよい。そして、制御部１５００は、映像分析部１５１０及び映像修正部１５２０を含んでもよい。

一方、本発明の実施形態によるユーザデバイス１０００は、前述のように、スマートグラス、スマートウォッチ、スマートフォン、タブレットＰＣ、カメラまたはカムコーダのように撮影が可能なデバイスのうち一つでもある。

ユーザ・インターフェース部１１００は、ユーザから入力を受信し、ユーザに画面を表示する構成であり、デバイスの種類によって、多様に具現される。例えば、ユーザデバイス１０００がスマートフォンであるならば、ユーザ・インターフェース部１１００は、タッチスクリーンを含んでもよい。

カメラ１２００は、スマートグラス、スマートウォッチ、スマートフォンまたはタブレットＰＣなどに内蔵されたカメラモジュールを含んでもよい。カメラ１２００は、静止映像または動画などを撮影し、撮影されたイメージを、制御部１５００に伝送することができる。

保存部１３００は、撮影された映像が保存されるか、あるいは多様なデータが保存されるメモリを含む。例えば、保存部１３００には、アドレスブック、写真、動画またはデバイスの使用記録などが保存され、制御部１５００で修正された映像が保存されもする。

通信インターフェース１４００は、外部の他のデバイスまたはサーバと、有無線を介してデータ通信を行うことができる。

制御部１５００は、ユーザデバイス１０００に含まれた構成の動作を制御する構成であり、特に、撮影映像を分析し、映像に、撮影制限要素が含まれているか否かということを判断し、撮影制限要素が含まれている場合、映像を修正する。制御部１５００は、映像分析部１５１０及び映像修正部１５２０を含んでもよい。

映像分析部１５１０は、映像分析を介して、撮影映像において、人物、事物、または映像が撮影された位置を認識し、デバイスのユーザと、認識された人物との関係、認識された事物、または認識された位置のうち少なくとも一つに基づいて、映像の修正が必要であるか否かということ判断することができる。特に、映像分析部１５１０は、保存部１３００に保存されたデータを利用して、デバイスのユーザと、認識された人物とが互いに関連性があるか否かということを判断し、関連性がないと判断されれば、映像の修正が必要であると判断することができる。

例えば、映像分析部１５１０は、認識された人物が、保存部１３００に保存されたアドレスブックに存在するか否かということを確認し、認識された人物が、アドレスブックに存在しないのであるならば、デバイスのユーザと、認識された人物とが互いに関連性がないと判断することができる。

または、映像分析部１５１０は、認識された人物が、保存部１３００に保存された少なくとも１枚の写真に存在するか否かということを確認し、認識された人物が、保存された少なくとも１枚の写真に存在しないのであるならば、デバイスのユーザと、認識された人物とが互いに関連性がないと判断することができる。

または、映像分析部１５１０は、保存部１３００に保存されたデータを利用して、デバイスのユーザのＳＮＳ使用記録を分析することにより、デバイスのユーザと、認識された人物とが互いに関連性があるか否かということを判断することができる。

または、映像分析部１５１０は、通信インターフェース１４００を介して、外部サーバのデータベースにアクセスし、認識された事物または位置の撮影が制限されるか否かということを判断し、撮影が制限されるのであるならば、映像の修正が必要であると判断することができる。

また、映像分析部１５１０は、撮影映像において、撮影禁止標識を認識すれば、映像が撮影された位置を、撮影が制限される位置と判断し、従って、映像の修正が必要であると判断することができる。

一方、映像修正部１５２０は、映像分析部１５１０において、映像の修正が必要であると判断された場合、映像の修正を行う構成である。映像修正部１５２０は、映像に含まれた人物、事物または映像全体に、モザイク処理、ブラー処理、背景画面合成処理または代替イメージ合成処理のうち少なくとも一つを行うことができる。映像修正部１５２０が映像を修正する具体的な例示は、前述の図７ないし図１２を参照する。

一方、前記ユーザデバイス１０００に含まれた構成は、たとえ図５１を参照して説明されていない動作であるにしても、先に図１ないし図５０を参照して説明したコンテンツ再生制御方法を実施するための動作を遂行することができる。

一方、撮影された映像が修正される時点は、多様に設定されてもよい。例えば、撮影後、ユーザ端末に保存される前に映像が修正されてもよい。または、ユーザ端末には、原本映像が保存され、その後に保存された映像を、外部のサーバ、または他の端末に伝送するときに映像が修正されもする。または、撮影を行うユーザ端末には、映像を保存せず、撮影された映像をすぐに修正し、外部のサーバ、または他の端末に伝送することもできる。以下では、かように、映像の修正時点を異にする多様な実施形態について説明する。

図５２は、本発明の実施形態による、撮影映像の修正方法において、撮影された映像を、ユーザ端末に保存する前に修正する実施形態について説明するための図面である。

図５２の左側には、スマートフォン１００−２において、ギャラリーアプリケーションが実行され、複数のイメージが画面に表示された状態を図示しており、複数のイメージのうちいずれか１つのイメージ５２１０をタッチして選択する場合、右側に図示されているように、選択されたイメージ５２１０が拡大イメージ５２２０として表示される。

図５２の左側に表示される複数のイメージのうちから選択されたイメージ５２１０は、撮影が制限される人物を含んでおり、従って、撮影が制限される人物の顔に該当する領域５２１１は、モザイク処理されているということが分かる。また、右側に表示される拡大イメージ５２２０においても、撮影が制限される人物の顔に該当する領域５２２１は、モザイク処理されている。

スマートフォン１００−２で映像を撮影し、撮影された映像をスマートフォン１００−２に保存する前に、撮影された映像に、撮影制限要素があるか否かということを判断し、撮影制限要素があると判断される場合、映像を修正した後、修正された映像をスマートフォン１００−２に保存する。すなわち、スマートフォン１００−２には、原本映像が保存されず、スマートフォン１００−２上で保存された映像にアクセスしても、修正された映像のみを確認することができる。従って、本実施形態による場合、スマートフォン１００−２のユーザでも、修正された映像にしかアクセスすることができない。

撮影制限要素が含まれているか否かということを判断し、映像を修正する具体的な方法は、前述のところを参照する。

図５３は、本発明の実施形態による、撮影映像の修正方法において、撮影された映像を、ユーザ端末に保存する前に、修正する実施形態について説明するためのフローチャートである。

図５３を参照すれば、５３０１段階において、ユーザのデバイスで映像を撮影する。このとき、ユーザのデバイスは、スマートフォン、カメラまたはタブレットＰＣのように撮影が可能な多様なデバイスでもある。

５３０２段階において、ユーザのデバイスは、撮影された映像に含まれた人物、事物、または映像が撮影された位置のうち少なくとも一つを認識する。このとき、映像に含まれた人物、事物、または映像が撮影された位置を認識する具体的な方法は、先に図２を参照して説明したところを参照する。

５３０３段階において、ユーザのデバイスは、デバイスのユーザと、認識された人物との関係、認識された事物、または認識された位置のうち少なくとも一つに基づいて、映像に、撮影制限要素が含まれているか否かということを判断する。このとき、撮影制限要素を含んでいるか否かということを判断する具体的な方法は、先に図２を参照して説明したところを参照する。

５３０４段階において、ユーザのデバイスは、映像に、撮影制限要素が含まれているか否かということを判断し、もし含まれているのであるならば、５３０５段階に進み、撮影された映像を修正し、修正された映像をユーザのデバイスに保存する。しかし、判断結果映像に、撮影制限要素が含まれていないのであるならば、５３０６段階に進み、ユーザのデバイスは、撮影された映像を、修正なしに保存する。

図５４及び図５５は、本発明の実施形態による、撮影映像の修正方法において、ユーザ端末に保存された映像を外部に伝送するときに修正する実施形態について説明するための図面である。

図５４の左側には、スマートフォン１００−２でギャラリーアプリケーションが実行され、複数のイメージが画面に表示された状態を図示しており、複数のイメージのうちいずれか１つのイメージ５４１０をタッチして選択する場合、右側に図示されているように、選択されたイメージ５４１０が拡大イメージ５４２０として表示される。

図５４の左側に表示される複数のイメージのうちから選択されたイメージ５４１０は、撮影が制限される人物を含んでいるが、撮影が制限される人物の顔に該当する領域５４１１には、モザイク処理がなされていないということが分かる。また、右側に表示される拡大イメージ５４２０においても、撮影が制限される人物の顔に該当する領域５４２１には、モザイク処理になされていない。

本実施形態において、スマートフォン１００−２は、撮影後、撮影された映像を、修正なしに保存するので、ユーザは、スマートフォン１００−２のギャラリーアプリケーションを介して、修正されていない原本映像にアクセスすることができる。

しかし、本実施形態においては、スマートフォン１００−２に保存された映像を、外部のサーバ、または他のデバイスに伝送する場合、保存された映像に、撮影制限要素が含まれているか否かということを判断し、含まれているのであるならば、映像を修正した後で外部に伝送する。

図５５を参照すれば、ユーザが、スマートフォン１００−２のギャラリーアプリケーションに表示された複数のイメージのうちいずれか１つのイメージ５５１０を選択し、選択されたイメージ５５１０を共有するためのsendボタン５５３０を選択すれば、スマートフォン１００−２は、保存された原本映像に、撮影制限要素が含まれているか否かということを判断し、含まれているのであるならば、映像を修正した後、修正された映像を外部に伝送する。

図５５において、スマートフォン１００−２は、撮影が制限される人物の顔に該当する領域５５２１がモザイク処理された修正された映像５５２０を目的地（destination）に指定されたサーバ３００に伝送する。

図５６は、本発明の実施形態による、撮影映像の修正方法において、ユーザ端末に保存された映像を外部に伝送するときに修正する実施形態について説明するためのフローチャートである。

図５６を参照すれば、５６０１段階において、ユーザのデバイスで映像を撮影する。このとき、ユーザのデバイスは、スマートフォン、カメラまたはタブレットＰＣのように撮影が可能な多様なデバイスでもある。

５６０２段階において、ユーザデバイスは、撮影された映像をユーザデバイス内部のメモリに保存する。

５６０３段階において、ユーザデバイスは、ユーザから保存された映像を、外部のサーバ、または他のデバイスに伝送せよという要請を受信する。

５６０４段階において、ユーザデバイスは、保存された映像に含まれた人物、事物、または映像が撮影された位置のうち少なくとも一つを認識する。このとき、映像に含まれた人物、事物、または映像が撮影された位置を認識する具体的な方法は、先に図２を参照して説明したところを参照する。

５６０５段階において、ユーザデバイスは、デバイスのユーザと、認識された人物との関係、認識された事物、または認識された位置のうち少なくとも一つに基づいて、映像に、撮影制限要素が含まれているか否かということを判断する。このとき、撮影制限要素を含んでいるか否かということを判断する具体的な方法は、先に図２を参照して説明したところを参照する。

５６０６段階において、ユーザデバイスは、保存された映像に、撮影制限要素が含まれているか否かということを判断し、もし含まれているのであるならば、５６０７段階に進み、保存された映像を修正し、修正された映像を外部に伝送する。しかし、判断結果映像に、撮影制限要素が含まれていないのであるならば、５６０８段階に進み、ユーザデバイスは、保存された映像を、修正なしに外部に伝送する。

図５７は、本発明の実施形態による、撮影映像の修正方法において、撮影された映像をユーザ端末に保存せずに、すぐ修正して外部に伝送する実施形態について説明するための図面である。

図５７には、互いに映像通話を行う２台のスマートフォン１００−２ａ，１００−２ｂを図示している。

映像通話を行う場合、スマートフォン１００−２ａ，１００−２ｂは、特別な要請がなければ、映像通話画面を保存しない。しかし、映像通話の場合にも、撮影制限要素に対する修正の必要性があるために、本実施形態において、スマートフォン１００−２ａは、撮影映像を保存なしにすぐ修正し、他のスマートフォン１００−２ｂに伝送する。スマートフォン１００−２ｂに表示された映像通話画面５７１０を参照すれば、映像通話の当事者の顔領域５７１２には、何らの修正も加えられていないが、撮影が制限される人物の顔領域５７１１は、モザイク処理がなされているということが分かる。

図５８は、本発明の実施形態による、撮影映像の修正方法において、撮影された映像をユーザ端末に保存せずに、すぐ修正して外部に伝送する実施形態について説明するためのフローチャートである。

図５８を参照すれば、５８０１段階において、ユーザのデバイスで映像を撮影する。このとき、ユーザのデバイスは、スマートフォン、カメラまたはタブレットＰＣのように撮影が可能な多様なデバイスでもある。

５８０２段階において、ユーザのデバイスは、撮影された映像に含まれた人物、事物、または映像が撮影された位置のうち少なくとも一つを認識する。このとき、映像に含まれた人物、事物、または映像が撮影された位置を認識する具体的な方法は、先に図２を参照して説明したところを参照する。

５８０３段階において、ユーザのデバイスは、デバイスのユーザと、認識された人物との関係、認識された事物、または認識された位置のうち少なくとも一つに基づいて、映像に、撮影制限要素が含まれているか否かということを判断する。このとき、撮影制限要素を含んでいるか否かということを判断する具体的な方法は、先に図２を参照して説明したところを参照する。

５８０４段階において、ユーザのデバイスは、映像に、撮影制限要素が含まれているか否かということを判断し、もし含まれているのであるならば、５８０５段階に進み、撮影された映像を修正し、修正された映像を、外部のサーバ、または他のデバイスに伝送する。しかし、判断結果映像に、撮影制限要素が含まれていないのであるならば、５８０６段階に進み、ユーザのデバイスは、撮影された映像を、修正なしに外部のサーバ、または他のデバイスに伝送する。

図５９ないし図６１は、本発明の他の実施形態による、特定位置での撮影が制限される人物が撮影された映像を修正する実施形態について説明するための図面である。

図５９を参照すれば、ユーザＡ １のスマートフォン１００−２は、同一人物５９１１に対して、撮影が許可される場所（例えば、通り、飲食店など）５９１０ａ、または撮影が制限される場所（例えば、公演場、博物館または軍事保安地域など）５９２０ａに係わる映像を撮影することがある。同一人物５９１１であるにしても、撮影位置によって、撮影制限いかんが異なる。例えば、芸能人の場合、公演場での写真撮影は、著作権問題によって制限されるが、通りでの写真撮影は、制限されないこともある。ユーザＡ １のスマートフォン１００−２は、撮影映像をサーバ３００に伝送し、映像処理を要請する。このとき、ユーザＡ １のスマートフォン１００−２は、撮影映像と共に、位置情報をサーバ３００に伝送する。伝送される位置情報は、スマートフォン１００−２が撮影を行った位置に係わる情報であり、スマートフォン１００−２は、内蔵されたＧＰＳなどを利用して、撮影時の位置を確認し、確認された位置を、サーバ３００に伝送することができる。または、スマートフォン１００−２は、連結された基地局またはＡＰの位置などを利用して、撮影時の位置を確認するような多様な方法で、位置情報を生成することができる。

図６０を参照すれば、サーバ３００は、ユーザＡ １のスマートフォン１００−２から受信した位置情報を分析し、撮影が行われた位置を確認し、確認された位置が、映像に含まれた人物に対する撮影が制限される位置に該当するか否かということを判断することができる。すなわち、サーバ３００は、既保存の撮影制限位置データベースに、確認された撮影位置が、映像に含まれた人物に対する撮影が制限される位置として含まれているか否かということを判断する。このとき、撮影制限位置データベースには、ユーザ別に、撮影が制限される位置が保存されもし、公演場、博物館または軍事保安地域のように、一般人の撮影が制限される位置情報が保存されてもいる。

判断結果、原本映像５９１０ａが撮影された撮影位置が、映像に含まれた人物に対する撮影が制限される位置ではないならば、サーバ３００は、修正されていない映像５９１０ｂを、ユーザのデバイスに伝送することができる。または、サーバ３００は、映像が修正される必要がないというメッセージを、ユーザのデバイスに伝送することができる。

一方、判断結果、原本映像５９２０ａが撮影された撮影位置が、映像に含まれた人物に対する撮影が制限される位置であるならば、サーバ３００は、原本映像５９２０ａに、撮影制限要素が含まれていると判断する。そして、サーバ３００は、撮影が制限される人物に対応する映像の一部を修正することができる。具体的には、スマートフォン１００−２は、原本映像５９２０ａにおいて、撮影が制限される人物５９１１の顔領域に、モザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行い、修正映像５９２０ｂを出力することができる。

一方、図５９及び図６０では、サーバ３００が、映像を修正する実施形態について説明したが、それとは異なり、サーバ３００は、単に、スマートフォン１００−２から受信した位置情報を分析し、撮影制限位置に該当するか否かということのみを判断し、スマートフォン１００−２に伝送し、それを受信したスマートフォン１００−２が映像を修正することもできる。

また、図５９及び図６０では、被撮影者によって、撮影が制限される位置が異なるように適用される実施形態について説明したが、それとは異なり、全てのユーザに対して、撮影が制限される位置が同一に適用されもする。すなわち、撮影映像に含まれた人物と係わりなく、撮影制限位置を判断し、撮影制限位置に該当すると判断されれば、映像に含まれた人物または事物に対応する映像の一部を修正することもできる。

または、図６１に図示されているように、ユーザＡ １のスマートフォン１００−２が、確認された位置情報を分析して撮影が行われた位置を確認し、確認された位置が、撮影が制限される位置に該当するか否かということを判断することもできる。すなわち、スマートフォン１００−２は、スマートフォン１００−２の保存部１３００の撮影制限位置データベースに確認された撮影位置が含まれているか否かということを判断する。

判断結果、原本映像５９１０ａが撮影された撮影位置が、映像に含まれた人物に対する撮影が制限される位置ではないならば、スマートフォン１００−２は、映像が修正されていない映像５９１０ｂを保存することができる。

一方、判断結果、原本映像５９２０ａが撮影された撮影位置が映像に含まれた人物に対する撮影が制限される位置であるならば、スマートフォン１００−２は、原本映像５９２０ａに、撮影制限要素が含まれていると判断する。そして、スマートフォン１００−２は、撮影が制限される人物に対応する映像の一部を修正することができる。具体的には、スマートフォン１００−２は、原本映像５９２０ａにおいて、人物５９１１の顔領域にモザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行い、修正映像５９２０ｂを生成して出力することができる。

かように、人物または事物を撮影する場合、人物または事物が撮影された撮影位置によって、人物または事物の撮影が制限されもし、人物または事物の撮影が制限されないこともある。

図６２は、本発明の実施形態による、撮影が制限される位置で撮影された映像を修正する方法を示すフローチャートである。

図６２を参照すれば、６２０１段階において、ユーザのデバイスで映像を撮影する。このとき、撮影には、カメラまたはカムコーダなどの一般的な撮影デバイス、スマートグラスまたはスマートウォッチなどのウェアラブルデバイス、スマートフォンまたはタブレットＰＣなどのモバイルデバイスのうちいずれか一つが使用され、それ以外にも、撮影が可能な多様なデバイスが使用されてもよい。

６２０２段階において、ユーザのデバイスは、撮影時の位置を認識する。このとき、ユーザのデバイスは、内蔵されたＧＰＳなどを利用して、撮影時の位置を確認することができる。または、ユーザのデバイスは、連結された基地局またはＡＰの位置などを利用して、撮影時の位置を確認することもできる。

６２０３段階において、サーバは、認識された位置が撮影制限位置に含まれるか否かということを判断する。または、ユーザのデバイスが、認識された位置が撮影制限位置に含まれるか否かということを判断することができる。具体的には、映像に含まれた人物に対する撮影が制限される位置に該当するか、あるいは被撮影者に係わりなく、撮影が制限される位置に該当するかということを判断することができる。このために、サーバ、またはユーザのデバイスは、受信した位置情報を分析し、撮影が行われた位置を確認し、確認された位置を、既保存の撮影制限位置データベースと比較する。このとき、撮影制限位置データベースには、人物別に撮影が制限される位置情報が保存されるか、あるいは公演場、博物館または軍事保安地域のように、一般人の撮影が制限される位置情報が保存されている。

判断結果、認識された撮影位置が撮影制限位置に該当すれば、６２０４段階において、サーバ、またはユーザのデバイスは、映像に、撮影制限要素があるか否かということを判断することができる。すなわち、認識された撮影位置が、特定人物に対する撮影が制限される位置であるならば、撮影が制限される特定人物が含まれているか、あるいは認識された撮影位置が、全ての人物または事物に撮影が制限される位置であるならば、少なくとも１個体の人物または事物が含まれているか否かということを判断することができる。映像に、撮影制限要素が含まれているならば、６２０５段階において、サーバは、映像を修正し、修正された映像をユーザのデバイスに伝送することができる。または、ユーザのデバイスが映像を修正し、修正された映像を保存することができる。例えば、サーバ、またはユーザのデバイスは、映像に、モザイク処理、ブラー処理または代替イメージ合成処理を行い、修正映像を生成することができる。

図６３ないし図６６Ｂは、本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する実施形態について説明するための図面である。

図６３を参照すれば、ユーザＡ １のスマートフォン１００−２で、ユーザＢ ２及びユーザＣ ３を含む映像を撮影する。次に、ユーザＡ １のスマートフォン１００−２は、撮影された映像を画面に表示する。

図６４Ａないし及び図６５Ｂは、それぞれ異なる方法によって、ユーザが撮影された映像において、保護処理を行う人物を選択すれば、選択された人物の対応する映像の一部が修正される例を図示している。ここで、ユーザが保護処理を行う人物を選択する状況は、例えば、撮影された映像がスマートフォン１００−２の保存部に保存されるか、あるいは外部機器で共有される前に、スマートフォン１００−２上で、プレビュー画面または臨時画面として提供された状態で、ユーザが撮影された映像において保護処理を行う人物を選択する状況にもなる。

図６４Ａを参照すれば、スマートフォン１００−２は、撮影された原本映像６４００ａにおいて顔認識を行い、ユーザＢ ２及びユーザＣ ３の顔を認識する。次に、スマートフォン１００−２は、ユーザＢ ２及びユーザＣ ３の顔が認識されたことを示す認識結果を提供することができる。認識結果は、例えば、視覚的フィードバックとして認識されたユーザＢ ２及びユーザＣ ３の顔、または顔の外郭線を、ハイライト（例えば、点滅または彩色など）して表示することにもなる。次に、ユーザが、ユーザＢ ２及びユーザＣ ３のうちいずれか一つを選択すれば（例えばＣ ３）、スマートフォン１００−２は、選択されたユーザＣ ３に対して保護処理を行うことができる。例えば、スマートフォン１００−２は、選択されたユーザＣ ３の識別が不可能になるように、ユーザＣ ３に対応する映像の一部を修正することができる。詳細には、図６４Ｂに図示されているように、スマートフォン１００−２は、ユーザＣ ３の顔領域に、モザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行い、修正された映像６４００ｂを画面に表示することができる。

他の実施例として、図６５Ａを参照すれば、スマートフォン１００−２は、撮影された原本映像において顔認識を行い、ユーザＢ ２及びユーザＣ ３の顔を認識する。次に、スマートフォン１００−２は、認識された顔が撮影が制限される人物であるか否かということを判断することができる。判断結果、ユーザＢ ２及びユーザＣ ３が、撮影が制限される人物であるならば、スマートフォン１００−２は、ユーザＢ ２及びユーザＣ ３に対して保護処理を行うことができる。例えば、スマートフォン１００−２は、ユーザＢ ２及びユーザＣ ３の識別が不可能になるように、ユーザＢ ２に対応する映像の一部、及びユーザＣ ３に対応する映像の一部を修正することができる。詳細には、スマートフォン１００−２は、撮影が制限される人物であるユーザＢ ２及びユーザＣ ３の顔領域に、モザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行い、修正された映像６５００ａを画面に表示することができる。次に、ユーザが、ユーザＢ ２及びユーザＣ ３のうちいずれか一つを選択すれば（例えば、Ｂ ２）、スマートフォン１００−２は、選択されたユーザＢ ２の保護処理を解除する人物と判断することができる。次に、スマートフォン１００−２は、選択されたユーザＢ ２の識別が可能になるように、ユーザＢ ２に対応する映像の一部を修正することができる。詳細には、図６５Ｂに図示されているように、スマートフォン１００−２は、ユーザＢ ２の顔領域に、モザイク処理を解除するか、代替イメージの合成を解除するか、あるいはブラー処理を解除し、修正された映像６５００ｂを画面に表示することができる。

さらに他の実施例として、図６６Ａを参照すれば、スマートフォン１００−２は、撮影された原本映像６６００ａにおいて顔認識を行い、ユーザＢ ２及びユーザＣ ３の顔を認識する。次に、スマートフォン１００−２は、認識されたユーザＣ ３に対して、保護処理の遂行いかんを問うポップアップ画面６６１０を提供することができる。ポップアップ画面６６１０を介して、ユーザが、保護処理の遂行を要請するボタンを選択すれば、スマートフォン１００−２は、ユーザＣ ３に対して保護処理を行うことができる。そして、図６６Ｂに図示されているように、スマートフォン１００−２は、ユーザＣ ３の顔領域に、モザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行い、修正された映像６６００ｂを画面に表示することができる。

前述のユーザが保護処理を行う人物を選択することができる画面は、映像が撮影された後、スマートフォン１００−２が、撮影された映像をスマートフォン１００−２の保存部に保存する前に表示されてもよい。または、スマートフォン１００−２が、撮影された映像を、外部機器（例えば、サーバまたは第３者のスマートフォン）に提供する前に表示されてもよい。

一方、ユーザによって、保護処理を行う人物が選択されれば、選択された人物に係わる情報は、スマートフォン１００−２、またはサーバ３００のデータベースに保存されてもよい。例えば、選択された人物の写真が、撮影制限要素として保存されてもよい。この場合、追って撮影された映像に、ユーザが保護処理を行った人物がいれば、スマートフォン１００−２は、自動的に保護処理が行われた人物を、撮影が制限される人物と判断することができる。そして、スマートフォン１００−２は、前記人物に対応する映像領域に、モザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行うことができる。

かように、ユーザが、撮影を制限する人物を選択する方法は、スマートフォン１００−２またはサーバ３００が、撮影された映像の認識された顔に係わる情報を有さない状況でさらに有用である。すなわち、認識された顔に係わる情報がない場合、認識された顔に対して、撮影を制限したり、撮影を解除したりするなどの画一的な処理を行わず、ユーザの選択によって、認識された顔の処理を決定することにより、映像を処理するユーザの自由度がさらに上昇する。

図６７及び図６８は、本発明の実施形態による、ユーザの選択によって、撮影された映像を修正する方法を示すフローチャートである。

図６７を参照すれば、６７０１段階において、ユーザのデバイスで、人物が含まれた映像を撮影する。このとき、ユーザのデバイスは、スマートフォン、カメラまたはタブレットＰＣのように撮影が可能な多様なデバイスでもある。

６７０２段階において、ユーザのデバイスは、撮影された映像に含まれた人物の顔認識を行う。

６７０３段階において、ユーザのデバイスは、撮影された映像において顔が認識されたことを示す認識結果を提供することができる。例えば、ユーザのデバイスは、認識された人物に、視覚的フィードバックが適用された画面を表示することができる。

６７０４段階において、認識結果が提供された画面が表示された状態で、ユーザのデバイスは、ユーザから保護処理が必要な人物を選択される。

ユーザによって、保護処理が必要な人物が選択されれば、６７０５段階において、ユーザデバイスは、選択された人物に対する保護処理を行うことができる。例えば、ユーザデバイスは、選択された人物が映像で識別されることができないように、ｋ像を修正することができる。

他の実施例として、図６８を参照すれば、６８０１段階において、ユーザのデバイスで映像を撮影する。

６８０２段階において、ユーザのデバイスは、撮影された映像に含まれた人物の顔認識を行う。

６８０３段階において、ユーザのデバイスは、認識された顔が、撮影が制限される人物であるか否かということを判断することができる。判断結果、認識された人物が、撮影が制限される人物であるならば、６８０４段階において、ユーザのデバイスは、撮影が制限される人物に対して保護処理を行うことができる。判断結果、認識された人物が、撮影が制限されない人物であるならば、ユーザのデバイスは、保護処理を行わない。

６８０５段階において、ユーザのデバイスは、保護処理が行われた人物を表示することができる。例えば、ユーザのデバイスは、撮影された映像において認識された人物に対応する領域に、モザイク処理を行うか、代替イメージを合成するか、あるいはブラー処理を行うことができる。

６８０６段階において、保護処理が行われた人物が表示された状態で、ユーザのデバイスは、ユーザから保護処理を解除する人物を選択される。

保護処理を解除する人物が選択されれば、６８０７段階において、ユーザのデバイスは、保護処理が行われた人物に対して、保護処理を解除することができる。例えば、ユーザのデバイスは、撮影された映像において選択された人物に対応する領域に、モザイク処理を解除するか、代替イメージの合成を解除するか、あるいはブラー処理を解除することができる。

以上、１以上の例示的な実施形態に対して、前述のように、ユーザデバイスによって撮影された映像に、撮影制限される人物、事物、位置が含まれる場合、映像が制限された人物、事物または位置が識別されないように、映像の一部が変形され、それによって撮影が制限された人物のプライバシーを保護することができ、撮影が制限された事物、保安位置、または著作権関連位置を含む映像の獲得を防止する。

例示的な実施形態は、コンピューター判読可能な記録媒体上に、コンピュータで判読可能なコードとして具体化されるが、それに制限されるものではない。コンピュータ判読可能な記録媒体は、コンピュータシステムによって判読されたデータを保存することができるいかなる任意のデータ保存装置でもある。コンピュータ判読可能な記録媒体の例としては、判読だけ可能なメモリ（ＲＯＭ（read only memory））、ＲＡＭ（random access memory）、ＣＤ−ＲＯＭ（compact disc read only memory）、磁気テープ、フロッピーディスク及び光データ保存装置を含んでもよい。

コンピュータ判読可能な記録媒体は、ネットワークに連結されたコンピュータシステムを介して分散され、コンピュータで判断可能なコードは、分散された方式によって保存されて実行される。また、例示的な実施形態において、キャリアウェーブ（carrier wave）のようなコンピュータで判読可能な伝送媒体を介して伝送されたコンピュータプログラムが受信され、該プログラムを遂行する汎用または専用（special purpose）のコンピュータプログラムを遂行する。

かような例示的な実施形態は、例示的なことに過ぎず、発明を制限するものであるとに解釈されるものではない。本明細書で開示された内容は、他種の装置に容易に適用される。また、例示的な実施形態に係わる記述内容は、例示的なものであり、特許請求の範囲を制限するものではなく、多くの代案、修正及び変形が当業者に自明であろう。

２０ 彫刻品
３０ 撮影禁止標識
１００ スマートグラス
１００−１ スマートウォッチ
１００−２ スマートフォン
１００−３ カメラ
１００−４ カムコーダ
２００ スマートフォン
３００ サーバ
１０００ ユーザデバイス
１１００ ユーザ・インターフェース部
１２００ カメラ
１３００ 保存部
１４００ 通信インターフェース
１５００ 制御部
１５１０ 映像分析部
１５２０ 映像修正部
５５３０ ボタン
５９１１ 人物

Claims (15)

1. ユーザデバイスにおいて、
   データが保存される保存部と、
   前記ユーザデバイスで撮影されるか、あるいは前記ユーザデバイスが外部から受信した映像に含まれた人物を認識し、前記保存部に保存されたデータを利用して、前記認識された人物と、前記ユーザデバイスのユーザとの類似度が、所定レベルより低いことにより、前記認識された人物の識別が不可能になるように、前記認識された人物に対応する映像の一部を修正する制御部と、を含むユーザデバイス。
2. 前記映像を撮影するカメラをさらに含むことを特徴とする請求項１に記載のユーザデバイス。
3. 前記制御部は、前記映像が撮影された位置が、撮影が制限される位置であるか否かということを判断し、撮影が制限される位置である場合、前記認識された人物に対応する映像の一部を修正することを特徴とする請求項１に記載のユーザデバイス。
4. 前記保存部に保存されたデータがアドレスブックである場合、
   前記制御部は、前記認識された人物が、前記アドレスブックに存在しない場合、類似度が所定レベルより低いと判断することを特徴とする請求項１に記載のユーザデバイス。
5. 前記保存部に保存されたデータが少なくとも１枚の写真である場合、
   前記制御部は、前記認識された人物が、前記少なくとも１枚の写真に存在しないのであるならば、前記ユーザと、前記認識された人物との類似度が、所定レベルより低いと判断することを特徴とする請求項１に記載のユーザデバイス。
6. 前記保存部に保存されたデータは、前記ユーザのＳＮＳ（social network service）使用記録であり、前記制御部は、前記ユーザのＳＮＳ使用記録を分析することにより、前記類似度を判断することを特徴とする請求項１に記載のユーザデバイス。
7. 前記制御部は、外部サーバのデータベースにアクセスし、前記映像が撮影された位置が、撮影が制限される位置であるか否かということを判断し、撮影が制限される位置であると判断されれば、前記映像を修正することを特徴とする請求項１に記載のユーザデバイス。
8. 前記制御部は、前記映像で撮影制限事物を認識すれば、前記映像が撮影された位置を撮影が制限される位置と判断することを特徴とする請求項１に記載のユーザデバイス。
9. 前記制御部は、前記映像の一部に、モザイク処理、ブラー処理、背景画面合成処理または代替イメージ合成処理のうち少なくとも一つを行い、前記映像の一部が認識されることがないようにすることを特徴とする請求項１に記載のユーザデバイス。
10. 映像を修正するシステムにおいて、
    映像処理を行うためのサーバと、
    映像をサーバに伝送する間、映像処理を要請するユーザデバイスと、を含み、
    前記サーバは、前記ユーザデバイスから受信された映像に含まれた人物を認識し、前記認識された人物と、前記ユーザデバイスのユーザとの類似度が、所定レベルより低いことにより、認識不可能になるように、前記認識された人物に対応する映像の一部を修正し、前記映像を前記ユーザデバイスに伝送するシステム。
11. 前記サーバは、既保存のデータを利用して、前記映像が撮影された位置が、撮影が制限される位置であるか否かということを判断し、撮影が制限される位置である場合、前記認識された人物に対応する映像の一部を修正することを特徴とする請求項１０に記載のシステム。
12. 前記サーバは、前記ユーザデバイスから、前記映像が撮影された時間及び位置を受信し、既保存のデータを利用して、前記受信した時間及び位置において、前記認識された人物の撮影が制限されるか否かということを判断することを特徴とする請求項１０に記載のシステム。
13. 前記ユーザデバイスは、前記サーバから受信した暗号化キーを利用して、前記映像を暗号化し、前記暗号化された映像を前記サーバに伝送し、
    前記サーバは、受信した映像を復号した後、前記映像に含まれた人物に対応する復号された映像のうち一部を修正することを特徴とする請求項１０に記載のシステム。
14. ユーザデバイスにおいて、
    映像を撮影するカメラと、
    撮影される被撮影者のデバイスに、撮影通知を伝送し、前記被撮影者のデバイスから撮影通知に対する応答を受信する通信インターフェースと、
    前記撮影が許容されたか否かということを示す応答に基づいて、映像を修正する制御部と、を含むユーザデバイス。
15. ユーザデバイスで映像を修正する方法において、
    映像に含まれた人物を認識する段階と、
    前記認識された人物と、前記ユーザデバイスのユーザとの類似度が所定レベル以下であるか否かということを判断する段階と、
    前記類似度が所定レベル以下であるならば、前記認識された人物の識別が不可能になるように、前記認識された人物に対応する前記映像の一部を修正する段階と、を含む方法。

Images