CN105323473A - 修改包括拍摄限制元素的图像的方法、设备和系统 - Google Patents

修改包括拍摄限制元素的图像的方法、设备和系统 Download PDF

Info

Publication number
CN105323473A
CN105323473A CN201510463505.6A CN201510463505A CN105323473A CN 105323473 A CN105323473 A CN 105323473A CN 201510463505 A CN201510463505 A CN 201510463505A CN 105323473 A CN105323473 A CN 105323473A
Authority
CN
China
Prior art keywords
image
shooting
user
subscriber equipment
smart phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510463505.6A
Other languages
English (en)
Other versions
CN105323473B (zh
Inventor
沈愚哲
金泫志
许宰荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150051133A external-priority patent/KR102094509B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105323473A publication Critical patent/CN105323473A/zh
Application granted granted Critical
Publication of CN105323473B publication Critical patent/CN105323473B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/448Rendering the image unintelligible, e.g. scrambling
    • H04N1/4486Rendering the image unintelligible, e.g. scrambling using digital data encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供了用户设备,其包括:存储装置,被配置为存储数据;以及控制器,被配置为识别由用户设备捕获的或者由用户设备从外部源接收到的图像中所包括的人,并且基于存储在存储装置中的数据,响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。

Description

修改包括拍摄限制元素的图像的方法、设备和系统
相关申请的交叉引用
本申请要求于2014年7月31日在韩国知识产权局提交的韩国专利申请No.10-2014-0098652和于2015年4月10日在韩国知识产权局提交的韩国专利申请No.10-2015-0051133的优先权,其公开通过引用整体合并于此。
技术领域
与示例性实施例一致的方法和装置涉及修改图像的方法,其中如果由用户设备捕获的照片或运动图像包括拍摄限制元素则修改照片或运动图像,以及执行该方法的设备和系统。
背景技术
当通过使用诸如相机或照相摄像机的拍摄设备捕获照片或运动图像时,陌生人可能被包括在捕获的照片或捕获的运动图像中。这时,陌生人可能违背他/她的意愿而被暴露在拍摄的照片或捕获的运动图像中,而且有时,陌生人的隐私可能被侵犯。然而,拍摄者很难在他/她每次拍摄的时候注意陌生人。
当从包括在拍摄的图像中的人当中分类拍摄限制的人,并且执行图像处理以使得拍摄限制的人不可辨别时,拍摄者可以在通过使用一般方法方便地捕获图像的同时保护被拍摄者的隐私。
详细地,最近,由于诸如智能电话或平板个人计算机(PC)的便携式设备一般支持拍摄功能,因此人可能是极有可能被陌生人拍摄,并且因此需要做出准备。
同时,拍摄限制元素可以不仅包括人,而且还可以包括对象或位置。因此,如果由个人设备捕获的图像包括拍摄限制对象或拍摄限制位置,则可以执行图像处理以使得拍摄限制对象或拍摄限制位置不可辨别。
发明内容
一个或多个示例性实施例提供了如果由用户设备捕获的图像包括拍摄限制元素则修改图像的方法。
根据示例性实施例的一方面,提供了一种用户设备,其包括:存储装置,被配置为存储数据;以及控制器,被配置为识别由用户设备捕获的或者由用户设备从外部源接收到的图像中所包括的人,并且基于存储在存储装置中的数据,响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。
用户设备还可以包括被配置为捕获图像的相机。
控制器还可以被配置为确定捕获图像的位置是否是拍摄限制位置,并且当该位置是拍摄限制位置时,将与识别的人相对应的图像的一部分改变为不可识别。
存储在存储装置中的数据可以是地址簿,而且控制器还可以被配置为响应于识别的人未被包括在地址簿中而确定亲密程度低于预定水平。
存储在存储装置中的数据可以是至少一个照片,而且控制器还可以被配置为响应于识别的人未被包括在所述至少一个照片中而确定用户和识别的人之间的亲密程度低于预定水平。
存储在存储装置中的数据可以是用户的社交网络服务(SNS)使用记录,而且控制器可以通过分析SNS使用记录来确定亲密程度。
控制器可以通过访问外部服务器的数据库来确定捕获图像的位置是否是拍摄限制位置,并且当该位置被确定为是拍摄限制位置时修改图像。
控制器还可以被配置为从图像识别拍摄限制对象,并且可以响应于从图像识别到拍摄限制对象而确定捕获图像的位置是拍摄限制位置。
控制器可以对图像的一部分执行马赛克处理、模糊处理、背景图像合成处理和替换图像(alternativeimage)合成处理中的至少一个。
根据示例性实施例的另一方面,提供了一种修改图像的系统,该系统提供了:服务器,被配置为执行图像处理;以及用户设备,被配置为在将图像发送到服务器的时候请求图像处理,其中,服务器还被配置为识别从用户设备接收到的图像中所包括的人,并且响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别,并且将图像发送到用户设备。
服务器可以通过使用预先存储的数据确定捕获图像的位置是否是拍摄限制位置,并且响应于该位置是拍摄限制位置而将与识别的人相对应的图像的一部分改变为不可识别。
服务器可以从用户设备接收捕获图像的时间和位置,并且通过使用预先存储的数据确定对识别的人的拍摄在接收到的时间和接收到的位置是否收到限制。
用户设备可以通过使用从服务器接收到的加密密钥对图像进行编码,以及服务器可以对编码的图像进行解码,并且修改与识别的人相对应的解码图像的一部分。
根据示例性实施例的另一方面,提供了一种用户设备,其包括:相机,被配置为捕获图像;通信接口,被配置为将拍摄通知发送到图像中捕获的被拍摄者的设备,并且从被拍摄者的设备接收对于拍摄通知的响应;以及控制器,被配置为基于指示捕获图像是否被准许的响应来修改图像。
根据示例性实施例的另一方面,提供了一种由用户设备修改图像的方法,该方法包括:识别包括在图像中的人;确定识别的人与用户设备的用户之间的亲密程度低于预定水平;以及响应于低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。
所述确定可以包括确定捕获图像的位置是否是拍摄限制位置,所述可以改变当该位置是拍摄限制位置时修改图像的一部分。
所述确定可以包括响应于识别的人未被包括在存储在用户设备中的地址簿中而确定亲密程度低于预定水平。
所述确定可以包括响应于识别的人未被包括在存储在存储装置中的少一个照片而确定亲密程度低于预定水平。
所述确定可以包括基于存储在存储装置中的数据,通过分析用户的社交网络服务(SNS)使用记录来确定亲密程度是否低于预定水平。
所述改变可以包括对图像的一部分执行马赛克处理、模糊处理、背景图像合成处理和替换图像合成处理中的至少一个。
根据示例性实施例的另一方面,提供了一种由服务器修改图像的方法,该方法包括:从用户设备接收图像和图像处理请求;响应于图像处理请求而识别包括在图像中的对象;基于捕获图像的位置、捕获图像的时间、以及在用户和识别的对象之间的亲密程度中的至少一个来确定对象是否是拍摄限制元素;以及响应于该对象被确定为拍摄限制元素而执行图像处理以修改包括在图像中的对象。
图象处理请求可以指示要对对象执行的图像处理的类型,并且图像处理的类型可以对应于马赛克处理、模糊处理、背景图像合成处理或替换图像合成处理。
图像处理请求可以包括捕获图像的位置、捕获图像的时间、以及在用户和识别的对象之间的亲密程度中的至少一个。
确定对象是否是拍摄限制元素可以包括分析接收到的图像以提取指示位置信息的特征,将所提取的特征与存储在服务器中的数据进行比较查找位置;以及响应于该位置被指定为拍摄限制区域而将该对象确定为拍摄限制元素。
附图说明
通过参照附图描述某些示例性实施例,以上和/或其他方面将变得更加明显,在附图中:
图1是用于描述根据示例性实施例的用于执行修改包括拍摄限制元素的图像的方法的环境的图;
图2是根据示例性实施例的修改包括拍摄限制元素的图像的方法的流程图;
图3至图6是根据示例性实施例的用于描述修改包括拍摄限制元素的图像的方法的图;
图7至图12是根据示例性实施例的用于描述修改包括拍摄限制的人的图像的方法的图;
图13至图16是根据示例性实施例的修改包括拍摄限制的人的图像的方法的流程图;
图17和图18是根据示例性实施例的用于描述通过使用至少两个用户设备来修改包括拍摄限制元素的图像的方法的图;
图19根据示例性实施例的用于描述通过使用至少两个用户设备来修改包括拍摄限制元素的图像的方法的图;
图20至图22是根据示例性实施例的用于描述经由与被拍摄者的设备进行通信来修改包括拍摄限制元素的图像的方法的图;
图23和图24是根据示例性实施例的经由与被拍摄者的设备进行通信来修改包括拍摄限制元素的图像的方法的流程图;
图25和图26是根据示例性实施例的用于描述通过使用服务器修改包括拍摄限制元素的图像的方法的图;
图27是根据示例性实施例的通过使用服务器修改包括拍摄限制元素的图像的方法的流程图;
图28至图31是根据其它示例性实施例的用于描述通过使用服务器修改包括拍摄限制元素的图像的方法的图;
图32是根据另一示例性实施例的通过使用服务器修改包括拍摄限制元素的图像的方法的流程图;
图33至图37是根据示例性实施例的用于描述修改包括拍摄限制对象的图像的方法的图;
图38是根据示例性实施例的修改包括拍摄限制对象的图像的方法的流程图;
图39至图41是根据示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的方法的图;
图42是根据示例性实施例的修改在拍摄限制位置处捕获的图像的方法的流程图;
图43至图45是根据其它示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的方法的图;
图46是根据其他示例性实施例的修改在拍摄限制位置处捕获的图像的方法的流程图;
图47至图49是根据示例性实施例的用于描述根据隐私保护信息来限制人的拍摄的例子的图;
图50是根据示例性实施例的根据隐私保护信息限制人的拍摄的方法的流程图;
图51是根据示例性实施例的用户设备的框图;
图52是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在将捕获的图像存储到用户设备之前修改捕获的图像的例子的图;
图53是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在将捕获的图像存储到用户设备之前修改捕获的图像的例子的流程图;
图54和图55是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在向外部发送图像的同时修改存储在用户设备中的图像的例子的图;
图56是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在向外部发送图像的同时修改存储在用户设备中的图像的例子的流程图;
图57是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在不将捕获的图像存储到用户设备的情况下立即修改捕获的图像并且向外部发送修改的捕获的图像的例子的图;
图58是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在不将捕获的图像存储到用户设备的情况下立即修改捕获的图像并且向外部发送修改的捕获的图像的例子的流程图;
图59至图61是根据示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的例子的图;
图62是根据示例性实施例的示出修改在拍摄限制位置处捕获的图像的方法的流程图;
图63、图64A、图64B、图65A、图65B、图66A和图66B是根据示例性实施例的用于描述根据用户的选择来修改捕获的图像的例子的图;以及
图67和图68是根据示例性实施例的示出根据用户的选择来修改捕获的图像的方法的流程图。
具体实施方式
下面将参照附图更详细地描述示例性实施例。
在下面的描述中,即使在不同的附图中,相同的参照标记被用于相同的元件。描述中定义的、诸如详细结构和元件的事项被提供以便有助于全面理解示例性实施例。因此,明显的是,示例性实施例可以在没有这些具体定义的事项的情况下实现。此外,没有详细描述公知的功能或结构,因为它们会以不必要的细节模糊本申请。
当诸如“中的至少一个”的表述出现在元件的元件之后时,它修饰元件的整个列表,而不是修饰该列表的各个元件。
图1是用于描述根据示例性实施例的用于执行修改包括拍摄限制元素的图像的方法的环境的图。
参照图1,用户A可以通过使用智能眼镜100来捕获包括人或对象的图像或特定位置的图像。在这里,捕获的图像不仅可以是诸如照片的静止图像,而且还可以是运动图像。
如图1中所示,智能眼镜100可以捕获包括诸如用户B的人、诸如雕塑20或者不准拍摄标志30的对象的图像。智能眼镜100可以识别包括在图像中的人、包括图像中的对象、以及捕获图像的位置中的至少一个,并且可以基于识别的结果确定图像是否包括被限制拍摄的元素,即,拍摄限制元素。
这里,拍摄限制元素是由于隐私、版权或安全而被限制拍摄的人、对象或位置。这样的限制拍摄元素可以一致地应用于所有人,或根据拍摄者不同的应用。例如,军事安全区的拍摄被限制为所有人,但是特定人的拍摄可以仅限于不认识所述特定人的人。如果拍摄限制的人或对象被包括在图像中或者图像在拍摄限制位置被拍摄,则确定图像包括拍摄限制元素。
同时,当智能眼镜100捕获图像并将图像发送到连接到智能眼镜100的设备或服务器时,设备或服务器可以识别图像的人、对象或位置,并且确定图像是否包括拍摄限制元素。
如果确定图像包括拍摄限制元素,则智能眼镜100或连接到智能眼镜100的设备或服务器修改图像。详细地,修改图像以使得拍摄限制元素不可辨别或不可识别。后面将详细描述修改图像的方法。
同时,用户A可以通过使用除了智能眼镜100外的各种设备中的任意一个来捕获图像。例如,用户A可以使用诸如智能手表100-1的可穿戴设备、诸如智能电话100-2或平板个人计算机(PC)100-5的移动设备、或诸如相机100-3或者照相摄像机100-4的一般拍摄设备。然而,对本领域技术人员显而易见的是,能够捕获图像或运动图像中的各种设备中的任意一个是可用的。
通常被大多数用户携带的设备是智能电话100-2,并且极有可能的是,在智能电话100-2中可以存储执行一个或多个示例性实施例所需的、关于用户的信息。另外,由于智能电话100-2能够修改图像,因此假设下文中描述的用户设备是智能电话100-2。
图2是根据示例性实施例的修改包括拍摄限制元素的图像的方法的流程图。
参照图2,在操作201中,通过使用用户设备来捕获图像。在这里,图像可以是通过使用诸如相机或照相摄像机的一般拍摄设备、诸如智能眼镜或智能手表的可穿戴设备、以及诸如智能电话或平板PC的移动设备中的任何一个,或者通过使用能够进行拍摄的任何其它各种设备来捕获的。
在操作202中,用户设备识别包括在图像中的人、包括在图像中的对象、以及拍摄图像的位置中的至少一个。在这里,用户设备可以通过使用,例如,面部识别方法来识别包括在图像中的人。然而,示例性实施例不限于此,并且用户设备可以通过使用用于辨别人的各种方法的任一种来识别包括在图像中的人。面部识别方法包括从图像中检测面部,并从检测到的面部提取特征。
同时,用户设备可以通过检测包括在图像中的对象并且提取检测到的对象特征,诸如形状和颜色,来识别包括在图像中的对象。
同时,用户设备可以通过使用识别绝对位置的方法、确定位置是否为特定地方的方法、或确定位置是否为拍摄限制位置的方法来识别捕获图像的位置。
首先,识别绝对位置的方法可以通过在捕获图像的时间点,经由嵌入在用户设备中的全球定位系统(GPS)或基于Wi-Fi的定位系统(WPS)识别诸如纬度和经度的绝对位置来执行。
第二,确定位置是否为特定地方的方法可以通过在捕获图像的时间点,确定用户设备是否位于特定地方,诸如例如,博物馆、饭店或教堂,来执行。例如,可以经由与特定地方的服务器或无线接入点通信来确定用户设备是否为特定地方。可替换地,用户设备的绝对位置可以通过使用用户设备的GPS来识别,而且用户设备的绝对位置可以与预先存储在数据库中的特定地方的绝对位置进行比较。
第三,确定位置是否为拍摄限制位置的方法可以通过在捕获图像的时间点,确定用户设备是否位于拍摄限制位置来执行。例如,用户设备可以通过分析包括在图像中的标志,诸如不准拍摄区域标志,来确定该位置是否为不准拍摄区域。可替换地,用户设备的绝对位置可以通过使用用户设备的GPS来识别,而且用户设备的绝对位置可以与预先存储在数据库中的不准拍摄区域的绝对位置进行比较。
在识别人、对象和位置中的至少一个之后,在操作203中,用户设备基于用户设备的用户和所识别的人、所识别的对象和所识别的位置之间的关系中的至少一个,确定图像是否包括拍摄限制元素。换句话说,用户设备确定图像是否需要被修改。如果图像包括拍摄限制元素,则用户设备确定图像需要被修改,并且如果图像不包括拍摄限制元素,则用户设备确定图像不需要被修改。
在这里,用户设备的用户和所识别的人之间的关系是拍摄者和被拍摄者之间的关系,并且确定拍摄者和被拍摄者之间是否认识、被拍摄者是否允许拍摄者对他/她进行拍摄、或者被拍摄者是否是名人并且是否限制拍摄者进行拍摄。如果基于该关系确定限制对被拍摄者的拍摄,则确定图像包括拍摄限制元素。
同时,如果识别的对象是拍摄限制对象,则用户设备确定图像包括拍摄限制元素。拍摄限制对象可以是受版权保护的对象,诸如艺术品,或者可以是由于各种原因限制普通人拍摄的任何对象。
通过使用各种方法中的任一种来确定识别的对象是否是拍摄限制对象。例如,用户设备的存储器可以存储拍摄限制对象的数据库,并且用户设备可以将识别的对象与存储的数据库进行比较。可替换地,外部服务器可以存储拍摄限制对象的数据库,并且用户设备可以与外部服务器进行通信以访问数据库,并且将识别的对象与所存储的数据库进行比较。可替换地,用户设备可以将识别的对象的图像发送到外部服务器,然后外部服务器可以将所发送的图像与存储在它的数据库中的图像进行比较,并且将比较结果发送到用户设备。可替换地,当用户输入特定地方,诸如博物馆时,用户设备可以从由所述特定地方管理的服务器接收所述特定地方中的拍摄限制对象的数据库,并且将识别的对象与数据库进行比较。确定识别的对象是否为拍摄限制对象可以经由其他各种方法中的任一种来执行。
同时,如果识别的位置是拍摄限制位置,则用户设备确定图像包括拍摄限制元素。拍摄限制位置可以是由于安全,诸如军事安全区,或者由于版权,诸如音乐会场地,而被限制拍摄的位置。此外,位置可以因为各种原因限制未经授权的人进行拍摄。
通过使用各种方法中的任一种来确定识别的位置是否是拍摄限制位置。例如,用户设备的存储器可以存储拍摄限制位置的数据库,并且用户设备可以将识别的位置与存储的数据库进行比较。可替换地,外部服务器可以存储拍摄限制位置的数据库,并且用户设备可以与外部服务器进行通信以访问数据库,并且将识别的位置与数据库进行比较。可替换地,用户设备可以通过识别和分析包括在图像中的标志,诸如不准拍摄区域标志,来确定识别的位置是否是不准拍摄区域。
如果在操作204中确定图像包括拍摄限制元素,则在操作205中用户设备可以修改图像。详细地,用户设备可以修改图像以使得包括在图像中的拍摄限制元素不可辨别或不可识别。例如,用户设备可以对拍摄限制的人或对执行马赛克处理或模糊处理。可替换地,用户设备可以利用通过排除拍摄限制的人或对象所捕获的图像的画面,或者预设的替换图像来合成(compose)拍摄限制的人或对象。如果图像在拍摄限制位置被捕获,则用户设备可以执行马赛克处理或模糊处理以使得图像不可辨别或不可识别,或者可以通过预设的替换图像来合成图。此外,用户设备可以修改图像以使得图像中包括的拍摄限制元素不可辨别或不可识别。将在后面详细描述修改图像的方法。
如果在操作204中确定图像不包括拍摄限制元素,则该方法结束而不修改图像。
已经描述的是,由用户设备执行图2的操作202至205,但是可替换地,步骤202至205中的一些或全部可以通过连接到用户设备的设备或服务器执行,如将在下面详细描述的。
图3至图6是根据示例性实施例的用于描述修改包括拍摄限制元素的图像的方法的图。
参照图3,用户A的智能电话100-2捕获包括用户B和用户C的图像。然后,智能电话100-2确定图像是否包括拍摄限制的人,并且如果图像包括限制拍摄的人则修改图像。
在图4至图6中,智能电话100-2通过使用不同的方法确定图像是否包括拍摄限制的人,并且修改图像。
参照图4,智能电话100-2通过对原始图像400a执行面部识别来识别用户B和用户C的面部。智能电话100-2可以确定用户A和用户B之间以及用户A和用户C之间的亲密程度是否低于预定水平。为此,智能电话100-2将识别的面部与在存储于智能电话100-2中的地址簿中所包括的照片进行比较。存储在智能电话100-2中的地址簿可以连同人的名称和电话号码一起存储人的照片。
在图4中,作为识别的面部与地址簿中所包括的照片的比较结果,智能电话100-2确定用户B的照片在地址簿中。智能电话100-2确定用户A和用户B之间的亲密程度等于或高于预定水平,而且用户B是拍摄允许的人。
同时,当智能电话100-2无法在地址簿中找到用户C的照片时,智能电话100-2确定用户A和用户C之间的亲密程度低于预定水平,而且用户C是拍摄限制的人。换句话说,智能电话100-2可以确定用户A和用户C彼此无关。因此,智能电话100-2确定原始图像400a包括拍摄限制元素并且修改原始图像400a。例如,智能电话100-2可以将与用户C相对应的图像的一部分修改为难以识别或不可辨别。详细地,如图4中所示,智能电话100-2对于作为拍摄限制的人的用户C的面部区域执行马赛克处理,并输出修改的图像400b。
在示例性实施例中,马赛克处理涉及以低分辨率输出用户C的面部区域。低分辨率将是使面部区域将不可识别或不可辨别的水平。
拍摄限制元素是通过将识别的面部与包括在地址簿中的照片进行比较来确定的,因为非常有可能的是,当一个人被注册在地址簿中时,这个人认识智能电话100-2的用户A。换句话说,智能电话100-2通过使用地址簿来确定用户A和被拍摄者之间的关系,并且基于该关系确定在原始图像400a中是否包括拍摄限制元素。
参照图5,智能电话100-2通过对原始图像500a执行面部识别来识别用户B和用户C的面部。智能电话100-2可以确定用户A和用户B之间以及用户A和用户C之间的亲密程度是否低于预定水平。为此,智能电话100-2将识别的面部与存储在智能电话100-2的相册中的照片进行比较。
在图5中,智能电话100-2通过比较识别的面部与照片来确定用户B被包括在至少一个照片中。智能电话100-2确定用户A和用户B之间的亲密程度等于或高于预定水平,而且用户B是拍摄允许的人。
同时,当智能电话100-2无法在相册中找到用户C的照片时,智能电话100-2确定用户A和用户C之间的亲密程度低于预定水平,而且用户C是拍摄限制的人。换句话说,智能电话100-2可以确定用户A和用户C彼此无关。因此,智能电话100-2确定原始图像500a包括拍摄限制元素并且修改原始图像500a。例如,智能电话100-2可以将与用户C相对应的图像的一部分修改为难以识别或不可辨别。详细地,如图5中所示,智能电话100-2对于作为拍摄限制的人的用户C的面部区域执行马赛克处理,并输出修改的图像500b。
拍摄限制元素是通过将识别的面部与包括在相册中的照片进行比较来确定的,因为非常有可能的是,当一个人被包括在相册中时,这个人认识智能电话100-2的用户A。换句话说,智能电话100-2通过使用地址簿来确定用户A和被拍摄者之间的关系,并且基于该关系确定在原始图像500a中是否包括拍摄限制元素。
参照图6,智能电话100-2通过对原始图像600a执行面部识别来识别用户B和用户C的面部。智能电话100-2可以确定用户A和用户B之间以及用户A和用户C之间的亲密程度是否低于预定水平。为此,智能电话100-2通过分析用户A的社交网络服务(SNS)使用记录来确定用户A与用户B和C之间关系。在示例性实施例中,SNS可以是基于网络或基于互联网的在线SNS,其可以是构建社会网络或社会关系的平台。
在图6中,如果通过分析SNS的使用记录确定用户A和用户B之间的亲密程度等于或高于预定水平,则智能电话100-2确定用户B是拍摄允许的人。例如,亲密程度可以从以下几个因素来确定:在SNS上用户A和B是否是朋友、用户A和B中的一个用户是否写过关于另一用户的帖子的评论。基于用户设置或默认地,每个因素可以具有系统的权重或不同的权重。例如,权重“3”可以给予在SNS上用户A和B是朋友的事实,而且权重“0.2”可以给予用户A或用户B之一在另一用户的帖子上做出的每条评论。当预定水平被设置为“10”时,如果用户A和B被注册为朋友(即,权重“3”),而且他们在对方的帖子上做出100条评论(即,权重“20”),则亲密程度(即,“23”)被确定为高于预定水平(即,“10”)。
同时,如果智能电话100-2通过分析SNS使用记录确定用户A和用户C之间的亲密程度低于预定水平,则智能电话100-2确定用户C是拍摄限制的人。换句话说,智能电话100-2可以确定用户A和用户C彼此无关。因此,智能电话100-2确定原始图像600a包括拍摄限制元素并且修改原始图像600a。例如,智能电话100-2可以将与用户C相对应的图像的一部分修改为难以识别或不可辨别。详细地,如图6中所示,智能电话100-2对于作为拍摄限制的人的用户C的面部区域执行马赛克处理,并输出修改的图像600b。
在确定用户A和用户B以及用户A和用户C之间的亲密程度时,智能电话100-2可以一起分析地址簿、相册、和SNS使用。例如,智能电话100-2可以考虑以下因素确定用户A和用户B之间的亲密程度:用户B是否被注册在用户A的地址簿中,在用户A的相册中存储的用户B的图片的数目,用户A和B在SNS上是否朋友,以及用户A和B之一是否写过关于对方帖子的评论。本示例性实施例不限于此,并且其他因素可以在确定拍摄者和被拍摄者之间的亲密程度时考虑。
图7至图12是根据示例性实施例的用于描述修改包括拍摄限制的人的图像的方法的图。
在图7中,对拍摄限制元素执行模糊处理。参照图7,原始图像700a包括用户B和C。在这里,假设用户C是拍摄限制元素。因此,原始图像700a上显示用户C的区域被模糊。在修改的图像700b中,用户C被模糊。同时,由于对图像的特定区域执行模糊处理的方法是广泛公知的,因此这里不提供它们的细节。
在图8中,拍摄限制元素的代替图像(replacementimage)由背景图像合成。参照图8,原始图像800a包括用户B和C。在这里,假设用户C是拍摄限制元素。因此,用户C由背景图像合成。
通过从原始图像800a删除用户C并且通过利用与用户C周围的背景图像类似的图像来替换被删除的用户C的区域,用户C利用背景图像合成。
参照图8的修改的图像800b,用户C的边缘3-1内的区域由与边缘3-1外的像素相同或相似的像素值来填充。例如,在边缘3-1内且与之相邻的像素802被设定为具有与在边缘3-1外且与之相邻的像素801相同或相似的颜色、饱和度和亮度。另外,在边缘3-1内的像素当中的、相邻于像素802的像素被设定为具有与像素802相似的颜色、饱和度和亮度。同时,由于一般使用在现有技术中的各种技术中的任一种都可以应用于利用背景图像合成图像的特定区域的方法,因此这里不提供它们的细节。
在图9中,拍摄限制元素的代替图像由预先存储的背景图像合成。参照图9,原始图像900a包括用户B、用户C和结构901。在这里,假设用户C是拍摄限制元素。在原始图像900a中,用户C和结构902彼此部分重叠。因此,用户C被从原始图像900a中删除,而且被删除的用户C的区域利用预先存储的结构902图像来填充。参照修改的图像900b,与结构902重叠的用户C的区域被替换为结构902的预先存储的图像。在这里,结构902的整个图像可以预先存储在用于修改原始图像900a的用户设备或服务器中。
在图10中,拍摄限制元素的代替图像是由预先存储的替换图像1001合成。参照图10,原始图像1000a包括用户2和3。在这里,假设用户3是拍摄限制元素。修改的图像1000b通过利用预先存储的替换图像1001替换用户3来删除。在图10中,预先存储的替换图像1001被选择为替换用户C的面部。然而,可替换地,预先存储的替换图像1001可以是用于替换用户C的图像。
当一个人的面部的代替图像(即,拍摄限制元素的代替图像)是由替换图像生成的时候,替换图像可以基于原始图像中面部的方向和角度来编辑或修改从而获得自然图像,如将在下面参照图11和图12详细描述的。
参照图11,原始图像1100a中人的面部朝前。因此,如修改的图像1100b中所示,通过根据原始图像1100a中面部的方向和角度而朝前的替换图像1110,来合成这个人的面部。
参照图12,原始图像1200a中人的面部朝向侧面部。因此,如修改的图像1200b中所示,通过根据原始图像1200a中面部的方向和角度而朝向侧面的替换图像1210,来合成这个人的面部。
这样,人的面部可以通过根据原始图像中面部的方向和角度的替换图像来合成,并且因此可以获得自然图像。
图13至图16是根据示例性实施例的修改包括拍摄限制的人的图像的方法的流程图。
参照图13,在操作1301中,用户设备捕获包括人的图像。在这里,用户设备可以是诸如相机或照相摄像机的一般拍摄设备、诸如智能眼镜或智能手表的可穿戴设备、以及诸如智能电话或平板PC的移动设备中的任何一个,或者可以是能够进行拍摄的任何其它各种设备。
在操作1302中,用户设备对于图像中的人执行面部识别。详细地,面部识别可以通过从图像中检测面部区域并从检测到的面部区域提取特征来执行。
在操作1303中,用户设备通过使用存储在用户设备中的数据来确定拍摄者(即,用户设备的用户)与被拍摄者(即,图像中的人)之间的关系。换句话说,用户设备确定拍摄者和被拍摄者是否彼此认识。
在操作1304中,用户设备确定图像是否包括与拍摄者无关的人。此时,确定拍摄者和被拍摄者之间的关系、以及确定图像是否包括与拍摄者无关的人的方法可以变化,而且一些示例性实施例将在下面参照图14至图16来描述。
如果在操作1304中确定图像包括与拍摄者无关的人,则在操作1305中用户设备对与拍摄者无关的人执行保护处理。换句话说,用户设备修改图像以使得与拍摄者无关的人不可辨别。修改图像的方法已经在上面参照图7至图12进行了描述。
参照图14,在操作1401中,智能电话捕获包括人的图像。
在操作1402中,智能电话对包括在图像中的人执行面部识别。详细地,面部识别可以通过从图像中检测面部区域并从检测到的面部区域提取特征来执行。
在操作1403中,智能电话确定这个人是否在智能电话的地址簿中。详细地,智能电话确定这个人是否与包括在地址簿中的至少一个照片匹配。如果确定这个人不在地址簿中,则执行操作1404。
在操作1404中,智能电话对这个人执行马赛克处理。可替换地,智能电话可以对这个人执行模糊处理或背景图像合成处理。
参照图15,在操作1501中,智能电话捕获包括人的图像。
在操作1502中,智能电话对包括在图像中的人执行面部识别。详细地,面部识别可以通过从图像中检测面部区域并从检测到的面部区域提取特征来执行。
在操作1503中,智能电话确定这个人是否被包括在存储在智能电话的相册中的照片中。详细地,智能电话确定这个人是否被包括在相册中所包括的至少一个照片中。如果确定这个人没有被包括在至少一个照片中,则执行操作1504。
在操作1504中,智能电话对这个人执行马赛克处理。可替换地,智能电话可以对这个人执行模糊处理或背景图像合成处理。
参照图16,在操作1601中,智能电话捕获包括人的图像。
在操作1602中,智能电话对包括在图像中的人执行面部识别。详细地,面部识别可以通过从图像中检测面部区域并从检测到的面部区域提取特征来执行。
在操作1603中,智能电话分析拍摄者,即智能电话的用户,的SNS使用记录。智能电话可以存储使用智能电话的用户的各种记录,并且可以分析SNS使用记录。
在操作1604中,智能电话确定这个人是否在SNS上被注册为拍摄者的朋友。如果确定这个人在SNS上未被注册为拍摄者的朋友,则执行操作1605。
在操作1605中,智能电话对这个人执行马赛克处理。可替换地,智能电话可以对这个人执行模糊处理或背景图像合成处理。
同时,在图14至图16的方法中,智能电话被用作用户设备,但是可替换地,可以使用能够捕获图像并存储地址簿的各种设备中的任一种,诸如平板PC。
图17和图18是根据示例性实施例的用于描述通过使用至少两个用户设备来修改包括拍摄限制元素的图像的方法的图。详细地,在图17和图18的方法中,拍摄和图像处理由不同的用户设备执行。
参照图17,用户A可以通过使用作为可穿戴的设备的智能眼镜100来捕获包括人的图像。在这里,图像包括用户B和C。智能眼镜100将图像发送到智能电话100-2,它也是用户A的设备。在接收到图像时,智能电话100-2确定图像是否包括拍摄限制元素,并且如果确定图像包括拍摄限制元素,则智能电话100-2修改图像。
参照图18,智能电话100-2对从智能眼镜100接收到的原始图像器1800a中包括的人执行面部识别。在识别原始图像器1800a中包括的用户B和C的面部之后,智能电话100-2将识别的面部与存储在智能电话100-2中的地址簿中的照片进行比较。存储在智能电话100-2中的地址簿可以存储人的照片以及人的名称和电话号码。
在图18中,如果智能电话100-2通过比较识别的面部与地址簿中的照片确定用户B的照片在地址簿中,则智能电话100-2确定用户B是拍摄允许的人。同时,当在地址簿中没有找到用户C的照片时,智能电话100-2确定用户C是拍摄限制的人。因此,智能电话100-2确定图像包括拍摄限制元素并且修改图像。例如,智能电话100-2可以通过利用背景图像合成作为拍摄限制的人的用户C来输出修改的图像器1800b。利用背景图像合成用户C的方法已经在上面参照图8详细地描述。
可替换地,智能电话100-2可以通过将从原始图像1800a识别的面部与存储在智能电话100-2的相册中的照片进行比较,或者通过分析用户A的SNS使用记录来确定拍摄限制的人。这些方法已经在上面参照图5和图6进行了描述。
另外,在图18中,智能电话100-2利用背景图像合成用户C,但是可替换地,原始图像器1800a可以通过对用户C执行马赛克处理或模糊处理,或者通过利用替换图像合成用户C来修改,如上参考图7至图12所描述的。
图19根据示例性实施例的用于描述通过使用至少两个用户设备来修改包括拍摄限制元素的图像的方法的图。
参照图19,在操作1901中,可穿戴设备捕获包括人的图像。在这里,可穿戴设备可以具有照相功能,诸如智能眼镜或智能手表。
在操作1902中,可穿戴设备发送图像到智能电话。在这里,图像被发送到可穿戴设备的用户所拥有的智能电话,而且可以使用诸如平板PC的设备来代替智能电话。
在操作1903中,智能电话对包括在图像中的人执行面部识别。详细地,面部识别是通过从图像中检测面部区域并从检测到的面部区域提取特征来执行。
在操作1904中,智能电话确定这个人是否在智能电话的地址簿中。换句话说,智能电话将这个人与存储在地址簿中的照片进行比较以确定这个人是否被包括在至少一个照片中。
如果确定这个人不在地址簿中,则在操作1905中,利用背景图像来合成这个人的代替图像。
图20至图22是根据示例性实施例的用于描述经由与被拍摄者的设备进行通信来修改包括拍摄限制元素的图像的方法的图。详细地,根据图20至图22的方法,被拍摄者的设备发送对于是否允许拍摄者的设备进行拍摄的响应。
参照图20,用户A的智能电话100-2捕获包括用户B的图像。在捕获图像时,智能电话100-2将拍摄通知发送到作为被拍摄者的用户B的智能电话200。在这里,拍摄通知可以包括标识用户A的识别(ID)信息
在接收到拍摄通知时,智能电话200通过使用包括在拍摄通知中的ID信息确定拍摄者是用户A,并确定是否允许拍摄者(用户A)捕获用户B的图像。通过使用包括在拍摄通知中的ID信息辨别拍摄者并确定是否允许拍摄的方法将在下面参照图21详细描述。
在确定是否允许拍摄之后,智能电话200将响应发送到智能电话100-2。智能电话100-2基于该响应来修改图像或在不修改的情况下存储图像。
在图21中,用户A的智能电话100-2将拍摄通知发送到用户B的智能电话200,而且智能电话200确定是否允许拍摄并且将响应发送到智能电话100-2。
参照图21,智能电话100-2在拍摄用户B的时候将包括用户A的ID信息的拍摄通知发送到智能电话200。在这里,包括在拍摄通知中的ID信息可以包括用户A的名称和照片。
智能电话200来根据包括在从智能电话100-2接收到的拍摄通知中的用户A的ID信息来确定是否允许用户A拍摄。详细地,智能电话200将包括在ID信息中的用户A的照片与存储在地址簿中的照片进行比较,或者将包括在ID信息中的用户A的名称与存储在地址簿中的名称进行比较。如果确定用户A的照片或名称不在地址簿中,则智能电话200不允许拍摄。另一方面,如果用户A的照片或名称在地址簿中,则智能电话200允许拍摄。
可替换地,智能电话200可以通过将包括在ID信息中的用户A的照片与存储在智能电话200的相册中的照片进行比较,或者通过分析用户B的SNS使用记录,来确定是否允许拍摄。
在图21中,如果用户A的照片不在智能电话200的地址簿中,则智能电话200确定不允许拍摄,并且将禁止拍摄消息发送到智能电话100-2。此时,智能电话200将用户B的照片连同禁止拍摄消息一起发送到智能电话100-2。
然后,参照图22,智能电话100-2对原始图像1600a执行面部识别。在执行面部识别之后,智能电话100-2将从智能电话200接收到的用户B的照片连同禁止拍摄消息一起与在原始图像1600a中识别的面部进行比较。如果识别的面部与用户B的照片相匹配,则智能电话100-2对用户B的原始图像1600a的面部区域执行马赛克处理,并输出修改的图像1600b。可替换地,智能电话100-2可以通过对用户B执行模糊处理,通过利用背景图像来合成用户B的代替图像,或者通过利用替换图像来合成用户B的代替图像来修改原始图像1600a。
图23和图24是根据示例性实施例的经由与被拍摄者的设备进行通信来修改包括拍摄限制元素的图像的方法的流程图。
参照图23,在操作2301中,拍摄者的设备将包括拍摄者的ID信息的拍摄通知发送到被拍摄者的设备。例如,拍摄者的设备可以在拍摄期间搜索位于特定范围内的设备,并且将拍摄通知发送到搜索到的设备。设备可以被搜索到,并且拍摄通知可以通过使用诸如Wi-Fi直连或蓝牙的近场通信来发送,而且可能需要被拍摄者的设备的批准以发送拍摄通知。
在操作2302中,被拍摄者的设备基于包括在拍摄通知中的拍摄者的ID信息来确定是否允许拍摄。
如果在操作2303中确定允许拍摄,则执行操作2307。在操作2307中,被拍摄者的设备将拍摄允许消息发送到拍摄者的设备。然后,拍摄者的设备确定所捕获的图像中不包括拍摄限制元素,并存储所捕获的图像而无需修改。
如果在操作2303中确定不允许拍摄,则执行操作2304。在操作2304中,被拍摄者的设备将被拍摄者的照片连同禁止拍摄消息一起发送到拍摄者的设备。
在操作2305中,拍摄者的设备对包括在捕获到的图像中的人执行面部识别。
在操作2306中,拍摄者的设备将从捕获到的图像中识别的面部与被拍摄者的照片进行比较,并且对与被拍摄者的照片匹配的面部执行保护处理。换句话说,对与被拍摄者的照片匹配的面部执行马赛克处理、模糊处理、利用背景图像的合成处理、或利用替换图像的合成处理。
图24是通过使用被拍摄者的设备的地址簿来确定是否允许拍摄的方法的流程图。
参照图24,在操作2401中,拍摄者的智能电话将包括拍摄者的ID信息的拍摄通知发送到被拍摄者的智能电话。
在操作2402中,被拍摄者的智能电话通过使用拍摄者的ID信息来确定拍摄者是否在地址簿中。详细地,将包括在ID信息中的拍摄者的名称或照片与存储在地址簿中的名称或照片进行比较。可替换地,被拍摄者的智能电话可以通过将拍摄者的ID信息与存储在被拍摄者的智能电话中的相册进行比较,或者通过分析被拍摄者的SNS使用记录来确定是否允许拍摄。
如果在操作2402中确定拍摄者在地址簿中,则确定允许拍摄,并且在操作2406中被拍摄者的智能电话将拍摄允许消息发送到拍摄者的智能电话。
如果在操作2402中确定拍摄者不在地址簿中,则确定不允许拍摄,并且执行操作2403。
在操作2403中,被拍摄者的智能电话将被拍摄者的照片连同拍摄禁止消息一起发送到拍摄者的智能电话。
在操作2404中,拍摄者的智能电话对包括在捕获到的图像中的人执行面部识别。
在操作2405中,拍摄者的智能电话将从识别的面部与被拍摄者的照片进行比较,并且对与被拍摄者的照片匹配的面部执行保护处理。换句话说,对与被拍摄者的照片匹配的面部执行马赛克处理、模糊处理、利用背景图像的合成处理、或利用替换图像的合成处理。
图25和图26是根据示例性实施例的用于描述通过使用服务器修改包括拍摄限制元素的图像的方法的图。
参照图25,用户A的智能电话100-2捕获包括用户B和C的原始图像,并且将原始图像发送到用于图像处理的服务器300。服务器300确定拍摄限制元素是否被包括在原始图像中,并且如果确定拍摄限制元素被包括,则修改原始图像并且将修改的图像发送到用户A的智能电话100-2。由服务器300确定拍摄限制元素是否被包括在图像中的方法将参照图26详细描述。
参照图26,服务器300对从用户A的智能电话100-2接收到的原始图像2600a执行面部识别,以便识别用户B和C的面部。服务器300通过参照预先存储在服务器300中的隐私保护信息2610来确定是否用户B和C是否允许用户A获取其相片。
这里,隐私保护信息2610相对于至少一个用户来定义被允许拍摄的其他用户。参照图26,根据隐私保护信息2610中的用户来映射被允许拍摄的其他用户。例如,用户A不允许任何人拍摄他/她自己。此外,用户B只允许用户A拍摄他/她自己,而且用户C允许用户B和用户D拍摄他/她自己。
服务器300将从原始图像2600a识别的用户B和C与隐私保护信息2610进行比较,以确定否允许拍摄。根据隐私保护信息2610,因为用户B允许用户A但是不允许用户C拍摄拍摄他/她自己的照片,所以服务器300确定用户C是拍摄限制元素。
同时,为了确定是否允许拍摄,服务器300需要检查原始图像2600a的拍摄者是用户A。因此,用户A的智能电话100-2可以将用户A的ID信息连同原始图像2600a一起发送到服务器300。
在确定用户C是拍摄限制元素之后,服务器300通过对原始图像2600a执行用户C马赛克处理来生成修改的图像2600b,并且将修改的图像2600b发送到用户A的智能电话100-2。可替换地,服务器300可以通过执行模糊处理、利用背景图像的合成处理、或利用替换图像的合成处理来修改原始图像2600a。
图27是根据示例性实施例的通过使用服务器修改包括拍摄限制元素的图像的方法的流程图。
参照图27,在操作2701中,用户设备捕获图像。
在操作2702中,用户设备将图像发送到服务器,并请求服务器执行图像处理。
在操作2703中,服务器对从用户设备接收到的图像中的人执行面部识别。
在操作2704中,服务器通过参照预先存储的隐私保护信息确定识别的人是否允许被拍摄。换句话说,服务器确定识别的人是否允许被图像的拍摄者拍摄。通过使用隐私保护信息确定是否允许拍摄的方法已经在上面参照图26进行了描述。
如果在操作2705中确定识别的人不允许被拍摄,则在操作2706中,服务器对识别的人执行保护处理。在操作2707中,服务器将修改的图像发送到用户设备。
如果在操作2705中确定识别的人允许被拍摄,则在操作2707中,服务器在不修改的情况下将发送图像到用户设备。
图28至图31是根据其它示例性实施例用于描述通过使用服务器修改包括拍摄限制元素的图像的方法的图。详细地,根据图28至图31的方法,执行拍摄的用户设备在将原始图像发送到服务器之前,使用由服务器管理的加密密钥对原始图像进行编码,因此拍摄者无法访问未经服务器处理的原始图像。
参照图28,用户A的智能电话100-2从服务器300接收加密密钥。在这里,加密密钥是由服务器300管理的。用户A的智能电话100-2捕获包括用户B和C的图像,并通过使用从服务器300接收的加密密钥对图像进行编码。在这里,由于用户A的智能电话100-2在捕获图像之后立即对图像编码,因此用户A无法访问图像。
如图29中所示,用户A的智能电话100-2将编码的图像发送到服务器300。
参照图30,服务器300对编码的图像进行解码。因为用于对捕获的图像进行编码的加密密钥是由服务器300管理的,所以服务器300可以使用加密密钥来对编码的图像进行解码。服务器300通过对解码图像执行面部识别来识别用户B和C的面部。在执行面部识别之后,服务器300通过使用预先存储在服务器300中的隐私保护信息3010来确定用户B和C是否允许被拍摄。通过使用隐私保护信息确定是否允许拍摄的方法已经在上面参照图26进行了描述。
如果基于隐私保护信息3010确定不允许拍摄用户C,则服务器300可以通过对用户C执行马赛克处理来修改解码图像
然后,如图31中所示,服务器300将修改的图像发送到用户A的智能电话100-2。
图32是根据另一示例性实施例的通过使用服务器修改包括拍摄限制元素的图像的方法的流程图。
参照图32,在操作3201中,用户设备捕获包括人的图像。
在操作3202中,用户设备通过使用从服务器接收到的加密密钥对图像进行编码。在这里,加密密钥是由服务器管理的。
在操作3203中,用户设备将编码的图像发送到服务器。
在操作3204中,服务器对从用户设备接收到的编码的图像解码,并且执行面部识别以识别包括在解码图像中的人。
在操作3205中,服务器通过使用预先存储的隐私保护信息确定识别的人是否允许被拍摄。通过参照隐私保护信息确定是否允许拍摄的方法已经在上面参照图26进行了描述。
在操作3206中,服务器对不允许被拍摄的人执行保护处理。例如,服务器可以对不允许被拍摄的人执行马赛克处理、模糊处理、利用背景图像的合成处理、或利用替换图像的合成处理。
在操作3207中,服务器将修改的图像发送到用户设备。
图33至图37是根据示例性实施例的用于描述修改包括拍摄限制对象的图像的方法的图。
参照图33,用户A的智能电话100-2捕获包括用户B和雕塑20的图像。用户A的智能电话100-2将图像发送到服务器300以请求服务器300执行图像处理。服务器300确定图像是否包括拍摄限制元素,并且如果包括拍摄限制元素,则修改图像并且将修改的图像发送到用户A的智能电话100-2。由服务器300确定图像是否包括拍摄限制元素以及修改图像的方法将在下面参照图34至图37进行描述。
参照图34,服务器300识别包括在原始图像3400a中的对象。换句话说,通过提取包括在原始图像3400a中的雕塑20的特征,诸如形状和颜色,来识别雕塑20。服务器300确定雕塑20是否在存储于服务器300中的拍摄限制对象数据库中。拍摄限制对象数据库存储拍摄限制对象的照片。
如果雕塑20在拍摄限制对象数据库中,则服务器300确定雕塑20是拍摄限制元素。服务器300对原始图像3400a中的雕塑20执行马赛克处理以生成修改的图像3400b,并且将修改的图像3400b发送到用户A的智能电话100-2。
同时,在图35至图37中,通过使用不同的方法修改图像。由服务器300执行的识别图像中的对象并且通过使用预先存储的拍摄限制对象数据库来确定图像是否包括拍摄限制元素的方法与参照图34所描述的方法相同。然而,在修改图像时,在图35中,通过执行模糊过程来生成修改的图像3500b。在图36中,通过执行如上参照图8所述的利用背景图像的合成处理来生成修改的图像3500b。在图37中,通过合成替换图像3710来生成修改的图像3500b。
图38是根据示例性实施例的修改包括拍摄限制对象的图像的方法的流程图。
参照图38,在操作3801中,用户设备捕获图像。
在操作3802中,用户设备将图像发送到服务器。
在操作3803中,服务器识别包括在图像中的对象。详细地,检测包括在图像中的对象,并且提取检测到的对象的特征,诸如形状和颜色。
在操作3804中,服务器确定识别的对象是否包括在预先存储在服务器中的拍摄限制对象数据库中。拍摄限制对象数据库存储拍摄限制对象的列表。
如果在操作3804中确定识别的对象在拍摄限制对象数据库中,则在操作3805中服务器通过对识别的对象执行保护处理来修改图像,并且在操作3806中将修改的图像发送到用户设备。
如果在操作3804中确定识别的对象不在拍摄限制对象数据库中,则在操作3806中服务器在不修改的情况下将图像发送到用户设备。
图39至图41是根据示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的方法的图。
参照图39,用户A的智能电话100-2捕获被拍摄限制的会场的图像,并且将发送到图像服务器300以请求服务器300执行图像处理。此时,智能电话100-2将位置信息连同图像一起发送到服务器300。位置信息是关于由智能电话100-2捕获图像的位置的信息,其中智能电话100-2通过使用嵌入其中的GPS来确定位置,并且将确定的位置发送到服务器300。可替换地,智能电话100-2可以使用各种方法中的任一方法来生成位置信息,例如,通过使用连接到智能电话100-2的基站或接入点(AP)来确定位置。
服务器300通过使用位置信息来确定图像是否包括拍摄限制元素。由服务器300确定图像是否包括拍摄限制元素的方法将在下面参照图40和图41详细描述。
如果确定图像包括拍摄限制元素,则服务器300修改图像并且将修改的图像发送到智能电话100-2。
参照图40,服务器300通过分析从智能电话100-2接收到的位置信息来确定捕获图像的位置,并且确定所确定的位置是否是拍摄限制位置。换句话说,服务器300确定所确定的位置是否在预先存储在服务器300中的拍摄限制位置数据库中。在这里,拍摄限制位置数据库可以存储关于限制未经授权的人进行拍摄的位置,诸如音乐会场地、博物馆和军事安全区,的信息。当服务器300确定所确定的位置是存储在数据库中的位置时,服务器300可以确定数据库是否存储了与所确定的位置的名称完全匹配位置的名称。可替换地,服务器300可以评估所确定的位置和存储在数据库中的位置之间的相似性,并基于相似性来确定所确定的位置是否在数据库中。
如果确定所确定的位置在拍摄限制位置数据库中,则服务器300确定图像包括拍摄限制元素并且修改图像。在图40中,服务器300对原始图像4000a执行马赛克处理,以生成修改的图像4000b。
参照图41,服务器300通过分析从智能电话100-2接收到的位置信息来确定位置,并确定该位置是否是拍摄限制位置。换句话说,服务器300确定所确定的位置是否在预先存储在服务器300中的拍摄限制位置数据库中。在这里,拍摄限制位置数据库可以存储关于限制未经授权的人进行拍摄的位置,诸如音乐会场地、博物馆和军事安全区,的信息。
如果确定所确定的位置是在拍摄限制位置数据库中,则服务器300确定图像包括拍摄限制元素并且修改图像。在图41中,服务器300通过利用替换图像合成的原始图像4100a来生成修改的图像4100b。可替换地,服务器300可以通过对原始图像4100a执行模糊处理来修改原始图像4100a。
同时,在图39至图41中,服务器300修改图像,但是可替换地,服务器300可以仅通过分析从智能电话100-2接收到的位置信息来确定所确定的位置是否是拍摄限制位置,并且将确定的结果发送到智能电话100-2。然后,智能电话100-2可以基于接收到的结果修改图像。
图42是根据示例性实施例的修改在拍摄限制位置处捕获的图像的方法的流程图。
参照图42,在操作4201中,用户设备捕获图像。在这里,用户设备可以是诸如相机或照相摄像机的一般拍摄设备、诸如智能眼镜或智能手表的可穿戴设备、以及诸如智能电话或平板PC的移动设备中的任何一个,或者可以是能够进行拍摄的任何其它各种设备。
在操作4202中,用户设备确定捕获图像的位置,并且将位置信息发送到服务器。在这里,用户设备可以通过使用嵌入其中的GPS来确定位置。可替换地,用户设备可以通过使用连接到用户设备的基站或AP的位置来确定位置。
在操作4203中,服务器确定所确定的位置是否是拍摄限制位置。详细地,服务器通过分析接收到的位置信息来确定位置,并且将所确定的位置与预先存储在服务器中的拍摄限制位置数据库进行比较。在这里,拍摄限制位置数据库可以存储关于限制未经授权的人进行拍摄的位置,诸如音乐会场地、博物馆和军事安全区,的信息。
如果所确定的位置在拍摄限制位置数据库中,服务器确定图像包括拍摄限制元素,并且执行操作4204。在操作4204中,服务器修改图像,并将修改的图像发送到用户设备。换句话说,服务器通过对图像执行马赛克处理、模糊处理、或利用替换图像的合成处理来生成修改的图像,并且将修改的图像发送到用户设备。
图43至图45是根据其它示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的方法的图。详细地,在图43至图45中,用户设备通过识别不准拍照标志来确定捕获图像的位置是拍摄限制位置。
参照图43,用户A的智能电话100-2捕获包括不准拍摄标志30和用户B的图像。在这里,不准拍摄标志30可以包括如图43所示的指示不准拍摄的符号和短语,或者可以是任何其他形式。例如,不准拍摄标志30可以包括指示不准拍摄的条形码、快速响应(QR)码或彩色码。当照片包括拍摄者可能无法理解但指示禁止拍摄的条形码、QR码或彩色码时,智能电话100-2可以防止拍摄者无意或有意地捕获照片。
参照图44,用户A的智能电话100-2识别有包括在原始图像4400a中的不准拍摄标志30。详细地,智能电话100-2识别包括在不准拍摄标志30中的30-1和短语30-2中的至少一个。当识别到不准拍摄标志30时,智能电话100-2确定图像是在拍摄限制位置捕获的。换句话说,智能电话100-2确定图像包括拍摄限制元素。因此,智能电话100-2对原始图像4400a执行马赛克处理,以生成修改的图像4400b。
参照图45,用户A的智能电话100-2识别包括在原始图像4500a中的不准拍摄标志30。详细地,智能电话100-2识别包括在不准拍摄标志30中的30-1和短语30-2中的至少一个。当识别到不准拍摄标志30时,智能电话100-2确定图像是在拍摄限制位置捕获的。换句话说,智能电话100-2确定图像包括拍摄限制元素。因此,智能电话100-2通过利用替换图像合成原始图像4500a来生成修改的图像4500b。
图46是根据其他示例性实施例的修改在拍摄限制位置处捕获的图像的方法的流程图。
参照图46,在操作4601中,用户设备捕获图像。
在操作4602中,用户设备识别包括在图像中的对象。
在操作4603中,用户设备确定识别的对象是否包括不准拍摄标志。如果确定识别的对象包括不准拍摄标志,则在操作4604中用户设备修改图像。在这里,用户设备可以通过对图像执行马赛克处理、模糊处理、或利用替换图像的合成处理来修改图像。
图47至图49是根据示例性实施例的用于描述根据隐私保护信息来限制人的拍摄的例子的图。
参照图47,用户A的智能电话100-2捕获包括用户B和C的图像。然后,智能电话100-2将图像发送到服务器300,并且请求服务器300执行图像处理。此时,智能电话100-2可以通过使用从服务器300接收到的加密密钥对图像进行编码,并且将编码的图像发送到服务器300。
服务器300通过使用预先存储在服务器300中的隐私保护信息4710来确定图像是否包括拍摄限制元素。当图像被编码时,服务器300在确定图像是否包括拍摄限制元素之前,通过使用加密密钥来对编码的图像进行解码。在这里,根据隐私保护信息4710中的用户来映射和存储拍摄限制时间和位置。
通过使用隐私保护信息来确定图像是否包括拍摄限制元素的方法将在下面参照图48和图49详细描述。
如果确定图像包括拍摄限制元素,则服务器300修改图像并且将修改的图像发送到智能电话100-2。
下文中,由服务器300执行的通过使用隐私保护信息4710来确定图像是否包括拍摄限制元素并且修改图像的方法将参照图48和图49详细描述。
参照图48,智能电话100-2将编码的图发送像到服务器300。在这里,智能电话100-2还将关于捕获图像的位置的位置信息连同编码的图像一起发送到服务器300。智能电话100-2通过使用嵌入在其中的GPS或者与其连接的基站或AP的位置来确定位置信息,并且可以将位置信息发送到服务器300。在图48中,智能电话100-2将“学校”作为位置信息发送到服务器300。
参照图49,服务器300对编码的图像解码并且执行对解码的图像执行面部识别以识别用户B和C的面部。服务器300基于隐私保护信息4910来确定拍摄限制时间和识别的面部的位置。隐私保护信息4910根据用户存储拍摄限制时间和位置中的至少一个。
基于图49中的隐私保护信息4910,用户A不允许从24:00到06:00进行拍摄,并且不允许在家进行拍摄。用户B不允许从22:00到09:00进行拍摄,并且没有设置限制拍摄位置。用户C没有设置拍摄限制时间,并且不允许在学校进行拍摄。
服务器300基于来自用户A的智能电话100-2的位置信息(学校)和捕获时间,确定图像是否包括拍摄限制元素。因此,服务器300可以在从智能电话100-2接收图像的时候,接收捕获图像时的捕获时间。
在图49中,服务器300基于从智能电话100-2接收到的位置信息和捕获时间来确定捕获图像的位置和时间是“学校”和“21:00”。
服务器300通过参照隐私保护信息4910来确定用户B的拍摄从22:00到09:00受到限制,但是关于位置不受限制。由于由服务器300确定的捕获时间“21:00”不在用户B的拍摄限制时间内,因此确定用户B的拍摄不受限制。换句话说,服务器300确定用户B不是拍摄限制元素。
同时,服务器300通过参照隐私保护信息4910确定用户C的拍摄在“学校”受到限制,但是关于时间不受限制。由于由服务器300所确定的位置信息(“学校”)在用户C的限制拍摄位置内,因此确定用户C的拍摄受到限制。换句话说,服务器300确定用户C是拍摄限制元素。
因此,服务器300通过仅对用户C执行马赛克处理来修改图像。
图50是根据示例性实施例的根据隐私保护信息限制人的拍摄的方法的流程图。
参照图50,在操作5001中,用户设备捕获包括人的图像。在这里,用户设备可以是诸如相机或照相摄像机的一般拍摄设备、诸如智能眼镜或智能手表的可穿戴设备、以及诸如智能电话或平板PC的移动设备中的任何一个,或者可以是能够进行拍摄的各种设备中的任何一个。
在操作5002中,用户设备通过使用从服务器接收到的加密密钥对图像进行编码。在这里,加密密钥是由服务器管理的。
在操作5003中,用户设备将编码的图像和用户设备的位置信息发送到服务器。
在操作5004中,服务器对编码的图像进行解码,并且对包括在解码图像中的人执行面部识别。详细地,面部识别可以通过从解码图像中检测面部区域并从检测到的面部区域提取特征来执行。
在操作5005中,服务器基于从用户设备接收到的位置信息和捕获图像时的捕获时间,通过参照预先存储在服务器中的隐私保护信息确定识别的人是否允许被拍摄。
在操作5006中,服务器对不允许被拍摄的人执行保护处理。换句话说,服务器可以通过执行马赛克处理、模糊处理、利用背景图像的合成处理、和利用替换图像的合成处理中的至少一个来修改解码图像,以使得不允许被拍摄的人不可辨别和不可识别。
在操作5007中,服务器将修改的图像发送到用户设备。
图51是根据示例性实施例的用户设备1000的框图。参照图51,根据示例性实施例的用户设备1000可以包括用户接口1100、相机1200、存储装置1300、通信接口1400和控制器1500。此外,控制器1500可以包括图像分析器1510和图像修改器1520。
同时,如上所述,根据示例性实施例的用户设备1000可以是能够拍摄的各种设备,诸如智能眼镜、智能手表、智能电话、平板PC、相机或照相摄像机,中的任何一个。
用户接口1100接收来自用户的输入,并将屏幕显示给用户,并且可以根据用户设备1000类型以各种方式进行配置。例如,当用户设备1000是智能电话时,用户接口1100可以包括触摸屏。
相机1200可以包括嵌入在智能眼镜、智能手表、智能电话或平板PC中的相机模块。相机1200可以捕获图像,诸如静止图像或运动图像,并且将图像发送到控制器1500。
存储装置1300可以包括存储图像或各种数据的存储器。例如,存储装置1300可以存储地址簿、照片、运动图像、或者用户设备1000的使用记录,或者可以存储由控制器1500修改的图像。
通信接口1400可以经由有线或无线方式与外部设备或者服务器执行数据通信。
控制器1500控制包括在用户设备1000中的组件的操作。详细地,控制器1500通过分析图像来确定图像是否包括拍摄限制元素,并且如果确定图像包括拍摄限制元素则修改图像。
图像分析器1510可以通过分析图像来识别包括在图像中的人、包括在图像中的对象,或捕获图像的位置,并且基于用户设备1000的用户与识别的人、识别的对象和识别的位置之间的关系中的至少一个来确定图像是否需要被修改。详细地,图像分析器1510可以通过使用存储在存储装置1300中的数据来确定用户和识别的人是否彼此相关,并且如果确定用户和识别的人彼此不相关则确定图像需要被修改。
例如,图像分析器1510可以确定识别的人是否在存储在存储装置1300中的地址簿中,并且如果识别的人不在地址簿中,则可以确定用户和识别的人彼此不相关。图像分析器1510可以基于图像内容的相似性来执行基于内容的图像检索,以确定识别的人是否在地址簿中。
可替换地,图像分析器1510可以确定识别的人是否被包括在存储在存储装置1300中的至少一个照片中,并且如果识别的人未被包括在至少一个照片中,则可以确定用户和识别的人彼此不相关。
可替换地,图像分析器1510可以通过使用存储在存储装置1300中的数据,通过分析用户的SNS使用记录来确定用户和识别的人是否彼此相关。
可替换地,图像分析器1510可以通过经由通信接口1400访问外部服务器的数据库来确定识别的对象或识别的位置是否被限制拍摄,并且如果确定识别的对象或识别的位置被限制拍摄,则图像分析器1510可以确定图像需要被修改。
可替换地,如果在图像中识别到不准拍照符号,则图像分析器1510可以通过确定识别的位置为拍摄限制位置来确定图像需要被修改。
同时,当图像分析器1510确定图像需要被修改时,图像修改器1520修改图像。图像修改器1520可以对识别的人、识别的对象或图像执行马赛克处理、模糊处理、利用背景图像的合成处理、和利用替换图像的合成处理中的至少一个。由图像修改器1520修改图像的方法已经在上面参照图7至图12进行描述。
同时,即使不参照图51的描述,用户设备1000的组件也可以执行用于运行如上参照图1至图50所描述的方法的操作。
同时,修改捕获的图像的时间点可以以各种方式设置。例如,捕获的图像可以在被存储在用户设备中之前被修改。可替换地,捕获的图像可以被存储在用户设备中,然后在被发送到外部服务器或另一用户设备时被修改。可替换地,捕获的图像可以不被存储在捕获所捕获的图像的用户设备中,而是可以立即被修改并被发送到外部服务器或另一用户设备。下文中,将描述根据示例性实施例的修改捕获的图像的不同时间点。
图52是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在将捕获的图像存储到用户设备之前修改捕获的图像的例子的图。
在图52中,左侧的智能电话100-2在运行图库应用时在屏幕上多个图像,并且当用户触摸并选择多个图像当中的图像5210时,图像5210被显示为放大的图像5220,如右侧的智能电话100-2所示。
从多个图像当中选择的图像5210包括拍摄限制的人,并且因此对与拍摄限制的人的面部相对应的区域5211执行马赛克处理。还可以对与拍摄限制的人的面部相对应的放大的图像5220的区域5221执行马赛克处理。
图像由智能电话100-2捕获,并且在捕获的图像被存储在智能电话100-2之前确定捕获的图像是否包括拍摄限制元素之前。当捕获的图像包括拍摄限制元素时,捕获的图像被修改然后被存储在智能电话100-2中。换句话说,捕获的图像的原始图像不存储在智能电话100-2中,并且因此仅修改的捕获的图像可以通过智能电话100-2进行查看。因此,根据当前实施例,甚至智能电话100-2的用户也只能够访问修改的捕获的图像。
确定图像是否包括拍摄限制元素并且修改图像的方法已经在上面详细描述。
图53是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在将捕获的图像存储到用户设备之前修改捕获的图像的例子的流程图。
参照图53,在操作5301用户设备捕获图像。在这里,用户设备可以是能够拍摄的任何设备,诸如智能电话、相机或平板PC。
在操作5302中,用户设备识别包括在图像中的人、包括图像中的对象、以及捕获图像的位置中的至少一个。识别人、对象或位置的方法已经在上面参照图2进行描述。
在操作5303中,用户设备基于用户设备的用户和所识别的人、所识别的对象和所识别的位置之间的关系中的至少一个,确定图像是否包括拍摄限制元素。确定图像是否包括拍摄限制元素的方法已经在上面参照图2进行描述。
当在操作5304中确定图像包括拍摄限制元素时,在操作5305中,用户设备修改图像并存储修改的图像。当在操作5304中确定图像不包括拍摄限制元素时,在操作5306中,用户设备在不修改图像的情况下存储图像。
根据另一示例性实施例,操作5302和5303可以在图53中被省略,并且用户设备可以在操作5304中基于用于选择包括在图像中的某个对象的用户输入来确定图像包括拍摄限制元素。例如,当用户触摸并保持显示对象的屏幕的一部分时,用户设备可以确定这个对象是拍摄限制元素。
图54和图55是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在向外部发送图像的同时修改存储在用户设备中的图像的例子的图。
在图54中,在运行图库应用时,在左侧的智能电话100-2的屏幕上显示多个图像,并且当触摸并选择多个图像当中的图像5410时,图像5410被显示为右侧的智能电话100-2上的放大的图像5220。
尽管图像5410包括拍摄限制的人,但是没有对与拍摄限制的人的面部相对应的区域5411执行马赛克处理。此外,没有对与拍摄限制的人的面部相对应的放大的图像5420的区域52215421马赛克处理。
在当前实施例中,由于智能电话100-2在修改图像的情况下存储图像,因此用户可以通过智能电话100-2的图库应用来访问原始图像。
然而,在当前实施例中,如果存储在智能电话100-2的图像将要被发送到外部服务器或另一用户设备,则确定图像是否包括拍摄限制元素,并且当图像包括拍摄限制元素时,图像被修改然后被发送到外部服务器或其他用户设备。
参照图55,当用户通过图库应用从显示在智能电话100-2上的多个图像当中选择图像5510并且选择“发送”按钮5530来共享图像5510时,智能电话100-2确定图像5510是否包括拍摄限制元素,并且当图像5510包括拍摄限制元素时,在共享图像5510之前修改图像5510。
在图55中,智能电话100-2将通过对与拍摄限制的人的面部相对应的区域5521执行马赛克处理所修改的图像5520发送到被分配作为目的地的服务器300。
图56是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在向外部发送图像的同时修改存储在用户设备中的图像的例子的流程图。
参照图56,在操作5601中,用户设备捕获图像。在这里,用户设备可以是能够拍摄的任何设备,诸如智能电话、相机、或平板PC。
在操作5602中,用户设备将图像存储在包括在用户设备中的存储器中。
在操作5603中,用户设备从用户接收将图像发送到外部服务器或者另一用户设备的请求。
在操作5604中,用户设备识别包括在图像中的人、包括图像中的对象、以及捕获图像的位置中的至少一个。识别人、对象或位置的方法已经在上面参照图2进行描述。
在操作5605中,用户设备基于用户设备的用户和所识别的人、所识别的对象和所识别的位置之间的关系中的至少一个,确定图像是否包括拍摄限制元素。确定图像是否包括拍摄限制元素的方法已经在上面参照图2进行描述。
当在操作5606中确定图像包括拍摄限制元素时,在操作5607中,用户设备修改图像并且将修改的图像发送到外部服务器或其他用户设备。当在操作5606中确定图像不包括拍摄限制元素时,在操作5608中,用户设备在不修改图像的情况下发送图像。
图57是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在不将捕获的图像存储到用户设备的情况下立即修改捕获的图像并且向外部发送修改的捕获的图像的例子的图。
图57示出了两个智能电话100-2a和100-2b之间的视频通话。
在这里,除非请求,否则智能电话100-2a和100-2b不存储视频通话屏幕。然而,由于拍摄限制元素甚至需要在视频呼叫期间被修改,因此根据当前实施例,智能电话100-2a可以在不存储图像的情况下立即修改图像并发送修改的图像到智能电话100-2b。参照显示在智能电话100-2b上的视频呼叫屏幕5710,没有对正在通话的人的面部区域5712进行修改,但是对拍摄限制的人的面部区域5711执行马赛克处理。
图58是根据示例性实施例的用于描述相对于修改捕获的图像的方法,在不将捕获的图像存储到用户设备的情况下立即修改捕获的图像并且向外部发送修改的捕获的图像的例子的流程图。
参照图58,在操作5801中,用户设备捕获图像。在这里,用户设备可以是能够拍摄的任何设备,诸如智能电话、相机、或平板PC。
在操作5802中,用户设备识别包括在图像中的人、包括图像中的对象、以及捕获图像的位置中的至少一个。识别人、对象或位置的方法已经在上面参照图2进行描述。
在操作5803中,用户设备基于用户设备的用户和所识别的人、所识别的对象和所识别的位置之间的关系中的至少一个,确定图像是否包括拍摄限制元素。确定图像是否包括拍摄限制元素的方法已经在上面参照图2进行描述。
当在操作5804中确定图像包括拍摄限制元素时,在操作5805中,图像被修改然后被发送到外部服务器或另一用户设备。当在操作5804中确定图像不包括拍摄限制元素时,在操作5806中,在不修改的情况下将图像发送到外部服务器或其它用户设备。
图59至图61是根据示例性实施例的用于描述修改在拍摄限制位置处捕获的图像的例子的图。
参照图59,用户A的智能电话100-2可以在拍摄允许位置(诸如街道或餐厅)处捕获人5911的图像5910a,或者在拍摄限制位置(诸如音乐厅、博物馆或军事安全区)处捕获人5911的图像5920a。人5911的拍摄限制可以基于拍摄位置而变化。例如,如果这个人5911是名人,则在音乐厅的拍摄可能由于版权而受到限制,但是在街道的拍摄可能不受限制。因此,智能电话100-2将图像发送到服务器300以进行图像处理。在这里,智能电话100-2将图像连同位置信息一起发送到服务器300。位置信息是关于捕获图像的位置的信息。智能电话100-2可以通过使用其包括的GPS来确定位置,然后将位置信息发送到服务器300。可替换地,智能电话100-2可以使用各种方法中的任一方法来生成位置信息,例如,通过使用连接到智能电话100-2的基站或接入点(AP)的位置来确定位置。
参照图60,服务器300可以通过分析从智能电话100-2接收到的位置信息来确定捕获图像的位置,并且确定该位置是否是拍摄限制位置。换句话说,服务器300确定该位置是否被包括在预先存储的拍摄限制位置数据库中。在这里,预先存储的拍摄限制位置数据库可以存储根据用户的拍摄限制位置,或者限制普通人拍摄的拍摄限制位置,诸如音乐厅、博物馆和军事安全区。
当捕获图像5910a的位置被确定为不是拍摄限制位置时,服务器300可以将未修改的图像5910b发送到智能电话100-2。可替换地,服务器300可以将图像5910a不需要被修改的消息发送到智能电话100-2。
当捕获图像5910a的位置被确定为是拍摄限制位置时,服务器300确定图像5920a包括拍摄限制元素。因此,服务器300可以修改与拍摄限制的人相对应的图像5920a的一部分。详细地,服务器300可以通过对图像5920a中的作为拍摄限制的人的人5911的面部区域执行马赛克处理、对面部区域执行替换图像合成处理、或对面部区域执行模糊处理,来生成并输出修改的图像5920b。
在图59和图60中,服务器300修改图像,但是可替换地,服务器300可以仅通过分析从智能电话100-2接收到的位置信息来确定捕获图像的位置是否是拍摄限制位置并且将确定的结果发送到能电话100-2,而且智能电话可以100-2修改图像。
同时,在图59和图60中,拍摄限制位置基于被拍摄者是不同的,但是可替换地,拍摄限制位置可以同样适用于所有的用户。换句话说,拍摄限制位置可以与包括在图像中的人无关地确定,并且当确定捕获图像的位置对应于拍摄限制位置时,与包括在图像中的人或对象相对应的图像的一部分可以被修改。
可替换地,如图61所示,用户A的智能电话100-2可以通过分析位置信息来确定捕获图像的位置,并且确定位置是否对应于拍摄限制位置。换句话说,智能电话100-2确定位置是否被包括在存储在智能电话100-2的存储装置中的拍摄限制位置数据库中。
当确定捕获图像5910a的位置不是人5911的拍摄限制位置时,智能电话100-2可以存储未修改的图像5910b。
当确定捕获图像5910a的位置是人5911的拍摄限制位置时,智能电话100-2确定图像5920a包括拍摄限制元素。因此,智能电话100-2可以修改与作为拍摄限制的人的人5911相对应的图像5920a一部分。详细地,智能电话100-2可以通过对图像5920a中的人5911的面部区域执行马赛克处理、对面部区域执行替换图像合成处理、或对面部区域执行模糊处理,来生成并输出修改的图像5920b。
这样,当拍摄人或对象时,可以基于拍摄人或对象的位置来限制或不限制人或对象。
图62是根据示例性实施例的示出修改在拍摄限制位置处捕获的图像的方法的流程图。
参照图62,在操作6201中,用户设备捕获图像。在这里,用户设备可以是诸如相机或照相摄像机的一般拍摄设备、诸如智能眼镜或智能手表的可穿戴设备、以及诸如智能电话或平板PC的移动设备中的任何一个,或者可替换地,用户设备可以是能够进行拍摄的各种设备中的任何一个。
在操作6202中,用户设备在拍摄期间识别用户设备的位置。在这里,用户设备可以通过使用其包括的GPS来确定位置。可替换地,用户设备可以通过使用连接到用户设备的基站或AP的位置来确定位置。
在操作6203中,服务器确定该位置是否对应于拍摄限制位置。可替换地,用户设备可以确定该位置是否对应于拍摄限制位置。详细地,确定位置是否对应于包括在图像中的人的拍摄限制位置,或与被拍摄者无关地的拍摄限制位置。因此,服务器或用户设备可以分析位置信息以确定捕获图像的位置,并且将该位置与预先存储在拍摄限制位置数据库中的拍摄限制位置进行比较。在这里,拍摄限制位置数据库可以存储根据人的拍摄限制位置,或者限制普通人拍摄的拍摄限制位置,诸如音乐厅、博物馆和军事安全区。
当该位置对应于拍摄限制位置时,在操作6204中,服务器或用户设备可以确定图像是否包括拍摄限制元素。换句话说,当该位置对应于特定人的拍摄限制位置时,则服务器或者用户设备可以确定图像是否包括特定的人,并且当位置对应于所有人或对象的拍摄限制位置时,服务器或用户设备可以确定图像是否包括至少一个人或对象。当图像包括拍摄限制元素时,在操作6205中,服务器可以修改图像并且将修改的图像发送到用户设备。可替换地,用户设备可以修改图像并且存储修改的图像。例如,服务器或用户设备可以通过对图像执行马赛克处理、模糊处理或替换图像合成处理来生成修改的图像。
图63至图66是根据示例性实施例的用于描述根据用户的选择来修改捕获的图像的例子的图。
参照图63,用户A的智能电话100-2捕获包括用户B和用户C的图像。然后,智能电话100-2在屏幕上显示图像。
在图64和图65中,当用户A经由不同的方法从图像选择了要对其执行保护处理的人时,与所选择的人相对应的图像的一部分被修改。在这里,用户A可以在图像被存储到智能电话100-2的存储装置或与外部设备共享之前、作为预览屏幕或临时屏幕提供在智能电话100-2上的时候,选择人。
参照图64A,智能电话100-2通过对原始图像进行6400a执行面部识别来识别用户B和用户C的面部。然后,智能电话100-2可以提供面部识别的结果,其指示用户B和用户C的面部被识别。例如,可以通过突出显示(闪烁或着色)用户B和用户C的面部或面部的轮廓来提供结果,作为视觉反馈。然后,当用户A选择用户B和用户C之一,例如,用户C时,智能电话100-2可以对用户C执行保护处理。例如,智能电话100-2可以修改与用户C相对应的图像的一部分,以使得用户C不可辨别。详细地,如图64B所示,智能电话100-2可以显示通过对原始图像6400a中的用户C的面部区域执行马赛克处理、替换图像合成处理或模糊处理所生成的修改的图像6400b。
作为另一例子,参照图65A,智能电话100-2可以通过对原始图像执行面部识别来识别用户B和用户C的面部。然后,智能电话100-2可以确定该面部是否对应于拍摄限制的人。当确定用户B和用户C对应于拍摄限制的人时,智能电话100-2可以对用户B和用户C执行保护处理。例如,智能电话100-2可以修改与用户B和用户C相对应的原始图像的部分,以使得用户B和用户C不可辨别。详细地,智能电话100-2可以显示通过对作为拍摄限制的人的用户B和用户C的面部区域执行马赛克处理、替换图像合成处理或模糊处理所捕获的修改的图像6500a。然后,当用户A选择用户B和用户C之一,例如,用户B时,智能电话100-2可以确定用户B不被保护。因此,智能电话100-2可以修改与用户B相对应的修改的图像6500a的一部分,以使得用户B可辨别。详细地,如图65B所示,智能电话100-2可以显示通过释放对原始图像6500a中的用户B的面部区域执行的马赛克处理、替换图像合成处理或模糊处理所获得的修改的图像6500b。
作为另一例子,参照图66A,智能电话100-2通过对原始图像6600a执行面部识别来识别用户B和用户C的面部。然后,智能电话100-2可以提供询问用户A是否对用户C执行保护处理的弹出屏幕6610。当用户A通过弹出窗口6610选择请求智能电话100-2执行保护处理的按钮时,智能电话100-2可以对用户C执行保护处理。然后,如图66B所示,智能电话100-2可以显示通过对原始图像6600a中的用户C的面部区域执行马赛克处理、替换图像合成处理或模糊处理所获得的修改的图像6600b。
可以在将由智能电话100-2捕获的图像存储到智能电话100-2的存储装置之前,显示用于选择要对其执行保护处理的人的屏幕。可替换地,在智能电话100-2将图像提供到外部设备,诸如外部服务器或第三方的智能电话,之前,可以显示屏幕。
同时,当选择了要对其执行保护处理的人时,关于这个人的信息可以被存储在智能电话100-2或服务器300的数据库中。例如,这个人可以在作为拍摄限制元素的信息中被指示。在这种情况下,当这个人被拍摄在未来图像中时,智能电话100-2可以自动地确定这个人是拍摄限制的人。然后,智能电话100-2可以对与这个人相对应的未来图像中的区域执行马赛克处理、替换图像合成处理或模糊处理。
因此,当智能电话100-2或服务器300不具有关于包括在捕获的图像中的面部的信息时,由用户选择拍摄限制的人的方法可能是有用的。换句话说,当智能电话100-2或服务器300不具有关于包括在捕获的图像中的面部的信息时,智能电话100-2或服务器300可能无法一致地处理捕获的图像,例如,保护或不保护面部,但是可以根据用户的选择来确定是否处理面部,从而增加了用户处理捕获的图像的自由度。
图67和图68是根据示例性实施例的示出根据用户的选择来修改捕获的图像的方法的流程图。
参照图67,在操作6701中,用户设备捕获包括人的图像。在这里,用户设备可以是能够拍摄的任何设备,诸如智能电话、相机或平板PC。
在操作6702中,用户设备对包括在图像中的人执行面部识别。
在操作6703中,用户设备可以提供面部识别的结果。例如,用户设备可以显示屏幕,其中视觉反馈被应用到人。
在操作6704,在显示屏幕时,用户设备的用户可以选择要对其执行保护处理的人。
当用户选择了要对其执行保护处理的人时,在操作6705中,用户设备可以对所选择的人执行保护处理。例如,用户设备可以修改图像,以使得所选择的人不可辨别。
作为另一例子,参照图68,在操作6801中,用户设备捕获图像。
在操作6802中,用户设备对包括在图像中的人执行面部识别。
在操作6803中,用户设备可以确定这个人是否是拍摄限制的人。当这个人是拍摄限制的人时,在操作6804中,用户设备可以对这个人执行保护处理。当这个人不是拍摄限制的人时,用户设备可以不执行保护处理。
在操作6805中,用户设备可以显示要对其执行保护处理的人。例如,用户设备可以对与这个人相对应的图像中的区域执行马赛克处理、替换图像合成处理或模糊处理。
在操作6806中,当显示要对其执行保护处理的人时,用户可以选择要被释放保护处理的人。
当选择了要被释放保护处理的人时,在操作6807中,用户设备可以从所选择的人解除保护处理。例如,用户设备可以撤销对与所选择的人相对应的图像中的区域执行的马赛克处理、替换图像合成处理或模糊处理。
如上所述,根据一个或多个示例性实施例,当由用户设备捕获包括拍摄限制的人、对象或位置的图像时获,图像的一部分或全部可以被修改,以使得拍摄限制的人、对象或位置不可辨别,从而出于安全或版权原因保护拍摄限制的人的隐私并且防止个人获得包括拍摄限制对象或位置的图像。
示例性实施例可以实现为计算机可读记录介质上的计算机可读代码,但不限于此。计算机可读记录介质是能够存储数据的任意数据存储设备,所述数据此后能够被计算机系统读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备。计算机可读记录介质还可以分布在经网络耦合的计算机系统上,从而以分布式存储和执行计算机可读代码。此外,示例性实施例可以被写为计算机可读传输介质(诸如载波)能够发送的计算机程序,并且执行该程序的通用或专用数字计算机中接收并实现。而且,应该理解的是,在示例性实施例中,上述装置和设备中的一个或多个单元可以包括电路、处理器、微处理器等,并且可以执行包括在计算机可读记录介质中的计算机程序。
前述示例性实施例仅是示例性的,并且不应被解释为限制。本教导可以容易地应用于其它类型的设备。此外,示例性实施例的描述旨在是说明性的,而不是限制权利要求的范围,并且许多替换、修改和变化对本领域技术人员将是显而易见的。

Claims (15)

1.一种用户设备,包括:
存储装置,被配置为存储数据;以及
控制器,被配置为识别由用户设备捕获的或者由用户设备从外部源接收到的图像中所包括的人,并且基于存储在存储装置中的数据,响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。
2.如权利要求1所述的用户设备,还包括相机,被配置为捕获图像。
3.如权利要求1所述的用户设备,其中,所述控制器还被配置为确定捕获图像的位置是否是拍摄限制位置,并且当该位置是拍摄限制位置时,将与识别的人相对应的图像的一部分改变为不可识别。
4.如权利要求1所述的用户设备,其中,存储在存储装置中的数据是地址簿,而且控制器还被配置为响应于识别的人未被包括在地址簿中而确定亲密程度低于预定水平。
5.如权利要求1所述的用户设备,其中,存储在存储装置中的数据是至少一个照片,而且控制器还被配置为响应于识别的人未被包括在所述至少一个照片中而确定用户和识别的人之间的亲密程度低于预定水平。
6.如权利要求1所述的用户设备,其中,存储在存储装置中的数据是用户的社交网络服务(SNS)使用记录,而且控制器通过分析SNS使用记录来确定亲密程度。
7.如权利要求1所述的用户设备,其中,所述控制器通过访问外部服务器的数据库来确定捕获图像的位置是否是拍摄限制位置,并且当该位置是拍摄限制位置时修改图像。
8.如权利要求1所述的用户设备,其中,所述控制器还被配置为从图像识别拍摄限制对象,并且响应于从图像识别到拍摄限制对象而确定捕获图像的位置是拍摄限制位置。
9.如权利要求1所述的用户设备,其中,所述控制器对图像的一部分执行马赛克处理、模糊处理、背景图像合成处理和替换图像合成处理中的至少一个。
10.一种修改图像的系统,该系统包括:
服务器,被配置为执行图像处理;以及
用户设备,被配置为在将图像发送到服务器的时候请求图像处理,
其中,服务器还被配置为识别从用户设备接收到的图像中所包括的人,并且响应于识别的人与用户设备的用户之间的低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别,并且将图像发送到用户设备。
11.如权利要求10所述的系统,其中,所述服务器通过使用存储的数据确定捕获图像的位置是否是拍摄限制位置,并且响应于该位置是拍摄限制位置而将与识别的人相对应的图像的一部分改变为不可识别。
12.如权利要求10所述的系统,其中,所述服务器从用户设备接收捕获图像的时间和位置,并且通过使用存储的数据确定对识别的人的拍摄在接收到的时间和接收到的位置是否收到限制。
13.如权利要求10所述的系统,其中,所述用户设备通过使用从服务器接收到的加密密钥对图像进行编码,以及
所述服务器对编码的图像进行解码,并且改变与识别的人相对应的解码图像的一部分。
14.一种用户设备,包括:
相机,被配置为捕获图像;
通信接口,被配置为将拍摄通知发送到图像中捕获的被拍摄者的设备,并且从被拍摄者的设备接收对于拍摄通知的响应;以及
控制器,被配置为基于指示捕获图像是否被准许的响应来修改图像。
15.一种由用户设备修改图像的方法,该方法包括:
识别包括在图像中的人;
确定识别的人与用户设备的用户之间的亲密程度低于预定水平;以及
响应于低于预定水平的亲密程度而将与识别的人相对应的图像的一部分改变为不可识别。
CN201510463505.6A 2014-07-31 2015-07-31 修改包括拍摄限制元素的图像的方法、设备和系统 Expired - Fee Related CN105323473B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0098652 2014-07-31
KR20140098652 2014-07-31
KR1020150051133A KR102094509B1 (ko) 2014-07-31 2015-04-10 촬영 제한 요소를 포함하는 영상을 수정하는 방법, 이를 수행하기 위한 디바이스 및 시스템
KR10-2015-0051133 2015-04-10

Publications (2)

Publication Number Publication Date
CN105323473A true CN105323473A (zh) 2016-02-10
CN105323473B CN105323473B (zh) 2020-01-10

Family

ID=53785445

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510463505.6A Expired - Fee Related CN105323473B (zh) 2014-07-31 2015-07-31 修改包括拍摄限制元素的图像的方法、设备和系统

Country Status (4)

Country Link
US (1) US9911002B2 (zh)
EP (1) EP2981063B1 (zh)
CN (1) CN105323473B (zh)
WO (1) WO2016017975A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107294915A (zh) * 2016-04-01 2017-10-24 宇龙计算机通信科技(深圳)有限公司 图像采集方法、系统及终端
CN109040654A (zh) * 2018-08-21 2018-12-18 苏州科达科技股份有限公司 外部拍摄设备的识别方法、装置及存储介质
CN110049233A (zh) * 2018-01-16 2019-07-23 佳能株式会社 图像处理设备、图像处理系统和图像处理方法
CN110830722A (zh) * 2019-11-29 2020-02-21 青岛网信信息科技有限公司 基于基站隐私保护的安全拍照方法
CN110913126A (zh) * 2019-10-31 2020-03-24 华为终端有限公司 一种拍摄范围计算的方法、装置及相关设备
CN110958388A (zh) * 2019-11-29 2020-04-03 青岛网信信息科技有限公司 基于互联网保护隐私的安全拍照方法
CN110998573A (zh) * 2017-06-16 2020-04-10 康涅克斯康姆股份公司 用于终端的访问控制的计算机实现的方法和计算机程序产品
CN111371989A (zh) * 2020-03-10 2020-07-03 维沃移动通信有限公司 图像采集方法和电子设备
CN111699672A (zh) * 2018-03-13 2020-09-22 Nec显示器解决方案株式会社 视频控制装置和视频控制方法
CN111902821A (zh) * 2018-04-03 2020-11-06 谷歌有限责任公司 检测动作以阻止识别

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679194B2 (en) * 2014-07-17 2017-06-13 At&T Intellectual Property I, L.P. Automated obscurity for pervasive imaging
US20170094019A1 (en) * 2015-09-26 2017-03-30 Microsoft Technology Licensing, Llc Providing Access to Non-Obscured Content Items based on Triggering Events
US10558815B2 (en) * 2016-05-13 2020-02-11 Wayfair Llc Contextual evaluation for multimedia item posting
US10552625B2 (en) 2016-06-01 2020-02-04 International Business Machines Corporation Contextual tagging of a multimedia item
US9986152B2 (en) * 2016-08-02 2018-05-29 International Business Machines Corporation Intelligently capturing digital images based on user preferences
US10970896B2 (en) * 2016-11-02 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10169597B2 (en) * 2016-12-31 2019-01-01 Entefy Inc. System and method of applying adaptive privacy control layers to encoded media file types
US10587585B2 (en) 2016-12-31 2020-03-10 Entefy Inc. System and method of presenting dynamically-rendered content in structured documents
US10395047B2 (en) 2016-12-31 2019-08-27 Entefy Inc. System and method of applying multiple adaptive privacy control layers to single-layered media file types
US10244161B2 (en) * 2017-01-13 2019-03-26 Microsoft Technology Licensing, Llc Capturing and viewing private photos and videos
EP3616210A1 (en) * 2017-04-23 2020-03-04 Orcam Technologies Ltd. Wearable apparatus and methods for analyzing images
US10305683B1 (en) 2017-12-29 2019-05-28 Entefy Inc. System and method of applying multiple adaptive privacy control layers to multi-channel bitstream data
US10630866B2 (en) 2018-01-28 2020-04-21 Motorola Mobility Llc Electronic devices and methods for blurring and revealing persons appearing in images
KR20190096748A (ko) 2018-02-09 2019-08-20 삼성전자주식회사 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
US10757323B2 (en) 2018-04-05 2020-08-25 Motorola Mobility Llc Electronic device with image capture command source identification and corresponding methods
US20190349517A1 (en) * 2018-05-10 2019-11-14 Hanwha Techwin Co., Ltd. Video capturing system and network system to support privacy mode
FR3081069B1 (fr) * 2018-05-14 2022-01-21 Diotasoft Procede et systeme pour teletransmettre vers un site de traitement un flux video capte sur un site d’intervention distant
US11605242B2 (en) 2018-06-07 2023-03-14 Motorola Mobility Llc Methods and devices for identifying multiple persons within an environment of an electronic device
US10909225B2 (en) * 2018-09-17 2021-02-02 Motorola Mobility Llc Electronic devices and corresponding methods for precluding entry of authentication codes in multi-person environments
US11527265B2 (en) * 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
WO2020197048A1 (en) * 2019-03-28 2020-10-01 Samsung Electronics Co., Ltd. Electronic device and method for securing personal information included in image
FR3085488B1 (fr) * 2019-03-28 2021-04-09 Alfred Richard Traceur destiné à être associé à une entité en itinérance et procédé de communication entre un système de supervision de la position géographique de l’entité et ledit traceur
US11042969B2 (en) * 2019-05-23 2021-06-22 Adobe Inc. Automatic synthesis of a content-aware sampling region for a content-aware fill
US11553026B2 (en) * 2019-05-27 2023-01-10 International Business Machines Corporation Regulating content associated with a streaming platform
CA3162389A1 (en) * 2019-12-19 2021-06-24 Lance M. King Systems and methods for implementing selective vision for a camera or optical sensor
US12032719B2 (en) * 2020-12-10 2024-07-09 Samsung Electronics Co., Ltd. Electronic device and method for controlling thereof
WO2022150758A1 (en) * 2021-01-11 2022-07-14 Arris Enterprises Llc Method and apparatus for firewalling images at a network endpoint
KR102454677B1 (ko) * 2021-01-25 2022-10-17 주식회사 노타 암호 키 기반 영상의 개인정보 비 식별화 및 복원 기술
US12041378B2 (en) * 2021-09-17 2024-07-16 BCD International, Inc. Combined security and video camera control system
US20240282344A1 (en) * 2023-02-22 2024-08-22 Lemon Inc. Computing system executing social media program with face selection tool for masking recognized faces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090216769A1 (en) * 2008-02-26 2009-08-27 Bellwood Thomas A Digital Rights Management of Captured Content Based on Criteria Regulating a Combination of Elements
US20090257589A1 (en) * 2005-04-25 2009-10-15 Matsushita Electric Industrial Co., Ltd. Monitoring camera system, imaging device, and video display device
WO2013098587A1 (en) * 2011-12-27 2013-07-04 Nokia Corporation Preventing unintentionally violating privacy when sharing and/or publishing content
JP2014082695A (ja) * 2012-10-18 2014-05-08 Nec Casio Mobile Communications Ltd 携帯端末装置、携帯端末システム、携帯端末装置の制御方法、及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036019B1 (en) * 1994-04-01 2006-04-25 Intarsia Software Llc Method for controlling database copyrights
JPH07271865A (ja) * 1994-04-01 1995-10-20 Mitsubishi Corp データベース著作権管理方法
AU6835896A (en) * 1995-08-27 1997-03-27 Aliroo Ltd. Document processing
GB2372131A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co Face recognition and information system
GB2400514B (en) * 2003-04-11 2006-07-26 Hewlett Packard Development Co Image capture method
US8558892B2 (en) * 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
JP2006267687A (ja) * 2005-03-24 2006-10-05 Fujitsu Ltd 情報処理装置、不正撮影防止方法、不正撮影防止プログラム
US8233677B2 (en) * 2007-07-04 2012-07-31 Sanyo Electric Co., Ltd. Image sensing apparatus and image file data structure
KR101311577B1 (ko) * 2007-07-25 2013-09-26 삼성전자주식회사 가시광 통신 시스템에서 가시적인 통신 방법
US8095991B2 (en) * 2008-02-26 2012-01-10 International Business Machines Corporation Digital rights management of streaming captured content based on criteria regulating a sequence of elements
US8185959B2 (en) * 2008-02-26 2012-05-22 International Business Machines Corporation Digital rights management of captured content based on capture associated locations
KR20090107602A (ko) 2008-04-10 2009-10-14 주식회사 이퓨전코리아 모바일 게임프로그램의 구매방법 및 그 시스템
JP4788792B2 (ja) * 2009-03-11 2011-10-05 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
JP5434569B2 (ja) * 2009-12-22 2014-03-05 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20120131471A1 (en) * 2010-11-18 2012-05-24 Nokia Corporation Methods and apparatuses for protecting privacy of content
KR101847073B1 (ko) 2011-02-11 2018-05-29 삼성전자주식회사 프로세싱 디바이스에서의 컨텐트 관리 방법 및 그 장치
US8744143B2 (en) 2011-04-01 2014-06-03 Yahoo! Inc. Adding privacy protection to photo uploading/ tagging in social networks
JP5871485B2 (ja) * 2011-05-17 2016-03-01 キヤノン株式会社 画像送信装置、画像送信方法、及びプログラム
US9055276B2 (en) * 2011-07-29 2015-06-09 Apple Inc. Camera having processing customized for identified persons
WO2013089758A1 (en) 2011-12-15 2013-06-20 Intel Corporation Preserving image privacy when manipulated by cloud services
KR101890589B1 (ko) * 2012-03-12 2018-09-28 한화에어로스페이스 주식회사 사생활 보호 영상 처리 시스템 및 방법
JP2013210828A (ja) * 2012-03-30 2013-10-10 Sony Corp 情報処理装置、情報処理方法、情報処理システム、及びプログラム
KR101215650B1 (ko) * 2012-06-15 2012-12-26 (주)리얼허브 동영상에 포함되는 이동 객체의 프라이버시 정보 보호를 위한 마스킹 처리 장치 및 마스킹 처리 방법
KR101936802B1 (ko) 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
US9270822B2 (en) 2012-08-14 2016-02-23 Avaya Inc. Protecting privacy of a customer and an agent using face recognition in a video contact center environment
KR101917698B1 (ko) * 2012-09-14 2018-11-13 엘지전자 주식회사 Sns시스템 및 그의 sns정보 보호방법
EP3217321B1 (en) * 2013-07-31 2019-08-28 Honda Motor Co., Ltd. Sign information output apparatus
US20150278535A1 (en) * 2013-10-10 2015-10-01 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
US10346624B2 (en) * 2013-10-10 2019-07-09 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
US9485420B2 (en) * 2014-02-03 2016-11-01 Point Grey Research Inc. Video imaging using plural virtual image capture devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090257589A1 (en) * 2005-04-25 2009-10-15 Matsushita Electric Industrial Co., Ltd. Monitoring camera system, imaging device, and video display device
US20090216769A1 (en) * 2008-02-26 2009-08-27 Bellwood Thomas A Digital Rights Management of Captured Content Based on Criteria Regulating a Combination of Elements
WO2013098587A1 (en) * 2011-12-27 2013-07-04 Nokia Corporation Preventing unintentionally violating privacy when sharing and/or publishing content
JP2014082695A (ja) * 2012-10-18 2014-05-08 Nec Casio Mobile Communications Ltd 携帯端末装置、携帯端末システム、携帯端末装置の制御方法、及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107294915A (zh) * 2016-04-01 2017-10-24 宇龙计算机通信科技(深圳)有限公司 图像采集方法、系统及终端
CN107294915B (zh) * 2016-04-01 2020-11-10 宇龙计算机通信科技(深圳)有限公司 图像采集方法、系统及终端
CN110998573A (zh) * 2017-06-16 2020-04-10 康涅克斯康姆股份公司 用于终端的访问控制的计算机实现的方法和计算机程序产品
CN110049233A (zh) * 2018-01-16 2019-07-23 佳能株式会社 图像处理设备、图像处理系统和图像处理方法
CN110049233B (zh) * 2018-01-16 2021-09-14 佳能株式会社 图像处理设备、图像处理系统和图像处理方法
US11064092B2 (en) 2018-01-16 2021-07-13 Canon Kabushiki Kaisha Image processing apparatus and image processing method for detecting a predetermined object in a captured image
US11849243B2 (en) 2018-03-13 2023-12-19 Sharp Nec Display Solutions, Ltd. Video control apparatus and video control method
CN111699672B (zh) * 2018-03-13 2023-01-31 夏普Nec显示器解决方案株式会社 视频控制装置和视频控制方法
CN111699672A (zh) * 2018-03-13 2020-09-22 Nec显示器解决方案株式会社 视频控制装置和视频控制方法
CN111902821A (zh) * 2018-04-03 2020-11-06 谷歌有限责任公司 检测动作以阻止识别
CN109040654A (zh) * 2018-08-21 2018-12-18 苏州科达科技股份有限公司 外部拍摄设备的识别方法、装置及存储介质
CN110913126A (zh) * 2019-10-31 2020-03-24 华为终端有限公司 一种拍摄范围计算的方法、装置及相关设备
CN110958388A (zh) * 2019-11-29 2020-04-03 青岛网信信息科技有限公司 基于互联网保护隐私的安全拍照方法
CN110830722A (zh) * 2019-11-29 2020-02-21 青岛网信信息科技有限公司 基于基站隐私保护的安全拍照方法
CN111371989A (zh) * 2020-03-10 2020-07-03 维沃移动通信有限公司 图像采集方法和电子设备

Also Published As

Publication number Publication date
US9911002B2 (en) 2018-03-06
EP2981063A2 (en) 2016-02-03
US20160034704A1 (en) 2016-02-04
CN105323473B (zh) 2020-01-10
EP2981063B1 (en) 2020-03-04
EP2981063A3 (en) 2016-02-17
WO2016017975A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
CN105323473A (zh) 修改包括拍摄限制元素的图像的方法、设备和系统
US11714523B2 (en) Digital image tagging apparatuses, systems, and methods
TWI673682B (zh) 含有攝影限制元件的影像修正方法、用於執行該方法的裝置及系統
US9542778B1 (en) Systems and methods related to an interactive representative reality
CN107291810B (zh) 数据处理方法、装置及存储介质
WO2020152851A1 (ja) デジタルサーチ・セキュリティシステム、方法及びプログラム
US9471600B2 (en) Electronic device and method for handling tags
JP6209962B2 (ja) 情報処理装置及び情報処理プログラム
US20090161963A1 (en) Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
US8654211B2 (en) Data recording/reproducing device, data recording/reproducing program and data reproducing device that protect private data from reproduction by unauthorized persons
US20130169853A1 (en) Method and system for establishing autofocus based on priority
JP5348682B2 (ja) 画像管理装置、その制御方法及びプログラム
KR20110020746A (ko) 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
JP2008160354A (ja) 映像出力装置
JP5223034B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、及び情報提供処理プログラムを記録した記録媒体
US9973649B2 (en) Photographing apparatus, photographing system, photographing method, and recording medium recording photographing control program
CN114827553B (zh) 视频巡控方法、装置、设备及存储介质
WO2013127449A1 (en) Method, apparatus and computer program for associating pictures related to an event
JP2022178687A (ja) 情報処理装置および情報処理プログラム
JP5582453B2 (ja) 画像管理装置、画像管理方法およびプログラム
JP7547676B1 (ja) 映像提供システム、映像提供方法および映像提供プログラム
KR101702452B1 (ko) 증강 현실이 적용된 cctv 영상을 제공하기 위한 방법 및 cctv 영상 제공 시스템
JP2005032163A (ja) 顔照合システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110