CN105320428A - 用于提供图像的方法和设备 - Google Patents
用于提供图像的方法和设备 Download PDFInfo
- Publication number
- CN105320428A CN105320428A CN201510463421.2A CN201510463421A CN105320428A CN 105320428 A CN105320428 A CN 105320428A CN 201510463421 A CN201510463421 A CN 201510463421A CN 105320428 A CN105320428 A CN 105320428A
- Authority
- CN
- China
- Prior art keywords
- image
- equipment
- region
- information
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 230000000694 effects Effects 0.000 claims abstract description 293
- 238000012876 topography Methods 0.000 claims description 66
- 238000010191 image analysis Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 description 81
- 230000004044 response Effects 0.000 description 42
- 230000000875 corresponding effect Effects 0.000 description 40
- 230000008859 change Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 29
- 210000003811 finger Anatomy 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 230000009471 action Effects 0.000 description 18
- 238000005452 bending Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000005476 size effect Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000005055 memory storage Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002301 combined effect Effects 0.000 description 3
- 238000012407 engineering method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005549 size reduction Methods 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000010244 region-of-interest analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
一种图像提供方法包括:显示第一图像,第一图像包括对象和背景;接收选择对象或背景作为关注区域的用户输入;基于第一图像的第一属性信息获取与关注区域相关联的第一识别信息;从目标图像获取第二图像,第二图像包括第二识别信息,第二识别信息与第一识别信息相同;以及基于第一图像和第二图像中的至少一者生成效果图像。
Description
相关申请的交叉引用
本申请要求2014年7月31日在韩国知识产权局递交的韩国专利申请10-2014-0098589号、2014年8月26日在韩国知识产权局递交的韩国专利申请10-2014-0111628号和2015年6月3日在韩国知识产权局递交的韩国专利申请10-2015-0078777号的优先权,这里通过引用将这些申请的公开内容全部并入。
技术领域
一个或多个示范性实施例涉及用于提供图像的方法和设备。
背景技术
电子装置已变得多样化,并且每个人使用的电子装置的类型已变得更多样。用户利用用户拥有的多个电子装置来使用各种图像、各种应用和各种服务,并且用户可使用的图像的数目在增加。
因此,用户可遇到许多类型的图像,但用户偏好的图像可能是不同的。另外,用户可能对图像的特定部分有兴趣。从而,仍需要高效地提供用户感兴趣的图像的部分。
发明内容
根据示范性实施例的一方面,一种图像提供方法可包括:显示第一图像,第一图像包括对象和背景;接收选择对象或背景作为关注区域的用户输入;基于第一图像的第一属性信息获取与关注区域相关联的第一识别信息;从目标图像获取第二图像,第二图像包括第二识别信息,第二识别信息与第一识别信息相同;以及基于第一图像和第二图像中的至少一者生成效果图像。
第一属性信息可包括与第一图像的生成相关联的情境信息和关于第一图像的注释信息中的至少一者,注释信息是由用户添加的。
第一识别信息可通过基于WordNet概括第一属性信息来获取。
第二图像的获取可包括利用第二图像的第二属性信息和第二图像的图像分析信息中的至少一者来获取第二图像的第二识别信息。
关注区域的第一识别信息可从第一属性信息获取,第一属性信息可包括第一图像的多个属性。
该方法可包括显示第一图像的多个属性的列表。
该方法可包括接收选择第一图像的多个属性中的至少一个属性的用户输入,并且基于所选择的至少一个属性生成第一识别信息,其中第二图像的获取包括将第一识别信息与目标图像的第三识别信息相比较。
效果图像的生成可包括显示第二图像的局部图像,局部图像对应于第一识别信息。
效果图像可利用以下各项中的至少一者来生成:高亮显示局部图像的光晕效果,减小局部图像的像素值之间的差异的模糊效果,改变局部图像的大小的大小效果,以及改变局部图像的深度信息的深度效果。
效果图像可通过将第二图像的局部图像与第一图像的关注区域相组合来获得,其中局部图像对应于第一识别信息。
第一图像可以是实时取景图像。
第二图像可以是在接收到用于存储图像的用户输入之前从实时取景图像生成的临时图像。
临时图像可在每次在实时取景图像的局部图像中发生充分的变化时生成,其中局部图像对应于第一识别信息,并且其中充分的变化是与等于或大于参考值的值相关联的变化。
效果图像可以是运动图片,并且效果图像包括第一图像和第二图像。
根据示范性实施例的另一方面,一种移动设备可包括:显示器,被配置为显示包括对象和背景的第一图像;用户输入,被配置为接收选择对象或背景作为关注区域的用户输入;以及控制器,被配置为基于第一图像的第一属性信息获取关注区域的第一识别信息,并且从目标图像获取第二图像,其中第二图像包括第二识别信息,并且第二识别信息与识别信息相同。
控制器可被配置为基于第一图像和第二图像中的至少一者生成效果图像。
效果图像可通过将第二图像的局部图像与第一图像的关注区域相组合来生成,并且其中局部图像是第二图像的与第一识别信息相对应的一部分。
第一属性信息可包括与第一图像的生成相关联的情境信息和关于第一图像的注释信息中的至少一者,注释信息是由用户添加的。
控制器可被配置为通过基于WordNet概括第一属性信息来获取第一识别信息。
控制器可被配置为通过将第二图像的局部图像与第一图像的关注区域相组合来生成效果图像,其中局部图像与第一识别信息相关联。
根据示范性实施例的另外一方面,一种提供图像的方法可包括:接收第一图像,第一图像至少包括对象和背景;接收选择对象或背景作为关注区域的输入;确定与关注区域相关联的识别信息;利用识别信息搜索多个目标图像;选择第二图像,第二图像与识别信息相关联;以及通过向第一图像或第二图像中的至少一者应用效果来生成至少一个效果图像。
生成至少一个效果图像可包括向关注区域应用效果或者将第一图像与第二图像相组合中的至少一者。
生成至少一个效果图像可包括通过向关注区域应用效果来生成第一效果图像,以及通过向第二图像应用效果来生成第二效果图像,并且该方法还包括存储第一效果图像和第二效果图像。
确定识别信息可包括利用第一图像的一个或多个属性生成识别信息。
利用第一图像的一个或多个属性生成识别信息可包括通过对第一图像执行图像分析来生成第一图像的一个或多个属性。
附图说明
通过以下结合附图对示范性实施例的描述,这些和/或其他方面将变得清楚并且更容易领会,附图中:
图1是根据示范性实施例的向图像提供效果的方法的流程图;
图2根据示范性实施例图示了用于向图像提供效果的图形用户界面(graphicaluserinterface,GUI);
图3是根据示范性实施例用于说明向对象提供光晕效果的方法的参考视图;
图4是根据示范性实施例用于说明向对象提供模糊效果的方法的参考视图;
图5和图6是根据示范性实施例用于说明向对象提供大小效果的方法的参考视图;
图7和图8是根据示范性实施例用于说明向对象提供深度效果的方法的参考视图;
图9是根据示范性实施例用于说明显示效果列表的方法的参考视图;
图10是根据示范性实施例用于说明向图像内的多个对象提供效果的方法的参考视图;
图11是根据示范性实施例用于说明向背景提供效果的方法的参考视图;
图12A是根据示范性实施例用于说明向对象和背景两者提供效果的方法的参考视图;
图12B是根据示范性实施例用于说明响应于多个用户输入向图像提供效果的方法的参考视图;
图13根据示范性实施例图示了用于向多个图像提供效果的GUI;
图14是根据示范性实施例的设备利用第一图像的识别信息向第二图像提供效果的方法的流程图;
图15是根据示范性实施例的设备生成识别信息的方法的流程图;
图16根据示范性实施例图示了图像的属性信息;
图17是用于说明设备基于图像的属性信息生成图像的识别信息的示例的参考视图;
图18是用于说明设备利用图像分析信息生成识别信息的示例的参考视图;
图19根据示范性实施例图示了设备显示识别信息列表的示例;
图20图示出设备显示效果文件夹的示例;
图21是根据示范性实施例的设备向存储在外部设备中的图像提供效果的方法的流程图;
图22是根据示范性实施例的设备与外部设备共享效果图像的方法的流程图;
图23图示了设备与外部设备共享效果图像的示例;
图24是根据示范性实施例的图像管理系统的示意性视图;
图25是根据示范性实施例的通过将多个图像与彼此组合来提供效果图像的方法的流程图;
图26A-26C根据示范性实施例图示了利用多个图像来向对象提供效果的示例;
图27是根据示范性实施例用于说明组合多个图像的方法的参考视图;
图28A-28C根据示范性实施例图示了利用多个图像来向背景提供效果的示例;
图29是根据另一示范性实施例用于说明组合多个图像的方法的参考视图;
图30是根据示范性实施例的利用实时取景图像来提供效果图像的方法的流程图;
图31是根据示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图;
图32是根据另一示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图;
图33是根据另一示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图;
图34是根据另一示范性实施例的从实时取景图像生成效果图像的方法的流程图;
图35是根据示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图;
图36是根据示范性实施例的从实时取景图像生成运动图片的方法的流程图;
图37是根据示范性实施例的再现运动图片的方法的流程图;
图38是根据示范性实施例用于说明在菜单图像上显示效果的方法的参考视图;
图39是根据示范性实施例的根据与菜单项相对应的应用被执行的次数来向菜单项提供效果的方法的流程图;
图40根据示范性实施例图示了显示菜单图像的示例,其中根据与菜单项相对应的应用被执行的次数向菜单项提供了效果;
图41至图45是根据示范性实施例的设备的框图;并且
图46是根据示范性实施例的云服务器的结构的框图。
具体实施方式
现在将详细述及示范性实施例,示范性实施例的示例在附图中图示,附图中相似的标号始终指代相似的元素。在此,这些示范性实施例可具有不同的形式并且不应当被解释为限于这里记载的描述。从而,下面仅仅是参考附图描述示范性实施例以说明本说明书的各方面。
虽然目前广泛使用的一般术语被选择来在考虑到其功能的情况下描述本发明,但这些一般术语可根据本领域普通技术人员的意图、先例、新技术的出现等等而变化。本申请人任意选择的术语也可用在特定情况中。在此情况下,它们的含义需要在本说明书的详细描述中给出。因此,术语必须基于其含义和整个说明书的内容来定义,而不是通过简单地叙述术语来定义。
术语“包括”或“包含”当在本说明书中使用时指明了所陈述的元素的存在,但不排除一个或多个其他元素的存在或添加。术语“……单元”和“……模块”当在本说明书中使用时指的是其中执行至少一个功能或操作的单元,并且可实现为硬件、软件或者硬件和软件的组合。
贯穿整个说明书,“图像”可包括对象和背景。对象是可经由图像处理等等利用轮廓线与背景区分的局部图像,并且对象可例如是人、动物、建筑物、车辆,等等。背景是除了对象以外的局部图像。可以是对象和背景的局部图像不是固定的,而是相对的。例如,在包括人、车辆和天空的图像中,人和车辆可以是对象,而天空可以是背景。在包括人和车辆的图像中,人可以是对象,而车辆可以是背景。然而,对象的局部图像的大小可小于背景的局部图像的大小。每个设备100可预先定义用于区分对象与背景的标准。
贯穿整个说明书,图像可以是静止图像(例如,照片或图画)、运动图片(例如,TV节目图像、视频点播(VideoOnDemand,VOD)、用户创建内容(user-createdcontent,UCC)、音频视频或者YouTube图像)、实时取景图像、菜单图像,等等。
贯穿整个说明书,关注区域(regionofinterest)可以是图像的局部图像,并且可以是对象或背景。向图像提供效果是一类图像编辑,并且表示提供与先前提供的关注区域完全不同的关注区域。提供图像表示图像的显示、再现、存储等等。
现在将描述向图像提供效果的图像系统。图像系统可包括能够再现和存储图像的设备100,并且还可包括存储图像的服务器。稍后将详细描述图像系统包括服务器的情况。
根据示范性实施例的设备100可以是能够显示图像并向图像提供效果的设备。根据示范性实施例的设备100可实现为各种类型。例如,设备100可以是桌面型计算机、移动电话、智能电话、膝上型计算机、平板个人计算机(personalcomputer,PC)、电子书终端、数字广播终端、个人数字助理(personaldigitalassistant,PDA)、便携式多媒体播放器(portablemultimediaplayer,PMP)、导航、MP3播放器、数码相机、互联网协议电视(InternetProtocoltelevision,IPTV)、数字电视(digitaltelevision,DTV)、消费性电子产品(consumerelectronics,CE)装置(例如,各自包括显示器的冰箱和空调),等等,但示范性实施例不限于此。设备100也可以是用户可穿戴的设备。例如,设备100可以是手表、眼镜、戒指、手镯、项链,等等。
图1是根据示范性实施例的向图像提供效果的方法的流程图。
在操作S110中,设备100可显示图像。图像可包括对象和背景,并且可以是静止图像、运动图片、实时取景图像、菜单图像,等等。
根据示范性实施例,设备100上显示的图像可以是存储在内置于设备100中的存储器中的静止图像、运动图片或者菜单图像,可以是由内置于设备100中的相机160捕捉的实时取景图像,可以是存储在外部设备(例如,另一用户使用的便携式终端、社交网络服务(socialnetworkingservice,SNS)服务器、云服务器或web服务器)中的静止图像、运动图片或菜单图像,或者可以是由外部设备捕捉的实时取景图像。
在操作S120中,设备100可选择关注区域。关注区域是显示的图像的局部图像,并且可以是对象或背景。例如,设备100可从多个对象之中选择一个对象作为关注区域,或者可以从多个对象之中选择至少两个对象作为关注区域。或者,设备100可选择图像的背景作为关注区域。
根据示范性实施例,设备100可基于用户输入选择关注区域。例如,设备100可接收选择图像上的部分区域的用户输入,并且确定包括所选择的部分区域的对象或背景作为关注区域。
根据示范性实施例,选择关注区域的用户输入可以有所不同。在本说明书中,用户输入可以是键输入、触摸输入、运动输入、弯曲输入、语音输入、多重输入,等等。
“触摸输入”表示用户在触摸屏上作出来控制设备100的手势之类的。触摸输入的示例可包括叩击、触摸并保持、双叩击、拖曳、平移、轻拂和拖放。
“叩击”表示用户利用指尖或触摸工具(例如,电子笔)触摸屏幕,然后非常迅速地将指尖或触摸工具从屏幕抬起而不移动的动作。
“触摸并保持”表示用户在利用指尖或触摸工具(例如,电子笔)触摸屏幕之后将触摸输入维持多于临界时间段(例如,两秒)的动作。例如,此动作指示触摸开始时间和触摸结束时间之间的时间差大于临界时间段(例如,两秒)的情况。为了允许用户判定触摸输入是叩击还是触摸并保持,当触摸输入被维持多于临界时间段时,可以从视觉上、听觉上或者触觉上提供反馈信号。临界时间段可根据示范性实施例而有所不同。
“双叩击”表示用户利用指尖或触摸工具(例如,电子笔)迅速地触摸屏幕两次的动作。
“拖曳”表示如下动作:用户利用指尖或触摸工具触摸屏幕并且在触摸屏幕的同时将指尖或触摸工具移动到屏幕上的其他位置。由于拖曳动作,对象可移动,或者可执行下面将描述的平移动作。
“平移”表示用户在不选择任何对象的情况下执行拖曳动作的动作。由于平移动作不选择特定对象,所以没有对象在页面中移动。反而,整个页面可在屏幕上移动,或者一组对象可在页面内移动。
“轻拂”表示用户利用指尖或触摸工具以临界速度(例如,100像素/秒)执行拖曳动作的动作。可基于指尖或触摸工具的运动速度是否大于临界速度(例如,100像素/秒)来区分轻拂动作与拖曳(或平移)动作。
“拖放”表示用户利用指尖或触摸工具将对象拖曳并放到屏幕内的预定位置的动作。
“拉捏”表示用户利用多个指尖或触摸工具触摸屏幕并且在触摸屏幕的同时加宽或缩窄这多个指尖或触摸工具之间的距离的动作。“拉开”表示用户利用两根手指——例如拇指和食指——触摸屏幕并且在触摸屏幕的同时加宽两根手指之间的距离的动作,并且“捏拢”表示用户利用两根手指触摸屏幕并且在触摸屏幕的同时缩窄两根手指之间的距离的动作。加宽值或缩窄值可根据两根手指之间的距离来确定。
“挥扫”表示用户在利用指尖或触摸工具触摸屏幕上的对象的同时移动一定距离的动作。
“运动输入”表示用户向设备100应用来控制设备100的动作。例如,运动输入可以是用户旋转设备100、倾斜设备100或者水平或垂直移动设备100的输入。设备100可利用加速度传感器、倾斜传感器、陀螺传感器、3轴磁传感器等等来感测用户预设的运动输入。
“弯曲输入”表示当设备100是柔性显示设备时用户弯曲设备100的一部分或整个设备100来控制设备100的输入。根据示范性实施例,设备100可利用弯曲传感器来感测例如弯曲位置(坐标值)、弯曲方向、弯曲角度、弯曲速度、被弯曲的次数、弯曲发生的时间点和维持弯曲的时间段。
“键输入”表示用户利用附着到设备100的物理键来控制设备100的输入。
“多重输入”表示至少两个输入方法的组合。例如,设备100可从用户接收触摸输入和运动输入,或者从用户接收触摸输入和语音输入。或者,设备100可从用户接收触摸输入和眼球输入。眼球输入表示用户调整眨眼、注视位置、眼球运动速度等等以便控制设备100的输入。
为了便于说明,现在将描述用户输入是键输入或触摸输入的情况。
根据示范性实施例,设备100可接收选择预设按钮的用户输入。预设按钮可以是附着到设备100的物理按钮或者具有图形用户界面(GUI)形式的虚拟按钮。例如,当用户选择第一按钮(例如,主页按钮)和第二按钮(例如,音量控制按钮)两者时,设备100可选择屏幕上的部分区域。
设备100可接收触摸屏幕上显示的图像的部分区域的用户输入。例如,设备100可接收触摸显示的图像的部分区域预定时间段(例如,两秒)以上或者触摸部分区域预定次数以上(例如,双叩击)的输入。然后,设备100可确定包括被触摸的部分区域的对象或背景作为关注区域。换言之,设备100可选择关注区域。
设备100可从图像确定关注区域。设备100可利用图像分析信息从图像确定关注区域。例如,设备100可检测被触摸区域上显示的对象的轮廓线。设备100可将图像中包括的对象的轮廓线与预定义的模板相比较并且检测对象的类型、名称等等。例如,当对象的轮廓线与车辆的模板相似时,设备100可将图像中包括的对象识别为车辆并且确定车辆图像作为关注区域。
根据示范性实施例,设备100可在图像中包括的对象上执行脸部识别。脸部检测方法的示例可包括基于知识的方法、基于特征的方法、模板匹配方法和基于外观的方法,但示范性实施例不限于此。
可从检测到的脸部中提取脸部特征(例如,作为脸部的主要部分的眼睛、鼻子和嘴的形状)。为了从脸部提取脸部特征,可以使用加博滤波器或者局部二值模式(localbinarypattern,LBP),但示范性实施例不限于此。
或者,设备100可通过将图像的特定区域与颜色地图(颜色直方图)相比较来提取视觉特征,例如图像的颜色布置、图案和氛围,来作为图像分析信息。
在操作S130中,设备100向图像提供效果。设备100可向图像的关注区域提供效果以便提供与先前显示的关注区域完全不同的关注区域。可按各种方式来提供效果。
图2根据示范性实施例图示出用于提供效果的GUI。
如图2的200-1中所示,设备100可显示任意屏幕图像。任意屏幕图像的示例可包括通过执行图片集应用而显示的静止图像、通过执行拍摄应用而显示的实时取景图像、通过执行运动图片集应用而显示的运动图片内的运动图片帧以及包括用于执行应用的菜单项的菜单图像。设备100可提供关于在任意屏幕图像上可使用的功能的功能窗口210。
功能窗口210可提供表示在任意屏幕图像上可使用的功能的各种项目。用户可从功能窗口210中选择“编辑”项目。当用户在功能窗口210上选择“编辑”项目212时,设备100可提供包括各种编辑项目的编辑窗口220,如图2的200-2中所示。功能窗口210和编辑窗口220可以是GUI。
参考图2的200-2,设备100可在屏幕图像上显示编辑窗口220以便确定编辑方法。当用户选择编辑窗口220上的“效果编辑”项目212时,设备100可提供显示与现有局部图像完全不同的图像的局部图像的效果。
现在将详细描述向图像提供效果的示例。
图3是根据示范性实施例用于说明向对象提供光晕效果的方法的参考视图。如图3的300-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收选择该至少一个图像上的对象310作为关注区域的用户输入。用户可经由利用手指或触摸工具触摸显示对象310的区域,然后在不移动手指的情况下迅速地抬起手指或触摸工具的叩击动作,来选择显示对象310的区域。设备100可利用图切割方法、水平集方法等等来从图像中区分出被触摸区域上显示的对象。设备100可确定对象310作为关注区域。
如图3的300-2中所示,设备100可通过响应于用户的选择而整个高亮显示对象310来显示与图3的300-1上显示的对象310完全不同的对象320。关注区域与先前显示的关注区域相比被整个高亮显示的图像处理可被称为光晕效果。关注区域的轮廓线可被高亮显示,或者整个关注区域可被高亮显示。
图4是根据示范性实施例用于说明向对象提供模糊效果的方法的参考视图。如图4的400-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收选择该至少一个图像上的对象410的用户输入。用户可经由在触摸显示作为关注区域的对象410的区域的同时水平移动一定距离的挥扫动作来选择对象410。然后,如图4的400-2中所示,设备100可通过响应于用户的选择而减小对象410内的像素的值之间的差异来显示模糊的对象420。设备100可根据挥扫时间段或挥扫次数来改变模糊效果的程度。例如,随着挥扫时间段或挥扫次数增大,模糊效果的程度可增大。
图5和图6是根据示范性实施例用于说明向对象提供大小效果的方法的参考视图。
如图5的500-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收选择该至少一个图像上的对象510的用户输入。例如,用户可经由在利用两根手指触摸显示作为关注区域的对象510的区域的同时加宽这两根手指之间的距离的拉开动作来选择对象510。然后,设备100可响应于对对象510的选择而显示放大的对象520,如图5的500-2中所示。所选择的对象510被放大,而未被选择的对象和背景的大小不变化。放大可取决于两根手指之间的距离的变动。
如图6的600-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收选择该至少一个图像上的对象610的用户输入。例如,用户可经由在利用两根手指触摸显示作为关注区域的对象610的区域的同时缩窄这两根手指之间的距离的捏拢动作来选择对象610。然后,设备100可响应于对对象610的选择而显示缩小大小的对象620,如图6的600-2中所示。所选择的对象610的大小被缩小,而未被选择的对象和背景的大小不变化。由于缩小被选对象的大小而生成的被选对象与其他区域之间的空间可利用例如镜像技术来用未被选择的对象和背景填充。大小缩小可取决于两根手指之间的距离的变动。
效果提供可以是关注区域的深度的调整或生成。图7和图8是根据示范性实施例用于说明向对象提供深度效果的方法的参考视图。如图7的700-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收选择该至少一个图像上的对象710的用户输入。例如,用户可通过在触摸显示对象710的区域的同时举起设备100来选择对象710作为关注区域。然后,如图7的700-2中所示,响应于对对象710的选择,设备100可显示深度减小的对象720,使得对象720被显示在对象710前方,也就是说使得用户感到对象720比对象710更近。
如图8的800-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收选择该至少一个图像上的对象810的用户输入。例如,用户可通过在触摸显示对象810的区域的同时向下移动设备100来选择对象810作为关注区域。然后,如图8的800-2中所示,响应于对对象810的选择,设备100可显示深度增大的对象820,使得对象820被显示在对象810后方,也就是说使得用户感到对象820在远处。
设备100可基于用户的手势确定要提供的效果的类型,但也可基于用户从提供的效果列表中选择的效果项来确定要提供的效果的类型。图9是根据示范性实施例用于说明显示效果列表的方法的参考视图。
如图9的900-1中所示,设备100可在设备100的模式被设定为效果模式的同时显示图像。用户可选择图像的部分区域,其上显示了对象910。然后,设备100可确定对象910作为关注区域并且显示关于可应用到关注区域的效果的效果列表920,如图9的900-2中所示。
可以按弹出窗口的形式显示效果列表920,并且可以按文本的形式显示效果列表920中包括的效果项。效果项可包括例如高亮显示关注区域的光晕效果、减小关注区域的像素的值之间的差异的模糊效果、调整关注区域的大小的大小效果以及调整关注区域的深度的深度效果。用户可从效果项中选择一个,并且设备100可响应于用户输入而向关注区域提供效果。
到现在为止已描述了选择对象并且向所选择的对象提供效果的方法。然而,设备100可向多个对象提供相同效果或者可向多个对象中的至少两者提供不同效果。
图10是根据示范性实施例用于说明向图像内的多个对象提供效果的方法的参考视图。如图10的1000-1中所示,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收在该至少一个图像上选择第一对象1010作为关注区域的用户输入。例如,用户可触摸该至少一个图像的显示第一对象1010的部分区域。然后,设备100可确定已接收到选择第一对象1010作为关注区域的用户输入,并且可显示具有光晕效果的第一对象1012,如图10的1000-2中所示。设备100可接收在该至少一个图像上选择第二对象1020作为关注区域的用户输入。例如,用户可经由在利用两根手指触摸显示第二对象1020的区域的同时加宽这两根手指之间的距离的拉开动作来输入用于选择第二对象1020的命令。然后,设备100可响应于对第二对象1020的选择而放大第二对象1020,并且显示放大的第二对象1022,如图10的1000-3中所示。
效果提供不仅可被应用到图像中的对象,而且可被应用到其中的背景。图11是根据示范性实施例用于说明向背景提供效果的方法的参考视图。设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。如图11的1100-1中所示,设备100可接收在至少一个图像上选择背景1110作为关注区域的用户输入。用户可通过触摸并挥扫该至少一个图像的显示背景1110的部分区域来选择背景1110。然后,如图11的1100-2中所示,设备100可通过响应于对背景1110的选择而减小背景1110内的像素的值之间的差异来提供模糊效果,并且可显示模糊的背景1120。除了模糊效果以外,也可应用允许背景与先前背景相比被完全不同地显示的其他类型的效果。
可以向背景和对象两者提供效果。图12A是根据示范性实施例用于说明向对象和背景两者提供效果的方法的参考视图。参考图12A的1200-1,设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。设备100可接收在该至少一个图像上选择第一对象1210作为关注区域的用户输入。例如,用户可通过触摸该至少一个图像上的显示第一对象1210的部分区域来选择第一对象1210。然后,设备100可响应于对第一对象1210的选择而向第一对象1210提供光晕效果。光晕效果是高亮显示被用户选择的对象的轮廓线的效果。
设备100可显示具有光晕效果的对象1212,如图12A的1200-2中所示。设备100可接收在该至少一个图像上选择背景1220作为关注区域的用户输入。例如,用户可通过触摸然后挥扫该至少一个图像的显示背景1220的部分区域来选择背景1220。然后,如图12A的1200-2中所示,设备100可通过响应于对背景1220的选择而减小背景1220内的像素的值之间的差异来显示模糊的背景1222。
到现在为止,已描述了当响应于用户输入而选择关注区域时,提供预设的效果。然而,示范性实施例不限于此。选择关注区域的用户输入和用于提供效果的用户输入可以是彼此分开的。可接连接收多个用户输入,或者可以带时间差地接收多个用户输入。选择关注区域的用户输入和用于提供效果的用户输入可以是彼此相同的。
图12B是根据示范性实施例用于说明响应于多个用户输入而提供效果的方法的参考视图。设备100可在特定应用——例如图片集应用——正被执行的同时显示至少一个图像。如图12B的1200-4中所示,设备100可接收在至少一个图像上选择背景1260作为关注区域的第一用户输入。用户可触摸该至少一个图像的显示背景1260的部分区域。然后,设备100可接收该触摸作为第一用户输入并且确定背景1260作为关注区域。设备100可通过从图像中检测对象的轮廓线来将对象与背景分离。设备100可判定被触摸区域是显示对象的区域还是显示背景的区域。由于显示背景的区域在图12B的1200-4中已被触摸,所以设备100可确定背景1260作为关注区域。
如图12B的1200-5中所示,设备100可提供高亮显示背景1260的边界的指示符1270。用户可通过检查指示符1270来判定关注区域是否已被恰当选择。设备100可根据用户的设定来选择性地显示指示符1270。设备100可接收向背景提供效果的第二用户输入。例如,用户可在特定方向上拖曳显示背景的区域。第一用户输入和第二用户输入可被接连接收。例如,用户可触摸(第一用户输入)背景1260,然后立即拖曳(第二用户输入)背景1260。
然后,如图12B的1200-6中所示,设备100可接收拖曳作为第二用户输入,提供让背景1260在拖曳方向上流动的流动效果,并且显示流动的背景1262。流动效果是让图像流动的效果,并且对应于根据拖曳方向基于先前布置的像素的像素值对像素的像素值作出的校正。
通过编辑一个图像,其他图像可被提供以相同的效果。图13根据示范性实施例图示了用于向多个图像提供效果的GUI。参考图13的1300-1,设备100响应于用户输入向图像的对象提供了效果。设备100可显示询问窗口1310,询问是否要向其他图像提供相同效果。
设备100可接收请求向其他图像应用相同效果的用户输入。例如,用户可触摸询问窗口1310的显示“是”的区域。然后,响应于该用户输入,设备100可显示可向其应用效果的图像的列表1320,如图13的1300-2中所示。当用户从列表1320中选择特定图像时,设备100可向所选择的图像提供相同效果。
为了便于说明,被审查来判定是否可向图像提供效果的图像现在将被称为目标图像。用于选择关注区域的图像被称为第一图像,并且目标图像之中的被提供效果的或者用于效果提供的图像被称为第二图像。
设备100可从目标图像之中搜索或获取第二图像以便向第二图像提供效果。设备100可利用用于识别第一图像的关注区域——即对象或背景——的识别信息来搜索第二图像。
“识别信息”表示识别图像的关键字、关键短语等等,并且可以对每个对象和每个背景定义识别信息。对象和背景可各自具有至少一条识别信息。根据示范性实施例,可利用图像的属性信息或图像的图像分析信息来获取识别信息。
图14是根据示范性实施例的设备100利用第一图像的识别信息向第二图像提供效果的方法的流程图。
在操作S1410中,设备100可从第一图像中选择关注区域。例如,如上所述,设备100可显示第一图像并且响应于用户输入而选择第一图像内的对象或背景作为关注区域。设备100可向第一图像的关注区域提供效果或者可稍后连同第二图像一起向第一图像的关注区域提供效果。第一图像可以是静止图像、作为运动图片的一部分的运动图片帧(即,运动图片的静止图像)或者实时取景图像。当第一图像是静止图像或者运动图片的运动图片帧时,静止图像或运动图片可以是预先存储在设备100中的图像,或者可以是存储在外部设备中并从外部设备发送来的图像。当第一图像是实时取景图像时,实时取景图像可以是由内置在设备100中的相机捕捉的图像,或者是由作为外部设备的相机捕捉和发送的图像。
在操作S1420中,设备100可判定在所选择的关注区域中是否定义了识别信息。例如,当图像被存储时,分别描述图像中包括的对象和背景的多条识别信息可与图像相匹配并被存储。在此情况下,设备100可判定在所选择的关注区域中定义了识别信息。根据示范性实施例,分别与对象和背景相对应的多条识别信息可以按每个图像的元数据的形式来存储。
在操作S1430中,如果在所选择的关注区域中没有定义识别信息,则设备100可生成识别信息。例如,设备100可通过使用以元数据形式存储的属性信息或者通过使用通过对图像执行图像处理而获取的图像分析信息来生成识别信息。下文中将参考图15更详细描述操作S1430。
在操作S1440中,设备100可从目标图像中搜索具有识别信息的第二图像。目标图像可例如是根据用户输入存储在设备100中的静止图像或运动图片,或者存储在外部设备中的静止图像或运动图片。当从运动图片中搜索第二图像时,设备100可搜索具有识别信息的运动图片帧。
识别信息可以是或不是目标图像中预定义的。如果在目标图像中预定义了识别信息,则设备100可基于目标图像的识别信息是否与关注区域的识别信息相同来搜索第二图像。如果在目标图像中没有预定义识别信息,则像操作S1430中那样,设备100可生成目标图像的识别信息。设备100可基于所生成的目标图像的识别信息是否与关注区域的识别信息相同来搜索第二图像。
当对于第一图像的关注区域有多条识别信息时,设备100可利用这多条识别信息中的至少一些来搜索图像。或者,设备100可向用户提供识别信息列表,从而用户可选择识别信息。设备100可从识别信息列表中接收至少一条识别信息。根据示范性实施例,设备100可接收选择所有多条识别信息的输入或者选择多条识别信息中的一些的输入。
根据示范性实施例,选择识别信息的用户输入可有所不同。例如,用户输入可以是从键输入、触摸输入、运动输入、弯曲输入、语音输入和多重输入中选择的至少一者。
在操作S1450中,设备100可向找到的第二图像提供效果。设备100可利用识别信息从第二图像区分出对应于关注区域的局部图像,并且向区分出的局部图像提供与向第一图像的关注区域应用的效果的相同的效果。在操作S1410中,设备100可响应于用户的选择而从第一图像区分出关注区域。在操作S1450中,设备100可利用识别信息从第二图像区分出对应于关注区域的局部图像。
图15是根据示范性实施例的设备100生成识别信息的方法的流程图。图15图示了未预定义第一图像内的关注区域的识别信息的情况。在生成目标图像的识别信息时也可应用图15的识别信息生成方法。
在操作S1510中,设备100可判定是否存在与关注区域相对应的属性信息。例如,设备100可检查与关注区域相对应的元数据。设备100可从元数据中提取关注区域的属性信息。
根据示范性实施例,属性信息表示图像的属性,并且可包括与图像生成相关联的情境信息和用户添加的注释信息。
情境信息是在图像生成期间与图像相关联的环境信息。例如,情境信息可包括以下各项中的至少一者:关于图像的格式的信息、关于图像的大小的信息、关于用来生成图像的设备100的信息、图像生成的时间信息、图像生成的温度信息和图像的来源信息。情境信息可由设备100自动获取并被存储在其中。
注释信息是用户记录的信息,并且可包括关于图像中包括的对象的信息,例如对象的类型、名称和状态,以及关于图像中包括的背景的信息,例如位置信息、时间信息和天气信息。
在操作S1520和S1540中,设备100可概括图像的属性信息并且生成识别信息。
概括属性信息可以指基于WordNet(层次术语引用系统)以上层语言表达属性信息。
“WordNet”是提供单词的定义或使用模式并且建立单词之间的关系的数据库。WordNet的基本结构包括具有语义上等同的单词的列表的被称为synset的逻辑群组,和这些synset之间的语义关系。语义关系包括上位词、下位词、部分词和整体词。WordNet中包括的名词以一实体作为最高单词并且通过根据意义扩展该实体来形成下位词。从而,WordNet也可被称为通过分类并定义概念性词汇而具有层次结构的本体论。
“本体论”表示共享的概念化的正式且明确的规范。本体论可被认为是由单词和关系构成的一类词典。在本体论中,与特定领域相关联的单词被层次地表达,并且包括用于扩展这些单词的推断规则。
例如,当关注区域是背景时,设备100可将属性信息中包括的位置信息分类成上层信息并且生成识别信息。例如,设备100可将全球定位系统(globalpositioningsystem,GPS)坐标值(纬度:37.4872222,经度:127.0530792)表达为上位概念,例如区域、建筑物、地址、地区名、城市名或国家名。在此情况下,建筑物、地区名、城市名、国家名等等可被生成为背景的识别信息。
在操作S1530和S1540中,如果与关注区域相对应的属性信息不存在,则设备100可获取关注区域的图像分析信息并且利用图像分析信息生成关注区域的识别信息。
根据示范性实施例,图像分析信息是与经由图像处理获取的分析数据的结果相对应的信息。例如,图像分析信息可包括关于在图像上显示的对象的信息(例如,对象的类型、状态和名称)、关于在图像上示出的位置的信息、关于在图像上示出的季节或时间的信息和关于在图像上示出的氛围或情绪的信息,但示范性实施例不限于此。
例如,当关注区域是对象时,设备100可检测图像中包括的对象的轮廓线。根据示范性实施例,设备100可将图像中包括的对象的轮廓线与预定义的模板相比较并且获取对象的类型、名称等等。例如,当对象的轮廓线与车辆的模板相似时,设备100可将图像中包括的对象识别为车辆。在此情况下,设备100可利用关于图像中包括的对象的信息来显示识别信息“汽车”。
或者,设备100可在图像中包括的对象上执行脸部识别。例如,设备100可从图像中检测人类的脸部区域。脸部区域检测方法的示例可包括基于知识的方法、基于特征的方法、模板匹配方法和基于外观的方法,但示范性实施例不限于此。
设备100可从检测到的脸部区域中提取脸部特征(例如,作为脸部的主要部分的眼睛、鼻子和嘴的形状)。为了从脸部区域中提取脸部特征,可以使用加博滤波器、局部二值模式(LBP)等等,但示范性实施例不限于此。
设备100可将从图像内的脸部区域中提取的脸部特征与预先注册的用户的脸部特征相比较。例如,当提取的脸部特征与预先注册的第一注册者的脸部特征相似时,设备100可确定第一用户被作为局部图像包括在所选择的图像中。在此情况下,设备100可基于脸部识别的结果生成识别信息“第一用户”。
根据示范性实施例,设备100可将图像的某个区域与颜色地图(颜色直方图)相比较,并且提取图像的诸如颜色布置、图案和氛围之类的视觉特征作为图像分析信息。设备100可利用图像的视觉特征生成识别信息。例如,当图像包括天空背景时,设备100可利用天空背景的视觉特征生成识别信息“天空”。
根据示范性实施例,设备100可以以区域为单位划分图像,搜索与每个区域最相似的聚类,并且生成与找到的聚类相连接的识别信息。
如果与图像相对应的属性信息不存在,则设备100可获取图像的图像分析信息并且利用图像分析信息生成图像的识别信息。
图15图示了设备100在图像的属性信息不存在时获取图像的图像分析信息的示范性实施例,但示范性实施例不限于此。
例如,设备100可只利用图像分析信息或属性信息来生成识别信息。或者,即使当属性信息存在时,设备100也可进一步获取图像分析信息。在此情况下,设备100可利用属性信息和图像分析信息两者来生成识别信息。
根据示范性实施例,设备100可将基于属性信息生成的多条识别信息与基于图像分析信息生成的多条识别信息相比较并且确定共同识别信息作为最终识别信息。共同识别信息可具有比非共同识别信息更高的可靠性。可靠性表示从图像提取的多条识别信息被信任为是合适的识别信息的程度。
图16根据示范性实施例图示了图像的属性信息。如图16所示,可以以元数据的形式存储图像的属性信息。例如,对于每个图像,诸如类型1610、时间1611、GPS1612、分辨率1613、大小1614和收集设备1617之类的数据可被存储为属性信息。
根据示范性实施例,也可以以元数据的形式存储在图像生成期间使用的情境信息。例如,当设备100生成第一图像1601时,设备100可在生成第一图像1601的时刻从天气应用收集天气信息(例如,多云)、温度信息(例如,20℃)等等。设备100可将天气信息1615和温度信息1616存储为第一图像1601的属性信息。设备100可在生成第一图像1601的时刻从日程应用收集事件信息(未示出)。在此情况下,设备100可将事件信息存储为第一图像1601的属性信息。
根据示范性实施例,也可以以元数据的形式存储由用户输入的用户添加信息1618。例如,用户添加信息1618可包括用户输入来说明图像的注释信息以及关于用户说明的对象的信息。
根据示范性实施例,可以以元数据的形式存储作为对图像的图像处理的结果获取的图像分析信息(例如,对象信息1619)。例如,设备100可将关于第一图像1601中包括的对象(例如,用户1、用户2、我以及椅子)的信息存储为关于第一图像1601的属性信息。
图17是用于说明设备100基于图像的属性信息生成图像的识别信息的示例的参考视图。
根据示范性实施例,设备100可基于用户输入选择图像1710的背景1712作为关注区域。在此情况下,设备100可在图像1710的属性信息1720内检查所选择的背景1712的属性信息。设备100可利用所选择的背景1712的属性信息来检测识别信息1730。
例如,当被选择为关注区域的区域是背景时,设备100可从属性信息1720中检测与背景相关联的信息。设备100可利用属性信息1720内的位置信息(例如,纬度:37;25;26.928…,经度:126;35;31.235…)来生成识别信息“公园”,或者利用属性信息1720内的天气信息(例如,云)来生成识别信息“多云”。设备100可通过组合多条属性信息来生成新的识别信息。例如,当属性信息1720内的时间信息是2012.5.3.15:13并且其内的位置信息是纬度:37;25;26.928…和经度:126;35;31.235…时,设备100可利用位置信息确定图像1710上示出的区域并且还通过除了位置信息以外还使用时间信息来确定图像1710上示出的季节。例如,当位置信息是“韩国”时,设备100可利用时间信息生成关于季节“春季”的识别信息。作为另一示例,设备100可利用基于位置信息和时间信息生成的关于季节的识别信息和天气信息来生成识别信息“春雨”。
或者,设备100可从用户添加的注释信息生成与对象信息相对应的识别信息“微笑”和“用户1”。
当情境信息和注释信息彼此相反时,设备100可利用图像分析信息生成识别信息。例如,当情境信息中包括的天气信息是雨,但注释信息中包括的天气信息是多云时,设备100可利用图像分析信息来判定天气信息是雨还是多云。然而,示范性实施例不限于此。当情境信息和注释信息彼此相反时,设备100可向注释信息赋予优先级并且利用注释信息生成识别信息。
图18是用于说明设备100利用图像分析信息生成识别信息的示例的参考视图。根据示范性实施例,设备100可基于用户输入选择图像1810的第一对象1812作为关注区域。在此情况下,设备100可通过对第一对象1812执行图像分析来生成描述第一对象1812的识别信息(例如,人类和笑脸)。
例如,设备100可从关注区域中检测人类的脸部区域。设备100可从检测到的脸部区域中提取脸部特征。设备100可将提取的脸部特征与预先注册的用户的脸部特征相比较并且生成表示所选择的第一对象1812是用户1的识别信息。设备100也可基于检测到的脸部区域中包括的嘴唇形状来生成识别信息“微笑”。然后,设备100可从识别信息1820获取“用户1”和“微笑”。
当有关注区域的多条识别信息时,设备100可显示识别信息列表以便用户可选择识别信息。图19根据示范性实施例图示了设备100显示识别信息列表的示例。
参考图19的1900-1,设备100可基于用户输入选择第一图像1910的第一对象1912作为关注区域。根据示范性实施例,设备100可获取描述第一对象1912的识别信息。例如,设备100可获取诸如微笑、母亲和眨眼之类的识别信息。
参考图19的1900-2,设备100可显示所获取的多条识别信息的识别信息列表1920。在此情况下,设备100可接收从识别信息列表1920中选择至少一些识别信息的用户输入。例如,设备100可接收选择母亲1922的用户输入。设备100可从目标图像(例如,图片集)中搜索具有用户选择的识别信息(例如,母亲)的第二图像,向第二图像内的与母亲相对应的局部图像提供效果,然后显示具有应用了效果的与母亲相对应的局部图像的第二图像1930,如图19的1900-3中所示。
当有多个应用了效果的第二图像时,设备100可生成文件夹(以下称为效果文件夹)并将应用了效果的第二图像(以下称为效果图像)存储在效果文件夹中。每个效果图像可包括从第一图像和第二图像中选择的至少一者。虽然设备100可将效果图像存储在效果文件夹内,但设备100也可将效果图像的链接信息存储在效果文件夹中。
图20图示出设备100显示效果文件夹的示例。当对第二图像的搜索完成时,设备100可向第二图像提供效果。如图20的2000-1中所示,设备100可显示效果文件夹2010。效果文件夹2010可存储效果图像。在其他示范性实施例中,效果图像的链接信息可被存储在效果文件夹2010中。
用户可输入用于选择效果文件夹2010的命令。响应于用户输入,设备100可显示至少一个效果图像2020,如图20的2000-2中所示。
根据示范性实施例,设备100可基于从图像生成时间信息、图像生成位置信息、图像的容量信息和图像的分辨率信息中选择的至少一者来布置效果文件夹2010中包括的至少一个效果图像。
当有不同类型的效果图像时,设备100可根据效果图像的类型生成效果文件夹并且将相同类型的效果图像存储在单个效果文件夹中。设备100可在效果文件夹中包括的图像上选择新的关注区域并且向所选择的关注区域提供新的效果。当在效果文件夹中包括许多被应用了新效果的效果图像时,可在该效果文件夹内生成新的效果文件夹。
如上所述,不仅可向设备100中存储的图像提供效果,而且可向外部设备中存储的图像提供效果。外部设备可例如是社交网络服务(SNS)服务器、云服务器或远程服务器,或者另一用户使用的设备100。图21是根据示范性实施例的设备向存储在外部设备中的图像提供效果的方法的流程图。
在操作S2110中,外部设备200可存储至少一个图像。外部设备200中存储的图像之一可以是第一图像。外部设备200可以是向经由网络与外部设备连接的设备100提供SNS的服务器,可以是经由网络与设备100连接的便携式终端,或者可以是云服务器。SNS表示使得在线用户能够新构建个人联系或者加强现有的个人联系的服务。
根据示范性实施例,外部设备200可存储从若干个用户的设备100上传的图像。
在操作S2120中,设备100可连接到外部设备200。设备100可通过执行登录来连接到外部设备200。登录可以是获取对外部设备200中存储的图像的访问权限的过程。例如,在向外部设备200发送用户的识别信息(例如,电子邮件账户信息)和用户的认证信息(例如,口令)的同时,设备100可请求外部设备200执行用户授权。当用户被识别为授权用户时,设备100可被允许连接外部设备并访问外部设备中存储的图像。
在操作S2130中,设备100可从外部设备200中存储的图像之中接收第一图像。设备100可请求外部设备200中存储的图像之一作为第一图像。响应于此请求,外部设备200可向设备100发送第一图像。第一图像可包括对象和背景。第一图像可以是静止图像、运动图片帧或者实时取景图像。
在操作S2140中,设备100可从第一图像中选择关注区域。例如,设备100可接收从第一图像中选择部分区域的用户输入,检测围绕所选择的部分区域的轮廓线,并且选择被轮廓线围绕的部分区域作为关注区域。被轮廓线围绕的区域可以是对象或背景。
根据示范性实施例,选择关注区域的用户输入可以有所不同。用户输入可例如是键输入、触摸输入、运动输入、弯曲输入、语音输入或多重输入。例如,设备100可接收触摸外部设备200中存储的多个图像内的特定内容达预定时间段(例如,两秒)以上或者触摸该特定内容预定次数以上(例如,双叩击)的输入。
在操作S2150中,设备100可就识别所选择的关注区域的识别信息询问外部设备200。在操作S2160中,设备100可从外部设备200接收关于识别信息的响应。设备100可询问是否预定义了关于与关注区域相对应的对象或背景的识别信息。当预定义了识别信息时,外部设备200可向设备100发送关于关注区域的识别信息。
在一些示范性实施例中,当在外部设备200中没有预定义关于对象或背景的识别信息时,外部设备200可判定外部设备200是否能够生成识别信息。如果判定外部设备200能够生成识别信息,则外部设备200可生成关于关注区域的识别信息并将其发送给设备100。当外部设备200生成识别信息时,外部设备200可使用关注区域的属性信息和图像分析信息中的至少一者。另一方面,如果判定外部设备200不能生成识别信息,则外部设备200可以只向设备100发送外部设备200拥有的关于关注区域的信息。在一些示范性实施例中,外部设备200可向设备100发送表明外部设备200不能生成识别信息的响应。
在操作S2170中,设备100可基于外部设备200的响应获取关注区域的识别信息。设备100可从外部设备200接收关注区域的识别信息,或者可利用从关注区域的属性信息和图像分析信息中选择的至少一者来生成关注区域的识别信息。
在操作S2180中,设备100可搜索具有识别信息的第二图像。设备100可从目标图像中搜索具有识别信息的第二图像。目标图像可以是存储在设备100中的图像。或者,目标图像可以是存储在外部设备200中的图像。或者,目标图像可以是存储在除了图21的外部设备200以外的外部设备中的图像。当搜索第二图像时,设备100可使用为目标图像存储的识别信息。当没有预定义识别信息时,设备100可利用目标图像的属性信息或图像分析信息生成目标图像的识别信息,然后搜索具有共同识别信息的第二图像。
当有多条识别信息时,设备100可响应于用户输入利用多个识别信息中的至少一些来搜索第二图像。
在操作S2190中,设备100可向找到的第二图像提供效果。
虽然在图21中利用存储在外部设备中的第一图像的关注区域来向存储在设备100或外部设备200中的第二图像提供效果,但示范性实施例不限于此。可利用存储在设备100中的第一图像的关注区域来向存储在外部设备200中的第二图像提供效果。
设备100可与外部设备200共享效果图像。图22是根据示范性实施例的设备与外部设备共享效果图像的方法的流程图。
在操作S2210中,设备100可显示效果图像。例如,设备100可通过向用户在第一图像上选择的关注区域提供效果来生成效果图像。设备100可显示效果图像。设备100可通过利用第一图像的关注区域向第二图像提供效果来生成效果图像。
在操作S2220中,设备100可接收请求共享效果图像的用户输入。
根据示范性实施例,请求共享效果图像的用户输入可有所不同。例如,用户输入可以是键输入、语音输入、触摸输入或弯曲输入,但示范性实施例不限于此。
根据示范性实施例,设备100可经由用户输入接收关于要共享效果图像的外部设备200的信息。外部设备200可以是从连接到设备100的云服务器、SNS服务器、用户的另一设备、另一用户的设备和可穿戴设备中选择的至少一者,但示范性实施例不限于此。
例如,用户可输入云存储的账户信息、用户的SNS账户信息、发送了第一文件夹中包括的所有图像的朋友设备的识别信息(例如,电话号码或MAC地址)和朋友的电子邮件账户信息。
在操作S2230中,设备100可与外部设备共享效果图像。
例如,设备100可向外部设备200发送效果图像的链接信息(例如,存储位置信息或URL)。设备100可向外部设备200发送效果图像。根据示范性实施例,设备100可将效果图像上传到特定的服务器并且赋予外部设备200访问该特定服务器的权限。
虽然在图22中设备100与外部设备200共享效果图像,但示范性实施例不限于此。设备100可与外部设备200共享效果文件夹。设备100可与外部设备200共享至少一个效果文件夹。
图23图示了设备与外部设备共享效果图像的示例。参考图23的2300-1,设备100可响应于用户输入而生成并显示效果文件夹2310。效果文件夹2310可存储至少一个效果图像。效果文件夹2310可存储效果图像或效果图像的链接信息。
在此情况下,设备100可接收选择效果文件夹2310的用户输入。例如,设备100可接收触摸效果文件夹2310达预定时间段(例如,2秒)以上的输入。设备100可响应于该用户输入而提供包括诸如文件夹搜索、书签添加和发送2322之类的项目的菜单窗口2320。
当用户选择菜单窗口2320上的发送项目2322时,设备100可提供选择窗口2330,经由该选择窗口2330可选择接收设备,如图23的2300-2中所示。设备100可接收在选择窗口2330上选择联络人2332的用户输入。用户可从联络人中选择特定的朋友。在此情况下,设备100可与该特定朋友的设备100共享效果文件夹2310。
例如,设备100可将效果文件夹2310中包括的效果图像发送到特定朋友的设备100。在其他示范性实施例中,设备100可将效果文件夹2310中包括的效果图像的链接信息发送到特定朋友的设备100。
根据示范性实施例,设备100可经由电子邮件或文本消息将效果文件夹2310中包括的效果图像(或者效果图像的链接信息)发送到特定朋友的设备100。
图24是根据示范性实施例的图像管理系统的示意性视图。
如图24所示,图像管理系统可包括设备100和云服务器200。在一些示范性实施例中,云服务器可以指远程服务器。比图24所示那些更多或更少的组件可构成图像管理系统。
根据示范性实施例的设备100可实现为各种类型。例如,设备100可以是以下各项中的至少一者:桌面型计算机、移动电话、智能电话、膝上型计算机、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、MP3播放器、数码相机160、互联网协议电视(IPTV)、数字电视(DTV)、消费性电子产品(CE)装置(例如,各自包括显示器的冰箱或空调),等等,但示范性实施例不限于此。设备100也可以是用户可穿戴的设备。例如,设备100可以是从手表、眼镜、戒指、手镯和项链中选择的至少一者。
由于设备100与上述设备100相同,所以这里将省略对其的详细描述。为了便于说明,现在将描述设备100是第一、第二至第N设备之一的情况。
云服务器210可连接到设备100并从而与设备100通信。例如,云服务器210可经由账户信息连接到设备100。
根据示范性实施例,云服务器210可向设备100发送或从设备100接收数据。例如,设备100可向云服务器210上传至少一个图像。设备100可从云服务器210接收关于图像的属性信息、图像分析信息、识别信息等等。
云服务器210可包括智能引擎并且可经由智能引擎来分析设备100收集的图像。例如,云服务器210可从图像的属性信息生成识别信息并且通过对图像执行图像处理来获取图像分析信息。云服务器210可分析设备100生成的事件信息并且推断用户的状态、设备100的情形,等等。云服务器210与上述设备100一样可响应于用户输入而生成从效果图像和效果文件夹中选择的至少一者。
以上已描述了效果图像是通过向单个图像的对象或背景提供效果而获得的图像。效果是利用关注区域的图像数据来提供的。换言之,光晕效果、模糊效果等等调整关注区域的像素值,并且大小效果将关注区域的像素值应用到相对更宽的区域或相对更窄的区域。深度效果利用关注区域的像素值生成三维(3D)图像(例如,左眼图像和右眼图像)。
在效果提供期间,可使用另一图像的图像数据。换言之,设备100可利用第二图像的图像数据向第一图像提供效果。利用另一图像的图像数据向一图像的关注区域提供效果现在将被称为通过将多个图像与彼此组合来提供效果。图25是根据示范性实施例的通过将多个图像与彼此组合来提供效果图像的方法的流程图。
在操作S2510中,设备100可从第一图像中选择关注区域。例如,如上所述,设备100可显示存储在设备100或外部设备中的静止图像或运动图片帧作为第一图像。或者,设备100可显示由设备100或外部设备捕捉的实时取景图像作为第一图像。响应于用户输入,设备100可选择第一图像的对象或背景作为关注区域。
在操作S2520中,设备100可获取所选择的关注区域的识别信息。例如,当第一图像被存储时,分别描述第一图像中包括的对象和背景的多条识别信息可与图像相匹配并被存储。根据示范性实施例,分别与对象和背景相对应的多条识别信息可以按元数据的形式来存储。在此情况下,设备100可判定对于所选择的关注区域定义了识别信息。设备100可通过读取预先存储的识别信息来获取识别信息。
当没有定义所选择的关注区域的识别信息时,设备100可通过生成识别信息来获取识别信息。例如,设备100可基于以元数据形式存储的第一图像的属性信息或者利用通过对第一图像执行图像处理而获取的图像分析信息来生成识别信息。
在操作S2530中,设备100可从目标图像中搜索具有与关注区域相同的识别信息的第二图像。目标图像可以是要在其中搜索第二图像的至少一个图像,并且可以是存储在设备100或外部设备中的静止图像或运动图片。
当关注区域具有一条识别信息时,设备100可从目标图像中搜索具有该识别信息的第二图像。另一方面,当关注区域具有多条识别信息时,设备100可搜索具有所有多条识别信息的图像。然而,示范性实施例不限于此。设备100可搜索具有这多条识别信息中的一些的图像。设备100可向用户提供识别信息列表并且接收从识别信息列表中选择至少一条识别信息的用户输入。根据示范性实施例,设备100可接收选择所有多条识别信息的用户输入或者选择多条识别信息中的一些的用户输入。
根据示范性实施例,选择识别信息的用户输入可有所不同。例如,用户输入可以是从键输入、触摸输入、运动输入、弯曲输入、语音输入和多重输入中选择的至少一者。
在操作S2540中,设备100可从至少一个找到的第二图像中选择一个。设备100可显示找到的至少一个第二图像。可以按缩略图的形式显示第二图像。当找到多个第二图像时,设备100可按搜索顺序或者按生成第二图像的顺序显示第二图像。显示第二图像的顺序可根据用户输入来设定。设备100可响应于当显示至少一个第二图像时作出的用户输入从至少一个找到的第二图像中选择一个。当找到一个第二图像时,设备100可选择找到的第二图像,而不考虑用户输入。
在操作S2550中,设备100可通过将第一图像与第二图像相组合来生成效果图像。设备100可通过将关注区域从第一和第二图像中分离并且将第二图像内的与关注区域相对应的局部图像与第一图像的关注区域所位于的区域相组合来生成效果图像。或者,设备100可通过将关注区域的图像数据替换为第二图像内的与关注区域相对应的局部图像的图像数据来生成效果图像。
图26A-26C根据示范性实施例图示了利用多个图像来向对象提供效果的示例。如图26A的2600-1中所示,设备100可在设备100的模式被设定为效果模式的同时显示第一图像2610。第一图像2610例如可以是静止图像、运动图片帧或者实时取景图像。设备100可从第一图像2610选择关注区域。例如,用户可触摸第一图像2610的显示对象2612的部分区域,并且设备100可选择包括被触摸区域并且通过基于被触摸区域执行图像处理而获得的对象2612作为关注区域。
设备100可显示包括可向对象提供的效果的效果列表2620,如图26A的2600-2中所示。效果列表2620可重叠在显示的第一图像2610上。用户可执行从效果列表2620中选择一个效果的输入。例如,用户可通过触摸项目“使用另一图像”来执行输入。
设备100可获取识别作为关注区域的对象2612的识别信息。当识别信息被预先存储时,设备100可通过读取预先存储的识别信息来获取识别信息。当识别信息未被预先存储时,设备100可通过利用从对象2612的属性信息和图像分析信息中选择的至少一者生成识别信息来获取识别信息。如图26B的2600-3中所示,设备100可显示识别信息列表2630。识别信息列表2630也可重叠在显示的第一图像2610上。经由从识别信息列表2630中选择至少一些识别信息的用户输入,设备100可确定至少一些识别信息作为用于搜索的识别信息。
设备100可显示表示关于目标图像的信息的目标图像列表2640,如图26B的2600-4中所示。经由从目标图像列表2640中选择至少一个图像的用户输入,设备100可确定目标图像。
设备100可从目标图像中搜索具有所选择的识别信息的第二图像。当目标图像是静止图像时,设备100可以以静止图像为单位搜索第二图像。当目标图像是运动图片时,设备100可以以运动图片帧为单位搜索第二图像。
找到的第二图像2650可被显示,如图26C的2600-5中所示。第一图像2610和第二图像2650可被显示在分开的区域上。当找到多个第二图像2650时,设备100可按搜索顺序等等依次布置多个第二图像2650。
响应于从多个第二图像2650中选择第二图像2660的用户输入,设备100可显示通过将第一图像2610与所选择的第二图像2660相组合来获得的效果图像2670,如图26C的2600-6中所示。设备100可通过将第一图像2610的所选择的对象2612替换为所选择的第二图像2660的对象2622来生成效果图像2670。
第二图像2660的对象2662的大小和形状可与第一图像2610的对象2612的不同。设备100在组合第一和第二图像2610和2660时可使用恢复技术。图27是根据示范性实施例用于说明组合多个图像的方法的参考视图。设备100可通过从第一图像2710中排除作为关注区域的对象2712来获得图像2714(以下称为第一局部图像)。设备100可利用例如图像边缘特性来将第一局部图像2714与第一图像2710分离。设备100也可利用例如图像边缘特性来将与关注区域相对应的对象2722(以下称为第二局部图像)与第二图像2720分离。
设备100将第一局部图像2714与第二局部图像2722相组合以使得第一局部图像2714和第二局部图像2722与彼此最低限度地重叠。设备100可通过从第一局部图像2714和第二局部图像2722彼此重叠的区域2732中删除第一局部图像2714的一部分并且通过利用第一局部图像2714恢复第一局部图像2714和第二局部图像2722两者都未被显示的区域2734来生成效果图像2730。
图28A-28C根据示范性实施例图示了利用多个图像来向背景提供效果的示例。如图28A的2800-1中所示,设备100可在设备100的模式被设定为效果模式的同时显示第一图像2810。第一图像2810例如可以是静止图像、运动图片帧或者实时取景图像。设备100可从第一图像2810选择关注区域。例如,用户可执行触摸第一图像2810的显示背景2814的部分区域的输入,并且设备100可响应于用户输入通过对被触摸区域执行图像处理来选择背景2814作为关注区域。
设备100可显示包括可向背景2814提供的效果的效果列表2820,如图28A的2820-2中所示。效果列表2820可重叠在显示的第一图像2810上。用户可执行从效果列表2820中选择一个效果的输入。例如,用户可通过触摸项目“使用另一图像”来执行输入。
设备100可获取识别作为关注区域的背景2814的识别信息。当识别信息被预先存储时,设备100可通过读取预先存储的识别信息来获取识别信息。当识别信息未被预先存储时,设备100可通过利用从背景2814的属性信息和图像分析信息中选择的至少一者生成识别信息来获取识别信息。如图28B的2800-3中所示,设备100可显示识别信息列表2830。识别信息列表2830也可重叠在显示的第一图像2810上。经由从识别信息列表2830中选择至少一些识别信息的用户输入,设备100可确定至少一些识别信息作为用于搜索的识别信息。
设备100可显示表示关于目标图像的信息的目标图像列表2840,如图28B的2800-4中所示。经由从目标图像列表2840中选择至少一个图像的用户输入,设备100可确定目标图像。
设备100可从目标图像中搜索具有用于搜索的识别信息的第二图像。当目标图像是静止图像时,设备100可以以静止图像为单位搜索第二图像。当目标图像是运动图片时,设备100可以以运动图片帧为单位搜索第二图像。
找到的第二图像2850可被显示,如图28C的2800-5中所示。第一图像2810和第二图像2850可被显示在分开的区域上。当找到多个第二图像2850时,设备100可按搜索顺序等等依次布置多个第二图像2850。
响应于从多个第二图像2850中选择第二图像2860的用户输入,设备100可显示通过将第一图像2810与所选择的第二图像2860相组合来获得的效果图像2870,如图28C的2800-6中所示。设备100可通过将第二图像2860的背景2864与第一图像2810的关注区域相组合来生成效果图像2870。
第二图像2860的背景2864的大小和形状可与第一图像2810的背景2814的略有不同。设备100在组合第一和第二图像2810和2860时可使用恢复技术。图29是根据另一示范性实施例用于说明组合多个图像的方法的参考视图。设备100可通过从第一图像2910中排除作为关注区域的背景来获得图像2912(以下称为第三局部图像)。设备100可利用例如图像边缘特性来将第三局部图像2912与第一图像2910分离。设备100也可利用例如图像边缘特性来将与关注区域相对应的局部图像2924(以下称为第四局部图像)与第二图像2920分离。
设备100可通过利用预定的像素值填充第四局部图像2924内的没有像素信息的区域2932来生成背景图像2930。当生成背景图像2930时,设备100可利用区域2932周围的区域的像素值利用镜像技术来确定没有像素信息的区域2932的像素值。设备100可通过将第三局部图像2912与背景图像2930组合来生成效果图像2940。设备100可利用第一图像2910内的第三局部图像2912的位置信息来将第三局部图像2912与背景图像2930组合。背景图像2930的被第三局部图像2912重叠的部分可被删除。
可以以实时取景图像的形式提供效果图像2940。实时取景图像可以指由相机捕捉并在设备上显示的图像并且是在接收到存储命令之前的图像。相机可以是内置在设备100中的相机,或者可以是外部设备。如上所述,设备100可响应于用户输入而选择实时取景图像的对象或背景作为关注区域,并且可与未被选择的关注区域完全不同地显示所选择的关注区域。例如,设备100可向关注区域提供光晕效果、模糊效果、大小效果或深度效果。当设备100接收到存储命令时,设备100可存储被提供了效果的实时取景图像。设备100可根据设备100的拍摄模式把被提供了效果的实时取景图像存储为静止图像或运动图片。
设备100可从实时取景图像中提取多个图像并提供效果图像。图30是根据示范性实施例的利用实时取景图像来提供效果图像的方法的流程图。在操作S3010中,设备100可显示实时取景图像。实时取景图像是由相机捕捉并被显示的图像,并且是在接收到存储命令之前的图像。相机可以是内置在设备100中的相机,或者可以是外部设备。为了便于说明,在接收到存储输入之后生成的图像现在将被称为捕捉图像。
在操作S3020中,设备100选择关注区域。用户可输入用于选择实时取景图像上的部分区域的命令,并且设备100可确定包括所选择的部分区域的对象或背景作为关注区域。
选择部分区域的用户输入可以有所不同。例如,用户输入可以是从键输入、触摸输入、运动输入、弯曲输入、语音输入和多重输入中选择的至少一者。
在操作S3030和S3040中,设备100可从实时取景图像生成临时图像。临时图像是包括关注区域的图像,并且是在接收到存储图像的用户输入之前临时生成的图像。
临时图像可以是关注区域的局部图像。例如,临时图像可以是只包括被选择为关注区域的对象或背景的局部图像。或者,临时图像可以是实时取景图像内的包括关注区域的帧图像。
临时图像可以被临时生成并存储在缓冲器中,或者可被临时生成并显示在设备100的显示区域上。
临时图像可以在选择关注区域的时刻和接收到存储输入的时刻之间生成。例如,在选择关注区域的时刻可生成一个临时图像,并且在接收到存储输入的时刻可生成另一临时图像,从而可生成总共两个临时图像。或者,可在选择关注区域的时刻之后并且在接收到存储输入之前按预定时间(例如,3秒)的间隔生成临时图像。或者,可在选择关注区域之后并且在接收到存储输入之前在每次关注区域的变化等于或大于参考值时生成临时图像。
在选择关注区域的时刻生成的临时图像被称为初始临时图像,并且在接收到存储输入的时刻生成的临时图像被称为最终临时图像。响应于存储输入,设备100可获取包括初始临时图像和最终临时图像的多个临时图像。这多个临时图像之中的仅由关注区域构成的临时图像可以是关注图像。设备100可从包括初始临时图像和最终临时图像在内的多个临时图像之一生成关注图像。
用于存储图像的用户输入可以有所不同。例如,用户输入可以是从键输入、触摸输入、运动输入、弯曲输入、语音输入和多重输入中选择的至少一者。
当设备100接收用于存储的用户输入时,在操作S3050中,设备100可利用多个临时图像来生成效果图像。换言之,设备100可通过读取临时存储在缓冲器中的多个临时图像并且将读取的多个临时图像彼此组合来生成效果图像。设备100可存储生成的效果图像。存储在缓冲器中的临时图像可被删除。设备100可通过将初始临时图像的作为关注区域的对象或背景与最终临时图像相组合来生成效果图像。或者,设备100可通过将多个临时图像之中的与关注区域相对应的局部图像与最终临时图像相组合来生成效果图像。
图31是根据示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图。如图31的3100-1中所示,设备100可在设备100的模式被设定为拍摄模式的同时显示实时取景图像3110。设备100可从实时取景图像3110中选择关注区域。例如,用户可触摸实时取景图像3110的显示对象3112的部分区域。然后,设备100可选择对象3112作为关注区域。当对象3112被选择为关注区域时,设备100可生成包括对象3112的初始临时图像。设备100可从初始临时图像生成仅由关注区域构成的关注图像3120。设备100可显示另一实时取景图像3130,如图31的3100-2中所示。响应于用于存储的用户输入,如图31的3100-3中所示,设备100可通过将关注图像3120与作为最终临时图像的实时取景图像3130相组合来生成图像3140,并且存储图像3140。关注图像3120的位置可固定到生成初始临时图像的显示区域上的位置。
当临时图像被固定到该显示区域时,设备100可生成各种形状的图像。图32是根据示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图。如图32的3200-1中所示,设备100可在设备100的模式被设定为拍摄模式的同时显示实时取景图像3210。设备100可在实时取景图像3210上选择关注区域。例如,用户可触摸实时取景图像3210的显示第一对象3212的部分区域。然后,设备100可选择第一对象3212作为关注区域。当第一对象3212被选择为关注区域时,设备100可生成包括第一对象3212的初始临时图像并且从初始临时图像生成关注图像3220。关注图像3220可通过重叠在实时取景图像3210上而被显示在设备100上。
由于关注图像3220的位置被固定到生成第一临时图像的位置,所以即使当相机160的拍摄角度或位置被改变时,显示区域上显示的关注图像3220也可以是固定的。当用户将相机160旋转90度时,如图32的3200-2中所示,固定到显示区域的关注图像3220也被旋转90度。然而,实时取景图像3230不旋转。响应于存储命令,如图32的3200-3中所示,设备100可通过将关注图像3220与作为最终临时图像的实时取景图像3230相组合来生成效果图像3240,并且存储效果图像3240。最终临时图像3230是在接收到存储输入之后生成的临时图像。最终临时图像3230也可包括第一对象3212。设备100可通过删除最终临时图像3230中包括的第一对象3212并且将关注图像3220与其中已删除了第一对象3212的最终临时图像3230相组合来生成效果图像3240。效果图像3240内的没有像素信息的区域可通过图像恢复技术来恢复。
虽然以上描述了关注图像被固定到显示区域,但示范性实施例不限于此。关注图像的位置可根据用户输入而变化。例如,当关注图像和实时取景图像被重叠并显示时,用户可执行触摸显示关注图像的部分区域并随后拖曳该部分区域的操作。然后,设备100可根据用户输入将关注图像的位置改变到拖曳结束的位置。设备100也可根据用户输入改变关注图像的大小等等。
关注图像的位置可被改变为对应于实时取景图像的关注区域的位置。图33是根据另一示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图。如图33的3300-1中所示,设备100可在设备100的模式被设定为拍摄模式的同时显示实时取景图像3310。设备100可在实时取景图像3310上选择关注区域。例如,用户可触摸实时取景图像3310的显示第一对象3312的部分区域。然后,设备100可选择第一对象3312作为关注区域。当第一对象3312被选择为关注区域时,设备100可生成包括第一对象3312的关注图像3320。
如图33的3300-2中所示,设备100可在显示区域上的预定位置显示关注图像3320。换言之,设备100可不将关注图像3320显示在生成关注图像3320的位置,而是可将关注图像3320显示在由设备100预定的位置。在设备100上显示的关注图像3320可重叠在实时取景图像3330上。图33的3300-2的实时取景图像3330可不同于图33的3300-1的实时取景图像3310。
响应于存储输入,设备100可生成效果图像3340,如图33的3300-3中所示。设备100可通过将关注图像3320移动到与作为最终临时图像的实时取景图像3330的关注区域相对应的第一对象3332来生成效果图像3340。在图33中,当接收到存储输入时,关注图像被移动到最终临时图像的第一对象的位置并且被与最终临时图像相组合。然而,示范性实施例不限于此。当显示实时取景图像时,设备100可将关注图像移动到与关注图像相对应的区域,即显示第一对象的区域,并且实时地显示实时取景图像。
以上已描述了利用在实时取景图像上选择关注区域时的初始临时图像和最终临时图像来生成效果图像。然而,示范性实施例不限于此。除了初始临时图像和最终临时图像以外,设备100还可生成至少一个临时图像。设备100可利用该至少一个临时图像来生成效果图像。图34是根据另一示范性实施例的从实时取景图像生成效果图像的方法的流程图。
在操作S3410中,设备100可在实时取景图像上选择关注区域。当设备100的模式被设定为拍摄模式时,设备100可显示实时取景图像。用户可触摸实时取景图像的显示对象或背景的部分区域。然后,设备100可选择包括被触摸的部分区域的区域上显示的对象或背景作为关注区域。
在操作S3420和S3430中,当关注区域的变化等于或大于参考值时,设备100可生成临时图像。
临时图像可以是被显示为实时取景图像的屏幕图像,或者可以是仅由关注区域构成的关注图像。设备100在关注区域被选择时生成初始临时图像。设备100可计算先前生成的临时图像的关注区域的像素值与实时取景图像中包括的关注区域的像素值之间的差异。如果计算出的差异等于或大于参考值,则设备100可生成实时取景图像作为临时图像。
关注区域的变化可由于与关注区域相对应的对象或背景的运动、由于对象或背景的大小的变化或者由于对象或背景的像素值(即,光量)的变化而生成。
设备100可生成临时图像直到接收到存储输入为止。换言之,设备100可存储其中关注区域的变化等于或大于参考值的图像作为临时图像,直到接收到存储输入为止。临时图像可包括初始临时图像和最终临时图像。
当设备100在操作S3440中接收到存储输入时,设备100在操作S3450中可生成效果图像。设备100可通过将多个临时图像与彼此组合来生成效果图像。或者,设备100可响应于从多个临时图像中选择一个的用户输入来生成效果图像。与从多个临时图像中选择一个的用户输入相对应的效果图像在严格意义上可不被认为是效果图像。然而,为了便于说明,与从多个临时图像中选择一个的用户输入相对应的效果图像被称为效果图像,因为设备100可显示多个临时图像以便用户可从中选择一个临时图像,并且在接收到选择多个临时图像之一的用户输入之前,所选择的临时图像可不被存储为静止图像之类的。
图35是根据示范性实施例用于说明从实时取景图像生成效果图像的方法的参考视图。如图35的3500-1中所示,设备100可在设备100的模式被设定为对静止图像的拍摄模式的同时显示实时取景图像3510。设备100可在实时取景图像3510上选择关注区域。例如,用户可触摸实时取景图像3510的显示第一对象3512的部分区域。然后,设备100可选择第一对象3512作为关注区域。当第一对象3512被选择为关注区域时,设备100可生成包括第一对象3512的临时图像。
设备100可按预定时间的间隔生成临时图像3520,直到设备100接收到存储输入为止。或者,当第一对象3512的变化等于或大于参考值时,设备100可生成临时图像3520。临时图像3520可以是被显示为实时取景图像3510的屏幕图像,或者可以是仅由第一对象3512构成的关注图像。在图35中,临时图像3520是被显示为实时取景图像3510的屏幕图像。
响应于存储输入,设备100可生成最终临时图像3530和其他临时图像3520,如图35的3500-2中所示。最终临时图像3530和临时图像3520可被显示在分开的区域上。当存在多个临时图像3520时,设备100可按生成多个临时图像3520的顺序来依次布置多个临时图像3520。
响应于从多个临时图像3520中选择临时图像3540的用户输入,设备100可显示通过将最终临时图像3530与所选择的临时图像3540的关注区域相组合来获得的效果图像3550,如图35的3500-3中所示。设备100可通过将最终临时图像3530的第一对象3532替换为所选择的临时图像3540的第一对象3542来生成效果图像3550。以上已描述了利用对象作为实时取景图像内的关注区域来生成效果图像的方法。以上为了便于说明使用对象作为关注区域,并且在使用背景时可以等同地应用使用对象作为关注区域来生成效果图像的方法。
设备100可由于关注区域的变化而生成运动图片。图36是根据示范性实施例的从实时取景图像生成运动图片的方法的流程图。
在操作S3610中,设备100可在实时取景图像上选择关注区域。当设备100的模式被设定为运动图片生成模式时,设备100可显示实时取景图像。用户可触摸实时取景图像的显示对象或背景的部分区域。然后,设备100可选择包括被触摸的部分区域的区域上显示的对象或背景作为关注区域。
在操作S3620中,设备100可接收生成运动图片的用户输入。用户输入可有所不同。例如,用户输入可以是从键输入、触摸输入、运动输入、弯曲输入、语音输入和多重输入中选择的至少一者。
在操作S3630中,设备100可判定关注区域的变化是否等于或大于参考值。如果关注区域的变化等于或大于参考值,则在操作S3640中,设备100可生成运动图片帧。设备100生成在接收到用于生成运动图片的用户输入的时刻生成的实时取景图像作为运动图片帧。每次关注区域的变化等于或大于参考值时,设备100就可生成运动图片帧。运动图片帧可以是被显示为实时取景图像的屏幕图像或者可以是表示先前运动图片帧的变动的信息。可生成运动图片帧,直到在操作S3660中接收到结束运动图片的生成的用户输入为止。
当关注区域是对象时,关注区域的变化可例如是对象的运动、其大小或者表示对象的像素值的变化。当关注区域是背景时,关注区域的变化可例如是背景或者表示背景的像素值的变化。
在操作S3660中,响应于结束运动图片的生成的用户输入,设备100可从运动图片帧生成运动图片文件。
设备100可利用其中关注区域的变化等于或大于参考值的运动图片帧来再现运动图片。图37是根据示范性实施例的再现运动图片的方法的流程图。
在操作S3710中,设备100可在运动图片帧上选择关注区域。当设备100的模式被设定为运动图片再现模式时,设备100可显示运动图片。用户可输入停止运动图片的命令。响应于用户输入,设备100可显示运动图片帧,其是运动图片的静止图像。用户可触摸运动图片帧的显示对象或背景的部分区域。然后,设备100可选择包括被触摸的部分区域的区域上显示的对象或背景作为关注区域。
在操作S3720中,设备100可判定关注区域的变化是否等于或大于参考值。当关注区域的变化等于或大于参考值时,设备100在操作S3730中可显示运动图片帧。设备100可将显示的运动图片帧(以下称为当前帧)与在再现当前帧之后要再现的运动图片帧(以下称为第一随后帧)相比较。设备100可计算两个帧之间的关注区域的变化。当计算出的变化等于或大于参考值时,设备100可再现并显示第一随后帧。
另一方面,当计算出的变化小于参考值时,设备100不显示第一随后帧。设备100可再次计算当前帧与在再现第一随后帧之后要再现的运动图片帧(以下称为第二随后帧)之间的关注区域的变化。当计算出的变化等于或大于参考值时,设备100可再现并显示第二随后帧。另一方面,当计算出的变化小于参考值时,设备100不显示第二随后帧。可重复操作S3720和S3730,直到在操作S3740中结束运动图片的再现为止。换言之,设备100可重复执行操作S3720和S3730,直到在S3740中接收到结束运动图片的再现的用户输入或者运动图片的再现完成为止。以上已参考图37描述了再现运动图片的方法。然而,示范性实施例不限于此。在以幻灯片方法再现静止图像时也可应用该方法。
到现在为已描述了利用作为图像的部分区域的关注区域来生成、再现并显示图像的方法。设备100可利用关注区域来提供各种菜单图像。菜单图像可包括用于执行特定应用的菜单项。菜单项可以是对象,并且菜单图像的不是菜单项的区域可被定义为背景。
图38是根据示范性实施例用于说明在菜单图像上显示效果的方法的参考视图。首先,如图38的3800-1中所示,设备100可在设备100的模式被设定为用于菜单图像的效果模式的同时显示菜单图像3810。用户可选择菜单图像3810上的作为关注区域的菜单项3812。当选择菜单项3812时,如图38的3800-2中所示,设备100可显示包括可向菜单项3812应用的效果的效果列表3820。当用户从效果列表3820中选择效果项3822时,如图38的3800-3中所示,设备100可显示被提供了效果的菜单项3830。
可根据与菜单项相对应的应用被执行的次数来向菜单项提供效果。图39是根据示范性实施例的根据与菜单项相对应的应用被执行的次数来向菜单项提供效果的方法的流程图。
在操作S3910中,设备100可确定与菜单项相对应的应用被执行的次数。设备100可确定与菜单项相对应的应用在预设的时间段内被执行的次数。
如果在操作S3910中与菜单项相对应的应用被执行的次数等于或大于第一值,则设备100在操作S3930中可向菜单项提供积极效果。积极效果可以是加强菜单项的显著性的效果,并且可例如是光晕效果、大小放大效果或者深度减小效果。
如果与菜单项相对应的应用被执行的次数在操作S3910中小于第一值并且在操作S3920中等于或大于第二值,则设备100可不向菜单项提供效果。换言之,设备100在操作S3940中可在预设的状态中显示菜单项。第二值可小于第一值。
如果与菜单项相对应的应用被执行的次数在操作S3910中小于第一值并且在操作S3920中也小于第二值,则设备100在操作S3950中可向菜单项提供消极效果。消极效果可以是减弱菜单项的显著性的效果,并且可例如是模糊效果、大小缩小效果或者深度增大效果。在一些示范性实施例中,如果与菜单项相对应的应用被执行的次数小于第三值,则设备100可将该菜单项从菜单图像中删除。
图40根据示范性实施例图示了显示菜单图像的示例,其中根据与菜单项相对应的应用被执行的次数向菜单项提供了效果。如图40所示,设备100可显示菜单图像4010。设备100可将第一菜单项4012显示得大于其他菜单项。这意味着与其他菜单项相比第一菜单项4012被更频繁地执行。用户将来很有可能选择第一菜单项4012比选择其他菜单项更多。由于第一菜单项4012被较大地显示并从而是显著的,因此与其他菜单项相比用户能够更容易找到第一菜单项4012。设备100可将第二菜单项4014显示得小于其他菜单项。这意味着与其他菜单项相比第二菜单项4014被执行得不那么频繁。用户将来选择第二菜单项4014的概率较低。
图41至图45是根据示范性实施例的设备100的框图。
参考图41,设备100可包括用户输入部110、控制器120和显示器130。设备100可向例如在显示器130上显示的静止图像、运动图片帧、实时取景图像或屏幕图像提供效果。
参考图42,在其他示范性实施例中,设备100可包括用户输入部110、控制器120、显示器130和存储器140。设备100可向存储器140中存储的静止图像或运动图片提供效果。
参考图43,在其他示范性实施例中,设备100可包括用户输入部110、控制器120、显示器130和通信器150。设备100可向存储在外部设备中的静止图像或运动图片提供效果,或者向由外部设备捕捉的实时取景图像提供效果。
参考图44,在其他示范性实施例中,设备100可包括用户输入单元110、控制器120、显示器130和相机160。设备100可向由相机160捕捉的实时取景图像提供效果。然而,不是所有图示的组件都是必要的。设备100可由比图41、42、43或44中所示的那些更多的组件或者由比图41、42、43或44中所示的那些更少的组件实现,或者由包括图41、42、43或44中所示的那些在内的组件的任何组合实现。
例如,如图45中所示,除了图41-44的每个设备100的组件以外,设备100还可包括输出器170、通信器140、传感器180和麦克风190。
现在将详细描述上述组件。
用户输入单元110表示用户经由其来输入用于控制设备100的数据的单元。例如,用户输入单元110可以是——但不限于——小键盘、圆顶开关、触摸板(例如,电容覆盖型、电阻覆盖型、红外光束型、积分应变仪型、表面声波型、压电型等等)、缓动轮或滚轮开关。
用户输入单元110可接收在图像上选择关注区域的用户输入。根据示范性实施例,选择关注区域的用户输入可有所不同。例如,用户输入可以是键输入、触摸输入、运动输入、弯曲输入、语音输入或多重输入。
根据示范性实施例,用户输入单元110可接收从多个图像中选择第一图像和第二图像的输入。
用户输入单元110可接收从识别信息列表中选择至少一条识别信息的输入。
控制器120通常控制设备100的所有操作。例如,控制器120可通过执行存储器140中存储的程序来控制用户输入单元110、输出器170、通信器150、传感器180和麦克风190。
控制器120可获取识别所选择的关注区域的至少一条识别信息。例如,控制器120可通过检查所选择的关注区域的属性信息并概括属性信息来生成识别信息。控制器120可利用关于所选择的关注区域的图像分析信息来检测识别信息。除了关注区域的识别信息以外,控制器120还可获取第二图像的识别信息。
控制器120可向关注区域提供效果以使得与关注区域相对应的对象或背景被与先前显示的对象或背景完全不同地显示。效果可例如是高亮显示关注区域的光晕效果、减小关注区域的像素的值之间的差异的模糊效果、调整关注区域的大小的大小效果以及改变关注区域的深度信息的深度效果。
控制器120可通过将与第一图像的关注区域相对应的局部图像从第二图像分离并将分离的局部图像与第一图像的关注区域相组合来向第一图像提供效果。
显示器130可显示经设备100处理的信息。例如,显示器130可显示静止图像、运动图片或实时取景图像。显示器130也可显示识别关注区域的识别信息。显示器130也可显示效果图像并且可显示包括效果图像的效果文件夹。
当显示器130与触摸板一起形成层结构以构成触摸屏时,显示器130不仅可用作输出设备还可用作输入设备。显示器130可包括从以下各项中的选择的至少一者:液晶显示器(liquidcrystaldisplay,LCD)、薄膜晶体管-液晶显示器(thinfilmtransistor-liquidcrystaldisplay,TFT-LCD)、有机发光二极管(organiclight-emittingdiode,OLED)、柔性显示器、3D显示器和电泳显示器。根据设备100的示范性实施例,设备100可包括至少两个显示器130。
存储器140可存储控制器120用来执行处理和控制的程序,并且也可存储输入/输出数据(例如,多个图像、多个文件夹和优选文件夹列表)。
存储器140可包括从以下各项中选择的至少一种类型的存储介质:闪存型、硬盘型、多媒体卡微型、卡型存储器(例如,安全数字(securedigital,SD)或极速数字(extremedigital,XD)存储器)、随机访问存储器(randomaccessmemory,RAM)、静态随机访问存储器(staticrandomaccessmemory,SRAM)、只读存储器(read-onlymemory,ROM)、电可擦除可编程ROM(electricallyerasableprogrammableROM,EEPROM)、可编程ROM(programmableROM,PROM)、磁存储器、磁盘和光盘。设备100可操作执行存储器140的存储功能的互联网上的web存储。
存储器140中存储的程序可根据其功能被分类成多个模块,例如用户界面(UI)模块141、通知模块142和图像处理模块143。
UI模块141可提供为每个应用专门化并且与设备100交互操作的UI、GUI等等。通知模块142可生成用于通知在设备100中生成了事件的信号。通知模块142可经由显示单元130以视频信号的形式输出通知信号,经由音频输出单元172以音频信号的形式输出通知信号,或者经由振动电机173以振动信号的形式输出通知信号。
图像处理模块143可通过分析捕捉的图像来获取捕捉的图像中包括的对象信息、边缘信息、氛围信息、颜色信息等等。
根据示范性实施例,图像处理模块143可检测捕捉的图像中包括的对象的轮廓线。根据示范性实施例,图像处理模块143可通过将图像中包括的对象的轮廓线与预定义的模板相比较来获取对象的类型、名称等等。例如,当对象的轮廓线与车辆的模板相似时,图像处理模块143可将图像中包括的对象识别为车辆。
根据示范性实施例,图像处理模块143可在图像中包括的对象上执行脸部识别。例如,图像处理模块143可从图像中检测人类的脸部区域。脸部区域检测方法的示例可包括基于知识的方法、基于特征的方法、模板匹配方法和基于外观的方法,但示范性实施例不限于此。
图像处理模块143可从检测到的脸部区域中提取脸部特征(例如,作为脸部的主要部分的眼睛、鼻子和嘴的形状)。为了从脸部区域中提取脸部特征,可以使用加博滤波器、LBP等等,但示范性实施例不限于此。
图像处理模块143可将从图像内的脸部区域中提取的脸部特征与预先注册的用户的脸部特征相比较。例如,当提取的脸部特征与预先注册的第一注册者(例如汤姆)的脸部特征相似时,图像处理模块143可确定第一用户的图像被包括在图像中。
根据示范性实施例,图像处理模块143可将图像的某个区域与颜色地图(颜色直方图)相比较,并且提取图像的诸如颜色布置、图案和氛围之类的视觉特征作为图像分析信息。
通信器150可包括使得设备100能够与云服务器、外部设备、SNS服务器或者外部可穿戴设备执行数据通信的至少一个组件。例如,通信器150可包括短程无线通信器151、移动通信器152和广播接收器153。
短程无线通信器151可包括——但不限于——蓝牙通信器、低能量蓝牙(BluetoothLowEnergy,BLE)通信器、近场通信(nearfieldcommunication,NFC)通信器、无线局域网(wirelesslocalareanetwork,WLAN)(例如,Wi-Fi)通信器、ZigBee通信器、红外数据联盟(infraredDataAssociation,IrDA)通信器、直接Wi-Fi(Wi-Fidirect,WFD)通信器、超宽带(ultrawideband,UWB)通信器、Ant+通信器,等等。
移动通信器152可在移动通信网络上与从基站、外部终端和服务器中选择的至少一者交换无线信号。无线信号的示例可包括语音呼叫信号、视频呼叫信号和在短消息服务(shortmessageservice,SMS)/多媒体消息传递服务(multimediamessagingservice,MMS)期间生成的各种类型的数据。
广播接收器153经由广播信道从外部源接收广播信号和/或广播相关信息。广播信道可以是卫星信道、地面波信道,等等。根据示范性实施例,设备100可不包括广播接收器153。
通信器150可与外部设备共享从第一图像和第二图像、效果图像、效果文件夹和识别信息中选择的至少一者。外部设备可以是从连接到设备100的云服务器、SNS服务器、同一用户的另一设备100和另一用户的设备100中选择的至少一者,但示范性实施例不限于此。
例如,通信器150可向外部设备提供效果图像或效果文件夹。通信器150可从外部设备接收存储在外部设备中的静止图像或运动图片,或者由外部设备捕捉的实时取景图像。
由相机160获得的图像帧可被存储在存储器140中或者可经由通信器150被发送到外部。根据设备100的示范性实施例可包括至少两个相机160。
输出器170输出音频信号、视频信号或振动信号,并且可包括音频输出器172和振动电机173。
音频输出器172可输出从通信器150接收的或存储在存储器140中的音频数据。音频输出器172也可输出与设备100的功能有关的音频信号(例如,呼叫信号接收音、消息接收音、通知音)。音频输出器172可包括扬声器、蜂鸣器,等等。
振动电机173可输出振动信号。例如,振动电机173可输出与音频数据或视频数据(例如,呼叫信号接收音或消息接收音)的输出相对应的振动信号。振动电机173也可在触摸屏被触摸时输出振动信号。
传感器180可感测设备100的状态、设备100周围的状态或者穿戴设备100的用户的状态,并且可将与感测到的状态相对应的信息发送到控制器120。
传感器180可包括——但不限于——从以下各项中选择的至少一者:磁传感器181、加速度传感器182、倾斜传感器183、红外传感器184、陀螺传感器185、位置传感器(例如,GPS)186、大气压传感器187、接近传感器188和光学传感器189。传感单元180可包括例如温度传感器、照明传感器、压力传感器和虹膜识别传感器。大多数传感器的功能可由本领域普通技术人员鉴于其名称来直观地理解,从而这里将省略对其的详细描述。
麦克风190可被包括为音频/视频(audio/video,A/V)输入单元。
麦克风190接收外部音频信号并将外部音频信号转换成电音频数据。例如,麦克风190可从外部设备或说话的人接收音频信号。麦克风190可使用各种噪声去除算法以便去除在接收外部音频信号的同时生成的噪声。
图46是根据示范性实施例的远程服务器或云服务器200的结构的框图。
参考图46,云服务器200可包括通信器210、控制器220和存储装置230。然而,不是所有图示的组件都是必要的。云服务器200可由比图46所示的那些更多的组件或者比图46所示的那些更少的组件实现。
现在将详细描述上述组件。
通信器210可包括使能云服务器200与设备100之间的通信的至少一个组件。通信器210可包括接收器和发送器。
通信器210可将云服务器200中存储的图像或图像列表发送给设备100。例如,当通信器210从经由特定账户连接的设备100接收到对图像列表的请求时,通信器210可将云服务器200中存储的图像列表发送给设备100。
通信器210可将云服务器200中存储的或者由云服务器200生成的识别信息发送给设备100。
控制器220控制云服务器200的所有操作。例如,控制器220可获取识别图像的多条识别信息。根据示范性实施例,多条识别信息可以是识别图像的至少两个核心词或短语。
例如,当在图像的元数据中预定义了多条识别信息时,控制器220可从图像的元数据获取多条识别信息。云服务器200可利用从图像的属性信息和图像分析信息中选择的至少一者来获取识别图像的多条识别信息。
存储装置230可存储被控制器220使用来执行处理的程序,或者可存储输入/输出数据。例如,云服务器200可建立图像数据库(DB)、设备的DB、用户的脸部特征信息的DB和对象模板DB。
存储装置230可存储多个图像。例如,存储装置230可存储从设备100上传的图像。在此情况下,存储装置230可将设备100的识别信息与图像映射并存储它们。
根据示范性实施例的方法可实现为可由各种计算机手段执行的程序命令并且可被记录在计算机可读记录介质上。计算机可读记录介质可包括单独的或者形成组合的程序命令、数据文件、数据结构等等。要记录在计算机可读记录介质上的程序命令可被特别设计和配置用于示范性实施例或者可以是计算机软件领域的普通技术人员公知并可使用的。计算机可读记录介质的示例包括诸如硬盘、软盘或磁带之类的磁介质、诸如致密盘-只读存储器(compactdisk-read-onlymemory,CD-ROM)或数字多功能盘(digitalversatiledisk,DVD)之类的光学介质、诸如软光盘之类的磁光介质、以及诸如ROM、随机访问存储器(RAM)或闪存之类的特别配置为存储和执行程序的硬件设备。程序命令的示例是可由计算机利用解释器等等执行的高级语言代码以及由编译器制作的机器语言代码。
示范性实施例应当仅从描述意义上来考虑,而不是用于限制的。对每个示范性实施例内的特征或方面的描述通常应当被认为可用于其他示范性实施例中的其他类似的特征或方面。
虽然已具体示出和描述了示范性实施例,但本领域普通技术人员将会理解,在不脱离所附权利要求的精神和范围的情况下,可对其进行形式和细节上的各种改变。
Claims (15)
1.一种图像提供方法,包括:
显示第一图像,该第一图像包括对象和背景;
接收选择对象或背景作为关注区域的用户输入;
基于所述第一图像的第一属性信息获取与所述关注区域相关联的第一识别信息;
从目标图像获取第二图像,该第二图像包括第二识别信息,该第二识别信息与所述第一识别信息相同;以及
基于所述第一图像和所述第二图像中的至少一者来生成效果图像。
2.如权利要求1所述的图像提供方法,其中,所述第一属性信息包括与所述第一图像的生成相关联的情境信息和关于所述第一图像的注释信息中的至少一者,所述注释信息是由用户添加的。
3.如权利要求1所述的图像提供方法,其中,所述第一识别信息是通过基于WordNet概括所述第一属性信息来获取的。
4.如权利要求1所述的图像提供方法,其中,所述第二图像的获取包括利用所述第二图像的第二属性信息和所述第二图像的图像分析信息中的至少一者来获取所述第二图像的第二识别信息。
5.如权利要求1所述的图像提供方法,其中,所述关注区域的第一识别信息是从所述第一属性信息获取的,所述第一属性信息包括所述第一图像的多个属性。
6.如权利要求1所述的图像提供方法,还包括:
接收选择所述第一图像的多个属性中的至少一个属性的用户输入,以及
基于所选择的至少一个属性来生成所述第一识别信息,并且
其中,所述第二图像的获取包括将所述第一识别信息与所述目标图像的第三识别信息相比较。
7.如权利要求1所述的图像提供方法,其中,所述效果图像的生成包括显示所述第二图像的局部图像,该局部图像对应于所述第一识别信息。
8.如权利要求1所述的图像提供方法,其中,所述效果图像是通过将所述第二图像的局部图像与所述第一图像的关注区域相组合来获得的,其中所述局部图像对应于所述第一识别信息。
9.如权利要求1所述的图像提供方法,其中,所述第一图像是实时取景图像。
10.如权利要求9所述的图像提供方法,其中,所述第二图像是在接收到用于存储图像的用户输入之前从所述实时取景图像生成的临时图像。
11.一种移动设备,包括:
显示器,被配置为显示包括对象和背景的第一图像;
用户输入单元,被配置为接收选择对象或背景作为关注区域的用户输入;以及
控制器,被配置为基于所述第一图像的第一属性信息来获取所述关注区域的第一识别信息,并且从目标图像获取第二图像,
其中,所述第二图像包括第二识别信息,并且所述第二识别信息与所述第一识别信息相同。
12.如权利要求11所述的移动设备,其中,所述控制器被配置为基于所述第一图像和所述第二图像中的至少一者来生成效果图像。
13.如权利要求12所述的移动设备,其中,所述效果图像是通过将所述第二图像的局部图像与所述第一图像的关注区域相组合来生成的,并且其中,所述局部图像是所述第二图像的与所述第一识别信息相对应的一部分。
14.如权利要求12所述的移动设备,其中,所述第一属性信息包括与所述第一图像的生成相关联的情境信息和关于所述第一图像的注释信息中的至少一者,所述注释信息是由用户添加的。
15.如权利要求11所述的移动设备,其中,所述控制器被配置为通过将所述第二图像的局部图像与所述第一图像的关注区域相组合来生成所述效果图像,其中所述局部图像与所述第一识别信息相关联。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2014-0098589 | 2014-07-31 | ||
KR20140098589 | 2014-07-31 | ||
KR20140111628 | 2014-08-26 | ||
KR10-2014-0111628 | 2014-08-26 | ||
KR10-2015-0078777 | 2015-06-03 | ||
KR1020150078777A KR102301231B1 (ko) | 2014-07-31 | 2015-06-03 | 영상 제공 방법 및 이를 위한 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105320428A true CN105320428A (zh) | 2016-02-10 |
CN105320428B CN105320428B (zh) | 2018-10-12 |
Family
ID=53871841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510463421.2A Expired - Fee Related CN105320428B (zh) | 2014-07-31 | 2015-07-31 | 用于提供图像的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10157455B2 (zh) |
EP (2) | EP3614343B1 (zh) |
CN (1) | CN105320428B (zh) |
WO (1) | WO2016017987A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105704383A (zh) * | 2016-03-24 | 2016-06-22 | 徐亚红 | 趣味图像拍摄方法 |
CN107437269A (zh) * | 2017-08-03 | 2017-12-05 | 北京小米移动软件有限公司 | 一种处理图片的方法及装置 |
CN107622788A (zh) * | 2017-09-18 | 2018-01-23 | 张荃 | 一种云影像交互式高精度显示方法 |
CN108710619A (zh) * | 2016-09-16 | 2018-10-26 | 卡西欧计算机株式会社 | 显示信息生成装置、信息管理系统、显示信息生成方法以及记录介质 |
US10284789B2 (en) | 2017-09-15 | 2019-05-07 | Sony Corporation | Dynamic generation of image of a scene based on removal of undesired object present in the scene |
CN111126388A (zh) * | 2019-12-20 | 2020-05-08 | 维沃移动通信有限公司 | 图像识别的方法及电子设备 |
CN111669504A (zh) * | 2020-06-29 | 2020-09-15 | 维沃移动通信有限公司 | 图像拍摄方法、装置及电子设备 |
CN112567425A (zh) * | 2018-08-08 | 2021-03-26 | 三星电子株式会社 | 用于调整包括多个对象的图像的电子装置及其控制方法 |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
US9459781B2 (en) | 2012-05-09 | 2016-10-04 | Apple Inc. | Context-specific user interfaces for displaying animated sequences |
WO2016017987A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method and device for providing image |
US10452253B2 (en) | 2014-08-15 | 2019-10-22 | Apple Inc. | Weather user interface |
KR20160051390A (ko) * | 2014-11-03 | 2016-05-11 | 삼성전자주식회사 | 전자장치 및 전자장치의 필터 제공 방법 |
US20160202882A1 (en) * | 2015-01-14 | 2016-07-14 | Lumyer Inc. | Method and apparatus for animating digital pictures |
JP2016143970A (ja) * | 2015-01-30 | 2016-08-08 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理プログラム |
KR102402511B1 (ko) * | 2015-02-03 | 2022-05-27 | 삼성전자주식회사 | 영상 검색 방법 및 이를 위한 장치 |
CN104866194B (zh) * | 2015-05-21 | 2018-07-13 | 百度在线网络技术(北京)有限公司 | 图片搜索方法及装置 |
EP4321088A3 (en) | 2015-08-20 | 2024-04-24 | Apple Inc. | Exercise-based watch face |
KR20170027052A (ko) * | 2015-09-01 | 2017-03-09 | 엘지전자 주식회사 | 모바일 디바이스 및 그 제어 방법 |
CN105893490A (zh) * | 2016-03-29 | 2016-08-24 | 努比亚技术有限公司 | 图片展示装置和方法 |
US10447910B2 (en) * | 2016-08-04 | 2019-10-15 | International Business Machines Corporation | Camera notification and filtering of content for restricted sites |
US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
CN109983753A (zh) * | 2016-11-28 | 2019-07-05 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
US10852924B2 (en) * | 2016-11-29 | 2020-12-01 | Codeweaving Incorporated | Holistic revelations in an electronic artwork |
US20180191797A1 (en) * | 2016-12-30 | 2018-07-05 | Facebook, Inc. | Dynamically generating customized media effects |
DK179412B1 (en) | 2017-05-12 | 2018-06-06 | Apple Inc | Context-Specific User Interfaces |
EP3273374B1 (en) * | 2017-05-23 | 2023-05-17 | Siemens Healthcare GmbH | Method for analysing image data of a patient, system for performing a method for analysing image data of a patient and computer readable medium |
CN107426088A (zh) * | 2017-07-20 | 2017-12-01 | 北京小米移动软件有限公司 | 图片信息处理方法及装置 |
US11138255B2 (en) * | 2017-09-27 | 2021-10-05 | Facebook, Inc. | Providing combinations of pre-generated and dynamic media effects to create customized media communications |
KR102489487B1 (ko) * | 2017-12-19 | 2023-01-18 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
CN108921802B (zh) * | 2018-06-29 | 2021-09-14 | 联想(北京)有限公司 | 一种图像处理方法及装置 |
CN108924626B (zh) * | 2018-08-17 | 2021-02-23 | 腾讯科技(深圳)有限公司 | 图片生成方法、装置、设备及存储介质 |
US10818056B2 (en) * | 2018-08-23 | 2020-10-27 | International Business Machines Corporation | Enabling custom media overlay upon triggering event |
CN109389660A (zh) * | 2018-09-28 | 2019-02-26 | 百度在线网络技术(北京)有限公司 | 图像生成方法和装置 |
KR20200101036A (ko) * | 2019-02-19 | 2020-08-27 | 삼성전자주식회사 | 이미지와 관련된 콘텐트를 어플리케이션에 제공하는 전자 장치 및 방법 |
US11960701B2 (en) | 2019-05-06 | 2024-04-16 | Apple Inc. | Using an illustration to show the passing of time |
US20220174145A1 (en) * | 2019-05-31 | 2022-06-02 | Apple Inc. | Device, Method, and Graphical User Interface for Updating a Background for Home and Wake Screen User Interfaces |
WO2021231345A1 (en) | 2020-05-11 | 2021-11-18 | Apple Inc. | User interfaces for managing user interface sharing |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
US11372659B2 (en) | 2020-05-11 | 2022-06-28 | Apple Inc. | User interfaces for managing user interface sharing |
CN112037121A (zh) * | 2020-08-19 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 一种图片处理方法、装置、设备及存储介质 |
US11694590B2 (en) | 2020-12-21 | 2023-07-04 | Apple Inc. | Dynamic user interface with time indicator |
US11720239B2 (en) | 2021-01-07 | 2023-08-08 | Apple Inc. | Techniques for user interfaces related to an event |
US11921992B2 (en) | 2021-05-14 | 2024-03-05 | Apple Inc. | User interfaces related to time |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040076942A1 (en) * | 2002-10-18 | 2004-04-22 | O'neil James W. | Method for automated mass screening for visual dysfunction in children |
CN103207888A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社东芝 | 产品搜索设备和产品搜索方法 |
US20140075393A1 (en) * | 2012-09-11 | 2014-03-13 | Microsoft Corporation | Gesture-Based Search Queries |
US20140164988A1 (en) * | 2012-12-06 | 2014-06-12 | Microsoft Corporation | Immersive view navigation |
CN103946838A (zh) * | 2011-11-24 | 2014-07-23 | 微软公司 | 交互式多模图像搜索 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040076342A1 (en) * | 2001-12-20 | 2004-04-22 | Ricoh Company, Ltd. | Automatic image placement and linking |
JP2005094741A (ja) * | 2003-08-14 | 2005-04-07 | Fuji Photo Film Co Ltd | 撮像装置及び画像合成方法 |
US20070008321A1 (en) | 2005-07-11 | 2007-01-11 | Eastman Kodak Company | Identifying collection images with special events |
US8775474B2 (en) | 2007-06-29 | 2014-07-08 | Microsoft Corporation | Exposing common metadata in digital images |
JP2009151896A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
KR20110052247A (ko) * | 2009-11-12 | 2011-05-18 | 삼성전자주식회사 | 촬영 이미지를 제공하는 촬영 장치, 촬영 이미지 및 연관 이미지를 디스플레이하는 디스플레이 장치 및 그 방법들 |
JP5528121B2 (ja) * | 2010-01-05 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2011149961A2 (en) | 2010-05-24 | 2011-12-01 | Intersect Ptp, Inc. | Systems and methods for identifying intersections using content metadata |
US8760537B2 (en) * | 2010-07-05 | 2014-06-24 | Apple Inc. | Capturing and rendering high dynamic range images |
US20120092357A1 (en) * | 2010-10-14 | 2012-04-19 | Microsoft Corporation | Region-Based Image Manipulation |
JP2012247840A (ja) | 2011-05-25 | 2012-12-13 | Sony Corp | 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム |
US8854491B2 (en) | 2011-06-05 | 2014-10-07 | Apple Inc. | Metadata-assisted image filters |
US9521315B2 (en) | 2011-11-01 | 2016-12-13 | Nokia Technologies Oy | Apparatus and method for forming new images by determining stylistic settings of existing images |
US9058647B2 (en) * | 2012-01-16 | 2015-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
SI2858269T1 (en) | 2012-05-24 | 2018-06-29 | Panasonic Intellectual Property Corporation Of America | Procedure for transmitting information |
JP6031278B2 (ja) | 2012-07-09 | 2016-11-24 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム |
JP6049345B2 (ja) * | 2012-08-10 | 2016-12-21 | キヤノン株式会社 | 画像処理装置、方法およびプログラム |
US9436382B2 (en) | 2012-09-18 | 2016-09-06 | Adobe Systems Incorporated | Natural language image editing |
WO2016017987A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Method and device for providing image |
-
2015
- 2015-07-22 WO PCT/KR2015/007624 patent/WO2016017987A1/en active Application Filing
- 2015-07-28 EP EP19201222.7A patent/EP3614343B1/en active Active
- 2015-07-28 EP EP15178662.1A patent/EP2980758B1/en active Active
- 2015-07-31 US US14/814,727 patent/US10157455B2/en active Active
- 2015-07-31 CN CN201510463421.2A patent/CN105320428B/zh not_active Expired - Fee Related
-
2018
- 2018-12-17 US US16/222,514 patent/US10733716B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040076942A1 (en) * | 2002-10-18 | 2004-04-22 | O'neil James W. | Method for automated mass screening for visual dysfunction in children |
CN103946838A (zh) * | 2011-11-24 | 2014-07-23 | 微软公司 | 交互式多模图像搜索 |
CN103207888A (zh) * | 2012-01-17 | 2013-07-17 | 株式会社东芝 | 产品搜索设备和产品搜索方法 |
US20140075393A1 (en) * | 2012-09-11 | 2014-03-13 | Microsoft Corporation | Gesture-Based Search Queries |
US20140164988A1 (en) * | 2012-12-06 | 2014-06-12 | Microsoft Corporation | Immersive view navigation |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105704383A (zh) * | 2016-03-24 | 2016-06-22 | 徐亚红 | 趣味图像拍摄方法 |
CN108710619A (zh) * | 2016-09-16 | 2018-10-26 | 卡西欧计算机株式会社 | 显示信息生成装置、信息管理系统、显示信息生成方法以及记录介质 |
CN108710619B (zh) * | 2016-09-16 | 2021-11-23 | 卡西欧计算机株式会社 | 显示信息生成装置及方法、信息管理系统以及记录介质 |
CN107437269A (zh) * | 2017-08-03 | 2017-12-05 | 北京小米移动软件有限公司 | 一种处理图片的方法及装置 |
US10846513B2 (en) | 2017-08-03 | 2020-11-24 | Beijing Xiaomi Mobile Software Co., Ltd. | Method, device and storage medium for processing picture |
CN107437269B (zh) * | 2017-08-03 | 2021-10-08 | 北京小米移动软件有限公司 | 一种处理图片的方法及装置 |
US10284789B2 (en) | 2017-09-15 | 2019-05-07 | Sony Corporation | Dynamic generation of image of a scene based on removal of undesired object present in the scene |
CN107622788A (zh) * | 2017-09-18 | 2018-01-23 | 张荃 | 一种云影像交互式高精度显示方法 |
CN112567425A (zh) * | 2018-08-08 | 2021-03-26 | 三星电子株式会社 | 用于调整包括多个对象的图像的电子装置及其控制方法 |
CN111126388A (zh) * | 2019-12-20 | 2020-05-08 | 维沃移动通信有限公司 | 图像识别的方法及电子设备 |
CN111126388B (zh) * | 2019-12-20 | 2024-03-29 | 维沃移动通信有限公司 | 图像识别的方法及电子设备 |
CN111669504A (zh) * | 2020-06-29 | 2020-09-15 | 维沃移动通信有限公司 | 图像拍摄方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20160035074A1 (en) | 2016-02-04 |
US10157455B2 (en) | 2018-12-18 |
CN105320428B (zh) | 2018-10-12 |
EP2980758A3 (en) | 2016-03-02 |
US10733716B2 (en) | 2020-08-04 |
EP3614343B1 (en) | 2023-03-08 |
EP2980758B1 (en) | 2019-11-13 |
EP3614343A1 (en) | 2020-02-26 |
EP2980758A2 (en) | 2016-02-03 |
US20190139207A1 (en) | 2019-05-09 |
WO2016017987A1 (en) | 2016-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105320428A (zh) | 用于提供图像的方法和设备 | |
US11314804B2 (en) | Information search method and device and computer readable recording medium thereof | |
EP2696347B1 (en) | Selection of a range among user devices to propagate image tags. | |
CN105451846B (zh) | 用于对内容进行分类的方法和装置 | |
US9342930B1 (en) | Information aggregation for recognized locations | |
RU2654133C2 (ru) | Просмотр трехмерных объектов в документах | |
US10080096B2 (en) | Information transmission method and system, and device | |
KR102402511B1 (ko) | 영상 검색 방법 및 이를 위한 장치 | |
KR102285699B1 (ko) | 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법 | |
US9881084B1 (en) | Image match based video search | |
US20150040031A1 (en) | Method and electronic device for sharing image card | |
KR20160062565A (ko) | 디바이스 및 디바이스의 필기 컨텐트 제공 방법 | |
TWI637347B (zh) | 提供影像的方法與裝置 | |
US10600060B1 (en) | Predictive analytics from visual data | |
KR102117048B1 (ko) | 복수의 애플리케이션 실행 방법 및 이를 위한 디바이스 | |
KR20150097250A (ko) | 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
US20140229840A1 (en) | Method and user interface controlling communications and content from sources | |
KR101634431B1 (ko) | 오브젝트의 컨텐츠 제공 방법 및 그 방법을 이용하는 사용자 단말 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181012 Termination date: 20200731 |
|
CF01 | Termination of patent right due to non-payment of annual fee |