CN107750369A - 用于显示多个图像的电子设备和用于处理图像的方法 - Google Patents

用于显示多个图像的电子设备和用于处理图像的方法 Download PDF

Info

Publication number
CN107750369A
CN107750369A CN201680035265.2A CN201680035265A CN107750369A CN 107750369 A CN107750369 A CN 107750369A CN 201680035265 A CN201680035265 A CN 201680035265A CN 107750369 A CN107750369 A CN 107750369A
Authority
CN
China
Prior art keywords
image
electronic equipment
size
display
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680035265.2A
Other languages
English (en)
Other versions
CN107750369B (zh
Inventor
阿尼什·阿尼尔·帕坦卡尔
乔伊·博塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2016/006125 external-priority patent/WO2016204449A1/en
Publication of CN107750369A publication Critical patent/CN107750369A/zh
Application granted granted Critical
Publication of CN107750369B publication Critical patent/CN107750369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Abstract

提供一种用于处理图像的电子设备和方法。电子设备包括:显示器,被配置为在屏幕上显示多个图像;以及处理器,被配置为检测多个图像中的每一个中包括的对象的数目,基于检测到的对象的数目确定多个图像中的每一个的缩放因子,基于所确定的多个图像中的每个图像的缩放因子来调整多个图像中的一个或多个图像的尺寸,并且基于调整尺寸的图像来控制多个图像的布局和显示顺序中的至少一个并且控制显示器显示多个图像。

Description

用于显示多个图像的电子设备和用于处理图像的方法
技术领域
本公开涉及电子设备的图像处理操作。更具体地,本公开涉及一种电子设备和处理图像的方法,根据多个图像中的每一个中包括的对象数目来调整多个图像的尺寸并显示。
背景技术
诸如智能电话和平板电脑等许多电子设备具有用于获取图像的相机。当使用电子设备观看获取的图像时,电子设备将所有获取的图像显示为相同尺寸。当所有获取的图像以相同的尺寸显示时,用户不能清楚地看到有大量信息(例如,图像中的许多人)的图像。当相册中显示缩略图时,缩略图的尺寸不会被调整,使得缩略图中的信息可以被用户完全感知。因此,仍然需要基于存在于每个图像中的信息或内容来调整图像尺寸并重新排序和显示图像的机制。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和承认上述任何内容是否可应用作本公开的现有技术。
发明内容
本公开的各个方面是为了至少解决上述问题和/或缺点,并且至少提供以下描述的优点。因此,本公开的一个方面是提供一种基于每个图像中包括的对象数目来调整多个图像的尺寸并显示的电子设备和方法,以更清晰地向用户提供每个图像中的信息。
根据本公开的一个方面,提供了一种用于处理图像的电子设备。电子设备包括:显示器,被配置为在屏幕上显示多个图像;和处理器,被配置为检测多个图像中的每一个中包括的对象数目,基于检测到的对象数目确定多个图像中的每个图像的缩放因子,基于所确定的多个图像中的每个图像的缩放因子来调整多个图像中的一个或多个图像的尺寸,并且基于调整尺寸的图像来控制多个图像的布局和显示顺序中的至少一个,并且控制显示器显示多个图像。
根据本公开的一个方面,提供了一种用于处理电子设备中的图像的方法。该方法包括:识别电子设备中的多个图像,检测多个图像中的每一个中包括的对象数目,基于检测到的对象数目确定多个图像中的每一个的缩放因子,基于所确定的多个图像中的每个图像的缩放因子调整多个图像中一个或多个图像的尺寸,并且基于调整尺寸的图像来控制多个图像的布局和显示顺序中的至少一个,并且在将多个图像显示在电子设备的屏幕中。
根据本公开的上述各个方面,当在电子设备的屏幕上显示多个图像时,电子设备可以将具有较多对象的图像的尺寸调整为大于具有较少对象的图像并显示,使得可以更清楚地向用户提供图像中包括的对象和内容信息。
附图说明
根据结合附图的以下描述,本公开的某些实施例的上述和其他方面、特征以及优点将更清楚,在附图中:
图1A和1B是根据本公开的各种实施例的在电子设备(系统)中显示多个图像时相关技术和本公开之间的比较的图;
图2是示出根据本公开的实施例的用于管理多个图像的显示的电子设备的简单框图;
图3是示出根据本公开的实施例的处理器的详细框图;
图4是根据本公开的实施例的用于描述用于管理电子设备中的多个图像的显示的方法的流程图;
图5是用于描述根据本公开的实施例的用于调整一个或多个图像的尺寸的方法的流程图;
图6A、6B、7A、7B和8A至8H是根据本公开的各种实施例的在电子设备中显示多个图像时的现有技术和本公开之间的比较的图;
图8I和8J是根据本公开的各种实施例提供的用于描述当人离开多方视频会议时显示多个图像的场景的图;
图9是示出根据本公开的实施例的多个平铺图块的图;
图10A和10B是根据本公开的各种实施例的在音乐应用中显示相册封面的多个图像时相关技术和本公开之间的比较的图;
图11是根据本公开的实施例的用于描述用于选择一个或多个图像的方法的序列图;
图12A和12B是根据本公开的各种实施例的当在社交网站(SNS)中显示多个图像时相关技术和本公开之间的比较的图;
图13是根据本公开的实施例的用于描述用于裁剪一个或多个图像的方法的流程图;
图14A和14B是根据本公开的各种实施例的当显示多个图像时相关技术和本公开之间的比较的图;
图15是用于描述根据本公开的实施例的用于管理电子设备中的图像的显示的方法的流程图;
图16A和16B是根据本公开的各种实施例的用于在图像上显示用户操控菜单时相关技术和本公开之间的比较的图;
图17A至17D是根据本公开的各种实施例的当显示图像的字幕时相关技术和本公开之间的比较的图;
图18A和18B是示出根据本公开的各种实施例的在可穿戴设备中使用字幕的图像上的浏览操作的示例的图;
图19是示出根据本公开的实施例的在电子设备中实现用于显示多个图像的方法的计算环境的图;以及
图20是根据本公开的实施例的用于描述根据多个图像中的每一个中包括的对象数目来调整图像的尺寸并显示的方法的序列图。
具体实施方式
提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解,但这些具体细节应被视为仅仅是示例性的。因此,本领域普通技术人员将认识到:在不脱离本公开的范围和精神的前提下,可以对本文所述的各种实施例进行各种改变和修改。另外,为了清楚和简洁起见,可以省略对已知功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于其书面含义,而是仅仅被发明人用来实现对本公开清楚一致的理解。因此,对于本领域技术人员来说应当显而易见的是,提供本公开的各种实施例的以下描述以仅用于说明的目的,而不是限制由所附权利要求及其等同物限定的本公开。
可以理解,除非另有明确规定,单数形式“一”,“一”和“该”包括复数指示物。因此,例如,提及“组件表面”包括对这些表面中的一个或多个的引用。
本公开中的实施例可以被不同地修改,并且本公开可以具有若干实施例。在下面的描述中,参考附图和其详细描述来提供具体实施例。然而,应当注意,实施例不将本公开的公开内容的范围限制为特定实施例形式,并且包括在本文公开的技术概念和技术范围内的修改,和/或等同物和替换。当确定对相关的公知技术的详细描述可能会不必要地模糊本公开的要点时,将省略详细描述。
在下面的描述中,可以使用包括例如“第一”或“第二”的序数的术语来区分元件,但是元件不受限制。序数仅用于区分相同或相似的元件。
单数形式的术语包括复数形式,除非有意那样写。在下面的描述中,诸如“包括”,“由...组成”等术语是指所公开的特征,数字,操作,元件,部件或其组合,并且不旨在排除任何可能性一个或多个其他特征,数字,操作,元件,部件或其组合的存在或添加。
在下面的描述中,术语“模块”或“单元”是指执行至少一个功能或操作的元件。“模块”或“单元”可以被实现为硬件,软件或其组合。多个“模块”或“单元”可以集成到至少一个模块中并且被实现为至少一个处理器(未示出),除了需要将各个“模块”或“单元”实现为分立的特定硬件。
以下描述中的术语“系统”可以指根据本文公开的实施例的多个“电子设备”或一个“电子设备”。
此外,根据本文公开的实施例,以下描述中的“控制元件”可以包括在“用户操控菜单”中。
以下描述中的术语“控制单元”或“控制器”可以指根据本文公开的实施例的“处理器”。
以下描述中的术语“计算环境”可以指根据本文公开的实施例的“电子设备”。
以下描述中的术语“相对缩放因子”可以指“相对缩放”或“缩放因子”。
此外,以下描述中的术语“集合”可以指由多个图像组成的图像组,例如由多个图像组成的图库应用。
这里的实施例实现了一种用于管理电子设备中的多个图像的显示的方法。该方法包括:检测每个图像中的对象数目,并且基于每个图像中的对象数目确定每个图像的相对缩放因子。可以通过比较多个图像中的每个图像中的对象数目来确定本文描述的相对缩放因子。此外,该方法包括:基于每个图像的相对缩放因子对至少一个图像执行一个或多个动作。
在一个实施例中,执行一个或多个动作可以包括:基于每个图像的相对缩放因子调整一个或多个图像的尺寸并且在电子设备的屏幕上显示调整尺寸的图像。
在一个实施例中,执行一个或多个动作可以包括:基于每个图像的相对缩放因子来选择一个或多个图像,并且在电子设备的屏幕上显示所选择的图像。
在一个实施例中,执行一个或多个动作可以包括基于每个图像的相对缩放因子裁剪一个或多个图像并且在电子设备的屏幕上显示所选择的图像。与根据相关技术的系统和方法不同,可以基于每个图像中的对象和每个图像的相对位置来动态地对图像进行选择,调整尺寸,重新排序或重构。对象(可以指数据点)可以包括图像中的人面部、建筑物、动物、对象、颜色等。可以通过比较多个图像中的每个图像中的对象数目来确定每个图像的相对缩放因子,以调整每个图像的尺寸。一旦在由多个图像组成的组中确定了每个图像的对象数目和相对位置,则系统(电子设备)根据对象数目确定预览屏幕中的每个图像的相对尺寸。例如,具有对象数目较多的图像可以被调整为大于对象数目较少的图像。
在一个实施例中,根据每个图像的尺寸,调整尺寸的图像以平铺形式显示。在下面的描述中,描述了用于显示平铺形成的图像的方法中涉及的各种操作。对于一组图像中的每个图像,确定每个图像中存在的内容或信息。在每个图像中检测到对象(例如,面部)的数目。此外,基于每个图像中的对象,在每个图像中检测显着区域,对比度和梯度。评估一个重要指标,以根据人类感知的比率确定比例尺寸。图像可以被裁剪或次采样以调整图像的尺寸以适合于给定的布局。此外,缩放的图像可以以平铺的形式显示。
在一个实施例中,对于给定的一组图像(由多个图像组成的组),可以进行幻灯片放映。幻灯片放映可能会在每张图像之后延迟显示给用户。延迟时间可以根据每个图像的信息或内容的比率来确定。幻灯片放映的持续时间是根据评估的重要指标确定的。
此外,该方法可以用于基于每个图像中的对象数目和多个图像中的每个图像的相对位置来调整应用图标,相册封面,文件夹,视频文件图标等的一组图像的尺寸。例如,如果应用图标中的面部或对象的数目更多,则可以调整应用图标的尺寸并与其他图标相比显示得相对较大。类似地,可以基于每个相册封面中的面部或物体的数目来调整一组相册封面。例如,可以调整具有更多数目的对象(例如面部或信息)的相册封面的尺寸,以与其他相册封面相比显示相对较大地显示该相册封面。
此外,根据实施例的方法可以用于调整诸如图像搜索,社交网站(SNS)应用,多方视频会议应用,图库应用等的应用中的多个图像的尺寸。可以将具有更多信息的图像的尺寸调整为大于具有相对较少信息的其他图像的尺寸,因此,用户可以完全感知图像上的信息。因此,根据实施例的方法可以增强用户体验。
此外,这里的实施例实现了一种用于管理电子设备中的图像的显示的方法。该方法包括:在显示在电子设备的屏幕上的图像上显示多个控制元件并检测图像中的对象数目。此外,该方法可以包括:将至少一个控制元件的位置动态地移动到检测到对象的数目为零的图像的区域。也就是说,与现有技术的系统(电子设备)不同,当图像控制元件位于图像的默认位置时,该方法可以动态地将图像控制元件的位置移动到图像的对象数目为零的区域。因此,当图像控制元件移动到图像中没有对象的区域时,可以完全感知图像。此外,根据实施例的方法可以用于动态地移动在诸如相机视场,图像编辑应用,图像观看器等应用中的图像上覆盖的控制元件。
以下参照附图更详细地描述某些实施例。
将对本发明的实施例进行详细描述,以便本领域的技术人员容易地实现。。然而,本公开可以作为任何其它各种不同的形式实现,并且不限于本文公开的实施例。在附图中,为了更清楚的说明省略与描述无关的部分,并且在整个说明书中,即使在不同的附图中,相同的元件也使用相同的附图标记。
图1A和1B是根据本公开的各种实施例的当在电子设备中显示多个图像时相关技术和本公开之间的比较的图。
电子设备100可以是可以显示图像的各种显示设备。例如,电子设备100可以包括移动电话,平板电脑(PC)、膝上型计算机、电视(TV)、智能电话、智能手表等。然而,这些仅是示例,并且电子设备100不限于此。
图1A是用于描述在现有技术中的电子设备100中显示多个图像的操作的图。参考图1A,在用于显示多个图像的应用中,例如图库应用,电子设备100可以在屏幕上显示多个图像。在相关技术中,在图库应用程序中显示的多个图像具有相同的尺寸,而不考虑每个图像中的信息或内容。同时,图1B是用于描述根据本文公开的实施例的在电子设备100中显示多个图像的操作的图。参考图1B,与现有技术不同,可以基于每个图像中的信息或内容来调整多个图像的尺寸。在一个实施例中,信息或内容可以包括每个图像中的对象数目。如图1B所示,可以基于每个图像中的对象的数目来调整多个图像的尺寸。
在图1B中,可以调整具有三个对象(例如,三个内容图标)的图像尺寸来显示更大尺寸的图像。此外,可以调整具有两个对象(例如,两个内容图标)的图像的尺寸以与具有三个对象的图像相比以稍微更小的尺寸显示该图像。此外,可以调整具有一个对象(例如,一个内容图标)的图像的尺寸以甚至比具有两个对象的图像更小地显示该图像。也就是说,可以基于每个图像中的对象数目来调整多个图像中的每个图像的尺寸。应当注意的是,图1A和1B中的多个图像的布局保持相同。
在一个实施例中,为了调整每个图像的尺寸,可以确定每个图像的相对缩放因子。可以通过比较多个图像中的每个图像中的对象的数目来确定相对缩放因子。在确定每个图像的相对缩放因子之后,可以基于每个图像的相对缩放因子来调整多个图像的尺寸。
图1A和1B中所示的图像仅是用于说明目的示例,并不限制本公开的范围。此外,可以基于图像中存在的对象的数目来调整任何图像的尺寸。例如,可以基于图像的相对尺寸,对象数目和各种信息内容来调整应用图标、相册封面、文件夹、视频文件图标等的图像的尺寸。
图2是示出根据本公开的实施例的用于管理多个图像的显示的电子设备的简单图。在一个实施例中,电子设备100包括处理器202,存储单元204和显示器206。
处理器202可以执行用于管理电子设备100中的多个图像的显示的一个或多个动作。在一个实施例中,处理器202可以检测每个图像中的对象的数目。本文描述的对象(也可以称为数据点)可以包括人面部、建筑、动物、对象、颜色、图像的熵等。在一个实施例中,图像中的对象可以具有三个不同特性中的至少一个,例如,空间中明确界定的闭合边界、与周围环境不同的外观、以及在图像内独特和显着,并且许多对象可能同时具有这些特性中的若干个。在一个实施例中,“Alexe,Bogdan,Thomas Deselaers和Vittorio Ferrari.“Whatis an object?”computer vision and pattern recognition(CVPR),2010IEEEConference onIEEE,2010“可以被称为检测图像中的对象。此外,本领域已知或未知的任何其它方法可用于检测图像中的对象。
当将图像存储在存储单元204中时,可以在将图像存储在存储单元204中之前确定图像中的对象数目,并且处理器202可以控制存储单元204将确定的图像的对象数目与图像一起存储在存储单元204中。
在一个实施例中,当电子设备100存储图像时,可以在将图像存储在电子设备100中之前计算每个图像中的对象数目。
当图像被实时地加载到电子设备100中时,处理器202可以在加载图像时确定图像中的对象数目,并且控制存储单元204将确定的图像中的对象数目和图像的信息一起存储在存储器单元204。
在一个实施例中,当图像被动态加载(例如,在网页中)时,可以在加载网页的同时计算每个图像中的对象数目。
处理器202可以通过使用颜色对比度、边缘密度、贝叶斯积分和浅表跨度中的至少一个来检测每个图像中的对象。上述方法仅是示例,并不限制本公开的范围。处理器202可以通过使用一种或多种方法来检测每个图像中的对象。
处理器202可以基于每个图像中的对象数目来确定每个图像的相对缩放因子。此外,处理器202可以基于每个图像的相对缩放因子来执行一个或多个动作。
也就是说,处理器202可以通过比较多个图像中的每个图像中的对象数目来确定每个图像的缩放因子。
根据实施例,执行一个或多个动作可以包括基于每个图像的相对缩放因子调整一个或多个图像的尺寸并且在电子设备100的屏幕上显示调整尺寸的图像。
处理器202可以基于调整尺寸的图像来控制多个图像的布局和显示顺序中的至少一个,并且控制显示器206显示多个图像。
此外,处理器202可以将多个图像中具有更多对象的图像的尺寸调整为相对较大。
处理器202可以控制显示器206从多个图像的调整尺寸的图像中选择性地显示对象占据高比率的图像。
也就是说,处理器202可以控制显示器206从多个图像的调整尺寸的图像中选择和显示清楚地显示对象的图像。例如,当六个图像中的两个图像分别包括三个人时,两个图像中的一个图像中的三个人可以被清楚地识别,并且两个图像中的另一个中的三个人可能不被清楚地识别。在这种情况下,处理器202可以控制显示器206来选择和显示其中清楚地识别对象(例如,人)的图像。处理器202可以基于对象占据在图像区域中的比率来确定对象的识别度。然而,这仅是示例,并不限制本公开的范围。也就是说,处理器202可以通过不同的方法来确定具有相同数目的对象的图像中的对象的清晰度。
根据实施例,处理器202可以基于每个图像的相对缩放因子裁剪一个或多个图像,并且控制显示器206在电子设备100的屏幕上显示所选择的图像。
处理器202可以确定多个图像中的每个图像的感兴趣区域(ROI),基于确定的多个图像中的每一个的ROI,从多个图像中的至少一个图像裁剪包括对象的区域,以及控制显示器206显示裁剪区域的图像。
例如,ROI可以是每个图像中的显著区域。显著区域检测方法用于检测每个图像中的显著区域。处理器202可以以使显著区域变得更加突出和更大的方式来调整裁剪的图像的尺寸。
与根据相关技术的系统(电子设备)和方法不同,可以基于每个图像中的对象和每个图像的相对位置对图像进行动态地选择,调整尺寸,重新排序或重构。通过比较多个图像中的每个图像中的对象数目来确定每个图像的缩放因子,以调整每个图像的尺寸。
一旦在一组图像中确定对象的数目和对象的相对位置,处理器202可以基于对象的数目来确定预览屏幕中的图像的相对尺寸。例如,具有较多对象数目的图像可以被调整为大于具有较少对象数目的图像。
处理器202可以将多个图像显示的区域划分为n个指定的平铺形式,并且控制显示器206以n个平铺形式重新呈现和显示根据对象数目调整尺寸的图像。
响应于在图像中包括对象和用于描述图像的字幕与图像分开显示,处理器202可以控制显示器206以将字幕覆盖在图像上并且调整图像的尺寸并显示。
响应于从多个图像中选择图像,并且在所选择的图像上覆盖并显示用户操控菜单,处理器202可以控制显示器206将所述用户操控菜单从所选择的图像的区域移动并显示到未检测到对象的区域。
例如,用户操作菜单可以是具有编辑功能并且被覆盖在图像上的图标,菜单等。此外,用户操控菜单可以是覆盖在拍摄待机屏幕上的图标,菜单等。
响应于用户操控菜单被移动到未检测到对象的区域,处理器202可以控制显示器206增加或减小用户操控菜单的尺寸,以便适合于未检测到对象的区域的尺寸。
此外,在一个实施例中,处理器202可以检测图像中的对象的数目,并且动态地将至少一个控制元件的位置移动到图像的检测到对象数目为零的区域。与根据现有技术的系统(电子设备100)不同,当图像控制元件在图像中的默认位置间隔开时,根据本文公开的实施例的方法可以将图像控制元件的位置动态地移动到在图像中未检测到对象数目的图像区域(检测到对象数目为零的区域)。当在不存在对象的图像区域中显示图像控制元件时,图像可以被用户完全感知。此外,根据本文公开的实施例的方法可以用于在应用(例如相机的视场、图像编辑应用图像观看器等)中动态地移动控制元件。此外,下面参照图3描述用于管理图像显示的处理器202的各种单元。
存储单元204可以存储多个图像。存储单元204可以包括一个或多个计算机可读存储介质。存储单元204可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁硬盘,光盘,软盘,闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。在一些实施例中,存储单元204可以是非暂时性的存储介质。术语“非暂时性”可以指示没有体现在载波或传播信号中的存储介质。然而,术语“非暂时性”不应被解释为存储单元204是不可移动的。在一些实施例中,存储单元204可以被配置为存储比存储器更大量的信息。在某些实施例中,非暂时性存储介质可以存储比存储器更大量的数据。在某些实施例中,非暂时性存储介质可以存储可随时间变化的数据(例如,随机存取存储器(RAM)或高速缓存))。
显示器206可以在电子设备100的屏幕上显示一个或多个调整尺寸的图像。
参考图2,示出了电子设备100的有限实施例,但是应当理解,图2的实施例仅是示例,其他实施例不限于此。框图中的单元的标签或名称仅用于说明性目的,并不限制本公开的范围。此外,电子设备100可以包括与其他组件通信的任何数目的单元或子单元。类似地,每个单元的功能可以实现为单个单元,或者以不同于本文所述的不同方式的分立单元来实现,而不脱离本公开的范围。
图3是示出根据本公开的实施例的用于生成图像的布局的处理器的详细框图。
参考图3,处理器202可以包括诸如单独图像分析单元302、显示信息单元304、图像尺寸计算单元306和图像集分析单元308等单元。
在一个实施例中,单个图像分析单元302包括对象检测单元302a和对象分析单元302b。对象检测单元302a可以被配置为检测图像中的一个或多个对象。对象检测单元302a可以利用一个或多个对象识别技术来检测一个或多个对象。对象检测单元302a可以检测对象的坐标。
在一个实施例中,对象分析单元302b可以被配置为从对象检测单元302a接收对象的坐标。此外,对象分析单元302b可以被配置为执行分析,例如对对象数目进行计数(表示为C),对象的尺寸(表示为S)和对象的各种特征(例如对象中面部的识别)。对象分析单元302b可以被配置为分别处理图像以生成包括对象的尺寸,对象的计数和每个对象的特征向量的三个输出。在一个实施例中,权重w1和w2可以分别被分配给对象的计数和对象的尺寸。
在一个实施例中,显示信息单元304可以被配置为提供诸如屏幕尺寸等的显示参数。显示信息单元304可以将显示参数作为输入提供给图像尺寸计算单元306。
在一个实施例中,图像尺寸计算单元306可以被配置为使用权重w1和w2来计算图像尺寸。图像尺寸计算单元306可以被配置为基于由对象分析单元302b提供的C和S值(提供的权重)以及由显示信息单元304提供的输入来计算最终图像尺寸。
此外,在一个实施例中,图像集分析单元308包括所识别对象出现单元308a,元数据相似性确定单元308b和背景相似性分析单元308c。所识别对象出现单元308a可以被配置为从对象分析单元302b接收输入。此外,所识别对象出现单元308a可以被配置为生成图像中的对象的特征向量。
在一个实施例中,元数据相似性确定单元308b可以被配置为当获取图像时从图像中提取元数据信息(诸如位置和时间)。元数据信息可以用于确定图像之间的相似性。在一个实施例中,元数据信息可以是一个因素,同时选择要在最终布局中显示的图像。
在一个实施例中,背景相似性分析单元308c可以被配置为从集合中分析图像的背景并且找出背景之间的相似性。例如,两个图像的背景均可以是“森林”或“花园”。
图像集分析单元308可以通过将来自所识别对象出现单元308a,元数据相似性确定单元308b和背景相似性分析单元308c中的每一个的加权输出相加来计算诸如“加权共同度得分”等值。加权共同度得分表示一个图像与相同(图像)集合,文件夹或相册图像中的其他图像之间的相似性。
在一个实施例中,用户体验(UX)策略偏好单元310可以被配置为应用UX策略来确定图像的显示。基于UX策略,可以判定然后显示图像的最终布局。
图3示出了处理器202的有限概述,但是应当理解,其他实施例不限于此。图3中的单元的标签或名称仅用于说明性目的,并不限制本公开的范围。此外,处理器202可以包括与其他组件通信的任何数目的单元或子单元。类似地,在不脱离本公开的范围的前提下,每个单元的功能可以实现为单个单元,或者以不同于本文所述的不同方式的分立的单元来实现。
图4是用于描述根据本公开的实施例的用于管理电子设备中的多个图像的显示的方法的流程图。
参考图4,操作S402中,方法400包括检测每个图像中的对象的数目。因此,处理器202可以检测每个图像中的对象的数目。在操作S404中,方法400包括基于对象的数目确定每个图像的相对缩放因子。因此,处理器202可以基于对象的数目来确定每个图像的相对缩放因子。在操作S406中,方法400包括基于每个图像的相对缩放因子对图像执行一个或多个动作。因此,处理器202可以基于每个图像的相对缩放因子来对图像执行动作。
方法400中的各种动作,做法,块,操作等可以按照所呈现的顺序,也可以不同的顺序或同时进行。此外,在一些实施例中,可以在不脱离本公开的范围的情况下省略,添加,修改,跳过等等中的一些动作,做法,块,操作等。
图5是用于描述根据本公开的实施例的用于调整一个或多个图像的尺寸的方法的流程图。
参考图5,操作S502,方法500包括检测每个图像中的对象。因此,处理器202可以检测每个图像中的对象的数目。在操作S504中,方法500包括基于对象的数目确定每个图像的相对缩放因子。因此,处理器202可以基于对象的数目来确定每个图像的相对缩放因子。
在操作S506中,方法500包括基于每个图像的相对缩放因子调整一个或多个图像的尺寸。因此,处理器202可以基于每个图像的相对缩放因子来调整一个或多个图像的尺寸。在操作S508中,方法500包括在电子设备100的屏幕上显示一个或多个调整尺寸的图像。
因此,处理器202可以控制显示器206在电子设备100的屏幕上显示一个或多个调整尺寸的图像。
方法500中的各种动作,做法,块,操作等可以呈现的顺序、不同的顺序,或同时执行。此外,在一些实施例中,可以在不脱离本公开的范围的情况下省略,添加,修改,跳过等等中的一些动作,做法,块,操作等。
图6A、6B、7A、7B和8A至8H是根据本公开的各种实施例的在电子设备中显示多个图像时的现有技术和本公开之间的比较的图。
图6A和6B是根据本公开的各种实施例的在电子设备的图库应用中显示多个图像时相关技术和本公开之间的比较的图。
参考图6A,是用于描述在现有技术中在电子设备100的图库应用中显示多个图像的示例的图。参考图6A,可以推断出,在不考虑每个图像中的对象(例如,人数)的数目的情况下,显示多个图像。图6B是用于描述基于每个图像中的人数来重新调整多个图像的示例的图,与现有技术不同。
参考图6B,可以推断出调整具有更多人数的图像的尺寸以便以更大的尺寸显示图像。例如,可以调整具有最多人数的图像的尺寸并以最大尺寸显示,并且可以调整具有三个人的图像的尺寸并与具有两个人的图像相比以更大的尺寸显示。可以调整具有一个人的图像的尺寸并以最小的尺寸显示。此外,在具有两个人的图像中,可以调整包括人的整个身体的图像的尺寸并且显示为大于包括人的半个身体的图像。图6B示出了根据图像中的对象的数目来改变图像的尺寸的示例,并且与图6A不同地根据图像的改变尺寸,重新排列图像的布局和显示顺序。然而,这仅是说明性目的的一个示例,并不限制本公开的范围。例如,图6B示出了多个图像的布局保持与图6中相同的示例。并且基于每个图像中的对象的数目来调整每个图像的尺寸并显示。
当调整图像的尺寸时,如图6B所示,用户能够在组图像(具有几个人的图像)中更清楚地识别单独的人。例如,如图6A所示,可能难以识别具有最多人数的图像中的单独的人。然而,参考图6B,调整具有最多人数的图像的尺寸并显示为最大尺寸,使得用户能够完全识别图像中的单独的人。也就是说,根据实施例,可以基于每个图像中的对象的数目来改变多个图像中的每一个的尺寸。因此,电子设备100可以显示多个图像,使得用户容易地感知到每个图像的信息或内容,从而增强了UX。
图7A和7B是根据本公开的各种实施例的当在拼贴画中显示多个图像时相关技术和本公开之间的比较的图。
参考图7A,示出了相关技术中在拼贴画中提供多个图像的示例。参考图如图7A所示,可以推断,在不考虑每个图像中的对象数目(即,人数)的情况下,显示多个图像。图7B示出了与相关系统不同的情况下,基于每个图像中的人数改变多个图像的尺寸的示例。
也就是说,拼贴画中的图像基于每个图像中的对象的数目来被调整尺寸。
参考图7B,以最大尺寸显示具有最多人数的图像。此外,调整具有三个人的图像的尺寸并显示为小于具有最多人数的图像。调整一个人的图像的尺寸并显示为小于具有两个人的图像。也就是说,如图7B所示,拼贴画中的每个图像基于每个图像中的人数来调整尺寸。
此外,在相关技术中,当在相册应用中显示拼贴画时,电子设备100显示图像的一部分区域而不在拼贴预览图像中显示图像的整个图像。然而,根据一个实施例,电子设备100可以显示图像,使得通过基于每个图像中的对象数目调整图像的尺寸,图像中的整个信息(例如,包括面部等的内容信息)在拼贴预览图像中显示。在图7A和7B中,多个图像的布局示意为相同。然而,这仅是说明性目的的一个示例,并不限制本公开的范围。
图8A和8B是根据本公开的各种实施例的在多方视频会议中显示多个图像时相关技术和本公开之间的比较的图。
参考图8A,示出了相关技术中显示多方视频会议中的人的示例。参考图8A,可以推断出在不考虑多方视频会议的每个图像中的对象数目(即,人数)的情况下显示多个图像。图8B示出了与现有技术不同的基于多方视频会议的每个图像中的人数来重新调整多个图像的示例。图8B示出了基于多方视频会议的参与者的数目来调整每个图像的尺寸的示例。
图8C和8D是根据本公开的各种实施例的在同时示出两个频道的电视机中显示多个图像时相关技术和本公开之间的比较的图。
参考图8C,示出了电视同时示出两个频道并且在任何给定时刻在与每个频道相对应的窗口中显示图像的示例。图8D示出了与现有技术不同的示例,其中基于每个窗口中的对象的数目来调整每个频道的窗口的尺寸。参考图8C,将一个具有三个玩家的窗口的尺寸调整为大于具有一个新闻阅读器的窗口。也就是说,当电视同时显示两个频道时,可以基于每个窗口中的对象的数目来动态地调整窗口的尺寸。
图8E和8F是根据本公开的各种实施例的在视频监视中显示多个图像时的相关技术和本公开之间的另一比较的图。
参考图8E,示出了在现有技术中在视频监视中显示多个图像的示例。在相关技术中,在显示多个图像时不考虑每个图像中的对象的数目。图8F示出了与现有技术不同的情况,其中基于每个图像中的对象的数目来调整多个图像中的每个图像的尺寸。参考图8F,基于对象的数目来调整视频监控中的视频馈送的尺寸。
图8G和8H是根据本公开的各种实施例的用于以相同尺寸显示在网页中搜索到的图像时相关技术和本公开之间的比较的图。
参考图8G,示出了相关技术中在网页中搜索到的图像以相同尺寸显示的示例。图8G示出了与现有技术不同的根据实施例的基于对象数目来调整在网页上搜索到的图像的尺寸并显示的示例。当从网页加载图像时,可以在加载图像时计算每个图像中的对象数目。此外,每个图像可以基于每个图像中的对象的数目动态地调整尺寸,并且调整尺寸的图像可以显示在网页中。
图8I和8J示出了根据本公开的各种实施例的在人离开多方视频会议时显示多个图像的场景。
参考图8I,示出了正在进行的多方视频会议。在多方视频会议期间,人801可以离开多方视频会议。当人801离开多方视频会议时,可以基于剩余人数来调整多方视频会议的图像的尺寸。
参考图8J,示出了人801离开多方视频会议之后的图像。当人801离开多方视频会议时,可以将图8I的图像的尺寸调整为如图8J所示。当一个或多个人在视频会议期间加入视频会议时,可以基于每个图像中的对象的数目来调整多方视频会议的图像的尺寸并显示。
处理器202可以将显示多个图像的区域划分成n个指定的平铺形式。此外,处理器202可以控制显示器206以n个平铺形式重新呈现和显示基于每个图像中的对象的数目来调整尺寸的图像。
图9是示出根据本公开的实施例的多个平铺图块的图。
参考图9,每个图标都是一个平铺图块。可以基于每个平铺图块中的对象的数目来调整每个平铺图块的尺寸。应用程序图标和文件夹图标也可以是可以具有诸如人面部等对象的图像。可以通过对对象的数目进行计数来调整应用程序图标和文件夹的尺寸。可以与对象数目成比例地调整应用图标和文件夹的尺寸。例如,与具有较少对象的图标的图像尺寸相比,可以将示具有更多对象的图标的图像尺寸显示为相对较大。
图10A和10B是根据本公开的各种实施例的在音乐应用中显示相册封面的多个图像时相关技术和本公开之间的比较的图。
参考图10A,示出了相关技术中显示相册封面的图像的示例。参考图10A,相册封面的图像以相同的尺寸显示,而不考虑相册封面的每个图像中的对象数目。
参考图10B,示出了与现有技术不同的调整相册封面的图像的尺寸并显示的示例。参考图10B,将具有最多对象数目的相册图标1010的尺寸调整为最大。
图11是根据本公开的实施例提供用于描述用于选择一个或多个图像的方法的序列图。
参考图11,操作S1102,方法1100包括检测每个图像中的对象的数目。因此,处理器202可以检测每个图像中的对象的数目。在操作S1104中,方法1100包括基于对象的数目确定每个图像的相对缩放因子。因此,处理器202可以基于对象的数目来确定每个图像的相对缩放因子。
在操作S1106中,方法1100包括基于每个图像的相对缩放因子选择一个或多个图像。因此,处理器202可以基于每个图像的相对缩放因子来选择一个或多个图像。在操作S1108中,方法1100包括在电子设备100的屏幕上显示一个或多个调整尺寸的图像。因此,处理器202可以在电子设备100的屏幕上显示一个或多个调整尺寸的图像。
方法1100中的各种动作,做法,块,操作等可以按照所呈现的顺序,以不同的顺序或同时执行。此外,在一些实施例中,可以在不脱离本公开的范围的情况下省略,添加,修改,跳过等等中的一些动作,做法,块,操作等。
图12A和12B是根据本公开的各种实施例的在SNS中显示多个图像时相关技术和本发明之间的比较的图。
参考图12A,示出了根据现有技术的系统中显示SNS中的图像1200的示例。参考图12A,可以推断,在不考虑每个图像中的对象数目(即,人数)的情况下,用户必须手动选择要显示的图像,来显示多个图像。图12B示出了与现有技术不同的基于每个图像中的人数来动态地选择SNS中的多个图像1200的示例。参考图12B,在SNS中馈送的图像中,可以基于对象的数目动态地选择和调整图像的尺寸。
图13是根据本公开的实施例的用于描述用于裁剪一个或多个图像的方法的流程图。
参考图13,操作S1302,方法1300包括检测每个图像中的数目对象。因此,处理器202可以检测每个图像中的对象的数目。在操作S1304中,方法1300包括基于对象的数目确定每个图像的相对缩放因子。因此,处理器202可以基于对象的数目来确定每个图像的相对缩放因子。
在操作S1306中,方法1300包括基于每个图像的相对缩放因子来裁剪一个或多个图像。因此,处理器202可以基于每个图像的相对缩放因子裁剪一个或多个图像。在操作S1308中,方法1300包括在电子设备100的屏幕上显示一个或多个调整尺寸的图像。因此,处理器202可以在电子设备100的屏幕上显示一个或多个调整尺寸的图像。
利用所提出的方法1300,可以基于每个图像的相对缩放因子裁剪图像。此外,裁剪后的调整尺寸的图像可以显示在电子设备100的屏幕上。当裁剪图像时,用户能够完全感知图像,因此在用户查看图像时可以增强UX。
方法1300中的各种动作,做法,块,操作等可以按照所呈现的顺序,以不同的顺序或同时地执行。此外,在一些实施例中,可以在不脱离本公开的范围的情况下省略,添加,修改,跳过等等中的一些动作,做法,块,操作等。
图14A和14B是根据本公开的各种实施例的当显示多个图像时相关技术和本公开之间的比较的图。
参考图14A示出了根据现有技术的系统中显示多个图像的示例。如图14A所示,根据实施例,可以对多个图像进行裁剪。图14B示出了显示裁切后的调整尺寸的图像的示例。在一个实施例中,如图14A所示,使用显著区域检测方法来检测每个图像中的显著区域。调整图像的尺寸,使得显著区域变得更突出或更大。作为示例,将图14B的第一图像中的路标1410的尺寸调整为大于图14A的第四图像中的路标1410,因此可以容易地感知图像中的信息。另外,将图14B的第二图像中的建筑物的尺寸调整为大于图14A的第五图像中的建筑物,以便更清楚地被感知。对图14A的第三图像中的公共汽车进行裁剪和调整尺寸,以便更清楚地示出,如图14B的第三图像所示。
图15是用于描述根据本公开的实施例的用于管理电子设备中的图像的显示的方法的流程图。
参考图15,操作S1502,方法1500包括在图像上显示多个控制元件。因此,处理器202可以在图像上显示多个控制元件。在操作S1504中,方法1500包括检测图像中的对象的数目。因此,处理器202可以检测图像中的对象的数目。
在操作S1506中,方法1500包括动态地将一个或多个控制元件的位置移动到图像的检测到的对象数目为零的区域。因此,处理器202可以将一个或多个控制元件的位置动态地移动到图像上未检测到对象的区域。
利用所提出的方法1500,图像控制元件显示在未检测到对象数目的图像区域上。也就是说,与现有技术不同,当图像控制元件被移动并显示到在未检测到对象的图像区域中时,图像中的信息和对象可以被完全感知。
方法1500中的各种动作,做法,块,操作等可以按照所呈现的顺序,以不同的顺序或同时地执行。此外,在一些实施例中,可以在不脱离本公开的范围的情况下省略,添加,修改,跳过等等中的一些动作,做法,块,操作等。
图16A和16B是根据本公开的各种实施例的当在图像上显示用户操控菜单时相关技术和本公开之间的比较的图。
参考图16A,示出了在根据现有技术的系统中显示具有图像控制元件的图像编辑器应用的示例。参考图16A,图像控制元件以默认位置间隔开。当图像控制元件以默认位置间隔开时,图像控制元件被覆盖并显示在图像上,因此,图像中的信息或对象不能被完全感知。图16B示出了与现有技术不同的图像控制元件被移动并显示在未检测到对象的图像区域上的示例。参考图16B,图像控制元件显示在不存在对象的图像上。也就是说,与现有技术不同,当图像控制元件显示在不存在对象的图像区域中时,图像中的信息和对象可以被完全感知。以类似的方式,在相机取景器应用的情况下,图像控制元件可以显示在图像的检测到的对象数目为零的区域上。
在这种情况下,图像控制元件可以包括用于获取或编辑图像的用户操控菜单或图标。响应于以单独的图标形式显示用户操控菜单而不是菜单形状的用户界面(UI),电子设备100可以控制显示器206将图标移动并显示在检测到的对象数目为零的区域中。
图17A至17D是根据本公开的各种实施例的当显示图像的字幕时相关技术和本公开之间的比较的图。
图17A和17B是根据本公开的各种实施例的当在网页中显示图像的字幕时相关技术和本公开之间的比较的图。
参考图17A,示出了在根据现有技术的系统中,图像的字幕1710被显示在图像下方的示例。图17B示出了与根据现有技术的系统不同的图像的字幕1710-1覆盖在图像上的示例。在一个实施例中,要覆盖在图像上的字幕(例如,文本)的适当位置被确定为未检测到对象的区域。当字幕覆盖在图像上时,可以调整图像的尺寸并显示为更大。
在一个实施例中,处理器202可以确定适于将字幕覆盖在图像上的字体颜色和尺寸。例如,字幕的字体颜色可以被确定为与背景图像的颜色形成对比。此外,用于确定字幕的风格的元件可以自动更新或通过用户命令来更新。
图17C和17D是根据本公开的各种实施例的当显示图像的字幕时相关技术和本公开之间的另一比较的图。
参考图17C,示出在根据现有技术的系统中图像的字幕显示在图像下方的示例。图17D示出了根据实施例的图像的字幕被覆盖在图像上的多个图像。例如,如图17D所示,当存在图像的字幕覆盖在网页中的多个图像时,处理器202可以控制显示器206显示多个图像,其中字幕以图库的形式被覆盖。此外,处理器202可以基于每个图像中的对象的数目来调整以图库的形式显示的多个图像的尺寸。
图18A和18B是示出根据本公开的各种实施例的可穿戴设备中使用字幕的图像的浏览操作的示例的图。
参考图18A和18B,可以通过使用覆盖在图像上的字幕,在电子设备中搜索与字幕相关的网站例如,在可以是可穿戴装置的电子装置100中,可以显示具有字幕的图像,使得字幕覆盖在图像上。在这种情况下,当图像覆盖在图像上时,图像的尺寸可以被调整为更大。可以自动地在网站中搜索相关内容,或者由用户点击覆盖在图像上的字幕。
图19是示出根据本公开的实施例的在电子设备中实现用于显示多个图像的方法的计算环境的图。
参考图19,电子设备100的计算环境包括处理器1904、算术逻辑单元(ALU)1906、存储器1910、存储器1912、多个连网设备1916以及多个输入/输出(I/O)设备1914。处理单元1908负责处理方案的指令。处理单元1908从处理器1904接收命令以便对指令进行处理。此外,可以在ALU 1906的帮助下计算指令执行中所涉及的任意逻辑和算术运算。
电子设备100的总体计算环境可以由多个均质和/或异质核心、不同种类的多个中央处理单元(CPU)、特殊介质和其他加速器组成。处理单元1908负责处理该方案的指令。此外,多个处理单元1908可以位于单个芯片上或多个芯片上。
包括用于实现方式的指令和代码的方案存储在存储器1910或存储器1912中,或两者中。在执行时,可以从对应的存储器1910或存储装置1912取出指令,并由处理单元1908执行指令。
在任何硬件实现的情况下,各种连网设备1916或I/O设备1914可以是外部的,并且可以连接到计算环境,用于通过通信器(未示出)和I/O设备单元(未示出)支持实现方式。
本文公开的实施例可以通过在至少一个硬件设备上运行并执行网络管理功能来控制元件的一个或多个软件程序来实现,。图1A、1B、2至5、6A、6B、7A、7B、8A至8J、9、10A、10B、11、12A、12B、13、14A、14B、15、16A、16B、17A至17D、18B、19和20中所示的元件包括可以是至少一个硬件设备,硬件设备或软件模块的组合。
图20是根据本公开的实施例的用于描述根据多个图像中的每一个中包括的对象的数目来调整图像的尺寸并显示的方法的序列图。
在操作S2010中,电子设备100识别多个图像。例如,当将新图像存储在存储多个图像的应用(例如,图库应用)中时,电子设备100可以识别新的图像。
当图像是存储在电子设备100中的图像时,电子设备100可以在将图像存储在电子设备100中之前识别图像。当图像是通过诸如网站的网络浏览器实时上载的图像时,电子设备100可以在图像上载时识别图像。
在操作S2020中,电子设备100检测每个图像中的对象的数目。例如,电子设备100可以通过在识别的图像上执行诸如面部检测器等程序来检测每个图像中的对象(例如,面部)。电子设备100可以通过检测面部,经由针对每个面部的边界框,来获得每个图像中的面部的数目。电子设备100可以将边界框的坐标值和面部的数目作为元数据与图像文件一起存储。
在操作S2030中,电子设备100可以基于每个图像中的对象数目来确定每个图像的缩放因子。例如,缩放因子可以是用于确定每个图像的调整尺寸比率的元件。作为示例,调整尺寸比率可以是通过将图像上的面部区域除以整个图像区域而获得的值。
此外,电子设备100可以通过使用颜色对比度,边缘密度,贝叶斯积分和浅表跨度中的至少一个,根据每个图像中的对象的数目来确定缩放因子。
此外,电子设备100可以基于每个图像中的对象使用显著区域、对比度和梯度来确定缩放因子。
电子设备100可以存储关于确定的缩放因子的信息作为元数据。
在操作S2040中,电子设备100可以基于缩放因子来调整多个图像中的一个或多个图像的尺寸。上面已经详细描述了基于对象数目来调整图像尺寸的操作,因此将省略其详细描述。
在操作S2050中,电子设备100可以控制调整尺寸的图像的布局和显示顺序中的至少一个,并且在电子设备100的屏幕上显示调整尺寸的图像。为了便于说明,假设四个图像分别包括不同数目的对象(例如,人数)。例如,在相关技术中,图库应用程序可以在屏幕中显示相同尺寸的四个图像。与现有技术相反,根据本文公开的实施例,根据每个图像中的对象的数目,可以调整四个图像的尺寸并显示为不同的尺寸。在这种情况下,可以在用于显示四个图像的布局内改变每个图像的布局,并且还可以改变每个图像的显示顺序。
当调整四个图像的尺寸时,可以布置四个图像,以在布局中形成用于显示所有四个图像的空白空间。在这种情况下,电子设备100可以在该空间中显示附加的图像,因此可以显示更多的图像。因此,电子设备100可以调整图像的尺寸,使得每个图像中的对象被清楚地示出,或者可以通过附加图像向用户提供更多信息。
作为另一示例,电子设备100可以从四个图像中选择并显示清楚地示出对象的图像。例如,电子设备100可以在布局中显示三个图像以显示四个图像。因此,电子设备100可以更清楚地向用户提供图像中包括的对象信息,从而增强了UX。
根据实施例,处理器202可以包括RAM、只读存储器(ROM)、图形处理器、主CPU、第一到第n(第)个接口和总线。RAM、ROM、图形处理器,主CPU以及第一至第n(第)个接口可以通过总线互连。RAM存储操作系统(O/S)和应用程序。具体地说,当电子设备100启动时,O/S被存储在RAM中,用户选择的各种应用数据可以存储在RAM中。
ROM存储一组用于系统引导的命令。响应通过开启命令的供电,主CPU根据ROM中的命令将存储在存储器中的O/S复制到RAM中,并通过执行O/S启动系统。在启动操作完成后,主CPU将存储器中的各种应用程序复制到RAM,并执行复制到RAM的应用程序以执行各种操作。
主CPU通过使用内存中的O/S访问内存并执行启动操作。此外,主CPU通过使用存储在存储器中的各种程序,内容和数据来执行各种操作。
第一至第(n)个接口连接到上述各种组件。接口之一可以是通过网络连接到外部设备的网络接口。
根据本文公开的各种实施例的设备(例如,模块或电子设备100)或方法(例如,动作)可以由执行包括在其中的指令的至少一个计算机(例如,处理器202)来执行在计算机可读存储介质中保存的程序中的至少一个程序。
当计算机(例如,处理器202)执行指令时,至少一个计算机可以执行与指令相对应的功能。在这种情况下,例如,计算机可读存储介质可以是存储器。
例如,程序可以包括在计算机可读存储介质中,例如硬盘、软盘、磁介质(例如,磁带)、光学介质(例如,光盘ROM(CD-ROM)或数字通用盘(DVD)、磁光介质(例如,光盘)、硬件设备(例如,ROM、RAM或闪速存储器)等。
存储介质包括在电子设备100中总体上作为组件的一部分。然而,存储介质可以通过电子设备100的端口安装,或者可以包括在位于电子设备100外部的外部设备(例如,云、服务器或其他电子设备)中。此外,程序可以被分发到多个存储介质。在这种情况下,多个存储介质的至少一部分可以位于电子设备100的外部设备中。
尽管参考本公开各实施例示出并描述了本公开,但是本领域技术人员将理解:在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下,可以进行形式和细节上的各种改变。

Claims (15)

1.一种用于处理图像的电子设备,所述电子设备包括:
显示器,被配置为在屏幕上显示多个图像;以及
处理器,被配置为:
检测所述多个图像中的每一个中包括的对象的数目,
基于检测到的对象的数目来确定所述多个图像中的每一个的缩放因子,
基于确定的所述多个图像中的每一个的缩放因子来调整所述多个图像中一个或多个图像的尺寸,以及
基于调整尺寸的图像来控制所述多个图像的布局和显示顺序中的至少一个,并且控制所述显示器显示所述多个图像。
2.根据权利要求1所述的电子设备,其中,所述处理器还被配置为将所述多个图像中对象的数目较多的图像的尺寸调整为大于所述多个图像中对象的数目较少的图像。
3.根据权利要求1所述的电子设备,其中所述处理器还被配置为:控制所述显示器从所述多个图像中的调整尺寸的图像中选择性地显示图像的对象占据所述图像的较高比例的图像。
4.根据权利要求1所述的电子设备,其中,所述处理器还被配置为:
确定多个图像中的每一个的感兴趣区域(ROI)
基于确定的多个图像中的每一个的ROI,从所述多个图像中的至少一个图像中裁剪包括所述对象的区域,以及
控制所述显示器以显示所裁剪区域的图像。
5.根据权利要求1所述的电子设备,其中,响应于从所述多个图像中选择图像并在所选择的图像上覆盖并显示的用户操控菜单,所述处理器还被配置为控制所述显示器以将所述用户操控菜单从所选择的图像的区域移动到未检测到所述对象的区域并显示所述用户操控菜单到。
6.根据权利要求1所述的电子设备,其中,所述处理器还被配置为:
将显示所述多个图像的区域划分为n个指定的平铺形式,以及
控制所述显示器以n个平铺形式重新呈现和显示根据所述多个图像中的每一个中包括的对象的数目而调整尺寸的图像。
7.根据权利要求1所述的电子设备,其中,响应于在图像中包括所述对象以及用于描述图像的字幕与所述图像分开显示,所述处理器还被配置为:
将所述字幕覆盖在所述图像上,以及
控制所述显示器调整图像的尺寸并显示。
8.根据权利要求1所述的电子设备,其中,所述处理器还被配置为:通过比较所述多个图像中的每一个中包括的对象的数目来确定所述缩放因子。
9.根据权利要求1所述的电子设备,其中,所述处理器还被配置为通过使用颜色对比度、边缘密度、贝叶斯积分和浅表跨度中的至少一个来检测所述对象。
10.根据权利要求1所述的电子设备,还包括:
存储单元,
其中,响应于将图像存储在所述存储单元中,所述处理器还被配置为:
在将所述图像存储在所述存储单元中之前确定所述图像中包括的对象的数目,以及
将确定的所述图像的对象的数目与所述图像一起存储在所述存储单元中,以及
其中,响应于实时地在所述电子设备中加载图像,所述处理器还被配置为:
在加载所述图像时,确定所述图像中包括的对象的数目,以及
将确定的所述图像的对象的数目与关于图像的信息一起存储在所述存储单元中。
11.一种用于处理电子设备中的图像的方法,所述方法包括:
识别所述电子设备中的多个图像;
检测所述多个图像中的每一个中包括的对象的数目;
基于检测到的对象的数目来确定所述多个图像中的每一个的缩放因子;
基于确定的所述多个图像中的每一个的缩放因子来调整所述多个图像中的一个或多个图像的尺寸;
基于调整尺寸的图像来控制所述多个图像的布局和显示顺序中的至少一个;以及
在所述电子设备的屏幕上显示所述多个图像。
12.根据权利要求11所述的方法,其中,调整所述一个或多个图像的尺寸包括:将所述多个图像中对象的数目较多的图像的尺寸调整为大于所述多个图像中对象的数目较少的图像。
13.根据权利要求11所述的方法,其中,显示所述多个图像:包括从所述多个图像中的调整尺寸的图像中选择性地显示图像的对象占据所述图像的较高比例的图像。
14.根据权利要求11所述的方法,还包括:
确定所述多个图像中的每一个的感兴趣区域(ROI);
基于确定的所述多个图像中的每一个的ROI,从所述多个图像中的至少一个图像裁剪包括所述对象的区域;以及
显示所述裁剪区域的图像。
15.根据权利要求11所述的方法,还包括:
响应于从所述多个图像中选择图像以及在所选择的图像上覆盖并显示用户操控菜单,将所述用户操控菜单从所选择的图像的区域移动到未检测到所述对象的区域并且显示所述用户操控菜单。
CN201680035265.2A 2015-06-17 2016-06-09 用于显示多个图像的电子设备和用于处理图像的方法 Active CN107750369B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN3036/CHE/2015 2015-06-17
IN3036CH2015 2015-06-17
KR10-2016-0059731 2016-05-16
KR1020160059731A KR102193567B1 (ko) 2015-06-17 2016-05-16 복수의 이미지를 디스플레이하는 전자 장치 및 이의 이미지 처리 방법
PCT/KR2016/006125 WO2016204449A1 (en) 2015-06-17 2016-06-09 Electronic device for displaying a plurality of images and method for processing an image

Publications (2)

Publication Number Publication Date
CN107750369A true CN107750369A (zh) 2018-03-02
CN107750369B CN107750369B (zh) 2021-11-02

Family

ID=57736643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680035265.2A Active CN107750369B (zh) 2015-06-17 2016-06-09 用于显示多个图像的电子设备和用于处理图像的方法

Country Status (2)

Country Link
KR (1) KR102193567B1 (zh)
CN (1) CN107750369B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151550A (zh) * 2018-09-20 2019-01-04 传线网络科技(上海)有限公司 视频界面显示方法及装置
CN109151551A (zh) * 2018-09-20 2019-01-04 传线网络科技(上海)有限公司 视频界面显示方法及装置
CN109302631A (zh) * 2018-09-20 2019-02-01 传线网络科技(上海)有限公司 视频界面显示方法及装置
CN110032701A (zh) * 2019-04-04 2019-07-19 网易(杭州)网络有限公司 图像展示控制方法、装置、存储介质及电子设备
CN110636252A (zh) * 2018-06-21 2019-12-31 佳能株式会社 图像处理装置、图像处理方法和介质
CN111754407A (zh) * 2020-06-27 2020-10-09 北京百度网讯科技有限公司 图像展示的布局方法、装置、设备以及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603772B (zh) * 2017-01-26 2019-12-27 Oppo广东移动通信有限公司 电子装置及图像获取方法
KR102391490B1 (ko) * 2017-03-27 2022-04-28 삼성전자주식회사 이미지 내의 오브젝트를 트래킹하기 위한 방법 및 그 전자 장치
WO2018203116A1 (en) * 2017-05-02 2018-11-08 Balagopalan Parvati Methods and systems for viewing or sharing picture/video in interactive media player
KR102627658B1 (ko) * 2018-10-11 2024-01-22 삼성전자주식회사 레이아웃에 대한 이미지의 배치를 판단하는 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체.
KR20210101087A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 그 전자 장치에서 영상을 표시하는 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170791A1 (en) * 2002-11-29 2006-08-03 Porter Robert Mark S Video camera
CN101110011A (zh) * 2006-07-19 2008-01-23 乐金电子(天津)电器有限公司 家用电器显示屏上的按钮图标再排列装置及其再排列方法
CN101142595A (zh) * 2005-03-15 2008-03-12 富士胶片株式会社 影集产生设备、影集产生方法及程序
JP4960270B2 (ja) * 2008-01-30 2012-06-27 アイホン株式会社 インターホン装置
JP2014038601A (ja) * 2012-08-16 2014-02-27 Naver Corp イメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体
JP2014135732A (ja) * 2014-02-13 2014-07-24 Olympus Imaging Corp 画像作成装置及び画像作成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9383916B2 (en) * 2009-09-30 2016-07-05 Microsoft Technology Licensing, Llc Dynamic image presentation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060170791A1 (en) * 2002-11-29 2006-08-03 Porter Robert Mark S Video camera
CN101142595A (zh) * 2005-03-15 2008-03-12 富士胶片株式会社 影集产生设备、影集产生方法及程序
CN101110011A (zh) * 2006-07-19 2008-01-23 乐金电子(天津)电器有限公司 家用电器显示屏上的按钮图标再排列装置及其再排列方法
JP4960270B2 (ja) * 2008-01-30 2012-06-27 アイホン株式会社 インターホン装置
JP2014038601A (ja) * 2012-08-16 2014-02-27 Naver Corp イメージ分析によるイメージ自動編集装置、方法およびコンピュータ読み取り可能な記録媒体
JP2014135732A (ja) * 2014-02-13 2014-07-24 Olympus Imaging Corp 画像作成装置及び画像作成方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636252A (zh) * 2018-06-21 2019-12-31 佳能株式会社 图像处理装置、图像处理方法和介质
CN109151550A (zh) * 2018-09-20 2019-01-04 传线网络科技(上海)有限公司 视频界面显示方法及装置
CN109151551A (zh) * 2018-09-20 2019-01-04 传线网络科技(上海)有限公司 视频界面显示方法及装置
CN109302631A (zh) * 2018-09-20 2019-02-01 传线网络科技(上海)有限公司 视频界面显示方法及装置
CN109151550B (zh) * 2018-09-20 2021-11-02 阿里巴巴(中国)有限公司 视频界面显示方法及装置
CN110032701A (zh) * 2019-04-04 2019-07-19 网易(杭州)网络有限公司 图像展示控制方法、装置、存储介质及电子设备
CN111754407A (zh) * 2020-06-27 2020-10-09 北京百度网讯科技有限公司 图像展示的布局方法、装置、设备以及存储介质
CN111754407B (zh) * 2020-06-27 2024-03-01 北京百度网讯科技有限公司 图像展示的布局方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
KR20160149141A (ko) 2016-12-27
KR102193567B1 (ko) 2020-12-22
CN107750369B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN107750369A (zh) 用于显示多个图像的电子设备和用于处理图像的方法
CN109618222B (zh) 一种拼接视频生成方法、装置、终端设备及存储介质
CN106687902B (zh) 基于内容分析的图像显示、可视化和管理
US9942486B2 (en) Identifying dominant and non-dominant images in a burst mode capture
US11317139B2 (en) Control method and apparatus
US10742900B2 (en) Method and system for providing camera effect
EP3183640B1 (en) Device and method of providing handwritten content in the same
US10430456B2 (en) Automatic grouping based handling of similar photos
US9538116B2 (en) Relational display of images
KR20140098009A (ko) 컨텍스트 기반 카메라 콜라주를 생성하는 방법 및 시스템
US10061493B2 (en) Method and device for creating and editing object-inserted images
EP3005055B1 (en) Apparatus and method for representing and manipulating metadata
US10210598B2 (en) Electronic device for displaying a plurality of images and method for processing an image
US20120137237A1 (en) System and method for digital image and video manipulation and transfer
CN111223045B (zh) 一种拼图方法、装置及终端设备
EP1755051A1 (en) Method and apparatus for accessing data using a symbolic representation space
US10824313B2 (en) Method and device for creating and editing object-inserted images
US20180268049A1 (en) Providing a heat map overlay representative of user preferences relating to rendered content
US9235575B1 (en) Systems and methods using a slideshow generator
CN106462580A (zh) 媒体组织
US20110304644A1 (en) Electronic apparatus and image display method
CN109697242B (zh) 拍照搜题方法、装置、存储介质和计算设备
US20140153836A1 (en) Electronic device and image processing method
Kim et al. A compact photo browser for smartphone imaging system with content-sensitive overlapping layout
US20170344204A1 (en) Systems and methods for detecting and displaying graphic contents on digital media page

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant