CN101430702A - 图像显示设备、图像显示方法和图像显示系统 - Google Patents

图像显示设备、图像显示方法和图像显示系统 Download PDF

Info

Publication number
CN101430702A
CN101430702A CNA2008101748207A CN200810174820A CN101430702A CN 101430702 A CN101430702 A CN 101430702A CN A2008101748207 A CNA2008101748207 A CN A2008101748207A CN 200810174820 A CN200810174820 A CN 200810174820A CN 101430702 A CN101430702 A CN 101430702A
Authority
CN
China
Prior art keywords
image
view data
thumbnail
still
viewing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101748207A
Other languages
English (en)
Inventor
木原酉华
小林幸二
作山宏幸
原润一
儿玉卓
竹中麻衣子
稻本浩久
贞末多闻
滨谷千寻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN101430702A publication Critical patent/CN101430702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种图像显示设备、图像显示方法和图像显示系统,其中属性确定单元确定图像的图像数据的属性。在属性为运动图像时,静态图像提取单元从图像数据提取静态图像。特征量获得单元从静态图像的图像数据以及在属性为静态图像时的静态图像的图像数据中获得特征量。排列位置确定单元基于特征量确定显示区域的排列位置。显示图像产生单元从静态图像中产生缩略图图像,并且基于排列位置和显示区域在显示区域中显示缩略图图像的列表。

Description

图像显示设备、图像显示方法和图像显示系统
相关申请的交叉引用
本申请要求于2007年11月5日提交的日本优先权文档2007-287456的优先权,并且通过引用其全部内容将其合并在此。
技术领域
本发明涉及用于视觉地(visually)支持图像数据的搜索的图像显示设备、图像显示方法和图像显示系统。
背景技术
当基于视觉信息,从保存在个人计算机等中的大量图像数据搜索所期望的图像数据时,用户通过在屏幕上逐一显示图像数据时进行观察来搜索图像数据是低效的。因此,已知其中图像被缩小,并且在一个屏幕上列表显示该图像的缩略图列表显示技术。在静态图像的情况下,缩略图是通过减少像素数而尺寸缩小的代表图像。当在单一的屏幕上显示缩略图时,用户可以有效地识别存在什么图像。
作为被设计来在显示缩略图时,以视觉可理解的方式向用户提供缩略图显示的内容的显示方法,例如,存在其中根据组成原始图像的多个部分图像的重要性级别,将通过缩小原始图像以使得具有重要性的更高级别的部分图像的比率更高而获得的缩小图像显示为图像搜索的结果的方法(见,例如,日本专利申请公开No.2007-080099)。
然而,当用户希望从列表显示缩略图的屏幕上发现所期望的图像时,存在设计显示方法,使得用户可以容易地掌握各个的缩略图的内容来以可理解的方式向用户提供所显示的缩略图之间的关系的需要。因此,除了通过简单地对准缩略图图像来列表显示缩略图图像的技术之外,已经存在了基于图像数据的属性值信息确定缩略图显示位置,并且在屏幕上像映射那样排列缩略图图像的技术,由此改善搜索效率(下面称为“图像映射(image map)”)。该显示的优点在于可以视觉地呈现图像之间的关系。特别地,当在屏幕上集合地排列具有类似参数的缩略图组时,可以从所显示的图像数据中容易地指定必要的数据组。
作为用于将缩略图显示为图像映射的图像映射方法,已知一种其中从显示目标图像提取诸如颜色、形状、尺寸、类型和使用关键字之类的特征量来创建特征量向量,并且在该状态下,利用自组织映射(self-organizationmap)等来投影到二维坐标轴上,并且改变信息密度(information density)来在深度方向上对准多个屏幕,由此以三维方式移动视点(viewpoint),从而容易地搜索所期望的数据的方法(见,例如,日本专利No.3614235)。
另一种图像映射方法包括其中获得每个显示目标的属性值,基于每个所获得的属性值设置屏幕上的中心点,根据显示目标图像的属性值,将图像的缩略图安排在中心点附近,由此集中并显示具有相同属性值的图像的缩略图(见,例如,日本专利申请公开No.2005-055743)。
另一种已知的图像映射方法包括其中获得通过搜索图像数据库获得的搜索结果图像的集合;从每个搜索结果图像中提取第n维特征量;通过多元统计分析处理分析第n维特征量来计算新的二维特征量;每个搜索结果图像被当作距离空间上的点(其中该二维特征量作为其两个轴),并且被集群到m个簇组(cluster group)中;基于从其获得的集群信息确定每个搜索结果图像的显示位置和显示尺寸;和根据所确定的显示位置和显示尺寸缩小每个搜索结果图像,由此在显示设备的屏幕上列表显示所缩小的图像(见,例如,日本专利申请公开No.2005-235041)
另一方面,还可以在观看在其上累积由数字照相机等拍摄的静态图像数据的数据库时利用图像映射。近来,广泛使用具有录像功能的数字视频照相机,并且在这种情况下,导致在除了静态图像数据之外,还混合了静态图像数据和运动图像数据的状态下,在数据库中累积和保存所拍摄的数据。甚至在混合静态图像数据和运动图像数据的状态下,当集合地管理数据时,能够观看数据库中的全部数据并容易地、视觉地识别其内容的图像映射格式的显示方法变得必要。
作为在屏幕上有效地排列包括大量静态和运动图像数据的数据对象,使得用户本身可以利用他自己的眼睛进行搜索的技术,存在其中以与类似于实际空间的虚拟信息空间中的信息相关联的方式显示每个数据的图标的方法。根据该方法,可以视觉地向用户提供诸如信息类型、其内容和其重要性之类的附加信息,并且在随机搜索信息空间时可以观看信息的总揽(overvi ew)及其细节。结果,直观的搜索变为可能(见,例如,日本专利No.3022069)。
作为在图像映射上排列和显示运动图像数据(而不是静态图像数据)作为目标的方法,存在其中其目标是提供关于大量数字广播内容的有效的搜索和鉴赏方法,并且从视频内容创建图标,而且基于视频内容的特征量排列和显示每个图标的已知方法(见,例如,日本专利申请公开No.2001-309269)。
作为在图像映射上排列显示运动图像数据作为目标的方法,存在其中用户针对每个运动图像数据从由用户本身预先提供的诸如“世代程度(generation degree)”、“新鲜程度”和“每一代的普及”之类的、用于排列的评估轴中选择数个条目,并且在合适的位置上排列和显示多个运动图像数据的已知方法。在该方法中,为此,利用显示屏幕来为用户提供显示屏幕,以高速发现所期望的运动图像(见,例如,日本专利申请公开No.2002-314979)。
在日本专利申请公开No.2001-309269中描述的发明中,其目标是从数字广播传送的大量节目中有效地选择所期望的节目的台,并且提供用于从其内容被限制到运动图像的集合中搜索所期望的运动图像内容的装置。然而,关于通过数字照相机等拍摄获得的数据,混合和积累了静态图像数据和运动图像数据,因此,当用户观看全部所积累的数据时,周期地整理所述数据,或者分析所述数据的内容,希望可以不考虑静态图像和运动图像而列表显示数据,并且针对每个视觉特性形成并显示分组。
在日本专利申请公开No.2002-314979中描述的发明中,假设具有作为用于确定显示的评估轴的含义的多份信息,因此,可以搜索具有特定趋势的图像数据。然而,在依赖于诸如由用户本身拍摄的图像数据之类的模糊的记忆搜索图像数据时,用户发现很难识别要设置哪个评估轴或将图像数据排列在显示屏幕的哪个显示位置上。
发明内容
本发明的目的是至少部分解决常规技术中的问题。
根据本发明的一个发明,提供缩小图像来产生缩略图图像并在显示区域中显示缩略图图像的列表的图像显示设备。该图像显示设备包括:属性确定单元,用于确定图像的图像数据的属性;静态图像提取单元,当图像数据的属性被确定为运动图像时从图像数据提取静态图像;特征量获得单元,用于从自运动图像的图像数据提取的静态图像的图像数据以及在图像数据的属性被确定为静态图像时的静态图像的图像数据中获得特征量;排列位置确定单元,用于基于特征量确定显示区域的排列位置;和显示图像产生单元,用于通过缩小静态图像产生缩略图图像,并且基于排列位置和显示区域在显示区域中显示缩略图图像的列表。
当结合附图考虑时,通过阅读以下本发明优选实施例的详细描述将更好地理解本发明的技术的以上和其它目的、特征和优点以及工业重要性。
附图说明
图1是根据本发明第一实施例的图像显示设备的方框图;
图2是根据第一实施例的处理的流程图;
图3根据本发明的第二实施例的处理的流程图;
图4是根据本发明第三实施例的处理的流程图;
图5是根据本发明第四实施例的处理的流程图;
图6描述图像映射;和
图7是根据放大率显示图像映射的示意图。
具体实施方式
下面,将参照附图详细解释本发明的示例性实施例。
图1是根据本发明第一实施例的图像显示设备的方框图。如图1所示,图像显示设备100包括输入单元10、显示单元20、存储单元30和控制单元40。在下面的描述中,运动图像和静态图像被集合地称为图像。图像数据包括运动图像数据和静态图像数据。
输入单元10通过诸如键盘和鼠标之类的指示装置等进行配置,并且接收搜索条件指令的输入、搜索条件的添加或改变指令的输入。
显示单元20由液晶显示器、CRT等进行配置,并且根据搜索条件显示图像组中的所指定的图像的缩略图,以及当从输入单元10等接收指令请求时响应于所述指令请求的指令结果。
存储单元30由硬盘设备等配置,并且保存由诸如数字照相机之类的图像产生设备9产生的图像、其它图片图像、从扫描仪读取的源材料作为图像数据。特别地,当由多页配置图像数据时,涉及缩略图数据或每一页的图像数据被存储在存储单元30内的文件夹F1到Fn中。
控制单元40由中央处理单元(CPU)等配置,并且包括属性识别单元41、图像特征获得单元42、排列位置确定单元43、显示方法确定单元44和显示图像产生单元45。例如,这些组成部分是程序模块。
属性识别单元41分析每个图像数据来确定图像数据是运动图像还是静态图像,并且当图像数据被识别为运动图像时从运动图像的图像数据提取静态图像。在本发明中由属性识别单元41等配置属性确定单元和静态图像提取单元。
图像特征获得单元42获得诸如每个图像数据的纹理信息及其颜色直方图信息之类的图像特征量。以对应于每个图像数据的方式将从属性识别单元41获得的分类结果和从图像特征获得单元42获得的图像特征量储存在存储单元30中。在本发明中,由图像特征获得单元42等配置特征量获得单元。
当排列缩略图图像时,排列位置确定单元43基于储存在存储单元30中的每个图像特征量,确定显示单元20的显示区域的排列位置。显示区域可以是显示单元20的屏幕的所有显示区域或其显示区域的一部分。在本发明中,由排列位置确定单元43等配置排列位置确定单元。
当排列缩略图图像时,显示方法确定单元44确定显示单元20的显示区域中的图像数据的显示方法(诸如显示位置和缩小的显示尺寸)。
显示图像产生单元45产生每个图像的缩略图,基于由显示方法确定单元44确定的图像数据的显示尺寸、其显示位置、其显示区域等创建显示图像数据,并且产生图像映射。在本本发明中,由显示方法确定单元44、显示图像产生单元45等配置显示图像产生单元。
已经描述了根据第一实施例的所述配置的图像显示设备的处理。图2是显示该处理的流程图。
首先,将来自于输入单元10、存储单元30等的图像数据输入到属性识别单元41(步骤S1),并且由属性识别单元41确定图像数据是运动图像还是静态图像(步骤S2)。当图像数据是运动图像时,由属性识别单元41从运动图像中提取用于显示图像映射的静态图像(步骤S3)。当在步骤S2确定图像数据是静态图像时,处理前进到步骤S4。
当从运动图像提取用于显示图像映射的静态图像时,存在其中提取在开始时间之前的指定时间上的静态图像的方法。此时,存在产生特殊过程以避免从具有包括噪声数据的高概率的时间(诸如运动图像的图像数据的开始时间和结束时间)进行提取的特殊过程的需要。之前指定时间可以是由用户指定的时间。
作为另一方法,可以使用日本专利申请公开No.2006-060636中描述的方法,使得参数识别单元41分析运动图像的图像数据内的噪声,并且基于所分析的噪声量提取静态图像。
图像特征获得单元42从静态图像的所提取的图像数据中提取特征量(步骤S4)。例如,存在用于从包括用于创建图像映射的图像数据提取视觉特征量的方法,其中从图像数据提取包括对图像数据的概览很有帮助的“颜色”、“组成”和“纹理”中的至少一个的特征。图像特征获得单元42将所提取的特征量转换为向量来产生特征向量也是可能的。
排列位置确定单元43基于在步骤S4提取的特征量确定显示图像的排列位置(步骤S5)。在下面显示用于基于特征量在二维或三维可视空间上排列图像数据的方法的一个示例。
例如,由与来自诸如“颜色”、“组成”和“纹理”之类的元素中的两个或多个元素(维)对应的值表示特征向量。为了基于在步骤S4提取的多维特征向量在二维(垂直和水平)屏幕上进行排列,排列位置确定单元43利用诸如自组织映射之类的维压缩(dimension compression)方法来评估在显示单元20的屏幕上的显示位置。
在下面描述其中形成针对二维或三维可视空间上的图像数据的每个分类的编组来排列图像数据的方法。
首先,在步骤S4,图像特征获得单元42分析图像数据来执行分类。作为执行分类的技术,存在日本专利申请公开No.2006-39658中公开的技术。根据在该公开文件中披露的技术,利用其尺寸被预先确定为足够小于图像的尺寸的显示区域(窗口)覆盖图像数据,从每个窗口创建通过裁剪图像的小显示区域所形成的部分图像,并且在所有裁剪的部分图像间确定等效于不相似度(degree of dissimilarity)的顺序关系。然后,仅基于顺序关系,将每个部分图像映射到任意距离空间中的点,并且通过图像特征获得单元42提取所映射的距离空间中的点的位置坐标向量的笛卡儿积(cartesianproduct)或张量积(tensor product),作为特征数据。例如,图像特征获得单元42使用该特征数据来执行与表1所示的类相关的学习和分类识别。除此之外,图像特征获得单元42可以利用诸如支持向量机(SVM)、统计处理等之类的学习算法来执行到已知类的分类。
表1显示被分类并至多定义到第二层级的图像数据的示例。在第一层级中,提供了四个类,即“人物”、“自然”、“艺术”和“风景”。在第一层级中的每个类进一步配有第二层级的类的定义。在图像映射显示中,其中最好是可以查看全部映射来掌握全部数据的概览的显示。因此,在定义该类中,最好以基于可视条件的分类方式定义类。
(表1)
Figure A200810174820D00111
在如表1所示分类的第一层级中,将数值(如,1、2、3和4)分配给“人物”、“自然”、“艺术”和“风景”中的每一个,并且将数值(如,1和2)分配给第一层级的第二层级中的“事件”和“人”中的每一个。由此,图像数据的分类结果被转换为数值。图像特征获得单元42合成通过将分类结果转换为数值所获得的特征量以及从图像数据分析的图像特征量来产生特征量向量。基于在步骤S4产生的特征量向量,排列位置确定单元43利用诸如自组织映射之类的维压缩方法来确定用于在显示单元20的屏幕上排列的显示位置。
因此,获得了其中相互临近地排列属于同一类的图像数据的排列位置。图6通过在其上反映分类的排列来描述图像映射。阴影部分表示显示图像。其中反映类排列的排列方法不限于此。预先确定类和类的排列位置,并且可以将属于该类的图像数据排列在合适的类的排列位置附近。
只要用于获得在其上反映图像特征的排列的方法是可用的,用于确定排列的方法就不限于上述方法。
显示方法确定单元44基于由排列位置确定单元43确定的排列位置和显示区域来确定图像数据的显示位置、其缩小的显示尺寸等(步骤S6)。例如,当多个图像数据被合适地排列在要被列表显示的显示区域中来作为图像映射时,可以以重叠的方式显示这些图像数据,因此,可视性降低。考虑该情况,例如,显示方法确定单元44可以采用其中根据图像数据的数量计算显示图像的垂直对水平尺寸(vertical to horizontal),调节排列位置使得不以重叠方式显示在计算垂直对水平尺寸时的多个显示图像,并且在该状态下,确定实际显示位置的方法。
用于确定排列的另一方法如下。当显示方法确定单元44以非重叠方式在显示区域中显示大量图像数据时,可能将每个数据的垂直对水平尺寸限制到非常小。为了解决该问题,预先将上限列表应用到列表显示的图像数据的数量,并且用户可以预先告知具有诸如显示或不显示之类的重要级别的图像数据。在这种情况下,当图像数据的数量超过上限时,显示方法确定单元44可以根据该重要性的级别确定要被显示的图像数据和不要被显示的图像数据。
然后,显示图像产生单元45基于图像数据的显示方法产生表示缩略图的显示图像(步骤S7)。显示图像产生单元45确定是否处理所有图像数据(步骤S8)。当还未处理所有图像数据时,处理返回到步骤S1来对后续的输入数据执行类似的处理。当处理了所有的图像数据时,显示图像产生单元45显示从显示图像产生的图像映射,然后结束处理(步骤S9)。此时,如图6所示,显示排列为每个类的分组的图像映射。
在步骤S7的显示图像产生处理中,产生包括静态图像的图像数据和运动图像的图像数据的显示图像。然而,当在步骤S9显示显示图像时,可以再现运动图像的图像数据。虽然在后面描述,但是当再现运动图像的图像数据时,在显示时执行用于评估显示运动图像等的再现顺序的处理(步骤S9)。
如上所述,在第一实施例中,将图片(静态图像)数据和视频(运动图像)数据集合地处理为图像数据。确定图像数据是运动图像还是静态图像,当图像数据被识别为运动图像时,从运动图像的图像数据中提取静态图像,基于通过从静态图像的图像数据获取特征量而获得的特征量,确定显示区域的排列位置,产生每一个均通过缩小静态图像而获得的显示图像,并且基于排列位置和显示区域在显示区域中列表显示每个所产生的显示图像。因此,可以在整理、观看或分析包括静态图像数据以及(特别是)运动图像数据的数据组时执行优先的列表显示。
假设多个内容被包含在运动图像的一个图像数据内。例如,存在以指示一个事件的片段单元预先划分运动图像的图像数据的情况。还存在产生在连续记录现场音乐节目上的多个演出时的运动图像的图像数据的情况。在本发明的第二实施例中描述其中考虑这样的情况的处理。
图3显示根据第二实施例的处理的流程图。通过在步骤S3的处理周围添加详细的处理而获得图3的流程图。在根据第二实施例的处理中,由相同的附图标记表示与第一实施例中的那些相同的步骤。
首先,图像数据被输入到属性识别单元41(步骤S1),属性识别单元41确定图像数据是否是运动图像(步骤S2),并且当图像数据是运动图像时,属性识别单元41确定运动图像的图像数据是否被划分为片段(步骤S11)。
当运动图像的图像数据被划分为片段时,属性识别单元41将运动图像提取到片段单元,并且将静态图像提取到片段单元(步骤S12),并且确定是否提取了所有片段,并且当未提取所有片段时,处理返回到步骤S12。当在步骤S11运动图像的图像数据未被划分为片段时,从运动图像的图像数据提取静态图像。
还存在其中分析运动图像的图像数据,由此针对每个事件提取静态图像的方法。当将数据划分为诸如“现场表演-第一首歌”、“现场表演-第二首歌”和“现场表演-第三首歌”之类的事件单元,即,片段单元,并且在这样的状态下,针对各个片段单元中的每一个提取图像数据时,导致在图像映射上排列并显示用于这些片段单元中的每一个的图像数据。因此,用户变得能够从显示屏幕容易地掌握运动图像的图像数据。
在日本专利申请公开No2005-117330中描述了其中视频内容被分析并划分为事件单元的方法。在该公开文件中描述的发明的设备是用于其中分析视频内容以及诸如视频、音乐和音频之类的信息来获得视频内容的时间的切割点,由此精确地切割由切割点分割的视频区域的设备。因此,该设备可以自动地从包括视频和音频的视频内容中提取一部分视频区域。
此外,当在运动图像的一个图像数据中包含多个内容时,针对每个事件等提取静态图像的多个图像数据。在这种情况下,可以期望集合地排列静态图像的各个图像数据。排列位置确定单元43确定静态图像的排列位置,使得从一个运动图像提取的、针对每个片段单元的静态图像被相互临近地排列,即,被排列在一组中。在这种情况下,排列位置确定单元43选择这些静态图像的显示位置中的代表显示图像,确定代表显示图像的显示位置,并且通过根据运动图像的图像数据的再现时间的顺序在代表图像的上、下、左或右侧组织其它显示图像来排列和对准该其它显示图像,由此可以相互靠近地排列运动图像的一个图像数据内包含的多个图像数据。当根据再现时间的顺序组织显示图像时,可以掌握运动图像的内容,由此有助于图像映射屏幕的可视性改进。
如上所述,在第二实施例中,假设其中类型不同的多个事件被包含在运动图像的图像数据中,并且希望可以在观看数据时视觉地识别代表每一事件的图像数据的情况,例如,如在音乐会中连续拍摄多个表演,并且当在一个组中相互临近地排列显示图像时,可以在观看时迅速地搜索目标图像数据并使数据整理变得更加流畅。
在第二实施例中,在根据第一实施例在步骤S9显示图像映射时,当显示图像的原始图像数据是运动图像时,再现显示图像。在本发明的第三实施例中,主要描述其中在每一个类中一次再现运动图像的图像数据被限制到1的模式。在图像映射上,在步骤S9显示的每个显示图像处于正在以用于缩略图的缩小图像进行显示的状态。当再现运动图像时,基于原始运动图像,在显示位置上并以显示图像的显示尺寸再现每个显示图像。
在第三实施例中,将参照附图描述其中(作为一个示例)当通过针对每一类形成编组排列图像数据时,确定每一类内的运动图像的图像数据的再现顺序的方法。图4是显示根据第三实施例的处理的流程图。
首先,属于一类的图像数据被输入到显示图像产生单元45(步骤S21)。显示图像产生单元45针对属于在步骤S21输入的类的图像数据确定是否存在运动图像的图像数据(步骤S22)。当不存在运动图像的图像数据时,处理返回到步骤S21。
当存在运动图像的图像数据时,显示图像产生单元45确定运动图像的图像数据的再现顺序(步骤S23)。例如,以创建的最新日期和时间的顺序确定再现顺序。因此,在步骤S23,当由多个事件配置所显示的图像数据时,可以确定再现顺序,使得以记录的顺序再现图像数据。
确定是否在所有类中结束处理(步骤S24),当在所有类中结束处理时,结束处理,并且根据再现顺序再现显示图像。
假设,当在显示图像映射时再现运动图像的图像数据时,如果同时启动多个运动图像的再现,则用户不能知道他或她应该注意哪个图像数据。然而,如上所述,在第三实施例中,由于每一类中一次再现运动图像的图像数据的数量被限制到1,因此可以避免用户不知道他或她应该注意哪个图像数据的问题。
在图像映射上的具有运动图像的属性的显示图像的再现具有能够观看运动图像的内容的优点。然而,用户很难同时观看运动图像,因此,当用户希望逐图像地确认运动图像,运动图像的同时再现可能干扰视觉感觉。为了避免该干扰,可以确定运动图像的每个图像数据的再现顺序,使得在显示单元20的屏幕上仅再现一个运动图像。在这种情况下,可以排列再现顺序,使得从屏幕上的左上的图像从其右下的图像开始再现。还可以提供针对每一类的排序,并且逐图像地再现属于每一类的运动图像。因此,当不同时地再现图像映射上的运动图像时,用户变得可以直观地观看一个运动图像缩略图。
如图7所示,显示图像产生单元45以部分放大(缩放)的方式,展示通过缩小静态图像的图像数据而获得的显示图像的列表显示,并且在展示放大的列表显示时,当存在由属性识别单元41从列表显示内的显示图像的运动图像提取的显示图像7时,显示图像产生单元45基于原始运动图像再现显示图像7。显示图像7是由属性识别单元41从运动图像提取的显示图像。通过放大在图7的上部上的显示区域6的一部分(缩放1)而获得的部分是在中部的显示区域5。通过进一步放大在中部上的显示区域5的一部分(缩放2)而获得的部分是在下部的显示区域4。
替代产生要在显示区域上列表显示的显示图像7,显示图像产生单元45可以在全部显示区域上显示图像映射作为一份图像。例如,基于由排列位置确定单元43确定的多个图像数据的排列位置和显示区域,显示图像产生单元45产生用于每一个均通过缩小全部显示区域的静态图像而获得的显示图像的全部显示图像,同时在显示区域上显示全部显示图像。当全部显示图像包括通过缩小从运动图像提取的静态图像而获得的图像时,基于原始运动图像再现图像。
在第三实施例中,当在显示单元20的屏幕上仅再现一个运动图像时,在作为要再现的目标的运动图像的图像数据中确定再现顺序。其后,在本发明的第四实施例中,控制来不再现具有等于或大于特定阈值的数据尺寸的、要被再现的运动图像的图像数据,并且,此外,通过排序执行显示,使得不同时再现运动图像中的两个或多个图像数据。参照图5的流程图描述该处理。
首先,将表示再现顺序的再现顺序变量n设置为0作为初始值。作为再现目标的运动图像的图像数据被输入到显示图像产生单元45(步骤S31)。显示图像产生单元45确定所输入的图像数据的尺寸是否小于之前确定的阈值α(步骤S32)。
当尺寸不小于阈值α时,处理前进到步骤S35,而当尺寸小于阈值α时,显示图像产生单元45将再现顺序变量“n”加1(步骤S33),并且使用所确定的图像数据的再现顺序作为增加的再现顺序变量“n”(步骤S34)。
确定关于运动图像的所有图像数据的处理是否被结束(步骤S35),并且当结束关于运动图像的所有图像数据的处理时,结束处理。
如上所述,在第四实施例中,当运动图像的尺寸大时,CPU的负担增加,从而导致促使缓慢的显示操作的因素。因此,应用不再现具有大运动图像尺寸的图像数据的限制,使得图像映射显示不向用户施加从运动图像的缓慢显示操作带来的压力。
如上所述,根据本发明的一个方面,可以最好在整理、观看或分析静态图像数据以及(特别地)包括运动图像数据的数组时执行列表显示。
虽然为了完整和清楚的公开,已经关于特定实施例描述了本发明,但是所附权利要求不限于此,而是应该理解为实施所有的修改和替换对于本领域技术人员是显而易见的,并且它们落入这里阐述的基本教导中。

Claims (13)

1.一种缩小图像来产生缩略图图像并在显示区域中显示缩略图图像的列表的图像显示设备,该图像显示设备包括:
属性确定单元,用于确定图像的图像数据的属性;
静态图像提取单元,当图像数据的属性被确定为运动图像时从图像数据提取静态图像;
特征量获得单元,用于从自运动图像的图像数据提取的静态图像的图像数据以及在图像数据的属性被确定为静态图像时的静态图像的图像数据中获得特征量;
排列位置确定单元,用于基于特征量确定显示区域的排列位置;和
缩略图图像产生单元,用于通过缩小静态图像产生缩略图图像,并且基于排列位置和显示区域在显示区域中显示缩略图图像。
2.如权利要求1所示的图像显示设备,其中当运动图像的图像数据包括多个内容时,
静态图像提取单元以事件或片段为单位将运动图像的图像数据划分为多个图像数据,并且从所划分的图像数据提取静态图像,和
排列位置确定单元确定静态图像的排列位置,使得相互临近地排列静态图像。
3.如权利要求2所示的图像显示设备,其中排列确定单元确定静态图像的排列位置,使得以再现时间的顺序相互临近地排列静态图像。
4.如权利要求1所示的图像显示设备,其中当由静态图像提取单元从运动图像提取静态图像时,缩略图图像产生单元在显示区域中显示缩略图图像的列表时基于运动图像再现缩略图图像。
5.如权利要求4所示的图像显示设备,其中缩略图图像产生单元以部分放大的方式显示缩略图图像的列表,和
当由静态图像提取单元从运动图像提取静态图像时,缩略图图像产生单元在以部分放大的方式显示缩略图图像的列表时基于运动图像再现缩略图图像。
6.如权利要求4所示的图像显示设备,其中当运动图像的图像数据包括多个内容时,
静态图像提取单元以事件或片段为单位将运动图像的图像数据划分为多个图像数据,并且从所划分的图像数据提取静态图像,和
当由静态图像提取单元从单一的运动图像中提取缩略图图像的静态图像时,缩略图图像产生单元在显示区域中显示缩略图图像的列表时以运动图像的图像数据中的记录顺序基于运动图像再现缩略图图像。
7.如权利要求4所示的图像显示设备,其中缩略图产生单元在显示区域中逐一地再现缩略图图像。
8.如权利要求4所示的图像显示设备,其中设置用于分类图像数据的多个类,
排列位置确定单元基于特征量确定与该类中的合适的一个类对应的位置附近的排列位置,和
缩略图产生单元在每一类中逐一再现被分类到类中的缩略图。
9.如权利要求7所示的图像显示设备,其中当运动图像的图像数据的尺寸等于或大于预定尺寸时,缩略图图像产生单元不再现与运动图像的图像数据对应的缩略图图像。
10.如权利要求8所示的图像显示设备,其中当运动图像的图像数据的尺寸等于或大于预定尺寸时,缩略图图像产生单元不再现与运动图像的图像数据对应的缩略图图像。
11.如权利要求1所示的图像显示设备,其中替代产生缩略图图像并在显示区域中显示缩略图图像的列表,显示图像产生单元产生用于在全部显示区域中显示静态图像的缩略图图像的全部缩略图图像,并且基于排列位置和显示区域在显示区域中显示全部缩略图图像。
12.一种缩小图像来产生缩略图图像并在显示区域中显示缩略图图像的列表的方法,该方法包括:
确定图像的图像数据的属性;
当图像数据的属性被确定为运动图像时从图像数据提取静态图像;
从自运动图像的图像数据提取的静态图像的图像数据以及在图像数据的属性被确定为静态图像时的静态图像的图像数据中获得特征量;
基于特征量确定显示区域的排列位置;
通过缩小静态图像产生缩略图图像;和
基于排列位置和显示区域在显示区域中显示缩略图图像。
13.一种图像显示系统,包括:
缩小图像来产生缩略图图像并在显示区域中显示缩略图图像的列表的图像显示设备;和
从该图像产生图像数据的图像产生设备,其中
该图像显示设备包括:
属性确定单元,用于确定图像的图像数据的属性;
静态图像提取单元,当图像数据的属性被确定为运动图像时从图像数据提取静态图像;
特征量获得单元,用于从自运动图像的图像数据提取的静态图像的图像数据以及在图像数据的属性被确定为静态图像时的静态图像的图像数据中获得特征量;
排列位置确定单元,用于基于特征量确定显示区域的排列位置;和
缩略图图像产生单元,用于通过缩小静态图像产生缩略图图像,并且基于排列位置和显示区域在显示区域中显示缩略图图像的列表。
CNA2008101748207A 2007-11-05 2008-11-05 图像显示设备、图像显示方法和图像显示系统 Pending CN101430702A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007287456A JP4902499B2 (ja) 2007-11-05 2007-11-05 画像表示装置、画像表示方法、および画像表示システム
JP287456/07 2007-11-05

Publications (1)

Publication Number Publication Date
CN101430702A true CN101430702A (zh) 2009-05-13

Family

ID=40589393

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101748207A Pending CN101430702A (zh) 2007-11-05 2008-11-05 图像显示设备、图像显示方法和图像显示系统

Country Status (3)

Country Link
US (1) US20090119583A1 (zh)
JP (1) JP4902499B2 (zh)
CN (1) CN101430702A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020127A (zh) * 2012-11-19 2013-04-03 北京奇虎科技有限公司 用于图片的呈现方法和装置
CN105338237A (zh) * 2014-08-06 2016-02-17 腾讯科技(深圳)有限公司 图像处理方法及装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5015088B2 (ja) * 2008-08-06 2012-08-29 株式会社リコー 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体
JP5157774B2 (ja) * 2008-09-17 2013-03-06 株式会社リコー 画像形成装置、画像形成方法およびプログラム
JP5284074B2 (ja) * 2008-12-18 2013-09-11 キヤノン株式会社 画像処理装置及び画像処理方法
US20100332998A1 (en) * 2009-06-26 2010-12-30 Xerox Corporation Collaborative document environments in three-dimensional virtual worlds
US8839131B2 (en) * 2009-08-26 2014-09-16 Apple Inc. Tracking device movement and captured images
JP5389724B2 (ja) * 2010-03-31 2014-01-15 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US9762975B2 (en) * 2010-04-30 2017-09-12 Thomas Loretan Content navigation guide
JP5686673B2 (ja) 2010-07-22 2015-03-18 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US9679404B2 (en) 2010-12-23 2017-06-13 Microsoft Technology Licensing, Llc Techniques for dynamic layout of presentation tiles on a grid
US9436685B2 (en) 2010-12-23 2016-09-06 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
US20120166953A1 (en) * 2010-12-23 2012-06-28 Microsoft Corporation Techniques for electronic aggregation of information
US9715485B2 (en) 2011-03-28 2017-07-25 Microsoft Technology Licensing, Llc Techniques for electronic aggregation of information
KR101952260B1 (ko) * 2012-04-03 2019-02-26 삼성전자주식회사 다수의 동영상 썸네일을 동시에 표시하기 위한 영상 재생 장치 및 방법
JP6048020B2 (ja) 2012-09-13 2016-12-21 株式会社リコー 情報処理装置
JP6171353B2 (ja) 2013-01-18 2017-08-02 株式会社リコー 情報処理装置、システム、情報処理方法およびプログラム
JP6255944B2 (ja) 2013-11-27 2018-01-10 株式会社リコー 画像解析装置、画像解析方法及び画像解析プログラム
JP6323040B2 (ja) 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
JP2017028385A (ja) 2015-07-17 2017-02-02 株式会社リコー 受信装置及びシステム
US10643089B2 (en) 2016-10-13 2020-05-05 Ricoh Company, Ltd. Information processing system to obtain and manage images of a property
US11989799B2 (en) * 2020-01-10 2024-05-21 Nec Corporation Visualized image display device
JP6976537B1 (ja) * 2020-10-08 2021-12-08 株式会社Fronteo 情報検索装置、情報検索方法および情報検索用プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977974A (en) * 1996-09-17 1999-11-02 Canon Kabushiki Kaisha Information processing apparatus and method
JP2001175380A (ja) * 1999-12-20 2001-06-29 Wellstone Inc 情報インデックス表示方法とその装置
US7075535B2 (en) * 2003-03-05 2006-07-11 Sand Codex System and method for exact rendering in a zooming user interface
US7552387B2 (en) * 2003-04-30 2009-06-23 Hewlett-Packard Development Company, L.P. Methods and systems for video content browsing
JP4697953B2 (ja) * 2005-09-12 2011-06-08 キヤノン株式会社 画像表示装置及び画像表示方法
JP5371174B2 (ja) * 2005-09-12 2013-12-18 キヤノン株式会社 画像表示装置及び画像表示方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020127A (zh) * 2012-11-19 2013-04-03 北京奇虎科技有限公司 用于图片的呈现方法和装置
CN103020127B (zh) * 2012-11-19 2015-09-09 北京奇虎科技有限公司 用于图片的呈现方法和装置
CN105159939A (zh) * 2012-11-19 2015-12-16 北京奇虎科技有限公司 一种用于图片的呈现方法和装置
CN105159939B (zh) * 2012-11-19 2019-03-08 北京奇虎科技有限公司 一种用于图片的呈现方法和装置
CN105338237A (zh) * 2014-08-06 2016-02-17 腾讯科技(深圳)有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
JP4902499B2 (ja) 2012-03-21
JP2009118060A (ja) 2009-05-28
US20090119583A1 (en) 2009-05-07

Similar Documents

Publication Publication Date Title
CN101430702A (zh) 图像显示设备、图像显示方法和图像显示系统
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
US8174523B2 (en) Display controlling apparatus and display controlling method
US8386942B2 (en) System and method for providing digital multimedia presentations
US20080159708A1 (en) Video Contents Display Apparatus, Video Contents Display Method, and Program Therefor
US7698658B2 (en) Display controlling apparatus, display controlling method, and recording medium
JP5033580B2 (ja) 画像処理装置及び画像処理方法
US6988244B1 (en) Image generating apparatus and method
US10210253B2 (en) Apparatus of providing comments and statistical information for each section of video contents and the method thereof
US20140149936A1 (en) System and method for providing a tapestry interface with location services
US9990394B2 (en) Visual search and recommendation user interface and apparatus
US20100057722A1 (en) Image processing apparatus, method, and computer program product
US20070030283A1 (en) Image display method and device, image display system, server, program, and recording medium
US20150286364A1 (en) Editing method of the three-dimensional shopping platform display interface for users
US20120047138A1 (en) Content file classifying apparatus and content file classifying method
CN112004138A (zh) 一种智能视频素材搜索匹配的方法及装置
CN101263496A (zh) 利用符号表示空间访问数据的方法和装置
JPWO2009031297A1 (ja) 画像検索装置、画像分類装置及び方法並びにプログラム
US20140149885A1 (en) System and method for providing a tapestry interface with interactive commenting
WO2005041065A1 (en) Screen-wise presentation of search results
JP2016539433A (ja) レコメンデーションエンジンインタフェース及び方法
Van Der Corput et al. ICLIC: Interactive categorization of large image collections
CN112650428B (zh) 动态数字内容的显示方法、图形用户接口与系统
JP2004178384A (ja) コンテンツ検索方法および装置、プログラム、記録媒体
CN103718146A (zh) 信息处理装置和信息处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090513