CN101065722A - 用于朝图像的感兴趣区域自动导航的方法 - Google Patents

用于朝图像的感兴趣区域自动导航的方法 Download PDF

Info

Publication number
CN101065722A
CN101065722A CNA2005800404998A CN200580040499A CN101065722A CN 101065722 A CN101065722 A CN 101065722A CN A2005800404998 A CNA2005800404998 A CN A2005800404998A CN 200580040499 A CN200580040499 A CN 200580040499A CN 101065722 A CN101065722 A CN 101065722A
Authority
CN
China
Prior art keywords
interest
area
motion
image
portable terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800404998A
Other languages
English (en)
Inventor
J·-M·沃
C·E·M·帕平
K·N·肖亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101065722A publication Critical patent/CN101065722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于数字成像的技术领域。本发明更具体地涉及一种在数字图像(8)和该图像(8)的感兴趣区域(14,15)之间自动导航的方法。根据本发明的方法使得能够基于在包括运动检测装置(4)的移动终端(1)的显示屏(2)上显示初始图像(8),来自动朝着初始图像(8)的感兴趣区域(14)或(15)导航,而不需要手工控制,并仅仅通过例如在感兴趣区域(14,15)的方向上将倾斜运动传送到终端(1)。根据本发明的方法与便携式或移动终端,例如蜂窝电话或手机相机一起使用。

Description

用于朝图像的感兴趣区域自动导航的方法
技术领域
本发明属于数字成像的技术领域。本发明更具体地涉及一种基于具有显示屏的移动或便携终端在数字图像和该图像的一个或多个感兴趣区域之间通过直接进行移动终端的物理位移来自动导航的方法。术语“导航”意思是从初始数字图像的显示到该初始图像的感兴趣区域的显示。
背景技术
由摄象机或数码相机捕获的数字图像经常在便携终端的显示屏上观看。便携或移动终端是分布不断广泛的电话和可视通信装置。例如数码相机的移动终端;装备或不装备有捕获装置的蜂窝电话;个人助理或PDA(个人数字助理);或还有便携式多媒体阅读器-查看器(例如iPod相片)具有容易操纵的几何形状,并且能够握在用户的手中。当图像显示在例如蜂窝电话的屏幕上时,屏幕的尺寸不足以在良好的条件下显示图像的所有像素。此外,终端用户可感觉需要能够朝着图像的特殊区域移动,因为他们对那里感兴趣。为了更好地看到感兴趣的特殊区域,通常称为“感兴趣区域”,用户能执行所显示初始图像中的感兴趣区域的选择操作。感兴趣区域可自动地在导航之前才被选择、在导航的同时被选择、或恰好在此之前或与之无关。该选择使感兴趣区域能够被全屏显示,以获得在初始图像中选择的区域的扩大。
国际专利申请WO 2004/066615公开了具有小屏幕的移动或便携终端,例如移动电话。移动电话具有用于检测传递给该电话的运动的装置,例如光学传感器或加速计。这使得能够基于初始图像的导航,例如,通过在空间中分别平移或旋转电话来在以高于屏幕的分辨率显示的图像的平面中移动或再次反转所显示的初始图像,或者通过在与电话屏幕的平面垂直的方向上移动电话来在初始图像上进行放大。这使得能够使用受限的电话键盘的手动控制键,同时有利地在图像中导航,以便能够显示各种图像区域,并且按照要求放大。但是,国际专利申请WO 2004/066615没有公开用于使用便携终端的控制键来优化朝感兴趣区域导航并减少所要求的点击次数的任何装置,其用于基于所显示的初始图像完全自动地导航(不需要点击,或没有点击),以便显示初始图像的感兴趣区域。
发明内容
本发明的一个目的是,基于在移动终端平面上显示的初始图像来以健壮的、用户友好的而不用点击的方式来朝着在初始图像中选择的感兴趣区域导航。例如,不点击或不与键盘或光笔交互对于将全屏显示的初始图像朝着属于该初始图像的感兴趣区域缩放是必要的。你只是传递或传送特殊的移动到便携终端,使得初始图像逐渐且自动地变换成表示初始图像感兴趣区域的另一图像。有利地,感兴趣区域自动地全屏在移动终端上示出。感兴趣区域不需要比如由移动终端的用户来选择。在该情况下,在导航操作之前,基于随图像一起编码并例如合并到首部或附加文件中的元数据来提取感兴趣区域。
本发明的另一个目的是,帮助和方便进行对移动终端的运动所引起的位移的计算,以及优化朝着一个或多个感兴趣区域的会聚,即缩放。特别地,用户期望导航到的一个或多个感兴趣区域的知识有利地引导在估计终端运动期间使用的搜索空间,尤其是如果所使用的数据来自光学传感器。跟随、会聚到感兴趣区域的“3D”(三维)路径的先有知识使得能够优化要显示的中间图像的特征,以及要应用的变换参数的特征。
本发明的一个目的是,方便和优化基于具有显示屏的移动终端的图像内导航。更具体地,本发明的目的是利用包括移动终端、运动检测装置和显示装置的设备来自动朝着初始图像的感兴趣区域导航的方法;该方法包括下列步骤:
a)在显示装置上显示初始图像;
b)自动确定初始图像的至少一个像素区域,该像素区域表示初始图像的感兴趣区域;
c)利用运动检测装置来自动测量由移动终端的位移引起的时空变化;
d)自动链接特定于b)中检测的感兴趣区域的像素数据和c)中测量的时空变化,以自动估计运动信息;
e)基于运动信息并使用特定于初始图像的感兴趣区域的像素数据来自动朝着定义的感兴趣区域导航,并连续显示中间图像;
f)自动在显示装置上全屏显示感兴趣区域的图像。
根据本发明的方法因此使得能够在移动终端的显示装置上自动显示感兴趣区域的图像。
本发明的一个目的是,自动确定在显示初始图像之前被识别并且以格式化方式存储或记忆在初始图像首部的感兴趣区域,或者该感兴趣区域独立地被记忆为可以由时空变化的检测装置截取的文件。
本发明还使得能够确定在图像导航请求之前激活的感兴趣区域,并将该感兴趣区域确定为所述请求的结果。
感兴趣区域的确定还可根据本发明在导航步骤中被改进。
本发明的另一目的是,感兴趣区域的确定针对的是由时空变化的检测装置所获得的方向确定的区域。
本发明的另一目的是,提供初始图像具有可在显示装置上连续示出的许多感兴趣区域的方法。
在通过参考各个附图阅读随后的说明书时,其它特征和优点将变得清楚。
附图说明
图1示出用于实现根据本发明的方法的移动终端的例子。
图2表示要根据本发明变换的初始图像。
图3表示基于初始图像的显示而被自动变换的图像。
具体实施方式
随后的说明书参考附图描述了本发明的主要实施例,其中在每个不同的附图中相同的附图标记标识相同的元素。
图1表示移动终端1,比如蜂窝电话。移动终端1还可以是数码相机、数字成像检查镜(camscope)、手机相机(phonecam)、数字阅读器-查看器,数字PDA(个人数字助理)、或PC图形输入板。蜂窝电话1有利地包括显示屏2和键盘3。移动终端还包括运动检测装置4。在有利的实施例中,运动检测装置4使用来自一个或多个光学传感器的数据。有利地,光学传感器放置在相对屏幕2的后表面。
在一个优选实施例中,导航方法尤其包括四个单独步骤,这些步骤可连续地或同时地应用并且可以闭合的导航循环来操作。这意味着,该导航方法的四个步骤中的最后一个步骤再次激活这些步骤中的第一个,并且这样继续直到用户想要在给定图像中停止导航方法。这四个步骤的实现或同时或连续激活被称为迭代,并且使中间图像能够被产生(参看下面)。因此,导航方法通常由若干迭代组成(若干中间图像产生)。导航方法的第一步骤例如是采集阶段,该阶段使得借助数据传感器能够采集移动终端1的运动分析所必须的信息。即是,例如,一对图像就是以某个采集频率由移动终端1装载的一个或多个光学传感器捕获的。图像导航方法的第二步骤例如是确定感兴趣区域的阶段。该第二步骤的目的是例如以语义或文本项例如为感兴趣区域,即为能够使用户感兴趣的初始图像8的区域来自动提供一组像素数据。该感兴趣区域的检测阶段可有利地基于在导航阶段开始时自动应用的感兴趣区域的检测方法,但是如果可能,还试图使用先前已经提取和格式化的元数据。这些元数据提供所有使初始图像8的感兴趣区域被定义和使用的必要信息。重要地是注意到在优选实施例中,感兴趣区域的检测只在开始导航方法时被执行一次。
在本发明的变体中,还从闭合导航循环中排除了检测感兴趣区域的步骤。除了在有效使用该步骤的第一次迭代期间,该步骤的作用在之后的迭代期间被限制为提供感兴趣区域的先前所提取的信息。
本发明的有利实施例使所检测的感兴趣区域被改进。在该情况下,在导航方法的每次迭代时激活该感兴趣区域的检测阶段。
导航方法的第三步骤是估计定向导航的运动。运动估计利用了运动检测装置4。该运动估计步骤使用来自前两个步骤,即来自采集和确定感兴趣区域的步骤的数据。这些第一和第二步骤因此是预先要求的步骤,对于运行运动估计步骤是必不可少的。第三步骤的操作取决于第二步骤。这解释了我们为什么讲到有条件的运动估计。运动检测装置4例如恢复只由一个或多个光学传感器以某采集频率捕获的一对图像,并且基于该时空信息来估计在采集图像对时应用于终端1的运动。运动测量提供运动幅度和方向,以及运动类型的特性,例如缩放、平移、旋转或变化视角。所估计的运动的场地可以是本地或全局;这还可以使用密集场地估计器或参数模型来获得,并且可以例如使优于其它“次要”运动(用户抖动和景物中其它运动对象扰乱了移动终端1的位移测量的分析)的运动能够通过使用健壮的估计器来区分。运动检测装置4接收由一个或多个光学传感器、或一个或多个加速计、或光学传感器和加速计的组合提供的数据,所有这些都集成到终端1中。还可根据先前运动的测量,通过使用时间滤波方法来计算运动。在该情况下,运动检测装置4由两个模块组成,这两个模块可以是分离或不是,并且连续或并行地动作;这些模块的第一个通过使用来自传感器的数据估计应用到移动终端1的运动,并且第二模块使用由第一模块提供的运动信息来在时间上滤波它,如果需要,例如以定向为目的来滤波两个瞬间之间大的位移间隙。运动检测装置4计算传送到移动终端1的运动方向。
定向导航方法的第四且最后的步骤是显示步骤,该步骤使用在运动估计步骤中检测的运动信息,并且还可使用在确定感兴趣区域的步骤期间提供的感兴趣区域的特征。该显示步骤考虑了所有运动和感兴趣区域数据,以及显示屏2和原始图像8的特性,以便根据在当前瞬间显示的图像区域和用户想导航到的区域来最好地适应或变换该原始图像8。与运动估计步骤不同,使用感兴趣区域数据对于该步骤不是必要的,但却是推荐的。与由用户应用的刺激最相对应的图像部分以全屏显示。该最后步骤的实现再次激活了捕获阶段,该阶段依次提供图像导航方法的随后步骤所需的数据。该捕获还可从运动估计步骤结束时起被再次激活。若干方法、或甚至若干处理器还可通过考虑上面阐述的本发明方法的方向来同时工作。连续显示各种“中间”图像给出了沿着初始图像8以及在初始图像8中导航或行进的感觉。
运动终端具有特定的“设计”或计划的形状因子,使得它们能够因为其便携性而容易地由用户操纵。已知的导航方法,比如在专利申请WO 2004/066615中公开的,使得能够通过将平移运动传递到移动终端来在图像内运动或缩放。该技术原理在本发明的方法中重复。换句话说,如在文献WO 2004/066615中所述,基于初始图像8的显示器,分别沿着轴5、6或7的平移或缩放运动使得能够相对于所述图像8导航,以便获得另一图像的显示。其它图像例如包括初始图像中呈现的区域,和没有在初始图像中呈现的另一区域。优选地,轴5、6和7在三维中定义正交坐标。在图1中,轴5、6和7因此是两两正交的。在现有技术中,为了只选择所显示的初始图像8的一部分即图像8的感兴趣的区域,能够在屏幕2上显示的光标9与键盘3的按键相结合地使用,所述按键能够定义部分初始图像8的选择窗口。初始图像8的该选择部分接着例如被缩放,即在屏幕上放大显示。随后的操纵在本领域中是已知的,但是具有这样的缺点,即要求移动终端的用户通过手工选择借助键盘3的至少一个按键来定义感兴趣区域,并接着例如通过控制点击来确认所选择感兴趣区域。
本发明的第一目的是当用户希望显示初始图像8的感兴趣区域时,通过将要用移动终端1的键盘3执行的手工操作或点击的数量减少到零来消除在现有技术中执行的手工操纵。
本发明的第二目的是定向导航,并且尤其是提高运动估计步骤和使用以显示变换图像为目的所产生的运动信息的步骤的性能。
本发明的第三目的是通过快速、直观、和用户友好的方式来尽可能降低全屏显示在初始图像8中选择的感兴趣区域的时间。
因此,本发明方法尤其旨在通过消除在图像中导航的手工操作来消除现有技术中的缺点。连续的平移操作使得能够基于显示的初始图像导航。例如在轴5或6的方向上平移移动终端,使得能够相对于初始图像位移(导航),以便显示另一图像,该图像包含在显示初始图像期间没有出现在屏幕上的像素区域;如果显示器分辨率低于要显示的图像的分辨率,则会如此。例如,缩放是通过在轴7的方向上平移移动终端而获得的;轴7垂直于轴5和6所形成的平面。现有技术的缺点在于某些移动终端的低计算能力、光学传感器的差品质、以及对实时数据计算的要求,约束了估计器使用简单的运动。这些简单运动的估计器不能够使运动的复杂场地被精确地测量,比如若干平移和缩放运动的组合、放置在所观察场地中的若干对象或实体的特定运动、具有强幅度的运动、或还有变化视角。
例如,对基于不定向搜索空间的数学模型的运动向量或参数的估计,原来不是非常的健壮。缺乏健壮性一方面意味着,在导航步骤期间错误的运动测量引起不期望和错误的平移或缩放,并且另一方面,使得容易且快速会聚到感兴趣区域上有些困难。因此,在由用户应用于移动终端1上的运动和在导航期间应用于图像上的变换之间不存在完美匹配。根据本发明的方法旨在消除这些缺点,这些缺点导致费力和/或不准确的导航。
根据图2,本发明旨在使用初始图像8的感兴趣区域,比如感兴趣区域10和11的检测或先前选择的结果,来指导并由此改善两个瞬间(运动测量和这些测量的任何时间滤波)之间运动的估计阶段、以及显示阶段(为显示目的来适应和/或变换初始图像8)。该运动信息可例如是数学模型的运动向量或参数。基于初始图像8的感兴趣区域10和11的知识增加方向,使得能够正确显示在初始图像和例如感兴趣区域的图像之间产生的中间图像。
在本发明的优选实施例中,确定一个或多个感兴趣区域开始了导航方法,即恰好在由捕获系统的第一次数据采集之前或与此同时,执行对感兴趣区域的确定。为了确定感兴趣区域10和11,我们例如使用图像中存在的浅色(light color)的检测方法,或更有利地使用例如基于初步统计学习面部关键特征的面部检测方法,面部关键特征基于的是表示各种面部以及照明和捕获条件的图像基础。感兴趣区域的检测还可基于图像的颜色或结构属性(纹理、空间强度梯度)或还有环境标准(日期和地点信息、索引数据的关联和使用)。这种面部检测方法在本领域中是已知的。在移动终端1上可直接以批量(或背景)模式来确定感兴趣区域,但与导航方法无关,或者以实时的方式,即就在导航步骤之前。在该第一实施例中,根据本发明的方法基于初始图像8的显示来自动确定初始图像8的至少一个感兴趣区域10和11。
感兴趣区域的检测器的另一个优选实施例使得能够直接且容易地恢复先前计算的感兴趣区域10和11的特征化元数据,它们例如有利地被记忆在JPEG方法的EXIF文件(可交换图像文件)的首部或者借助能由感兴趣区域的确定方法解释的任何其它类型的格式来记忆。该实施例具有这样的优点,即朝具有更大计算能力的远程计算单元转移感兴趣区域的确定。感兴趣区域的确定因此由于更强的计算能力而受益于更强大的算法工具,并且还更健壮和精确。图像导航算法的响应或激活时间还极大地改善了,因为元数据提取步骤明显要比感兴趣区域的实际检测快很多。JPEG2000的特征可用于只解压缩感兴趣区域。在图2中,所确定的感兴趣区域10和11具有正方形或矩形形状;但是所确定的感兴趣区域的像素区域还可以由圆或椭圆线,或者任何能够包含在所述区域中放置的所搜索主体14和15的形状来界定。
在另一个实施例中,感兴趣区域的确定可针对图像的一个区域,该区域在导航步骤开始时由初始方向确定、由运动检测装置4获得。更精确地,导航方法的第一次迭代可被执行,这使得方向是已知的,用户想朝着这个方向在图像中导航。此后,即在下一个迭代期间,确定感兴趣区域的步骤被再次尝试,以改进或改善在第一次迭代期间初始检测的每个感兴趣区域。通过知道导航方向使这样的改善变得可能,这使得能够更有效地聚焦和作用于精确的图像区域。在不同的实施例中,还可能的是只有在第二次迭代期间才开始感兴趣区域的确定方法。第一迭代再次动作以限定图像导航方向并由此确定被查找的感兴趣区域所在的初始图像8的区域。
上面给出的确定感兴趣区域的各种模式的组合也是可能的。
确定感兴趣区域的阶段之后的运动估计步骤也可与这个阶段同时被执行。例如,这使得能够以直观、快速和简单的方式进行从初始图像8被全屏显示的状态朝感兴趣区域的图像也被全屏显示的状态的导航。结合使用规定了原始图像8的感兴趣区域的属性使得能够提高可靠性和使运动信息的计算更快。导航例如可以借助传递给移动终端1的简单运动来执行,例如在由轴5和6形成的平面中在方向V1上朝着感兴趣区域10的简短平移运动。根据另一实施例,传送到移动终端1的运动还可以是在方向V2上朝着感兴趣区域11的简短平移运动,组合了在与由轴5和6形成的平面垂直的轴上前进的简短缩放运动。传递到移动终端1的运动还优选地是,在感兴趣区域的方向上倾斜移动终端1的简短运动。运动被称为“简短”是指其幅度必须足够得低以便能够由运动估计器确定。换句话说,在运动测量期间使用的两个连续图像中存在的内容是足够互相关的,以使得能够在幅度和方向上进行正确的运动估计。V1和V2都是表征到达感兴趣区域的位移的向量。V1和V2是基于运动方向、运动幅度、和运动类型的信息来计算的。运动类型例如是缩放、平移、旋转或变化视角。所计算的位移向量V1和V2构成信息,该信息能够自动和快速地朝着对应的感兴趣区域10和11进行导航。由于先前知道了感兴趣区域(自动确定的),根据本发明的方法使得位移向量V1和V2的估计更健壮。
已知要导航到的一个或多个区域,使得能够对运动估计性能进行直接动作。有利地,在一个特殊的实施例中,例如可能减小表示各种运动幅度和方向的搜索空间。例如,可以假设,单个感兴趣区域10被确定,并且其位于初始图像8的左上方。在该情况下,尤其有益的是限制或还赞成对用户应用于那些授权导航的可能运动的搜索,所述授权导航是从初始图像8的中心朝向感兴趣区域10的中心。运动检测装置4将必须覆盖以确定与数据和方向有关的最佳方向的空间或所有方向因此被减少,这使得搜索时间被降低(以及因此降低计算时间)或还在某些方向上增加搜索的精确度(更精细的采样)。
在定向运动估计的另一个实施例中,感兴趣区域方向(初始图像中的位置)不作用于搜索空间的尺寸或采样,但是趋于向其它的益处应用处罚或赞成某些运动的权重。例如,通过采用之前的例子,在该例子中感兴趣区域10位于图像8的左上方,但是通过应用不同的权重到这些运动,就可能覆盖整个搜索空间,即可能例如还考虑向下和向右的潜在运动。向下和向右的潜在运动将被分配低的权重(或低的概率),同时向上向左的可能运动被分配较高的权重,这解释了这样的事实,即保存在图像8的感兴趣区域位置处的知识导致了赞成使导航朝着所述区域进行的方向。无论使用哪个实施例,都看上去更灵活地不去全体禁止某些运动,以便在未预料到行为的情况下不将用户限制得太多。在该情况下,包括根据感兴趣区域的方向进行加权的运动估计更合适。随后所进行的运动测量的时间滤波阶段还使得能够适应未预料到的行为。
在一个优选实施例中,根据本发明的方法包括时间滤波阶段,应用于由运动检测器4的第一模块所计算的运动信息。时间滤波包括使用先前运动信息的有限集合。之前(在先前迭代期间)在图像8中导航期间计算的该先前运动信息被用来有助于确定或验证当前的运动。该先前运动信息的集合通常称作为历史,而当前运动测量一般称作为革新。在测量应用于移动终端1的运动时直接实现时间滤波。时间滤波还可在之后使用,以便根据先前运动测量来平滑最后的运动测量或简单地使最后的运动测量有效/无效。如果在测量期间直接使用时间滤波,则与先前所计算的那些相关的运动方向和幅度在运动估计期间将是优选的。如果时间滤波稍后执行,即在运动测量之后,则历史可用于使当前测量有效,前提是其与先前运动信息一致,或者如果相反情况出现(不一致)则使之无效。优选方法包括根据历史来平滑或内插最后的测量,以最小化由本地不精确运动测量所引起的可能错误。在一个优选的实施例中,时间滤波有利地受益于感兴趣区域的信息。感兴趣区域的方向可在运动估计期间、在时间滤波期间、或在这两个步骤的每一个时被应用。已知导航可能要到的区域,使得特别能够进行运动测量可接受的平滑。例如,根据历史和感兴趣区域方向来平滑最后运动测量的效果使得能够创建更干净、更规则的导航路径。
本发明相比于现有技术的优点尤其使得不仅能自动导航,而且还能更流畅和更规则地朝想要的感兴趣区域导航。一方面根据由运动检测装置4计算的方向信息,以及另一方面根据显示屏2的所提取感兴趣区域和特性,通过移动或修改要显示的图像区域并且对于导航方法的每次迭代来自动执行基于初始图像8的导航。该显示步骤例如通过移动先前所显示的图像部分、通过平移与当前迭代中计算的位移向量相对应的因子(左上)、和通过放大初始图像8来选择要显示的图像区域,并且这总是适合于运动测量的。在每次迭代中获得的中间图像表示在根据本发明的方法的导航步骤期间离开初始图像8到达感兴趣区域10和11的要采用的路径。
来自朝向感兴趣区域的自动导航的最后图像表示感兴趣区域,该感兴趣区域被全屏显示。在本发明的一个优选实施例中,通过例如激活内置在移动终端1中的振动器或蜂鸣器来通知用户到达了感兴趣区域。在本发明的一个有利实施例中,通过不断衰减自动导航引起的位移来通知用户到达了感兴趣区域。变换的图像12和13表示感兴趣区域10和11。感兴趣区域10和11例如表示作为初始图像8一部分的人物的面部14和15的图像12和13。
基于初始图像8的显示,初始图像8的文件可包括特定于该图像8的感兴趣区域的元数据,如果移动终端1的用户有利地希望全屏2显示图像8的面部15,则他们例如朝着面部15倾斜移动终端。换句话说,他们在向量V1表示的方向上倾斜移动终端。在该情况下,为显示面部15而倾斜终端例如意味着引起组合的缩放和平移运动,平移轴位于由轴5和6形成的平面内,并且缩放运动是根据轴7来做出的。在另一个实施例中,为了显示面部15,执行终端在由轴5和6形成的平面中在向量V1的方向上的简单的平移运动。传送到移动终端1的运动是在由轴5、6和7定义的三维空间中所作的运动。
在与普通使用兼容的实施例中,导航方法在感兴趣区域之一已经到达时不一定要结束。实际上,用户期望返回到初始图像8再次被全屏显示的状态,或者前进到在检测感兴趣区域的阶段期间发现的另一个感兴趣区域。在该实施例中,只有当用户决定时才停止导航。
在另一个实施例中,发明可以用第二终端(未示出)来实现。第二终端包括显示屏并且可用有线链路或有利地用无线链路来连接到移动终端1。例如,无线链接是蓝牙类型链路。运动检测装置放置在移动终端1中,而不是在第二终端中。
根据本发明的方法与包括许多感兴趣区域10和11的初始图像8兼容。因此有可能根据由运动检测装置产生的测量来会聚各种感兴趣区域。感兴趣区域被确定以保持感兴趣区域图像的足够等级的细节,以便全屏显示,并且可与移动终端的显示能力兼容。
已经参考本发明的有利实施例详细描述了本发明。但清楚的是,所描述的实施例应当不排除等效于来源于权利要求范围的所描述实施例的变体。

Claims (13)

1.一种利用包括移动终端(1)、时空运动检测装置(4)和显示装置(2)的设备来自动朝着初始图像(8)的感兴趣区域(10),(11)导航的方法;并且该方法包括下列步骤:
a)在显示装置(2)上显示初始图像(8);
b)自动确定初始图像的至少一个像素区域,该像素区域表示初始图像(8)的感兴趣区域(10)(11);
c)利用运动检测装置(4)来自动测量由移动终端(1)的位移引起的时空变化;
d)自动链接特定于步骤b)中检测的感兴趣区域的像素数据和步骤c)中测量的时空变化,以自动估计运动信息;
e)基于运动信息并使用特定于初始图像(8)的感兴趣区域的像素数据来自动朝着定义的感兴趣区域(10)(11)导航,并连续显示中间图像;
f)自动在显示装置(2)上全屏显示感兴趣区域(12)(13)的图像。
2.根据权利要求1的方法,其中自动确定初始图像(8)的感兴趣区域(10)(11)是在显示装置(2)上显示所述初始图像(8)之前执行的。
3.根据权利要求1或2的方法,其中初始图像(8)具有能够在显示装置(2)上连续显示的许多感兴趣区域(10)(11)。
4.根据权利要求1的方法,其中在导航开始时移动终端(1)的运动是倾斜的。
5.根据权利要求1的方法,其中在导航开始时移动终端(1)的运动是在图像(8)的平面中平移或垂直于所述平面平移。
6.根据权利要求1的方法,其中移动终端(1)的运动是在图像(8)的平面中平移和相对于所述平面倾斜的组合。
7.根据权利要求1的方法,其中显示装置是移动终端(1)的显示屏(2)。
8.根据权利要求1和2的方法,其中显示装置包括第二终端,其具有显示屏并能够连接到移动终端(1)。
9.根据权利要求1的方法,其中移动终端(1)是包括显示屏(2)和运动检测装置(4)的蜂窝电话。
10.根据权利要求1的方法,其中移动终端(1)是包括显示屏(2)和运动检测装置(4)的相机。
11.根据权利要求1的方法,其中显示装置是包括显示屏(2)和运动检测装置(4)的便携式数字阅读器。
12.根据权利要求9到11中任意一个的方法,其中运动检测装置包括至少一个光学传感器。
13.根据权利要求9到11中任意一个的方法,其中运动检测装置包括至少一个加速计。
CNA2005800404998A 2004-11-26 2005-11-07 用于朝图像的感兴趣区域自动导航的方法 Pending CN101065722A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0412647 2004-11-26
FR0412647A FR2878641B1 (fr) 2004-11-26 2004-11-26 Procede de navigation automatique contrainte vers des regions d'interet d'une image

Publications (1)

Publication Number Publication Date
CN101065722A true CN101065722A (zh) 2007-10-31

Family

ID=34953108

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800404998A Pending CN101065722A (zh) 2004-11-26 2005-11-07 用于朝图像的感兴趣区域自动导航的方法

Country Status (6)

Country Link
US (1) US20090034800A1 (zh)
EP (1) EP1815316A1 (zh)
JP (1) JP2008526054A (zh)
CN (1) CN101065722A (zh)
FR (1) FR2878641B1 (zh)
WO (1) WO2006056311A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103245349A (zh) * 2013-05-13 2013-08-14 天津大学 基于图片gps信息和谷歌地图的路线导航方法
CN103354922A (zh) * 2010-12-22 2013-10-16 汤姆逊许可公司 在用户界面中定位感兴趣的区域的方法
CN104932687A (zh) * 2009-09-30 2015-09-23 联想(北京)有限公司 一种移动终端、和在移动终端上显示信息的方法
CN111309230A (zh) * 2020-02-19 2020-06-19 北京声智科技有限公司 信息展示方法、装置、电子设备及计算机可读存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098821B2 (en) * 2005-11-08 2012-01-17 Lg Electronics Inc. Data encryption/decryption method and mobile terminal for use in the same
US8301999B2 (en) * 2006-09-25 2012-10-30 Disney Enterprises, Inc. Methods, systems, and computer program products for navigating content
US20090113278A1 (en) * 2007-10-25 2009-04-30 Fuji Xerox Co., Ltd. System and methods for generating automatic and user-controllable movies of presentations on small devices
US7952596B2 (en) * 2008-02-11 2011-05-31 Sony Ericsson Mobile Communications Ab Electronic devices that pan/zoom displayed sub-area within video frames in response to movement therein
JP2011514789A (ja) * 2008-03-20 2011-05-06 インスティテュート フュール ラントファンクテクニーク ゲー・エム・ベー・ハー ビデオ画像の小さな画面サイズへの適合方法
KR20100058280A (ko) * 2008-11-24 2010-06-03 삼성전자주식회사 휴대 단말기를 이용한 영상 촬영 방법 및 장치
US8228330B2 (en) * 2009-01-30 2012-07-24 Mellmo Inc. System and method for displaying bar charts with a fixed magnification area
KR20110004083A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 디지털 영상 처리 장치 및 방법
US8531571B1 (en) * 2009-08-05 2013-09-10 Bentley Systmes, Incorporated System and method for browsing a large document on a portable electronic device
CN101996021B (zh) * 2009-08-12 2013-02-13 幻音科技(深圳)有限公司 手持式电子设备及其控制显示内容的方法
TWI401964B (zh) * 2010-04-16 2013-07-11 Altek Corp Image file processing method
US9239674B2 (en) * 2010-12-17 2016-01-19 Nokia Technologies Oy Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
KR20140027690A (ko) * 2012-08-27 2014-03-07 삼성전자주식회사 확대 표시 방법 및 장치
US9933921B2 (en) 2013-03-13 2018-04-03 Google Technology Holdings LLC System and method for navigating a field of view within an interactive media-content item
EP3022941A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Visual storytelling on a mobile media-consumption device
EP3022934A1 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC Small-screen movie-watching using a viewport
EP3022944A2 (en) 2013-07-19 2016-05-25 Google Technology Holdings LLC View-driven consumption of frameless media
US9851868B2 (en) 2014-07-23 2017-12-26 Google Llc Multi-story visual experience
US10341731B2 (en) 2014-08-21 2019-07-02 Google Llc View-selection feedback for a visual experience
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
US9916861B2 (en) * 2015-06-17 2018-03-13 International Business Machines Corporation Editing media on a mobile device before transmission

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001256576A1 (en) * 2000-05-12 2001-11-20 Zvi Lapidot Apparatus and method for the kinematic control of hand-held devices
GB0116877D0 (en) * 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
WO2004066615A1 (en) * 2003-01-22 2004-08-05 Nokia Corporation Image control

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104932687A (zh) * 2009-09-30 2015-09-23 联想(北京)有限公司 一种移动终端、和在移动终端上显示信息的方法
CN103354922A (zh) * 2010-12-22 2013-10-16 汤姆逊许可公司 在用户界面中定位感兴趣的区域的方法
CN103245349A (zh) * 2013-05-13 2013-08-14 天津大学 基于图片gps信息和谷歌地图的路线导航方法
CN111309230A (zh) * 2020-02-19 2020-06-19 北京声智科技有限公司 信息展示方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP2008526054A (ja) 2008-07-17
EP1815316A1 (en) 2007-08-08
US20090034800A1 (en) 2009-02-05
FR2878641B1 (fr) 2007-07-06
FR2878641A1 (fr) 2006-06-02
WO2006056311A1 (en) 2006-06-01

Similar Documents

Publication Publication Date Title
CN101065722A (zh) 用于朝图像的感兴趣区域自动导航的方法
RU2698402C1 (ru) Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
CN112767538B (zh) 三维重建及相关交互、测量方法和相关装置、设备
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN110169056B (zh) 一种动态三维图像获取的方法和设备
CN1307599C (zh) 图像匹配
CN1278277C (zh) 手指移动检测方法及装置
KR101775591B1 (ko) 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
CN105283905B (zh) 使用点和线特征的稳健跟踪
CN101902571B (zh) 图像拍摄装置、电子设备、全景图像记录方法
CN101924873B (zh) 图像处理设备和图像处理方法
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
US20070008499A1 (en) Image combining system, image combining method, and program
CN102104732A (zh) 图像处理装置、方法以及程序
US20220375220A1 (en) Visual localization method and apparatus
CN112750203A (zh) 模型重建方法、装置、设备及存储介质
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
CN103577789A (zh) 检测方法和装置
CN110245660B (zh) 基于显著性特征融合的网页扫视路径预测方法
CN112101145B (zh) 基于svm分类器的移动机器人位姿估计方法
US7057614B2 (en) Information display system and portable information terminal
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及系统
CN116051636A (zh) 位姿计算方法、装置和设备
CN113739797A (zh) 视觉定位方法和装置
CN112132864A (zh) 基于视觉的机器人跟随方法及跟随机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication