CN101553845A - 图像主线确定和使用 - Google Patents

图像主线确定和使用 Download PDF

Info

Publication number
CN101553845A
CN101553845A CNA2007800366590A CN200780036659A CN101553845A CN 101553845 A CN101553845 A CN 101553845A CN A2007800366590 A CNA2007800366590 A CN A2007800366590A CN 200780036659 A CN200780036659 A CN 200780036659A CN 101553845 A CN101553845 A CN 101553845A
Authority
CN
China
Prior art keywords
image
main line
conspicuousness
information
warp mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800366590A
Other languages
English (en)
Other versions
CN101553845B (zh
Inventor
S·维道森
J·A·劳森
P·雷迪
E·奥布赖恩-斯特赖恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN101553845A publication Critical patent/CN101553845A/zh
Application granted granted Critical
Publication of CN101553845B publication Critical patent/CN101553845B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

在评估图像的主线的方法(1100)中，接收与图像的显著性有关的变形网格信息(1105)。变形网格信息的分量的位移是相对于未变形网格信息中的对应分量(1115)确定的。利用位移的统计表示来评估图像的主线(1125)。

Description

图像主线确定和使用
技术领域
本技术的实施例涉及用于图像分析的方法和系统，而且更具体地涉及用于确定和使用图像的主线(dominant line)的技术。
背景技术
随着用户积聚大量各类数字图像，在个人计算机、投影显示器和娱乐设备上的自动照片幻灯片式呈现的发展已变得日益普遍。用于显示这些幻灯片式呈现的众多方法包含某种形式的动画，比如四处平移(panning)图像或在观看区域内移动图像以试图让该呈现更加有趣。这种类型动画的一些形式通常被称为“自动播放(auto-rostruming)”或“Ken Burns效果”。
当前，图像移动或平移的这种自动应用是相当粗糙的并且一般以随机方式应用。有时，比如当高层建筑物的图像被随机地向上或向下平移从而以人眼正常扫视实际高层建筑物的相同方式示出该建筑物的轮廓时，移动和平移的这种随机应用可能产生可接受的或有趣的结果。然而，当前自动动画方法同样可能(并且往往更可能)产生不可接受的并且相反有损于在幻灯片式呈现中显示的一个或多个图像的移动或平移动画。
附图说明
被并入本说明书且作为其一部分的附图图解说明了本技术的实施例，并连同详细描述一起用来解释以下讨论的原理：
图1是依照本技术的实施例使用的示例性计算机系统的图示。
图2是根据本技术的一个实施例的示例性图像平移系统的框图。
图3是根据本技术的一个实施例的变形(warped)网格生成器(generator)的扩展框图。
图4是根据本技术的一个实施例的用于从图像的图像显著性图(saliency map)中产生图像显著性的变形网格表示的方法的流程图。
图5是依照本技术的实施例的待转化为显著性的变形网格表示的示例性图像。
图6是依照本技术的各种实施例的用作输入的图像的示例性显著性图。
图7是根据本技术的一个实施例的叠加在示例性图像显著性图上的图像显著性的变形网格表示。
图8是根据本技术的一个实施例的叠加在示例性图像显著性图上的图像显著性的变形网格表示。
图9是根据本技术的一个实施例的图像显著性的示例性变形网格表示。
图10是根据本技术的一个实施例的平移方向确定器的扩展框图。
图11是根据本技术的一个实施例的用于评估图像的主线的方法的流程图。
图12是根据本技术的一个实施例的具有一致平均显著性的图像的示例性未变形网格表示。
图13示出了依照本技术的实施例的具有水平主线的图像。
图14示出了依照本技术的实施例的具有对角线主线的图像。
图15示出了依照本技术的实施例的具有可忽略主线的图像。
图16是依照本技术的实施例的用于确定在呈现内图像移动的方法的流程图。
图17示出了依照本技术的实施例的用于评估主线信息的示例性技术。
除非明确指出，本描述中所涉及的附图不应当被理解为是按比例绘制的。
具体实施方式
现在详细参照本技术的实施例，其示例被示于附图中。虽然本技术是结合各个实施例描述的，但是要理解它们不打算把本技术限制为这些实施例。相反，所介绍的技术旨在覆盖可包含于如所附权利要求书限定的各个实施例的精神和范围之内的可选方案、修改和等价物。而且，在以下详细描述中，阐述了众多具体细节以便提供对本技术的彻底理解。然而，本技术可在没有这些具体细节的情况下来实践。在其他情况下，没有详细描述众所周知的方法、程序、元件和电路以便不会不必要地使本技术的各个方面不清楚。
除非另外明确指出，如从以下讨论中显而易见的，要明白在整个本详细描述中，利用比如“接收”、“确定”、“利用”、“评估”、“表征”、“定位”等等的术语的讨论涉及计算机系统(比如图1的计算机100)或者类似电子计算设备的动作和过程。计算机系统或类似电子计算设备操纵计算机系统寄存器和存储器内的表示为物理(电子)量的数据并将其转换为计算机系统存储器或寄存器或者其他这种信息存储、发送或显示设备内的类似表示为物理量的其他数据。本技术还很适合于使用其他计算机系统，比如光学、虚拟和机械计算机。另外，应当理解在本技术的实施例中，能够人工执行一个或多个步骤。
概述
图像主线是在Bruce Block的书“The Visual Story”(版权2001)中所讨论的艺术概念。主线的本质是图像的视觉流(visual flow)。不是所有图像都有主线或强主线。然而，在一些图像中，图像内容创建视觉流或主线，其相对于图像处于特定轴中。Bruce Block假定主线相对于图像移动的适当使用能够给观看者产生情绪。例如，考虑展现图像X轴上的水平主线的风景图像。根据Bruce Block，沿这个水平线的平移给观看者产生宁静的感觉，而与这个主线相对(上下)的平移会给用户产生不谐和的感觉。同样，Bruce Block还指出图像中的主线的轴会对用户在观看图像时所体验的潜意识情绪具有某种控制。例如，具有水平主线的图像产生放松的感觉，具有对角线主线的图像产生热情的或强烈的感觉，而具有垂直主线的图像产生之间某种程度的感觉。
电影制片者、摄影师以及其他图像艺术家(用其眼睛)人工识别图像中的主线并利用它们来控制由其图像的观看者所体验的感觉。本技术提供用于在创建图像呈现时自动检测和使用主线的方法和系统。关于这一详细描述，将描述本技术的实施例可与其一起操作的示例性计算机系统。然后将描述依照本技术的图像平移系统。该讨论将始于这种系统的概述，然后继续描述该图像平移系统的各个部件(比如变形网格生成器和平移方向确定器)的结构和操作。虽然各种线条画与本文所说明的示例结合使用，但应当明白这些线条画(即图5，13，14和15)是代表本文所描述的技术意欲对其操作的示例性数字图像和/或照片。
示例性计算机系统环境
现在参照图1，本技术的各部分由计算机可读且计算机可执行指令组成，所述指令例如驻留在计算机系统的计算机可用介质中。也就是说，图1图解说明了能够用来实施本技术的实施例(其在下文进行讨论)的一种计算机的一个示例。图1图解说明了依照本技术的实施例使用的示例性计算机系统100。要明白，图1的系统100仅仅是示例性的并且本技术能够在很多不同的计算机系统上或在其内工作，这些计算机系统包括通用连网计算机系统、嵌入式计算机系统、路由器、交换机、服务器设备、客户端设备、各种中间设备/节点、独立计算机系统、多媒体设备、图像显示设备、数字照相机、手持式电子设备等等。如图1所示，图1的计算机系统100很适于具有外围计算机可读介质102，比如耦合到其上的软盘、紧凑盘(compact disc)、数字多功能盘等。
图1的系统100包括用于传送信息的地址/数据总线104以及耦合到总线104的用于处理信息和指令的处理器106A。如图1所描绘的，系统100还很适合于多处理器环境，在该多处理器环境中存在多个处理器106A、106B和106C。相反地，系统100还很适合于具有单个处理器，比如处理器106A。处理器106A、106B和106C可为各种类型微处理器中的任何一种。系统100还包括数据存储部件(feature)，比如计算机可用的易失性存储器108，例如随机存取存储器(RAM)，其耦合到总线104用于存储用于处理器106A、106B和106C的信息和指令。系统100还包括计算机可用的非易失性存储器110，例如只读存储器(ROM)，其耦合到总线104以存储用于处理器106A、106B和106C的静态信息和指令。系统100中还存在数据存储单元112(例如，磁盘或光盘及盘驱动器)，其耦合到总线104用于存储信息和指令。系统100还包括任选的字母数字输入设备114，该设备包括字母数字键和功能键并且耦合到总线104用于向处理器106A或者处理器106A、106B和106C传送信息和命令选择。系统100还包括任选的光标控制设备116，其耦合到总线104用于向处理器106A或者处理器106A、106B和106C传送用户输入信息和命令选择。本实施例的系统100还包括任选的显示设备118，其耦合到总线104用于显示信息。
仍参照图1，任选的显示设备118可为液晶设备、阴极射线管、等离子体显示设备或者其他适合于创建对用户可辨认的图形图像和字母数字字符的显示设备。任选的光标控制设备116允许计算机用户动态地用信号通知(signal)可视符号(光标)在显示设备118的显示屏上的移动。光标控制设备116的许多实施方式在本领域中是已知的，包括跟踪球、鼠标、触控板、操纵杆或字母数字输入设备114上的能够用信号通知给定方向的移动或位移方式的特殊键。可选地，要明白，光标能够经由来自字母数字输入设备114的输入利用特殊键和键序列命令来指引和/或激活。系统100还很适合于接收输入(比如字母数字输入)和/或让光标由其他手段(比如语音命令)来指引。另外，在一些实施例中，字母数字输入114被配置成用于输入非字母的语言字符，比如日本汉字(Kanji)字符。系统100还包括用于耦合系统100和外部实体的I/O设备120。例如，在一个实施例中，I/O设备120是用于实现系统100和外部网络(比如但不限于互联网)之间的有线或无线通信的调制解调器。
仍参照图1，描绘了系统100的各种其他部件。具体而言，当存在操作系统112、应用程序124、模块126和数据128时，它们被示为一般驻留在计算机可用的易失存性储器18(例如随机存取存储器(RAM))和数据存储单元112中的一个或某种组合内。在一个实施例中，本技术例如被存储为RAM 108的存储位置中和/或数据存储单元112的存储区域中的应用程序124或模块126。
用于产生图像呈现的示例性系统
现在参照图2，示出了依照本技术的一个实施例的图像平移系统200的框图。以下讨论将始于系统200的结构的概括描述。讨论将继续详细描述变形网格生成器220的结构和操作。讨论将以描述平移方向确定器260的结构和操作来结束。
本图像平移系统的结构
如图2所示，图像平移系统200由变形网格生成器220和平移方向确定器260组成。变形网格生成器220为图像产生图像显著性数据的显著性的变形网格表示。变形网格生成器220接收图像显著性数据作为输入并且输出从该图像显著性数据导出的变形网格数据。在一个实施例中这个变形网格数据例如经由耦合(coupling)225而耦合到平移方向确定器260。平移方向确定器260基于来自变形网格生成器220的信息来确定图像移动的方向和/或速度。在图像平移系统200不包括变形网格生成器的一个实施例中，变形网格信息作为输入被接收而不是在图像平移系统200内产生。平移方向确定器260还具有用于给更大的图像处理系统的其他部分(比如呈现生成器270)输出平移方向确定的输出265。例如，呈现生成器270接收图像的图像数据并且还从平移方向确定器260接收平移确定信息。基于这些输入，呈现生成器270自动建立被输出的呈现，比如幻灯片式呈现。呈现生成器270使用平移方向确定来自动并入智能呈现动画，比如基于由图像平移系统200所执行的图像内容分析的图像方向和/或移动/平移的速度。
如图2所示，变形网格生成器220接收要被转化成图像显著性的变形网格表示的显著性信息。在一个实施例中，显著性信息能够以显著性图的形式来接收。变形网格生成器220具有用于输出关于图像显著性的变形网格信息(比如描述变形网格的位置数据)的输出225。变形网格生成器220还耦合到平移方向确定器260用以提供与图像显著性的变形网格表示有关的信息，比如描述变形网格的位置信息。
如图2所示，平移方向确定器260与变形网格生成器220耦合以接收关于图像显著性的变形网格表示的信息。平移方向确定器260具有用于给更大的图像处理系统的其他部分(比如呈现生成器270)输出平移方向确定的输出265。通过耦合到平移方向确定器260，呈现生成器270接收允许以补充例如在幻灯片式呈现中呈现的一个图像或多个图像的内容的方式进行图像的智能平移和移动的信息。这对仅随机地或者不考虑图像内容地选择图像移动和/或平移方向的系统是一个改进。
变形网格生成器的结构
图3是根据本技术的一个实施例的示例性变形网格生成器220的框图。在图3所示的实施例中，变形网格生成器220由显著性求和器(summer)310、区域分割器320、网格定义器330和任选的网格位置存储器340组成。变形网格生成器220的其他实施例任选地由多个显著性求和器和多个区域分割器组成用以并行地执行任务。
在图3中，显著性求和器310从外部源接收关于图像显著性的图像显著性数据作为输入，所述外部源比如图像显著性生成器、图像显著性接收器或用户输入。在本技术的一个实施例中，图像显著性数据以图像的显著性图的形式进行接收。显著性求和器310执行图像显著性数据的求和。显著性求和器310还与区域分割器320耦合并从区域分割器320接收关于从何处开始和结束对图像显著性数据执行的求和的指令。显著性求和器310还把显著性数据求和的结果经由该耦合提供给区域分割器320。
在图3中，区域分割器320与显著性求和器310耦合并且还耦合到网格定义器330。区域分割器320用于响应于由显著性求和器310执行的求和把显著性图划分成若干区域。在本技术的一个实施例中，区域分割器320装载有定义了要把图像的显著性数据划分成的区域的数量和类型的预置数据。在本技术的一个实施例中，区域分割器320还装载有定义了待放置于每个区域中的图像的总显著性的百分比的预置信息。区域分割器320按照需要提供这种信息以控制显著性求和器310的工作，并且把每个图像的图像显著性数据划分成适当数量和类型的区域，其中每个区域含有图像的规定量的总图像显著性。在本技术的一个实施例中，区域分割器320还与外部源耦合，该外部源提供比如用户定义的输入之类的信息以更改或改变对区域数量、区域类型和每个单独区域中含有的总显著性的百分比的预置。区域分割器320还与网格定义器330耦合，以提供关于图像显著性数据被划分成的区域的位置的信息。
网格定义器330与区域分割器320耦合并接收与图像的显著性数据被划分成的区域的位置有关的信息。网格定义器330利用与区域有关的位置信息来定义图像显著性图的显著性的变形网格表示。在本技术的一个实施例中，网格定义器330标记在一组区域内把每个单独区域与另一区域分开的区。这些分离区可被具体称为边界线分隔符或界线分隔符，并且统称为分隔符(separator)。在一个实施例中，定义变形网格表示的位置信息然后被存储。在本技术的一个实施例中，定义图像显著性的变形网格表示的位置信息被提供给变形网格生成器220的输出，比如输出225。在一个实施例中，例如，定义图像显著性的变形网格表示的位置信息经由耦合225被提供给平移方向确定器260。
在本技术的一个实施例中，网格定义器330还与任选的网格位置存储器340耦合。网格位置存储器340为定义变形网格的位置信息提供存储，所述位置信息比如关于界线分隔符、边界线分隔符或变形网格的各个区域之间的区域分隔符的位置信息。
本变形网格生成器的操作
以下讨论详细阐述与本技术结合使用的变形网格生成器的实施例的操作。要明白，用于识别对象和确定图像的显著(或感兴趣)部分的技术是已知的，并且被描述于诸如以下作品中：1998年11月的IEEETransactions on Pattern Analysis and Machine Intelligence上的Laurent Itti、Christof Koch和Ernst Niebur的“A Model ofSaliency-Based Visual Attention for Rapid Scene Analysis”；和3001年7月13日的Second International Workshopon Statisticaland Computational Theories of Vision-modeling，Learning，Computing，and Sampling上的Paul Viola和Michael Jones的“RobustReal-Time Object Detection”。
如图3的框图中所示的，图像显著性求和器310接收图像显著性数据，该数据识别图像中的重要的或感兴趣的部分。图像的图像显著性数据包括诸如显著性图、面部识别信息以及其他图像分析信息之类的信息。图像显著性求和器310接收显著性数据，该显著性数据是基于众所周知的既定图像处理技术(比如用于确定显著性和识别诸如面部的对象的技术)产生的。在一些实施例中，接收的图像显著性信息还基于用户指定的参数或约束来产生，这些参数或约束被并入到显著性数据的产生中。图像的图像显著性数据以诸如图像的显著区的分等级或映射的形式来接收。例如，在本技术的一些实施例中图像显著性数据作为灰度级图像或映射被接收，其中每个像素的值是该像素的显著性分数。在本技术的其他实施例中图像显著性数据以图的形式被传送，该图被划分成若干子部分，其中每个子部分含有指示其相对显著性的分数。
现在参照图4，将结合图3和5-9讨论图4的流程图400以描述本技术的实施例的操作。为这一讨论起见，将描述变形网格生成器220的实施例的操作，该变形网格生成器220以由像素组成的灰度级图像的形式接收显著性图。应当意识到，相同的操作方法通常可应用于接收的任何形式的显著性图。
图4是根据本技术的一个实施例的用于从图像的图像显著性图中产生图像显著性的变形网格表示的方法的流程图400。该图像可以是静止图像或者在一些实施例中是移动图像(例如视频)。虽然在流程图400中公开了具体步骤，但是这种步骤是示例性的。也就是说，本技术的实施例很适合于执行各种其他(附加)步骤或者流程图400中所述步骤的变型。要明白，流程图400中的步骤可以不同于所给出的次序来执行，并且并不是流程图中的所有步骤都要被执行。在本技术的一个实施例中，流程图400被实施为计算机可读程序代码，其被存储在计算机系统(比如图1的计算机系统100)的存储单元中并由处理器(图1的处理器106A)执行。
图5示出了依照本技术的实施例的待转化为显著性的变形网格表示的示例性图像500。图像500的最显著部分是女人501和她站在其前面的树502。图像500的左侧也含有形式为树的部分以及树枝的某些显著特征。图像的右侧四分之一几乎没有显著特征。虚线505示出图像500的视觉可辨别的主线是沿y轴垂直定向的。主线505与树502的树干和女人501的垂直轮廓成一直线。如将看到的，本技术允许自动确定图像主线(比如主线505)的方向以及在一些实施例中允许自动确定图像主线的强度。
图6示出了图像500的示例性灰度级显著性图600。在图像显著性图600中，图像500的最显著区(女人501和树502)被表示为较亮区。该灰度级图像的较暗区表示图像500的不太显著的区。在以下讨论中，示例性图像显著性图600被用作到变形网格生成器220的输入。
在图4的410中，在本技术的一个实施例中，显著性图中的像素区的显著性值在相对于显著性图定义的方向上进行求和。在本技术的一个实施例中，显著性求和器310接收以图像500的显著性图600为形式的显著性数据。如果显著性图中含有的总显著性的值未被提供，则显著性求和器310计算该值。显著性求和器310然后与区域分割器320结合工作以对显著性图中的像素区的显著性值进行总计。在相对于显著性图600定义的水平、垂直或对角线方向上执行像素的面(areal)求和。起点和终点以及求和方向由预置或经由与区域分割器320的交互来控制。
求和可以在单个定义方向上执行一次或者在多个定义方向上执行多次。例如，第一求和可以从图像显著性图600的右上侧到左下侧、从图像显著性图600的左下侧到右上侧对角地进行、从图像显著性图600的左侧到右侧、从图像显著性图600的顶部到底部等等进行。作为示例，在本技术的一个实施例中，水平求和始于图像显著性图600的右侧，并且整列像素被求和。显著性求和器310然后水平地向左移到下一列像素，对其求和，并将其加到第一列像素的和。求和以此方式在图像显著性图600上水平地继续向左进行。累积求和总计被保存，并且当累积总计(running total)达到期望水平时求和停止，所述期望水平比如在预置中指定的或由区域分割器320指定的图像显著性图的总显著性的某个百分比。累积总计然后被重置并且求和继续以类似方式在图像显著性图600上水平地进行，直到所有列的像素都被求和。求和的结果被传到区域分割器320。
在本技术的实施例中，执行多个求和通过(pass)，然后以另一方向或多个方向执行附加的求和。例如，第二求和然后从图像显著性图600的顶部到底部或底部到顶部垂直地进行。作为示例，在本技术的一个实施例中，垂直求和始于图像显著性图600的顶部，并且整行像素被求和。显著性求和器310然后垂直地向下移到下一行像素，对其求和，并将其加到第一行像素的和。求和以此方式在图像显著性图600中垂直地继续向下进行。累积求和总计被保存，并且当累积总计达到期望水平时求和停止，所述期望水平比如在预置中指定的或由区域分割器320指定的图像显著性图的总显著性的某个百分比。累积总计然后被重置并且求和以类似方式在图像显著性图600中继续垂直向下进行，直到所有行的像素都被求和。然后，求和的结果被传到区域分割器320。
在图4的420中，在本技术的一个实施例中，响应于该求和，显著性图被划分成一组区域。区域的大小基于在每个区域中含有的总显著性的百分比。在本技术的一个实施例中，区域分割器320控制显著性求和器310的求和以影响这种区域划分。该控制基于预置值或用户指定值。例如，在本技术的一个实施例中，区域分割器320含有预置(preset)以把图像显著性图划分成一组均等百分比的一百个垂直区域。在本技术的另一实施例中，如图7所示，区域分割器320含有预置以把显著性图划分成一组十个水平区域和一组十个垂直区域，其中每个水平区域和每个垂直区域含有图像显著性图的总显著性的百分之十。类似地，在图8所示的一个实施例中，区域分割器320含有预置以把显著性图划分成一组十个左上到右下对角线区域和十个左下到右上对角线区域，其中每个左上到右下对角线区域含有图像显著性图的总显著性的百分之十，并且每个左下到右上对角线区域含有图像显著性图的总显著性的百分之十。众多这种预置可以存在，并且可以把图像显著性图划分成更多或更少区域并划分成各种定向上的区域。把图像显著性图划分成更少区域所花的时间和处理较少，但最终得到的显著性的变形网格表示不大精确。把图像显著性图划分成更多区域所花的时间和处理较多，但最终得到的显著性的变形网格表示更精确。
图7示出了根据本技术的一个实施例的被划分成十个垂直区域和十个水平区域的图像显著性图600。在图7中，执行水平求和，并且把图像显著性图600划分成十个垂直区域，其中每个垂直区域含有图像显著性图600的总显著性的百分之十。每个垂直区域之间的界线分隔符被表示为黑色垂直线701、702、703、704、705、706、707、708、709，并且叠加在图像显著性图600上以直观地定义垂直区域。为解释目的，直观地表示界线分隔符，然而应当明白它们不具有物理尺度，而相反由距所选原点的坐标距离来表示。图7中每个区域所占据的真实空间区不是均匀的。这是因为显著性的区在整个图像500中不同因此在整个图像显著性图600中不同。这导致区域之间的界线分隔符不是规则隔开的，而是相反形成变形网格，其中每个单独的区域包括不同的物理面积而同时包括总图像显著性的规定百分比。
图7还示出了根据本技术的一个实施例的被划分成十个水平区域的图像显著性图600。除了先前描述的水平求和，垂直求和也被执行。作为垂直求和的结果，图像显著性图600被划分成十个水平区域，其中每个水平区域含有图像显著性图600的总显著性的百分之十。由垂直求和产生的每个水平区域之间的边界线分隔符被表示为黑色水平线711、712、713、714、715、716、717、718、719，并且叠加在图像显著性图600上以直观地定义这些区域。为解释目的，直观地表示边界线分隔符，然而应当明白它们不具有物理尺度，而相反由距所选原点的坐标距离来表示。作为水平求和与垂直求和的结果，图7示出了与由一百个子区域组成的变形网格叠加的图像显著性图600，这些子区域不必每个都含有图像显著性图600的总显著性的百分之一。
图8是根据本技术的一个实施例的叠加在示例性图像显著性图上的图像显著性的另一变形网格表示。然而在图8中，不是在水平和垂直方向上对图像显著性图600的像素求和，这些像素在正交的对角线方向进行求和。区域分隔符801、802、803、804、805、806、808、808、809以相对于水平大约四十五度的角度定向并且从显著性图600的左上进行到右下。区域分隔符801-809把显著性图600划分成一组具有大约等同显著性的十个对角线区域。区域分隔符811、812、813、814、815、816、818、818、819与区域分隔符801-809大约正交地定向并且从显著性图600的左下进行到右上。区域分隔符811-819把显著性图600划分成另一组具有大约等同显著性的十个对角线区域。区域分隔符801-809和区域分隔符811-819一起把显著性图600划分成由一百个子区域组成的变形网格，这些子区域不必每个都含有图像显著性图600的总显著性的百分之一。
在图4的430中，在本技术的一个实施例中，与这组区域有关的位置信息被用来定义图像显著性图的显著性的变形网格表示。关于这组区域或若干组区域的位置信息从区域分割器320传送到网格定义器330。网格定义器330然后使用该位置信息来定义变形网格，其表示图像显著性图的显著性。在本技术的一个实施例中，该位置信息用来标记界线分隔符、边界线分隔符和这组区域或若干组区域中的区域之间的区域分隔符。
遵循图7所示的二维网格的示例性实施例的示例，标注垂直区域组中的各个垂直区域之间的每个界线分隔符(701-709)的位置并对其位置做标记。在本技术的一个实施例中，每个单独的界线分隔符的位置被标记为距指定原点的定义距离。例如，在本技术的一个实施例中，指定原点位于右上角，界线分隔符(701-709)每一个都由其距该原点的像素距离来标记。遵循这种方案，这十个垂直区域可以用九个单独的整数数字来定义，这些整数数字表示这九个界线分隔符距所定义原点的距离。同样，各个水平区域之间的边界线分隔符然后被标注和标记。在所遵循的示例性实施例中，这十个水平区域将由九个单独的整数数字来定义，这些整数数字表示这九个边界线分隔符(711-719)距所定义原点的距离。在本技术的所描述实施例中，图8所示的这个十个垂直区域的组和这个十个水平区域的组一起包括一百个子区域，并通过十八个整数来表示。与存储图像显著性图600的实际图像显著性数据的大小相比，这是相当大的存储节省。
图9是根据本技术的一个实施例的图像显著性的变形网格表示900。存在于图7中的图像显著性图600已被去除，而所有剩下的是垂直界线分隔符701-709和水平边界线分隔符711-719。垂直界线分隔符701-709表示示例性的一维变形网格。水平边界线分隔符711-719也表示另一示例性的一维变形网格。分隔符701-709和分隔符711-719一起包括示例性的二维变形网格900。类似地，二维对角线变形网格可以由图8的区域分隔符801-809和区域分隔符811-819来定义。
在图9中，原点901示于变形网格900的右上角，然而在其他实施例中该原点可以被定义在其他地方，比如在左上角的位置902。分隔符704和分隔符709的示例性交叉示为节点交叉903。如先前指出的，比如变形网格900的变形网格的位置信息可以由十八个整数表示。在一个实施例中，这些整数可以是距定义原点的像素距离。在另一实施例中，这些整数可以表示距定义原点的图像上的分数(fractional)距离或百分比距离，其然后被存储为整数，例如0.102的分数距离可以被存储为整数数字102。虽然变形网格位置信息的整数表示在此(和其他地方)被用作示例，但是要明白这种变形网格位置信息可以用数字的任何计算机表示来表示，包括：实数、定点数、浮点数、分数的浮点等效物、二进制数等等。在本技术的一个实施例中，变形网格900的位置信息可以被存储在存储器(比如图3的任选的网格位置存储器340)中。在本技术的一个实施例中，变形网格900的位置信息被提供为来自变形网格生成器220的输出。
在图4的440中，在本技术的一个实施例中，输出变形网格的表示。在一个实施例中，如图2所示，其中变形网格生成器220包含在系统200中，变形网格的位置信息(比如表示变形网格900的整数值)被提供给平移方向确定器260，因此图像的移动可以基于变形网格信息来确定。
平移方向确定器的结构
图10是根据本技术的一个实施例的平移方向确定器260的扩展框图。在图10所示的实施例中，平移方向确定器260由变形网格接收器1010、位移分析器1020、主线确定器1030、任选的用户控制装置1040、移动确定器1050和输出耦合265组成。
在图10中，变形网格接收器1010接收图像的变形网格表示作为输入。在一个实施例中，变形网格接收器1010接收定义了变形网格信息的数据。例如，在一个实施例中变形网格接收器1010接收二维变形网格(比如变形网格900)作为输入。在一个实施例中，变形网格接收器1010执行缓冲功能并与位移分析器1020耦合以提供变形网格位置信息作为输入。在一个实施例中，变形网格接收器1010还执行转换功能并把变形网格信息以其所需要的形式提供给位移分析器1020。
在图10中，位移分析器1020分析所接收的变形网格中分量(component)的位移。在一个实施例中，位移分析器1020还执行任选的变形网格接收器1010的功能，因而不需要单独的变形网格接收器。所接收的变形网格分量的位移是相对于在类似定向的未变形网格中对应的分量位置来确定的，所述未变形网格具有规则间隔开的定义均等显著性/面积的区域的区域分隔符。这些位移然后被统计分析。例如，垂直分隔符在变形网格中的位置与垂直分隔符在未变形网格中的位置进行比较。位移分析器1020把位移确定结果和位移的统计分析提供给主线确定器1030。
在图10中，主线确定器1030通过比较从位移分析器1020接收的结果来定位图像内的主线。如果主线存在，则主线确定器1030基于该比较来确定主线的定向轴。例如，主线确定器1030例如经由比值对所接收的水平分隔符统计位移信息和所接收的垂直分隔符统计位移信息进行比较，以确定是否存在水平或垂直主线。同样，主线确定器对从左上到右下对角线分隔符的统计位移信息和从左下到右上对角线分隔符的统计位移信息进行比较以确定是否存在沿对角线定向的主线，并且如果存在，则确定其定向轴是什么。因而，在一个实施例中，主线确定器1030被配置成自动定位主线，该主线在变形网格数据所涉及的图像中基本以水平、垂直或对角线轴来定向。基于这种比较，主线确定器1030还确定所检测的任何主线的强度。然后将主线信息从主线确定器1030提供到移动确定器1050。
在图10中，移动确定器1050用来对主线的方向和强度进行分类。基于主线的方向，移动确定器1050确定当相关图像示于呈现中时该相关图像在观看区域内的移动方向。类似地，基于所检测的主线的强度，移动确定器1050确定观看区域中显示的图像的移动速度作为呈现的一部分。在一个实施例中，该分类是基于预置或用户输入的，所述预置或用户输入例如规定某个数量的图像将被垂直地平移/移动，某个数量的图像被水平地平移/移动以及某个数量的图像被垂直地平移/移动。移动确定被提供给输出265并且可以用作呈现生成器(比如呈现生成器270)的输入。
在图10中，任选的用户控制装置1040与移动确定器1050耦合。在一个实施例中，当确定呈现中图像移动的方向和速度时，任选的用户控制装置1040例如通过硬件或软件提供输入机制以供用户更改由移动确定器1050利用来判断或分类一个或多个主线的方向和/或强度的任何预置或预定值。
本平移方向确定器的操作
现在参照图11和16，将讨论流程图1100和1600以描述本技术的实施例的元件的操作。为这一讨论起见，将提供本技术的实施例的详细操作描述，该实施例利用二维水平/垂直变形网格900作为输入并且可以任选地使用二维对角线/对角线变形网格(图8所示)作为输入。在本发明的精神和范围内的其他实施例和变型也是可能的。
虽然在流程图1100和1600中公开了具体步骤，但是这种步骤是示例性的。也就是说，本技术的实施例很适合于执行各种其他(附加)步骤或者流程图1100和1600中所述步骤的变型。要明白，流程图1100和1600中的步骤可以不同于所给出的次序来执行，并且并不是流程图1100和1600中的所有步骤都要被执行。在本技术的一个实施例中，流程图1100和/或流程图1600被实施为计算机可读程序代码，其被存储在计算机可用介质中(比如与计算机系统100(图1)一起使用的存储器单元或外围计算机介质)并由处理器106A和/或处理器106A、106B及106C(图1)执行。
图11是根据本技术的一个实施例的用于评估图像的主线的方法的流程图1100。
在图11的1105中，在根据本技术的一个实施例中，接收图像的变形网格表示。变形网格接收器1010接收图像的这个变形网格表示。该变形网格表示是以用来描述网格或栅格的位置信息的形式接收的。在一个实施例中变形网格信息作为描述图像的二维网格表示的位置信息被接收。水平/垂直变形网格900和图8所示的对角线/对角线变形网格是这种二维变形网格的示例。二维变形网格的信息能以网格分隔符的位置信息的形式来接收，或者可以作为与二维网格的交叉节点的位置有关的信息被接收。在一个实施例中，变形网格信息作为整数值被接收。而在其他实施例中，变形网格信息作为实数、定点数、浮点数或数字的一些其他计算机化表示被接收。变形网格接收器1010缓冲变形网格信息并在需要时将其提供给位移分析器1020。在一个实施例中，变形网格接收器1010还执行转换功能，比如把分隔符信息转换成节点交叉信息或者把整数信息转换成小数(decimal)信息或者另外把以数值的一种类型的计算机化表示所表示的信息转换成以数值的另一种类型的计算机化表示所表示的信息(即把二进制信息转换成浮点信息)。为了简化和便于解释起见，在本文所显示的许多示例中示出并讨论了小数和/或整数值，但是要明白这种值一般在计算机内是以某种其他数值形式表示的。
例如，在本技术的一个实施例中，位移分析器1020利用变形网格位置信息，该位置信息是按照所定义的原点和归一化图像区的相对边缘之间的百分比距离的小数当量来定义的。在一个这种实施例中，归一化图像区在所定义的原点处具有零值而在与原点成直角相对的图像区边缘处的值为一。例如，利用示例性二维变形网格900，其中位置902被定义为原点，表1示出了在位置902右边的每个界线分隔符701-709的百分比距离的小数表示。表1还示出了在位置902下面的每个边界线分隔符711-719的百分比距离的小数表示。
Figure A20078003665900201
表1所示的这些值可以由变形网格接收器1010以变形网格位置信息的形式以整数格式来接收，然后必要时被转换以用于位移分析器1020。如表1所示，图9的界线分隔符709从位置902向右位移了大约变形网格900所建模的区上的10％(0.102)的距离。类似地，边界线分隔符711从位置902向下位移了变形网格900所建模的区上的大约17％(0.166)的上/下距离。虽然在表1中它们被表示小数值，但是位移分析器1020的另一实施例可以以整数值、定点数、浮点数、二进制数或数值的某种其他计算机化表示的形式操纵并利用相同的位置信息。应当明白，二维变形网格(比如变形网格900)本质上地包括两个一维变形网格的数据。转换的另一示例是把作为分隔符位置信息接收的二维变形网格位置信息转换成分隔符的交叉的节点交叉位置。
在图11的1115中，在本技术的一个实施例中，在所接收的变形网格中的分量的位移是相对于对应分量在未变形网格中的位置来确定的。位移分析器1020执行这种分析。在一个实施例中，这种分析是在二维变形网格的两个维度上执行的。而在一个实施例中，这种分析是对二维变形网格的节点交叉执行的，或者是对变形网格的数据的某种其他表示执行的。
在一个实施例中，为了执行该分析，所接收的变形网格的每个维度都与未变形网格的类似构建的维度进行比较。例如，二维水平/垂直变形网格900的每个维度要与其在未变形二维水平/垂直网格中的对应维度进行比较。这种未变形网格将具有九个规则隔开的水平分隔符和九个规则隔开的垂直分隔符，表示图像在整个图像区上具有一致的显著性分布。图12示出这种未变形网格1200，其具有规则隔开的垂直界线分隔符1271-1279和规则隔开的水平边界线分隔符1281-1291。界线分隔符1271-1279对应于图9中的界线分隔符701-709，而边界线分隔符1281-1291对应于图9中的边界线分隔符711-719。图12的规则隔开的区域分隔符定义了具有均等面积/显著性的十个水平区域和具有均等面积/显著性的十个垂直区域。
表2以与表1内针对变形网格900所示的位置信息对应的格式示出未变形网格1200的位置信息。表2中的位移被表示为距原点1202的总的左右或上下距离的百分比的小数当量。未变形网格1200以与变形网格900相同的方式被归一化。如同表1，应当明白，所显示的小数值是示例性的，并且可以作为其他实数值、定点数、浮点数、二进制数或数值的某种其他计算机表示来表示和操纵。
在水平/垂直变形网格的情况下，位移分析器1020确定彼此平行定向的第一组分隔符分量的位移的第一统计表示，比如标准偏差。例如，位移分析器1020找出在接收的变形网格900中的每个界线分隔符和在未变形网格1200中的对应的规则隔开的界线分隔符之间的差。例如，位移分析器1020从由界线分隔符701-709表示的一维变形网格或者由边界线分隔符711-719表示的一维变形网格开始。例如假设首先处理由界线分隔符701-709组成的一维变形网格，界线709的位置和其对应的规则隔开的界线1279之间的差被计算为0.102减去0.100。因而，与未变形位置的差是0.002。对剩余的接收的界线分隔符708-701以及它们对应的未变形界线分隔符1278-1271重复这种计算。一旦所有差被找到，执行统计分析以确定这些差的统计表示。在本技术的一个实施例中，确定与未变形网格垂直界线分隔符位置的水平距离的标准偏差。在这个示例中，标准偏差大约是0.125。在本技术的另一实施例中，确定这些差的几何平均、这些差的绝对值之和或者某种其他统计表示。
接下来，位移分析器1020确定彼此平行定向并且还与第一组分隔符基本正交定向的第二组分隔符分量的位移的第二统计表示，比如标准偏差。遵循先前的示例，位移分析器1020利用由水平边界线分隔符711-719组成的第二一维变形网格的剩余位置信息重复该计算。位移分析器1020找出在接收的变形网格900中的每个边界线分隔符和在未变形网格1200中的对应的规则隔开的边界线分隔符之间的差。例如，边界线分隔符711的位置和其对应的规则隔开的边界线分隔符1281之间的差被计算为0.166减去0.100。因而，与未变形位置的差是0.066。对剩余的接收的边界线分隔符712-719以及它们对应的未变形边界线分隔符1282-1289重复这种计算。一旦所有差被找到，执行统计分析以确定这些差的统计表示。在一个实施例中，确定与未变形网格水平边界线分隔符位置的垂直距离的标准偏差。在这个示例中，标准偏差大约是0.052。在本技术的另一实施例中，为这些差确定这些差的几何平均、这些差的绝对值之和或者某种其他统计表示。
如果接收另一二维变形网格，比如对角线/对角线变形网格，则位移分析器1020对该第二二维变形网格重复上面描述的过程。如前所述，每个一维变形网格的分隔符分量之间的差的统计表示是相对于定义具有均等显著性/面积的对角线区域的未变形对角线/对角线网格中的类似定向的分量计算的。与水平/垂直变形网格的情况不同，在这种对角线/对角线未变形网格中的这种分隔符彼此间将不是均匀隔开的。因而，在对角线/对角线变形网格的情况中，位移分析器1020确定彼此平行定向并且还与图像的水平轴成大约四十五度角定向的第一组分隔符分量的位移的第一统计表示，比如标准偏差。位移分析器然后确定彼此平行定向并且还与第一组分隔符基本正交定向的第二(剩余)组分隔符分量的位移的第二统计表示，比如标准偏差。
在本技术的利用二维变形网格的节点交叉位置而不是边界线和界线型分隔符位置的另一实施例中，所接收的变形网格的节点交叉位置与类似构建的未变形网格中的节点交叉位置进行比较。计算这些位置的差并且执行统计分析以确定这些差的统计表示。节点903(图9)和节点1203(图12)是接收的变形网格900和未变形网格1200中的对应节点的示例。在本技术的一个实施例中，所接收的节点与其对应的未变形节点的位置的二维位移被标注，并且计算所接收的节点的位移的标准偏差。在另一实施例中，确定节点位置位移的差的几何平均、节点位置位移的绝对值之和或者这些差的某种其他统计表示。
在图11的1125中，在本技术的一个实施例中，变形网格分隔符分量的位移的统计表示被用来评估图像的主线。主线确定器1030(图11)执行这种评估。例如，在一个实施例中，主线确定器1030相对于变形网格的第二组分隔符分量的位移的标准偏差评估该变形网格的第一组分隔符分量的位移的标准偏差。这可以包括例如评估第一标准偏差与第二标准偏差的比值。该评估的结果表示图像的主线的方向轴和/或强度。
对二维变形网格900计算的示例标准偏差提供了主线确定器1030如何量化图像中主线的方向和/或强度的理解。例如，垂直界线分隔符(701-709)的水平标准偏差大约是0.125，而水平边界线分隔符(711-719)的垂直标准偏差大约是0.052。评估水平标准偏差与垂直标准偏差的比值给出图像500(图5)的主线的度量。例如，如果比值(R)大于1，则水平方向上的偏差比垂直方向上的更明显，并且该图像具有垂直主线。类似地，高于一的R的较大值与具有更大强度的主线相关(换言之，该主线更明显)。相反，如果R的值小英1，则垂直方向上的偏差比水平方向上的更明显，并且该图像具有水平主线。类似地，低于一的R的较小值与具有更大强度的水平主线相关(换言之，该主线更明显)。在一个实施例中，“看门狗”特征(feature)被内置到主线确定器1030内，这使得主线确定器1030可用很小值(比如0.001)来替代等于零的任何标准偏差。这就防止可能潜在发生的除以零和无穷大误差。因而，在当前示例中，0.125与0.052的比值导致2.4的R值。这指示具有中等强度的沿图像500的y轴方向定向的垂直主线，如线505所示。
如前面示例所表明的，利用变形网格900，主线确定器1030利用第一组分量的位移的第一统计表示与第二组分量的位移的第二统计表示的比较来评估图像500的主线的存在。在给出的示例中，评估图像500看是否存在水平或垂直主线。类似地，可以利用正交的对角线/对角线变形网格(如图8所示)来评估图像500的右上到左下对角线主线或右下到左上对角线主线。在利用这种对角线/对角线变形网格的示例中，第一组平行分隔符分量的位移的标准偏差与第二组正交分隔符分量的位移的标准偏差进行比较。主线确定器1030然后以上面结合水平/垂直网格900描述的方式确定任何检测到的对角线主线的对角线轴和强度。
图13示出了依照本技术的实施例的具有水平主线1305的图像1300。图像1300示出了具有山峰1301的风景，该山峰1301基本沿水平方向在图像1300的窄带上延伸。这就沿图像1301的x轴在方向1305上创建了强水平主线。在一个实施例中，主线确定器1030通过使用结合流程图1100描述的方法来检测水平主线1305的方向和强度。
图14示出了依照本技术的实施例的具有对角线主线1405的图像1400。图像1400示出了基本沿左上到右下的对角线在图像1400上延伸的棒球棒1401。这就沿图像1401的左上到右下对角线轴在方向1405上创建了强对角线主线。在一个实施例中，主线确定器1030通过使用结合流程图1100描述的方法来检测对角线主线1405的方向和强度。
图15示出了依照本技术的实施例的具有可忽略主线的图像1500。图像1500示出了位于图像1500中心附近的棒球。当评估图像1500的主线时，这导致可忽略或否定的确定。在一个实施例中，主线确定器1030通过使用结合流程图1100描述的方法来检测主线的缺失(或者也许存在很弱的主线)。
图16是根据本技术的一个实施例的用于确定呈现内的图像移动的方法的流程图1600。
在图16的1610中，在本技术的一个实施例中，接收与图像有关的主线信息。例如，在一个实施例中，移动确定器1050从主线确定器1030接收主线信息(两者都示于图10中)。所接收的主线信息定义主线相对于图像的轴或方向。所接收的主线信息还一起(coveys)定义了主线的相对强度。作为示例，在一个实施例中，主线信息包括从图像的变形网格表示的评估中所确定的数值结果。因而在上面描述的示例中，结合图像500和变形网格900的评估，2.4的R值被传到移动确定器1050。类似地，在不使用数值的情况下，指示中等强度的垂直主线的信息被传到移动确定器1050。
在图16的1620中，在本技术的一个实施例中，评估所接收的主线信息。在一个实施例中，移动确定器1050执行对所接收的主线信息的评估。在一个实施例中，移动确定器1050独立地基于每个图像的方向和强度简单评估每个图像的主线信息。然而在另一实施例中，移动确定器1050结合多个图像的主线信息附加地评估每个图像的主线信息，所述多个图像被一起呈现在呈现中。在一个这种实施例中，附加地关于默认设置、用户输入(比如自用户控制装置1040)或两者来评估所述多个图像中每一个的主线信息。通过这种评估，移动确定器1050基于主线信息和/或附加地关于默认设置或用户输入来表征图像的主线的方向。通过这种评估，移动确定器1050还基于主线信息表征图像的主线的强度。用于评估多个图像的主线信息的技术的一个示例涉及绘制表示多个图像的主线的方向和相对强度的图点(graph point)。图17示出了在X-Y图上绘制的多个这种图点。
图17示出了依照本技术的实施例的用于评估主线信息的示例性技术。图17的图由x轴1715、y轴1710、原点1705以及分界线1725和1720组成。点1730表示中等强度的垂直主线，比如垂直主线505(图5)。点1736表示高强度的水平主线，比如水平主线1305(图13)。点1734表示高强度的对角线主线，比如对角线主线1405(图14)。点1732表示与图15相关联的可忽略的、几乎不存在的主线。在一个实施例中，分界线1725和1720由比如来自用户控制装置1740的用户输入来确定。在另一实施例中，依照默认设置来确定分界线1725和1720。虽然示出了两条分界线(1725或1720)，但是要明白其他实施例可使用更少或更多的这种分界线。还要明白，在其他实施例中，这种分界线可以基于用户输入、默认设置或两者而处于不同位置或不同角度。
考虑如下示例：默认设置指示一组图像的25％应当被水平平移或移动，25％应当被垂直平移或移动，并且50％应当被对角线平移或移动。基于这种要求，移动确定器经由分界线1720和1725的放置而把点1730、1732、1734和1736分成三个区域。在分界线1725之上的点被指定用于垂直平移/移动，在分界线1720之下的点被指定用于水平平移/移动，而在分界线1720和1725之间的点被指定用于对角线平移/移动。因而，在这种技术中可能的是图像可在与其主线略微不一致的方向上进行平移。例如，具有水平、垂直或可忽略主线的图像可被指定用于对角线平移/移动以满足默认或用户提供的规范。同样，具有对角线主线的图像可被指定用于水平或垂直平移/移动以便满足默认或用户提供的规范。然而，在这种情况下，与这些不一致地平移的图像相关联的数据点将在分界线附近，因而将具有比远离分界线的图像更模糊的主线。在许多情况下，这种不一致地平移的图像还将具有一个以上主线的元素(element)，比如具有微小的对角线分量的中等强度的水平主线。
在图16的1630中，在本技术的一个实施例中，确定在呈现中图像的移动方向。该移动方向基于先前对主线信息所执行的评估。
因而，在每个图像的主线信息被独立评估的一个这样的实施例中，移动确定器把平移/移动的方向分配给基本上处于与图像的主线相同的方向轴上的图像。例如，图像500(图5)将被分配成在观看区域内向上或向下平移或移动，这将是与主线505一致的方向。这种平移/移动强调和补充了图像的内容。在另一类似的实施例中，依照默认设置或用户输入，移动确定器1050将某个图像或某些图像分配为基本上在与所确定的主线正交的方向轴上平移或移动。例如，在这种实施例中，图像500将被分配成在观看区域内向左或向右平移或移动，这将是与主线505正交的方向。这种平移/移动被故意与图像的主线相冲突地分配以引起观看着的冲突或不谐和的感觉。
在另一实施例中，与图16的1630相一致，图像是沿通过关于用户输入、默认设置或两者来评估主线信息所确定的方向平移的，如图17的描述所说明的。例如，多个图像的移动方向的确定将与图17所示的数据点(1730、1732、1734和1736)以及分界线1720和1720一致。因而，例如，移动确定器1050将确定与数据点1736相关联的图像500应当被水平平移/移动，而与数据点1732相关联的图像500应当被对角线平移/移动。图像的平移/移动方向的这种自动确定就呈现中所用的平移/移动方向而言引入了多样性，而同时试图以和与该图像相关联的主线相一致的方向平移图像。
在一个实施例中，例如，移动确定器1050把与图像有关的移动信息输出为二维运动向量，该向量可以由呈现生成器(比如呈现生成器270)解释。为了防止重复，移动向量的符号可被随机地改变。因而，例如，被分配成水平平移的一个图像可从左边平移到右边，而被分配成水平平移的另一个图像可从右边平移到左边，这取决于水平运动向量的随机符号分配。
另外，在一个实施例中，移动确定器1050被配置成自动分配缩放(zoom)向量。可以与任意改变二维运动向量的符号类似的方式任意地改变缩放向量的符号。此外，通过显著性信息的使用，缩放向量可仅被指引到图像的显著部分上或其周围，因而进一步补充图像的内容。分配这种缩放向量有助于消除以两个维度简单平移特定图像的重复性并且给图像的呈现增加了趣味性而不会减损图像内容。
在图16的1640中，在本技术的一个实施例中，确定呈现中图像的移动速度。该移动速度是基于先前对主线信息执行的评估的。例如，在一个实施例中，图像的移动/平移的速度与主线的强度成正比。因而，主线越强，则在观看区域中图像的移动或平移就越快。类似地，主线越弱，则在观看区域中图像的平移或移动就越慢。同样，在移动确定器1050基于用户输入或默认设置进一步确定图像移动的实施例中，图像速度仍与主线的强度成比例。因而，在图17中，移动确定器1050基于图像的相关数据点距原点1705的距离确定图像的移动速度。这是因为弱主线导致较接近原点1705绘制的数据点而强主线导致远离原点1705绘制的数据点。因而，移动确定器1050将确定与数据点1734相关联的图像1400应当以相当高的速率(比如50像素/秒)移动，而与数据点1732相关联的图像1500应当以相当慢的速率(比如2像素/秒)移动。关联图像速度和主线的强度具有如下效果：对可以大多通过与主线的方向有关的运动而补充的图像内容给予较快的移动。同样，具有弱或可忽略主线的图像将以很慢的速度进行移动，这在图像被显示在呈现内的时段期间可能几乎是觉察不到的。
另外，在其中缩放向量已被分配给图像的实施例中，移动确定器1050也可给缩放向量任意地分配缩放速度。因而，一些图像可在显示之前被缩放，而其他图像可在显示期间以任意速度进行缩放或者另外以与被缩放的图像部分的显著性有关的不同速度进行缩放。这给显示的图像增加了趣味性而不会减损图像的内容。
虽然以针对结构特征和/或方法动作的语言描述了本技术的主题，但是要理解所附权利要求中定义的主题不必限于上面描述的具体特征或动作。相反，上面描述的具体特征或动作是作为实施权利要求的示例形式公开的。

Claims (15)

1.一种用于评估图像的主线的方法(1100)，所述方法包括：
接收与图像的显著性有关的变形网格信息(1105)；
确定所述变形网格信息的分量相对于未变形网格信息中的对应分量的位移(1115)；和
利用所述位移的统计表示来评估所述图像的主线(1125)。
2.如权利要求1所述的方法(1100)，其中所述接收与图像的显著性有关的变形网格信息(1105)包括：
接收由一组基本上垂直的分隔符和一组基本上水平的分隔符组成的二维变形网格。
3.如权利要求2所述的方法(1100)，其中所述接收与图像的显著性有关的变形网格信息(1105)还包括：
接收由相对于所述图像的水平轴成基本四十五度角定位的第一组对角线分隔符和与所述第一组对角线分隔符基本正交定向的第二组对角线分隔符组成的二维变形网格。
4.如权利要求1所述的方法(1100)，其中所述确定所述变形网格信息的分量相对于未变形网格信息中的对应分量的位移(1115)包括：
确定彼此平行定向的第一组分隔符分量的位移的第一统计表示；和
确定彼此平行定向并且还与所述第一组分隔符基本正交定向的第二组分隔符分量的位移的第二统计表示。
5.如权利要求4所述的方法(1100)，其中所述确定所述变形网格信息的分量相对于未变形网格信息中的对应分量的位移(1115)还包括：
确定彼此平行定向并且还与所述图像的水平轴成大约四十五度角定向的第三组分隔符分量的位移的第三统计表示；和
确定彼此平行定向并且还与所述第三组分隔符基本正交定向的第四组分隔符分量的位移的第四统计表示。
6.如权利要求4所述的方法(1100)，其中所述利用所述位移的统计表示来评估所述图像的主线(1125)包括：
利用所述第一统计表示和所述第二统计表示的比较来评估所述图像的主线的存在。
7.如权利要求5所述的方法(1100)，其中所述利用所述位移的统计表示来评估所述图像的主线(1125)包括：
利用所述第三统计表示和所述第四统计表示的比较来评估所述图像的主线的存在。
8.如权利要求1所述的方法(1100)，其中所述利用所述位移的统计表示来评估所述图像的主线(1125)包括：
关于第二组所述分量的位移的标准偏差评估第一组所述分量的位移的标准偏差，其中所述评估的结果表示所述主线的方向和强度。
9.一种确定在呈现内的图像移动的方法(1600)，所述方法包括：
接收与图像有关的主线信息(1610)；
评估所述主线信息(1620)；
确定所述呈现中所述图像的移动方向，其中所述移动方向是基于对所述主线信息的所述评估的(1630)；和
确定所述呈现中所述图像的移动速度，其中所述移动速度是基于对所述主线信息的所述评估的(1640)。
10.如权利要求9所述的方法(1600)，其中所述评估所述主线信息(1620)包括：
关于用户输入来评估所述主线信息。
11.如权利要求9所述的方法(1600)，其中所述评估所述主线信息(1620)包括：
关于默认设置来评估所述主线信息。
12.如权利要求9所述的方法(1600)，其中所述评估所述主线信息(1620)包括：
基于所述主线信息来表征所述主线的方向。
13.如权利要求9所述的方法(1600)，其中所述评估所述主线信息(1620)包括：
基于所述主线信息来表征所述主线的强度。
14.如权利要求9所述的方法(1600)，其中所述确定呈现中所述图像的移动方向，其中所述移动方向是基于对所述主线信息的所述评估(1630)包括：
确定所述呈现中所述图像的所述移动方向，其中所述移动方向基本处于与所述图像的主线相同的轴。
15.如权利要求9所述的方法(1600)，其中所述确定呈现中所述图像的移动方向，其中所述移动方向是基于对所述主线信息的所述评估(1630)包括：
确定所述图像的所述呈现的所述移动方向，其中所述移动方向基本处于与所述图像的主线正交的轴。
CN2007800366590A 2006-07-31 2007-07-25 评估图像以获得主线的方法和确定呈现内图像移动的方法 Expired - Fee Related CN101553845B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/496,808 2006-07-31
US11/496,808 US7751627B2 (en) 2006-07-31 2006-07-31 Image dominant line determination and use
PCT/US2007/016795 WO2008016532A2 (en) 2006-07-31 2007-07-25 Image dominant line determination and use

Publications (2)

Publication Number Publication Date
CN101553845A true CN101553845A (zh) 2009-10-07
CN101553845B CN101553845B (zh) 2013-01-02

Family

ID=38704816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800366590A Expired - Fee Related CN101553845B (zh) 2006-07-31 2007-07-25 评估图像以获得主线的方法和确定呈现内图像移动的方法

Country Status (8)

Country Link
US (1) US7751627B2 (zh)
JP (1) JP4916548B2 (zh)
KR (1) KR100998428B1 (zh)
CN (1) CN101553845B (zh)
BR (1) BRPI0714106A2 (zh)
DE (1) DE112007001789B9 (zh)
GB (1) GB2454397B (zh)
WO (1) WO2008016532A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271262A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 用于3d显示的基于多线索的视频处理方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271871B2 (en) * 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8693780B2 (en) * 2009-06-22 2014-04-08 Technion Research & Development Foundation Limited Automated collage formation from photographic images
KR101883354B1 (ko) * 2011-05-30 2018-07-30 삼성전자주식회사 터치 스크린을 구비한 기기에서 전자 지도의 브라우징을 위한 장치 및 방법
US9202258B2 (en) * 2012-06-20 2015-12-01 Disney Enterprises, Inc. Video retargeting using content-dependent scaling vectors
KR20140143623A (ko) * 2013-06-07 2014-12-17 삼성전자주식회사 휴대 단말기에서 컨텐츠를 표시하는 장치 및 방법
JP6330385B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
EP2961183A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and related selection device for navigating in ultra high resolution video content
US20160140748A1 (en) * 2014-11-14 2016-05-19 Lytro, Inc. Automated animation for presentation of images
US10296448B2 (en) * 2014-11-19 2019-05-21 International Business Machines Corporation Correlating test results variations with business requirements
US10394660B2 (en) * 2015-07-31 2019-08-27 Netapp, Inc. Snapshot restore workflow
CN105342769A (zh) * 2015-11-20 2016-02-24 宁波大业产品造型艺术设计有限公司 智能电动轮椅
US11636572B2 (en) * 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
US10721578B2 (en) * 2017-01-06 2020-07-21 Microsoft Technology Licensing, Llc Spatial audio warp compensator
CN110766791B (zh) * 2019-10-31 2021-04-02 吉林大学 一种粮仓信息的三维云图生成方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3272584B2 (ja) * 1995-09-19 2002-04-08 シャープ株式会社 領域抽出装置及びそれを用いた方向検出装置
GB2311184A (en) * 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
JPH1138960A (ja) * 1997-07-14 1999-02-12 Nec Off Syst Ltd パターン生成方法および装置ならびに記録媒体
JPH1196372A (ja) * 1997-09-16 1999-04-09 Omron Corp 画像処理方法およびその装置、ならびに画像処理用の制御プログラムの記録媒体
US6201541B1 (en) * 1997-12-11 2001-03-13 Cognitens, Ltd. System and method for “Stitching” a plurality of reconstructions of three-dimensional surface features of object(s) in a scene defined relative to respective coordinate systems to relate them to a common coordinate system
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6351494B1 (en) * 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
GB2372658A (en) * 2001-02-23 2002-08-28 Hewlett Packard Co A method of creating moving video data from a static image
GB2378338A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Automatic identification of features of interest within a video signal
US7302111B2 (en) * 2001-09-12 2007-11-27 Micronic Laser Systems A.B. Graphics engine for high precision lithography
US6904151B2 (en) * 2002-01-17 2005-06-07 Deguillaume Frederic Method for the estimation and recovering of general affine transform
US20040141555A1 (en) * 2003-01-16 2004-07-22 Rault Patrick M. Method of motion vector prediction and system thereof
JP4480488B2 (ja) * 2003-08-28 2010-06-16 富士通株式会社 計測装置、コンピュータ数値制御装置及びプログラム
US8175412B2 (en) * 2004-02-17 2012-05-08 Yeda Research & Development Co. Ltd. Method and apparatus for matching portions of input images
US20060115145A1 (en) * 2004-11-30 2006-06-01 Microsoft Corporation Bayesian conditional random fields
US20060182339A1 (en) * 2005-02-17 2006-08-17 Connell Jonathan H Combining multiple cues in a visual object detection system
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
DE602005017376D1 (de) * 2005-06-27 2009-12-10 Honda Res Inst Europe Gmbh Räumliche Annäherung und Objekterkennung für humanoiden Roboter
TW200719281A (en) * 2005-07-28 2007-05-16 Thomson Licensing Method and device for generating a sequence of images of reduced size
US7848596B2 (en) * 2006-05-24 2010-12-07 Hewlett-Packard Development Company, L.P. Templated collage generation with occlusion costing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271262A (zh) * 2010-06-04 2011-12-07 三星电子株式会社 用于3d显示的基于多线索的视频处理方法
CN102271262B (zh) * 2010-06-04 2015-05-13 三星电子株式会社 用于3d显示的基于多线索的视频处理方法

Also Published As

Publication number Publication date
KR20090026206A (ko) 2009-03-11
DE112007001789T5 (de) 2009-08-20
JP4916548B2 (ja) 2012-04-11
DE112007001789B9 (de) 2012-06-14
KR100998428B1 (ko) 2010-12-03
US20080025639A1 (en) 2008-01-31
JP2009545813A (ja) 2009-12-24
BRPI0714106A2 (pt) 2013-01-01
DE112007001789B4 (de) 2012-03-08
CN101553845B (zh) 2013-01-02
GB2454397B (en) 2011-10-19
WO2008016532A3 (en) 2008-08-07
GB2454397A (en) 2009-05-06
GB0902261D0 (en) 2009-03-25
US7751627B2 (en) 2010-07-06
WO2008016532A2 (en) 2008-02-07

Similar Documents

Publication Publication Date Title
CN101553845B (zh) 评估图像以获得主线的方法和确定呈现内图像移动的方法
US10121099B2 (en) Information processing method and system
CN107251101B (zh) 针对使用具有参数的标记的增强现实的场景修改
CN102867169B (zh) 图像处理设备和显示控制方法
CN105934775B (zh) 用于构建锚定在真实世界物体上的虚拟图像的方法和系统
EP2903256B1 (en) Image processing device, image processing method and program
CN107077739A (zh) 使用单目相机的三维标记模型构建和实时跟踪
CN109840885B (zh) 图像融合方法及相关产品
Battikh et al. Camera calibration using court models for real-time augmenting soccer scenes
Drab et al. Motion Detection as Interaction Technique for Games & Applications on Mobile Devices.
CN113240678A (zh) 平面信息检测方法及系统
KR20220036016A (ko) 가상현실을 사용한 아트 갤러리 구현 솔루션
Yamasaki et al. Motion segmentation and retrieval for 3D video based on modified shape distribution
CN113486941B (zh) 直播图像的训练样本生成方法、模型训练方法及电子设备
CN109816628B (zh) 人脸评价方法及相关产品
CN111569421A (zh) 虚拟场景变化同步方法、系统、vr播放设备及存储介质
CN109785439B (zh) 人脸素描图像生成方法及相关产品
Pereira et al. Mirar: Mobile image recognition based augmented reality framework
Uchiyama et al. Ar gis on a physical map based on map image retrieval using llah tracking.
Gupta et al. Image feature detection using an improved implementation of maximally stable extremal regions for augmented reality applications
JP2020030609A (ja) 物件情報提示装置、物件情報提示方法及び物件情報提示プログラム
Rodrigues et al. AR contents superimposition on walls and persons
Liu et al. Designing real-time vision based augmented reality environments for 3D collaborative applications
CN116996742B (zh) 一种基于三维场景的视频融合方法及系统
CN117079169B (zh) 一种地图场景适配方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20190725