CN102124727B - 将视频图像适配到小屏幕尺寸的方法 - Google Patents

将视频图像适配到小屏幕尺寸的方法 Download PDF

Info

Publication number
CN102124727B
CN102124727B CN200880128199.9A CN200880128199A CN102124727B CN 102124727 B CN102124727 B CN 102124727B CN 200880128199 A CN200880128199 A CN 200880128199A CN 102124727 B CN102124727 B CN 102124727B
Authority
CN
China
Prior art keywords
video
metadata
roi
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880128199.9A
Other languages
English (en)
Other versions
CN102124727A (zh
Inventor
J·戴戈默勒
G·施脱尔
H·诺伊施米德
A·克里克鲍姆
J·B·D·S·卡多索
F·J·O·德卡瓦霍
R·S·德阿莱姆
B·于埃特
B·梅里亚尔多
R·特里谢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
School Of Information Systems Yoane Institute
Institut fuer Rundfunktechnik GmbH
PORTUGAL TELECOM INOVACAO SA
Original Assignee
School Of Information Systems Yoane Institute
Institut fuer Rundfunktechnik GmbH
PORTUGAL TELECOM INOVACAO SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by School Of Information Systems Yoane Institute, Institut fuer Rundfunktechnik GmbH, PORTUGAL TELECOM INOVACAO SA filed Critical School Of Information Systems Yoane Institute
Publication of CN102124727A publication Critical patent/CN102124727A/zh
Application granted granted Critical
Publication of CN102124727B publication Critical patent/CN102124727B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

为了通过获得用于手持设备的较小尺寸显示器的大范围内容覆盖来改进剪出系统，本发明提出一种方法，所述方法开始于元数据聚合和相应视频，例如在后期制作、节目交换和归档中，其中(a)使视频经过视频分析以传输视频，例如通过使用运动检测、形态学滤波、边缘检测等；(b)独立的视频和元数据被组合以提取上下文中的重要特征，其中来自元数据的重要信息被分类并用于初始化适于传输的视频内容的特征提取步骤的动态适应序列；(c)提取出的重要特征被组合以定义感兴趣区域(ROI)，该感兴趣区域通过目标跟踪在连续视频帧中进行搜索，所述目标跟踪在连续视频帧中识别每个初始化的ROI的新位置和变形并且将该信息返回到特征提取，从而获得所述特征提取和所述目标跟踪之间的持久通信；(d)一个或数个ROI被提取出来，并且一个视频帧接一个视频帧地输入到剪出步骤；(e)基于权重信息，通过以重要性归类所述提供的ROI，剪出构成良好的图像部分；以及(f)所述剪出图像区域被缩放到期望的小屏幕尺寸。

Description

将视频图像适配到小屏幕尺寸的方法
技术领域
本申请涉及的发明是一种将视频图像适配到小屏幕尺寸，尤其是适配到便携手持终端的小屏幕尺寸的方法。
背景技术
移动TV(移动电视)是一个正在成长且显然具有前景的市场。它允许在小便携式设备，例如手机、智能手机或者PDA(个人数字助理)上接收电视信号。这些小便携设备屏幕上的显示不提供例如如同所知的来自家庭固定电视机(当前的SDTV，标准清晰度电视)的详细图像。不管这样的观看条件的重要区别，在移动和固定电视系统的屏幕上主要显示相同的内容。然而，制作单独的用于移动电视的节目将导致人力资源的巨大开销，以及广播公司几乎不能支持的成本的增加。
为克服这种令人不适的情况，提出了一些建议以通过将部分视频剪出(crop)来将具有高图像分辨率的视频内容适配到更小的显示器。这些建议通过普通视频分析方法基于特征提取来处理感兴趣区域(ROI)的自动检测。视频信号中检测到的感兴趣区域用于找到足够的剪出(剪切)区域并且组成包含适于手特设备显示器的所有相关信息的新图像。
然而，这种已知剪出系统不足以处理更广范围的内容，因为其缺少语义知识和通用的定义方法。
发明内容
本发明的一个目的是通过获取用于手持设备的小尺寸显示器的更广范围内容的覆盖以改进剪出系统。
以上目的通过一种方法实现，该方法开始于元数据聚合和相应视频，例如在后期制作、节目交换和归档中，其中
(a)使视频经过视频分析以传输视频，例如通过使用运动检测、形态学滤波、边缘检测等，
(b)独立的视频和元数据被组合以提取上下文中的重要特征，其中来自元数据的重要信息被分类并用于初始化适于传输的视频内容的特征提取步骤的动态适应序列，
(c)提取出的重要特征被组合以定义感兴趣区域(ROI)，所述感兴趣区域通过目标跟踪在连续视频帧中进行搜索，所述目标跟踪在连续视频帧中识别每个初始化的ROI的新位置和变形并且将该信息返回到特征提取，从而获得所述特征提取和所述目标跟踪之间的持久通信，
(d)一个或数个ROI被提取出来，并且一个视频帧接一个视频帧地输入到剪出步骤，
(e)基于权重信息，通过以重要性归类所述提供的ROI，构成良好的图像部分被剪出，以及
(f)所述剪出图像区域被缩放到期望的小屏幕尺寸。
有利地，本发明借助于可用元数据以剪出重要图像区域并将它们适配到具有低分辨率的显示器上，来提供视频信号中的特征提取。
附图说明
现在将参考附图描述本发明的特定实施例，其中
图1示出了执行本发明方法的整个系统的示意框图；
图2到5示出了附图1中系统的各种框图；
附图6示出用来检测感兴趣区域(ROI)的初始化特征提取方法的例子；以及
图7是原始图像和剪出图像的比较。
具体实施方式
本发明的目的在于基于文件的制作格式(基于从磁带记录到非磁带记录的转移)，其允许将各种元数据用于后期制作、节目交换和归档。这些元数据包含在包括视频数据和元数据的容器格式中。这种元数据包括内容相关的信息，其描述了风格的类型以及关于制作过程细节的特定信息。使得生成的元数据在包括视频和元数据的容器格式中可用。该容器格式允许以同步方式的不同数据的多路传输，或者作为文件或流。元数据信息和已知特征提取方法的组合形成创造性的方法，其单独地可适于大范围的内容。
根据附图1的整个系统示出了包括三个块1、2和3的框图。视频和元数据被输入块1。元数据可以从一个或数个源聚合。在下一步中，数据集合被解析且重要信息通过有用的结构分类。结果数据发送到块2，部分发送到块3。视频内容经由“视频”输出线传输到块2。块2是执行镜头检测步骤和特征提取以及随后目标跟踪步骤的特征提取模块，如参考附图3详细描述的那样。块2执行的特征提取导致n个提取出的ROI，其被送入块3。块3是产生在手持设备的较小尺寸显示器上显示的剪出区域的剪出模块。这个模块可置于制作侧或终端设备中。
如附图2中详细示出，块1执行元数据的聚合和解析。视频被传输到视频分析(参见附图1)，同时元数据被解析(分析)且重要信息以有用的结构分类。元数据是使用简单文件结构，例如XML(扩展标记语言)的关于内容的描述。这里，其粗略地区分于描述性数据、技术数据和可选数据。描述性数据是关于内容的描述。该信息可以是静态或动态的。动态意味着随时间变化的数据同步于视频内容，例如视频中出现的人的描述。静态数据是对整个视频有效的描述，例如风格类型。另一方面，技术数据涉及基本的格式，且也可以是静态或动态的。它描述嵌入视频的格式。可选元数据不描述特定制作的技术或描述性元数据而是能够给出用于适配过程的必要信息，例如在何处执行剪出(在制作侧或终端设备)或最终视频的特性(分辨率帧率等)。所有三种元数据类型，也就是技术、描述性和可选数据被提供给特征提取模块(块2)。
模块2是特征提取模块，在附图3中详细示出。通过多路分解模块(块1)传输的视频和元数据在上下文中被组合以提取重要特征。由此，分类的元数据用于初始化适配到传输视频内容的特征提取的动态适应序列。这些可以是运动检测(如块匹配)，形态学滤波(如腐蚀)，边缘检测(如索贝尔算子)等。作为附加的特征提取，实现并使用视觉关注模型。该视觉关注系统模仿人的视觉系统。它检测显著的低等级特征(倒置特征)，如主要方向、颜色或强度并将它们以人眼过程相似的组合。
每个风格类型具有特征提取方法和不同参数的不同组合，其可由元数据或通过提取特征获得的其他信息动态地控制。这在块2中通过为风格类型分配特定特征提取方法的矩阵描述。接下来，检测出的特征依据重要性加权，例如通过它们的上下文位置或尺寸。相关和有关的特征然后被组合到ROI并传输到跟踪工具。跟踪工具识别连续帧中每个初始化的ROI的新位置和变形并将该信息返回到特征提取。由此，保证了特征提取和跟踪工具之间的持久通信。这可以用来抑制已经被跟踪的特征提取的区域。最后，提取出一个或数个ROI。每个特征的权重依赖于当前视频内容的上下文。它用于通过算法聚合和处理所有可用特征提取数据和元数据进行决定。该分配传输决定准则，什么应当称为完整的部分和它在新组合图像中应当如何排列。
为了更详细地解释块2执行的特征提取，附图5示出的处理障碍马术比赛场景的简短例子描述了不同特征提取方法的可能组合。如已经提到的，所用的方法通过可用元数据初始化并组合。最重要的元数据信息是呈现的哪个风格类型。这里，该信息用于应用特殊视频分析方法来检测马的位置。附图5粗略地解释了获取马和骑手位置和尺寸的可能过程。这里的基本先决条件是障碍马术比赛由静态前景(马)和移动背景产生。这产生了计算两个连续帧之间移动背景偏移(在附图2中以f0和f1描述)的方法。知道了偏移，它后面的帧能够被重定位并从前面的帧中减去。结果是背景匹配的暗区和像素不同于背景的亮区。在应用一些滤波器放大明暗之间差异之后，清楚地产生出马和骑手的粗略形状(附图5下部示出)。一旦检测到，期望保持该ROI只要在随后的帧中可见。由此，跟踪应用被初始化接收初始化检测的马并在连续帧中匹配它。随后帧中的更新跟踪位置从跟踪模块返回到特征提取模块(块2)。
块3和4(附图4和5)更详细地描述了剪出模块的细节。剪出模块主要具有剪出构成良好的图像部分的功能。由此，所有接收的ROI，通过重要性分类，用于帮助定位剪出区域的决定。除了简单地选择用于剪出的区域，还应当考虑是否变形的视频被呈现(16∶9纵横比水平地扭曲为4∶3)以及方形或非方形像素构成了图像。依赖于目标显示器的图像格式，应当考虑并适配这些可能性以避免图像失真。剪出处理在发送器侧(块3)或接收设备自身(块4)完成。两种可能使用相同的过程。唯一的不同是馈送关于终端设备要求的信息的方式。在发送侧，这通过可选元数据完成，其也为分发描述视频格式的要求。在终端设备，该信息通过设备自身是可用的。这具有优点：整个原始视频加上ROI信息是可用的因此适配可以独立地完成。相比在发送侧执行处理的选项，剪出区域被定义一次并提供给所有终端设备。
除上面提到的剪出参数外，不同显示器的观看条件应当被考虑。由此，基准定义了相比原始图像，剪出区域应当具有多大尺寸。这种基准可以通过两个显示分辨率的观看距离的比较来确定。这些考虑可能再次改变剪出区域的尺寸和形状并且再次被适配。在考虑所有关于内容和技术问题，产生合适剪出区域的决定后，图像应当被缩放到目标显示器的尺寸。
如上所示，用于障碍马术比赛的特征提取的例子(附图6)是特殊剪裁的方法并且对其他类型的内容，如足球可能无法正常工作。由此，示出的方法需要元数据为当前风格类型选择正确的提取方法。最后，期望适配如附图7所描述的视频内容。
提出的方法描述了通过元数据控制的工作流。由此，能够应用特殊剪裁特征提取和剪出方法以增加合成图像的视频分析和美学的可靠性。
上面解释的障碍马术比赛的视频分析和剪出的例子仅是为了详细阐述一个可能的工作流的目的。它们不是专利申请的一部分。此外，申请的范围不限于电视产品。本发明能够通用于需要视频剪出并且已知结构中的元数据可用的地方，例如，用于网络数据流或本地存储的视频。

Claims (8)

1.一种将视频图像适配到小屏幕尺寸的方法，所述方法开始于元数据聚合和相应的视频，其中
(a)通过使用运动检测、形态学滤波、边缘检测，使视频经过视频分析以传输视频和元数据，
(b)独立的视频和元数据被组合以提取上下文中的重要特征，其中来自元数据的呈现的风格类型被分类并用于初始化适于传输的视频内容的特征提取步骤的动态适应序列，
其中所述元数据被进一步区分为描述性数据和技术数据，
其中所述描述性数据是关于内容的描述，其能够是静态数据或动态数据，所述动态数据是随时间变化且同步于视频内容的数据，并且所述静态数据是对整个视频有效的描述；并且
所述技术数据涉及也能够是静态或动态的嵌入视频的格式，
其中每个风格类型具有特征提取方法和不同参数的不同组合，并且元数据为风格类型选择特征提取方法，
(c)提取出的重要特征被组合以定义感兴趣区域ROI，所述感兴趣区域通过目标跟踪在连续视频帧中进行搜索，所述目标跟踪在连续视频帧中识别每个初始化的ROI的新位置和变形并且将该新位置和变形返回到特征提取，从而获得所述特征提取和所述目标跟踪之间的持久通信，
其中重要特征是基于所选择的特征提取方法来提取的，
(d)一个或数个ROI被提取出来，并且被一个视频帧接一个视频帧地输入到剪出步骤，
(e)基于权重信息，通过以重要性归类所述ROI，剪出构成良好的图像部分，以及
(f)所剪出的图像区域被缩放到期望的小屏幕尺寸。
2.根据权利要求1所述的方法，其中所述元数据进一步被区分为可选数据。
3.根据权利要求1或2所述的方法，其中所述技术数据用于检测视频图像中的场景变化。
4.根据权利要求1到2之一所述的方法，其中所述特征提取和目标跟踪之间的所述持久通信用于抑制已经被跟踪的用于特征提取的区域。
5.根据权利要求1到2之一所述的方法，其中提取出的重要特征按重要性加权，其中相关和有关的特征被组合到加权的ROI。
6.根据权利要求1到2之一所述的方法，其中所述剪出步骤中对所述ROI的归类检查是否呈现变形的视频以及是由方形还是非方形像素构成图像，并且其中在将图像格式缩放到目标小屏幕尺寸中，检查的参数被考虑并适配以避免图像失真。
7.根据权利要求1到2之一所述的方法，其中所述剪出步骤中对所述ROI的归类检查对于不同显示器的观看条件，从而确定相比于原始图像剪出区域应当具有多大尺寸的基准，这种确定通过对于两个显示分辨率的观看距离的比较来作出。
8.根据权利要求1所述的方法，所述方法在后期制作、节目交换和归档中开始于元数据聚合和相应的视频。
CN200880128199.9A 2008-03-20 2008-03-20 将视频图像适配到小屏幕尺寸的方法 Expired - Fee Related CN102124727B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/002266 WO2009115101A1 (en) 2008-03-20 2008-03-20 A method of adapting video images to small screen sizes

Publications (2)

Publication Number Publication Date
CN102124727A CN102124727A (zh) 2011-07-13
CN102124727B true CN102124727B (zh) 2015-07-29

Family

ID=39493479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880128199.9A Expired - Fee Related CN102124727B (zh) 2008-03-20 2008-03-20 将视频图像适配到小屏幕尺寸的方法

Country Status (7)

Country Link
US (1) US8432492B2 (zh)
EP (1) EP2269371B1 (zh)
JP (1) JP2011514789A (zh)
KR (1) KR101464572B1 (zh)
CN (1) CN102124727B (zh)
PT (1) PT2269371T (zh)
WO (1) WO2009115101A1 (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682029B2 (en) * 2007-12-14 2014-03-25 Flashfoto, Inc. Rule-based segmentation for objects with frontal view in color images
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
US20100104004A1 (en) * 2008-10-24 2010-04-29 Smita Wadhwa Video encoding for mobile devices
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8872910B1 (en) 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
US10019634B2 (en) * 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
US11367164B1 (en) 2009-06-04 2022-06-21 Masoud Vaziri Method and apparatus for super resolution imaging and eye tracking devices
US11450113B1 (en) * 2009-06-04 2022-09-20 Masoud Vaziri Method and apparatus for a wearable computer
US9727790B1 (en) * 2010-06-04 2017-08-08 Masoud Vaziri Method and apparatus for a wearable computer with natural user interface
US10064552B1 (en) 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
US20110305397A1 (en) * 2010-03-08 2011-12-15 Robinson Piramuthu Systems and methods for retargeting an image utilizing a saliency map
JP2011223565A (ja) * 2010-03-26 2011-11-04 Panasonic Corp 撮像装置
US9311567B2 (en) 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
CN102118638A (zh) * 2011-04-02 2011-07-06 天脉聚源(北京)传媒科技有限公司 一种电视节目归档方法和系统
EP2549754A1 (en) 2011-07-19 2013-01-23 Thomson Licensing Method and apparatus for reframing and encoding an original video signal
US8811747B2 (en) 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108170A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
CN102682454B (zh) * 2012-04-28 2013-05-08 中国科学技术大学 一种视频中的感兴趣区域跟踪方法及装置
KR102091137B1 (ko) * 2012-07-17 2020-03-20 삼성전자주식회사 영상 제공 시스템 및 방법
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
TW201416054A (zh) * 2012-10-22 2014-05-01 Hon Hai Prec Ind Co Ltd 輔助裝置及利用該輔助裝置進行眼藥水投藥的方法
US9025051B2 (en) * 2013-02-28 2015-05-05 Nokia Technologies Oy Method and apparatus for automatically rendering dolly zoom effect
US9607235B2 (en) * 2013-03-14 2017-03-28 Facebook, Inc. Image cropping according to points of interest
WO2014155963A1 (ja) * 2013-03-26 2014-10-02 パナソニック株式会社 画像生成装置、撮影装置、画像生成方法及びプログラム
US20160057494A1 (en) * 2013-06-19 2016-02-25 Lg Electronics Inc. Signal transmitting and receiving device and method of controlling said device
US9508390B2 (en) * 2013-07-12 2016-11-29 Apple Inc. Trick play in digital video streaming
US9344626B2 (en) * 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9292756B2 (en) * 2013-12-10 2016-03-22 Dropbox, Inc. Systems and methods for automated image cropping
JP6224465B2 (ja) * 2014-01-17 2017-11-01 日本電信電話株式会社 映像配信システム、映像配信方法及び映像配信プログラム
JP2015142185A (ja) * 2014-01-27 2015-08-03 日本電信電話株式会社 視聴方法、視聴端末及び視聴プログラム
KR101809968B1 (ko) 2014-02-18 2017-12-18 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US10349093B2 (en) * 2014-03-10 2019-07-09 Cisco Technology, Inc. System and method for deriving timeline metadata for video content
US9652675B2 (en) 2014-07-23 2017-05-16 Microsoft Technology Licensing, Llc Identifying presentation styles of educational videos
US10380447B1 (en) * 2014-11-26 2019-08-13 Google Llc Providing regions of interest in an image
US10169535B2 (en) * 2015-01-16 2019-01-01 The University Of Maryland, Baltimore County Annotation of endoscopic video using gesture and voice commands
JP6222124B2 (ja) * 2015-01-22 2017-11-01 コニカミノルタ株式会社 画像処理システム、画像処理装置、端末装置及びプログラム
US10582125B1 (en) * 2015-06-01 2020-03-03 Amazon Technologies, Inc. Panoramic image generation from video
CN105072355A (zh) * 2015-07-23 2015-11-18 柳州永旺科技有限公司 一种动态图像的编码方法
CN105187734A (zh) * 2015-07-23 2015-12-23 柳州永旺科技有限公司 一种动态图像与静态图像的加载方法
KR20170042431A (ko) * 2015-10-08 2017-04-19 삼성전자주식회사 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치
US9972111B2 (en) 2016-02-24 2018-05-15 Adobe Systems Incorporated Optimizing image cropping
US11282165B2 (en) * 2016-02-26 2022-03-22 Netflix, Inc. Dynamically cropping digital content for display in any aspect ratio
CN109690471B (zh) * 2016-11-17 2022-05-31 谷歌有限责任公司 使用取向元数据的媒体渲染
CN108205398B (zh) * 2016-12-16 2021-06-11 腾讯科技（深圳）有限公司 网页动画适配屏幕的方法和装置
KR102459652B1 (ko) * 2018-03-08 2022-10-28 엘지전자 주식회사 표시장치와 그 영상 처리 방법
CN108650542B (zh) * 2018-05-09 2022-02-01 腾讯科技（深圳）有限公司 生成竖屏视频流、图像处理的方法、电子设备和视频系统
US11594028B2 (en) 2018-05-18 2023-02-28 Stats Llc Video processing for enabling sports highlights generation
US11462009B2 (en) 2018-06-01 2022-10-04 Apple Inc. Dynamic image analysis and cropping
CN110876079B (zh) * 2018-08-31 2022-05-06 阿里巴巴集团控股有限公司 视频处理方法、装置和设备
US10992902B2 (en) * 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
WO2020200481A1 (en) 2019-04-05 2020-10-08 Biontech Rna Pharmaceuticals Gmbh Treatment involving interleukin-2 (il2) and interferon (ifn)
CN110602475B (zh) * 2019-05-29 2021-06-01 珠海全志科技股份有限公司 提高图像质量的方法及装置、vr显示设备及控制方法
WO2021058091A1 (en) 2019-09-24 2021-04-01 Biontech Rna Pharmaceuticals Gmbh Treatment involving therapeutic antibody and interleukin-2 (il2)
CN110662001B (zh) * 2019-09-27 2021-11-16 深圳市海雀科技有限公司 一种视频投影显示方法、装置及存储介质
KR20210072504A (ko) 2019-12-09 2021-06-17 삼성전자주식회사 뉴럴 네트워크 시스템 및 이의 동작 방법
CN111147911A (zh) * 2019-12-27 2020-05-12 北京达佳互联信息技术有限公司 视频裁剪方法、装置、电子设备和存储介质
WO2021197589A1 (en) 2020-03-31 2021-10-07 BioNTech SE Treatment involving non-immunogenic rna for antigen vaccination
GB202005277D0 (en) * 2020-04-09 2020-05-27 Samsung Electronics Co Ltd Image Processing
CN112135188A (zh) * 2020-09-16 2020-12-25 咪咕文化科技有限公司 视频裁剪方法、电子设备及计算机可读存储介质
CN112492388B (zh) * 2020-11-30 2023-01-10 北京百度网讯科技有限公司 视频处理方法、装置、设备以及存储介质
CN112561840B (zh) * 2020-12-02 2024-05-28 北京有竹居网络技术有限公司 视频裁剪方法、装置、存储介质及电子设备
WO2023051926A1 (en) 2021-09-30 2023-04-06 BioNTech SE Treatment involving non-immunogenic rna for antigen vaccination and pd-1 axis binding antagonists
CN114584832B (zh) * 2022-03-16 2024-03-08 中信建投证券股份有限公司 视频自适应多尺寸动态播放方法及装置
CN115175006B (zh) * 2022-06-09 2023-07-07 中国科学院大学 基于层级模块化的视频描述方法及系统
US11800244B1 (en) 2022-08-13 2023-10-24 Mojtaba Vaziri Method and apparatus for an imaging device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717058A (zh) * 2004-06-29 2006-01-04 三洋电机株式会社 图像编码方法及装置、以及图像译码方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09161072A (ja) * 1995-12-13 1997-06-20 Tsushin Hoso Kiko 映像信号の構造情報を抽出する映像処理装置
US6483521B1 (en) * 1998-02-02 2002-11-19 Matsushita Electric Industrial Co., Ltd. Image composition method, image composition apparatus, and data recording media
US20050203927A1 (en) * 2000-07-24 2005-09-15 Vivcom, Inc. Fast metadata generation and delivery
JP3793142B2 (ja) * 2002-11-15 2006-07-05 株式会社東芝 動画像加工方法及び装置
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
FR2878641B1 (fr) * 2004-11-26 2007-07-06 Eastman Kodak Co Procede de navigation automatique contrainte vers des regions d'interet d'une image
US9329827B2 (en) * 2004-12-29 2016-05-03 Funmobility, Inc. Cropping of images for display on variably sized display devices
JPWO2006082979A1 (ja) * 2005-02-07 2008-06-26 松下電器産業株式会社 画像処理装置および画像処理方法
US8019175B2 (en) * 2005-03-09 2011-09-13 Qualcomm Incorporated Region-of-interest processing for video telephony
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
JP2007089086A (ja) * 2005-09-26 2007-04-05 Sony Ericsson Mobilecommunications Japan Inc 携帯情報端末及び画像管理プログラム
JP2008003968A (ja) * 2006-06-23 2008-01-10 Fuji Xerox Co Ltd 情報処理システム、情報処理方法及びプログラム
US8085855B2 (en) * 2008-09-24 2011-12-27 Broadcom Corporation Video quality adaptation based upon scenery

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717058A (zh) * 2004-06-29 2006-01-04 三洋电机株式会社 图像编码方法及装置、以及图像译码方法及装置

Also Published As

Publication number Publication date
EP2269371B1 (en) 2018-01-31
KR101464572B1 (ko) 2014-11-24
PT2269371T (pt) 2018-05-08
WO2009115101A1 (en) 2009-09-24
US8432492B2 (en) 2013-04-30
US20110096228A1 (en) 2011-04-28
KR20110018294A (ko) 2011-02-23
JP2011514789A (ja) 2011-05-06
CN102124727A (zh) 2011-07-13
EP2269371A1 (en) 2011-01-05

Similar Documents

Publication Publication Date Title
CN102124727B (zh) 将视频图像适配到小屏幕尺寸的方法
US9754183B2 (en) System and method for providing additional information using image matching
EP2149098B1 (en) Deriving video signatures that are insensitive to picture modification and frame-rate conversion
US9241102B2 (en) Video capture of multi-faceted documents
CN101202926B (zh) 具有噪声减小的自适应饱和度调整的系统、介质和方法
CN105518704A (zh) 检测和分类使用移动设备采集的视频中对象的系统和方法
US10115127B2 (en) Information processing system, information processing method, communications terminals and control method and control program thereof
US8953900B2 (en) Increased quality of image objects based on depth in scene
WO2017196670A1 (en) Bit depth remapping based on viewing parameters
CN103503455A (zh) 针对视频自适应和重定目标进行视频字幕重新覆盖的系统和方法
CN110008771B (zh) 一种扫码系统及扫码方法
JP6340675B1 (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム
JP2008141749A (ja) 画像表示装置、画像表示方法、プログラム、及び記録媒体
CN104767926A (zh) 自动对焦的方法及装置
CN102883170A (zh) 图像处理装置、图像处理方法及图像处理程序
CN110619362B (zh) 一种基于感知与像差的视频内容比对方法及装置
KR101525409B1 (ko) 이미지 인식모듈을 이용한 컨텐츠 증강방법
KR101260817B1 (ko) 강인한 인식/추적을 지원하기 위한 디지털 컨텐츠 영상의 피쳐포인트 보강 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR101453788B1 (ko) 대상물 인식을 이용한 스마트 ｔｖ 기반의 감성광고 방법
KR20130117378A (ko) 이미지 정보를 활용한 온라인 정보 제공 방법
JP2012119798A (ja) 画像生成方法、画像生成装置及びプログラム
JP5234086B2 (ja) 領域特定方法、領域特定装置、プログラム、サーバ及びシステム
CN117808914A (zh) 安检图像的生成方法、设备及存储介质
KR101506717B1 (ko) 대상물 인식 감성광고 기능을 구비한 스마트 ｔｖ
KR20140075655A (ko) 대상물 인식을 이용한 스마트 ｔｖ 기반의 감성광고 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150729

Termination date: 20190320