CN106254952B - 视频质量动态控制方法及装置 - Google Patents

视频质量动态控制方法及装置 Download PDF

Info

Publication number
CN106254952B
CN106254952B CN201610028707.2A CN201610028707A CN106254952B CN 106254952 B CN106254952 B CN 106254952B CN 201610028707 A CN201610028707 A CN 201610028707A CN 106254952 B CN106254952 B CN 106254952B
Authority
CN
China
Prior art keywords
eye position
user
definition video
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610028707.2A
Other languages
English (en)
Other versions
CN106254952A (zh
Inventor
M·R·伊耶
J·N·拉维依
V·加格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wipro Ltd
Original Assignee
Wipro Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wipro Ltd filed Critical Wipro Ltd
Publication of CN106254952A publication Critical patent/CN106254952A/zh
Application granted granted Critical
Publication of CN106254952B publication Critical patent/CN106254952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种视频质量动态控制方法及装置。所述方法包括：检测用户当前眼睛位置；根据所述用户当前眼睛位置识别所述显示装置的显示屏上的至少一个关注区域；根据所述用户当前眼睛位置或所述至少一个关注区域当中的至少一个预测下一眼睛位置；将标清视频转换为显示于所述显示屏上与所述当前眼睛位置及下一眼睛位置相关联的所述关注区域内的高清视频；以及将所述高清视频显示于所述显示屏的所述关注区域内。

Description

视频质量动态控制方法及装置
技术领域
本发明总体涉及显示装置，尤其但不仅涉及对与电子装置相关联的显示器上所显示的视频的质量进行动态控制的系统及方法。
背景技术
如今，高清(HD)视频在下载时需要消耗巨大的带宽，而且在重构时需要较高的计算能力，即120Hz下30秒的数据将产生大于20GB的未压缩大小。为了降低高清视频的复杂度，现已开发出了各种各样的方法或技术。
一般而言，由于视觉的分级聚焦效应，人类视觉系统的灵敏度只局限于凝视点周围的较小区域，而且沿凝视点向外快速降低。现有技术之一可增强视频预定区域的表观分辨率。在另一现有技术中，提供一种对象光流外展模型。此外，另一现有技术在视频压缩中采用分级聚焦视频编码方法。其中，固定点可自动生成。
高帧率视频可显著提升体验质量。由于人眼可整合所呈现的图像，因此在人眼移动时可为瞬态过渡图像分配较小权值。同理，在新位置上的最初数帧也被分配有较小的权值。
考虑用户具有可支持标清(SD)及高清的数字设备的情况。其中，所述设备例如为，但不限于，手机、平板电脑、个人数字助理及其他任何设备。然而，在此情况中，由于带宽问题，上述设备并不能支持或呈现高清质量视频。标清视频的传输可能需消耗1～2.5Mbps，而高清视频的传输则可能需消耗12～16Mbps，约为前者的10倍。
现有装置或解决方案在有限带宽下无法呈现高质量视频。这一问题可能涉及娱乐视频、教育、医疗影像、警察巡逻、市场研究、广告及社交网络的任何消费者，使得其在消费高质量视频内容的过程中经常感受到带宽问题的影响。
因此，需要一种能够以明显不足以支持高清的有限带宽提供高质量视频的装置。
发明内容
本发明公开一种对一个或多个网络装置的依从性进行管理的方法及装置。所述方法包括：接收所述一个或多个网络装置的一个或多个配置变更。然后，识别每个配置变更，为该配置变更生成影响值，并根据所述影响值为所述一个或多个网络装置生成建议值。
在本发明的一个方面，提供一种对与电子装置相关联的显示器所显示的视频质量进行动态控制的方法。所述方法包括：检测用户当前眼睛位置，并根据所述用户当前眼睛位置，识别所述显示装置的一显示屏上的至少一个关注区域。其后，所述方法包括：根据所述用户当前眼睛位置或所述至少一个关注区域中的至少一个预测下一眼睛位置。此外，所述方法还包括：将标清视频转换为显示于所述显示屏上与所述当前及下一眼睛位置相关联的所述关注区域内的高清视频，并将所述高清视频显示于所述显示屏的关注区域内。
在本发明的一种实施方式中，提供一种可动态控制视频质量的显示装置。所述显示装置包括处理器以及以可通信方式与该处理器相连的存储器。所述存储器存有处理器可执行指令，该指令在执行时使得所述处理器：检测用户当前眼睛位置；根据所述用户当前眼睛位置，识别所述显示装置的一显示屏上的至少一个关注区域；根据所述用户当前眼睛位置或所述至少一个关注区域中的至少一个预测下一眼睛位置；将标清视频转换为显示于所述显示屏上与所述当前眼睛位置及下一眼睛位置相关联的所述关注区域内的高清视频，并将所述高清视频显示于所述显示屏的关注区域内。
在本发明的另一方面，公开一种非暂时性计算机可读介质。所述非暂时性计算机可读介质包括存于所述非暂时性计算机可读介质内的指令，所述指令在由处理器执行时可使一系统实施操作，所述操作包括：检测用户当前眼睛位置；根据所述用户当前眼睛位置，识别所述显示装置的一显示屏上的至少一个关注区域；根据所述用户当前眼睛位置或所述至少一个关注区域中的至少一个预测下一眼睛位置；将标清视频转换为显示于所述显示屏上与所述当前眼睛位置及下一眼睛位置相关联的所述关注区域内的高清视频，并将所述高清视频显示于所述显示屏的关注区域内。
上述《发明内容》部分仅在于说明，并不意在施加任何限制。通过参考附图和以下《具体实施方式》部分，除了以上所述说明性方面、实施方式及特征之外，其他方面、实施方式和特征也将变得显而易见。
附图说明
所附各图并入本发明之内并构成本发明的一部分，用于对例示实施方式进行描述，并与说明书一道阐明所公开的原理。各图中，附图标记最左边的位值表明该附图标记第一次出现时所在的图号，而且使用相同附图标记指代类似构件或部件。以下，对根据本技术方案实施方式的装置或系统和/或方法的一些实施方式进行描述，该描述仅以例示为目的且参考上述附图，其中：
图1所示为根据本发明一些实施方式的对与电子装置相关联的显示器所显示的视频的质量进行动态控制的例示显示装置的框图；
图2A为根据本发明一些实施方式的转换模块的例示框图；
图2B所示为根据本发明一些实施方式的对显示装置显示的视频的质量进行动态控制的实施例；
图3为根据本发明一些实施方式对与电子装置相关联的显示器所显示的视频的质量进行动态控制的方法的流程图；
图4为用于实施本发明实施方式的例示计算机系统的框图。
附图标记：
Figure GDA0001207887670000031
Figure GDA0001207887670000041
Figure GDA0001207887670000051
具体实施方式
本文中，“例示”一词用于表示“作为示例、实例或例证”。此处，描述为“例示”的本技术方案任何实施方式或实现方式并不一定理解为比其他实施方式优选或有利的实施方式。
虽然本发明可做出各种修饰和替代形式，但附图中已以例示方式对其具体实施方式进行了展示，并将在以下进行详细描述。然而，应该理解的是，本发明并不旨在局限于所公开的具体形式，相反，本发明意在涵盖落入其精神和范围内的所有修改、等同及替代方案。
“包括”一词或其任何其他变形词旨在涵盖非排除性的纳入关系。如此，对于包括一系列部件或步骤的体系、装置或方法而言，其并不只包括所述部件或步骤，而是可能包括其他未明确列出的部件或步骤，或者包括该体系、装置或方法固有的部件或步骤。换言之，在“包括……一”这一表述之后描述的系统或装置中的一个或多个元件，在没有其他限制的情况下，并不妨碍其他或额外元件在该系统或装置中的存在。
本发明的实施方式涉及对显示于与电子装置相连的显示器上的视频的质量进行动态控制的方法及显示装置。所述装置检测用户当前眼睛位置并识别所述显示装置的显示屏上的至少一个关注区域。此外，所述显示装置预测该眼睛的下一个位置，将显示于所述显示屏上与所述当前及下一眼睛位置相关联的关注区域的标清视频转换成高清视频，并将所述高清视频显示于所述显示屏的关注区域内。
以下参考附图，对本发明实施方式进行详细描述。其中，所述附图作为本文的一部分，以例示方式示出了可实施本发明的具体实施方式。这些实施方式的描述详细程度足以让本领域技术人员可对本发明进行实施，而且可以理解的是，在不脱离本发明范围的前提下，还可使用其他实施方式，以及做出各种改变。因此，以下描述不应视为具有限制意义。
图1为根据本发明一些实施方式的对显示于显示屏上的视频的质量进行动态控制的例示显示装置100的框图。在本发明的一种实施方式中，显示装置100通过运动传感器对用户眼睛的位置进行监控。本领域技术人员可以理解的是，任何其他传感器也可用于本发明的方法中。
显示装置100可包括至少一个中央处理单元(“CPU”或“处理器”)104及存储器108，该存储器存储可由至少一个处理器104执行的指令。处理器104可包括至少一个用于执行程序组件的数据处理器，所述程序组件用于执行用户或系统生成的请求。所述用户可包括使用例如本发明范围内的设备的个人或此类设备本身。存储器108以通信方式连接于处理器104。在一种实施方式中，存储器108存有一个或多个与所述用户相关联的眼睛位置数据。显示装置100还包括I/O接口106。I/O接口106连接于处理器104并用于接收输入。
在一种实施方式中，一个或多个数据110可存储于存储器108中。所述一个或多个数据110例如可包括标清视频数据114、当前眼睛位置数据116、关注区域(ROI)数据118、下一眼睛位置数据120、高清视频数据122以及其他数据124。
标清视频数据114显示于所述显示装置的显示屏上。标清视频数据114接收自视频源。在一种实施方式中，所述视频源为标清视频源。所述视频数据包括多个标清图像(又称标清帧)。
当前眼睛位置数据116与用户的眼睛运动相关联，所述当前眼睛位置也称停留位置。所述当前眼睛位置由光学眼睛跟踪技术进行检测，该技术例如，但不限于，视频眼动图、模式映射及基于凝视的接口。
关注区域数据118与所述用户通过眼睛运动在显示屏进行关注的动作相关联。所述关注区域根据所述用户在显示装置的显示屏上所关注的当前眼睛位置获得。在一种实施方式中，通过二元空间分割技术获取用户在所述显示屏空间上的视线方向矢量，从而获得所述关注区域。
下一眼睛位置数据120与对所述用户在显示屏上所关注的下一眼睛位置的预测相关联。所述用户的下一眼睛位置又称下一停留位置。
高清视频数据122为所述关注区域内具有更高质量的转换图像相关联的数据。所述标清视频转换成所述高清视频并显示于所述显示装置的显示屏上。
在一种实施方式中，存储器108中的数据110由处理器104的模块112处理。模块112可存储于存储器108内。此外，所述模块112还可在任何合适的硬件、软件、固件或其组合内实施。
在一种实施方式中，所述模块112可例如包括运动检测模块126、预测模块128、转换模块130以及显示模块132。显示装置100还可包括用于执行装置100的各种其它功能的其他模块134。可以理解的是，所述模块112既可以为单个模块，也可以为不同模块的组合。
在一种实施方式中，显示装置100的运动检测模块126(也称运动检测器)对所述用户的眼睛运动进行检测。在一种例示实施方式中，在用户观看显示装置100的显示屏上显示的视频或图像时，运动检测器126对所述眼睛运动进行检测。所检测的眼睛运动被记录为当前眼睛位置，也称眼睛的当前停留位置。
运动检测模块126可采用光学眼睛跟踪技术检测所述当前眼睛位置，该技术例如，但不限于，视频眼动图、模式映射及基于凝视的接口。在通过视频眼动图对当前眼睛位置进行检测的一种实施方式中，由视频相机和光学传感器当中的至少一个感测从眼睛反射的红外光，然后通过信息或数据分析从红外光反射的变化当中提取眼睛转动信息。该信息即为当前眼睛位置数据。
在采用模式映射的一种实施方式中，通过视频或连续拍摄的方式对眼睛运动进行记录。其中，通过将巩膜(即眼睛的白色区域)、虹膜以及眼睛的黑色区域的大小及形状的变化馈送至模式映射算法，获得所述眼睛转动信息及三维(3D)视线矢量。在一种实施方式中，采用基于凝视的接口识别所述当前眼睛位置，所述接口用于对人眼凝视行为进行分析，以揭示人类的沟通及认知特性。
所述关注区域根据所述用户在显示装置的显示屏上所关注的当前眼睛位置获得。所述显示屏的其他区域为非关注区域。在一种实施方式中，运动检测模块126通过二元空间分割技术获取用户在所述显示屏空间上的视线方向矢量，从而获得所述关注区域。
运动预测模块128对用户在显示屏上所关注的下一眼睛位置进行预测。所述用户的下一眼睛位置又称下一停留位置。运动预测模块128根据所述用户的当前眼睛位置或所述关注区域当中的至少一个对眼睛的下一位置(也称眼睛的下一停留位置)进行预测。所述眼睛的下一停留位置可通过基于至少一个输入的人工神经网络进行预测，所述输入例如为，但不限于，所述显示屏上的当前坐标、邻近像素或对象内的运动角度或运动矢量、场景变化或帧及色彩的变化。
在一种实施方式中，运动预测模块128根据用户配置数据对所述下一眼睛位置进行预测。运动预测模块128配置有多个用户配置数据。对于某一特定用户，所述显示装置对其眼睛相对于所述显示屏上显示的对象或场景的运动进行一预定时间的跟踪。例如，用户眼睛可在含有杀人及喊叫的战争场景内停留。运动预测模块128的预测主要是基于眼睛相对于所显示的运动对象的运动，该眼睛与运动对象间的相对运动对视频质量起重要作用。针对显示屏上的运动对象，不同的用户具有不同的眼睛运动及眼动速率。运动预测模块128设置为获悉每个用户在瞬态过渡(如场景切换)时的眼动速率，并根据运动检测模块126所检测到的眼睛运动预测下一眼睛位置及时间分辨率(即过渡时所需的高清帧数)。在所述过渡期间，根据所述下一眼睛位置以及关注区域处所需的高清帧数实现更高帧速的图像显示。
在一种实施方式中，由于人眼可能并不聚焦于显示器上的一个点，而是聚焦于显示器上的一个小区域，因此运动预测模块128设有用于克服人眼像差的阈值。在将眼睛焦点移动变换至下一个点之前，运动预测模块128在多个帧(可以为四帧或五帧)内实施至少3个像素的一致性变换。运动预测模块128通过关注区域的运动矢量计算所述眼睛焦点位置或凝视位置。
此外，运动预测模块128用于通过至少一种可用资源来预测图像(或称视频帧)的哪一部分将在下一帧内以高清形式进行编码，所述可用资源例如为，但不限于，带宽和处理能力。在一种例示实施方式中，可在直播视频聊天情形中的网络层面，为落入所述关注区域内的视频数据包分配比所述场景的其他部分内的其他数据包更高的优先度。
转换模块130将所述标清视频的每一图像转换为高清图像，即所述显示屏上关注区域处的高清图像。图2A所示为转换模块130的子模块。转换模块130的所述子模块包括解码器模块202、增强模块204和处理模块206。
解码器模块202包括用于提供较低分辨率的标清解码器。在一种实施方式中，解码器模块202支持每秒24帧(fps)及30fps中的至少一种帧速。在一种实施方式中，解码器模块202设有用于提取标清视频中对象或帧的索贝尔(Sobel)滤波器及Frangi滤波器中的一种。在将与所述标清视频对应的帧提取后，即实施标清视频至高清视频的转换。所述标清视频至高清视频的转换主要包括采用多个参考帧对图像实施升采样(称为超分辨率技术)。
所述标清视频至高清视频的转换包括通过空间升采样进行像素插值，以及对关注区域的运动矢量进行估算，以实现对下一预测位置的估算。根据所述下一预测位置，在该方向上(从当前眼睛位置到下一预测位置的方向)为图像分配权重，并按时间插入帧，以实质提高帧速。其后，所述关注区域以及所述下一个图像或帧中的关注区域以具有时间插值的更高帧速呈现，以促进更为平滑的过渡，从而使得在标清视频背景中仅所述关注区域以高帧速呈现。其中，与关注区域的帧速相比，所述非关注区域可以以低帧速呈现。由此可见，解码器模块202在所述关注区域提供具有高清晰度的图像，从而将标清视频转换成高清视频。
增强模块204从解码器模块202接收与所述已转换高清视频相关的多幅图像。此外，增强模块204还对所述已转换高清视频中的多幅图像中的每一幅实施滤波操作，从而去除所述多幅图像的噪声并提高其图像质量。所述滤波过程可由(但不限于)维纳(Weiner)滤波器及高斯(Gaussian)滤波器等滤波器当中的至少一个执行。
处理模块206接收与所述已转换高清视频相关的多个增强图像，并对该增强图像实施后处理以在所述关注区域处呈现高分辨率内容。由于所述非关注区域具有比所述关注区域更低的分辨率或质量，因此便可实现将用户关注的内容以高质量(低量化步长)呈现。此外，由于显示屏的剩余部分的分辨率较低，因此提高所显示视频质量所需的总比特率较低。
再次参照图1，显示装置100包括显示模块132，该显示模块用于显示所述用户关注的关注区域处的高分辨率视频内容。此方面示于图2B，该图所示为对显示装置上显示的视频的质量进行动态控制的一个实施例。如图2B所示，图像210为标清帧或图像，图像212为高清图像或帧，图像或帧216显示于所述显示装置的显示屏上。其中，图像或帧216包括关注区域214处的高清内容，所述关注区域即为用户在所述显示屏上的关注位置。
图3为根据本发明一些实施方式对与电子装置相关联的显示器所显示的视频的质量进行动态控制的方法的流程图。
如图3所示，方法300包括一个或多个框体，所述框体用于通过对在与电子装置相关联的显示器上所显示的视频的质量进行动态控制而显示视频。方法300可在计算机可执行指令的一般语境中描述。一般而言，计算机可执行指令可包括用于执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、过程、模块和功能。
方法300的描述顺序并不旨在于理解为限制，而且为了实施所述方法，可对任何数量的所述方法的框体以任何顺序组合。另外，在不脱离本申请所述技术方案的精神和范围的前提下，可将各框体从所述方法中删除。此外，所述方法可在任何合适的硬件、软件、固件或其组合中实现。
在框体310中，对用户当前眼睛位置进行检测。在一种实施方式中，显示装置100的运动检测模块126对所述用户的眼睛运动进行检测。举例而言，当用户观看显示装置100的显示屏或监视器上的视频或图像时，运动检测器126即对所述眼睛运动进行检测，然后该眼睛运动即被记录为当前眼睛位置，又称为眼睛当前停留位置。
在框体320中，对所述显示装置的显示屏上的至少一个关注区域进行识别。在一种实施方式中，根据所述用户的眼睛运动并使用二元空间分割技术，对显示器上的所述关注区域进行识别。
在框体330中，根据所述用户的当前眼睛位置或所述至少一个关注区域当中的至少一个对下一眼睛位置(也称下一眼睛停留位置)进行预测。所述眼睛的下一停留位置可通过基于至少一个输入的人工神经网络进行预测，所述输入例如为，但不限于，所述显示屏上的当前坐标、邻近像素或对象内的运动角度或运动矢量、场景变化或帧及色彩的变化。在一种实施方式中，根据所述用户的个人情况对所述下一眼睛位置进行预测。其中，针对所述用户，所述显示装置系统对眼睛运动，尤其是相对于所述显示屏上显示的对象或场景的眼睛运动进行预定时间的观测。例如，用户眼睛可在含有杀人及喊叫的战争场景内停留。所述眼睛关于所显示运动对象的相对运动对所述视频质量起重要作用。根据显示屏上的运动对象，不同用户的眼睛运动及眼动速率均是不同的。因此，所述显示装置设置为获悉每个用户在瞬态过渡时的眼动速率，并在框体330中的预测步骤中对其进行考量。
在框体340中，将所述标清视频转换成显示于所述显示屏上与所述当前及下一眼睛位置相关联的关注区域内的高清视频。在一种实施方式中，解码器模块202设有用于提取标清视频中的对象或帧的索贝尔(Sobel)滤波器或Frangi滤波器。在将与所述标清视频对应的帧提取后，即实施标清视频至高清视频的转换。所述标清视频至高清视频的转换主要包括采用多个参考帧对图像实施升采样(称为超分辨率技术)。所述转换包括通过空间升采样进行像素插值，以及对关注区域的运动矢量进行估算，以实现对下一预测位置的估算。根据所述下一预测位置，在该方向上为图像分配权重，并按时间插入帧，以实质提高帧速。其后，所述关注区域以及所述下一个图像或帧中的关注区域以具有时间插值的更高帧速呈现，以促进更为平滑的过渡，从而使得在标清视频背景中仅所述关注区域以高帧速呈现。
之后，通过滤波处理去除噪声，从而提高所述关注区域的图像质量。所述滤波过程可由例如(但不限于)维纳(Weiner)滤波器及高斯(Gaussian)滤波器等滤波器当中的至少一个执行。其后，对该增强图像实施后处理，以在所述关注区域处呈现高分辨率内容。其中，所述非关注区域具有比所述关注区域更低的分辨率或质量。
在框体350中，对与所述显示屏所显示视频相关的图像进行显示，其中，关注区域内的图像质量较高，为高清，而非关注区域内的图像质量为标清。
由上可知，所述方法及装置可实现对与电子装置相关联的显示器所显示的视频的质量进行动态控制。
计算机系统
图4为用于实施根据本发明的实施方式的例示计算机系统的框图。计算机系统400的各种变形可用于实现媒体网关，媒体网关控制器，软交换机配置系统以及计费系统。计算机系统400可包括中央处理单元(“CPU”或“处理器”)402。处理器402可包括至少一个用于执行程序组件以促进与因特网409的网络连接性的数据处理器。处理器402可包括专用处理单元，例如集成系统(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等。处理器402可包括至少一个用于执行程序组件的数据处理器，所述程序组件用于执行用户或系统生成的请求。所述用户可包括使用例如本发明范围内的设备的个人、或此类设备本身。所述处理器可包括专用处理单元，例如集成系统(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等。所述处理器可包括微处理器，例如AMD速龙(Athlon)、毒龙(Duron)或皓龙(Opteron)，ARM应用处理器，嵌入式或安全处理器，IBM PowerPC，Intel Core、安腾(Itanium)、至强(Xeon)、赛扬(Celeron)或其他处理器产品线等。处理器402可通过主机、分布式处理器、多核、并行、网格或其他架构实现。一些实施方式可使用嵌入式技术，例如专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等。
处理器402可设置为通过I/O接口401与一个或多个输入/输出(I/O)设备进行通信。I/O接口401可采用通信协议/方法，例如但不限于，音频、模拟、数字、单声道、RCA、立体声、IEEE-1394、串行总线、通用串行总线(USB)、红外、PS/2、BNC、同轴、组件、复合、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、射频天线、S-视频，VGA、IEEE 802.n/b/g/n/x、蓝牙、蜂窝(例如码分多址(CDMA)、高速分组接入(HSPA+)、移动通信全球系统(GSM)、长期演进(LTE)、WiMax等)等。
通过使用I/O接口401，计算机系统400可与一个或多个I/O设备进行通信。举例而言，输入设备412可以为天线、键盘、鼠标、操纵杆、(红外)遥控器、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、传感器(例如加速度计、光传感器、GPS、陀螺仪、接近传感器等)、触控笔、扫描仪、存储设备、收发器、视频设备/视频源、头戴式显示器等。输出设备413可以为打印机、传真机、视频显示器(例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、等离子等)、音频扬声器等。在一些实施方式中，收发器可与处理器402连接。所述收发器可便于实施各类无线传输或接收。例如，所述收发器可包括以可操作方式连接至收发器芯片(例如德州仪器(Texas Instruments)WiLink WL1283、博通(Broadcom)BCM4750IUB8、英飞凌科技(Infineon Technologies)X-Gold 618-PMB9800等)的天线，以实现IEEE 802.11a/b/g/n、蓝牙、频率调制(FM)、全球定位系统(GPS)、2G/3GHSDPA/HSUPA通信等。
在一些实施方式中，处理器402可设置为通过网络接口403与通信网络409进行通信。网络接口403可与通信网络409通信。所述网络接口可采用连接协议，包括但不限于，直接连接、以太网(例如双绞线10/100/1000BaseT)、传输控制协议/网际协议(TCP/IP)、令牌环、IEEE 802.11a/b/g/n/x等。通信网络409可包括，但不限于，直接互连、局域网(LAN)、广域网(WAN)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口403和通信网络409，计算机系统400可与用户眼睛运动410、视频源411通信。这些设备可包括，但不限于，个人计算机、服务器、传真机、打印机、扫描仪以及各种移动设备，例如手机、智能手机(例如苹果手机(AppleiPhone)、黑莓手机(Blackberry)、基于安卓(Android)系统的手机等)、平板电脑、电子书阅读器(亚马逊(Amazon)Kindle，Nook等)、膝上型计算机、笔记本电脑、游戏机(微软(Microsoft)Xbox、任天堂(Nintendo)DS，索尼(Sony)PlayStation等)等。在一些实施方式中，计算机系统400本身可包含一个或多个上述设备。
在一些实施方式中，处理器402可设置为通过存储接口404与一个或多个存储设备405(例如RAM、ROM等)进行通信。所述存储接口可采用串行高级技术连接(SATA)、集成驱动电子设备(IDE)、IEEE 1394、通用串行总线(USB)、光纤通道、小型计算机系统接口(SCSI)等连接协议连接至存储设备，该存储设备包括，但不限于，存储驱动器、可拆卸磁盘驱动器等。所述存储驱动器还可包括磁鼓、磁盘驱动器、磁光驱动器、光盘驱动器、独立磁盘冗余阵列(RAID)、固态存储设备、固态驱动器等。存储设备的各种变形可用于实现例如LEMF，服务提供方，媒体网关控制器，以及媒体网关。
所述存储设备可存储一系列程序或数据库组件，包括但不限于，操作系统407、用户界面406、网页浏览器408、邮件服务器、邮件客户端、用户/应用程序数据(例如本发明中所讨论的任何数据变量或数据记录)等。操作系统407可便于资源管理和计算机系统400的运行。操作系统的实施例包括，但不限于，苹果Macintosh OS X、Unix、类Unix系统套件(例如伯克利软件套件(BSD)、FreeBSD、NetBSD、OpenBSD等)、Linux套件(如红帽(Red Hat)、Ubuntu、Kubuntu等)、IBM OS/2、微软Windows(XP，Vista/7/8等)、苹果iOS、谷歌(Google)安卓、黑莓操作系统等。用户界面406可便于程序组件通过文本或图形工具进行显示、执行、互动、操控或操作。例如，用户界面可在以可操作方式连接至计算机系统400的显示系统上提供计算机交互界面元件，如光标、图标、复选框、菜单、滚动条、窗口、窗口部件等。可采用图形用户界面(GUI)，包括但不限于，苹果Macintosh操作系统的Aqua、IBM OS/2、微软Windows(例如Aero、Metro等)、Unix X-Windows、网页界面库(例如ActiveX、Java、Javascript、AJAX、HTML、Adobe Flash等)等。
在一些实施方式中，计算机系统400可执行网页浏览器存储的程序组件。所述网页浏览器可以为超文本浏览应用程序，如微软网络探路者(Internet Explorer)、谷歌浏览器(Chrome)、谋智火狐(MozillaFirefox)、苹果浏览器(Safari)等。可使用HTTPS(安全超文本传输协议)、安全套接字层(SSL)、安全传输层(TLS)等实现安全网页浏览。网页浏览器可使用AJAX、DHTML、Adobe Flash、JavaScript、Java、应用程序编程接口(API)等工具。在一些实施方式中，计算机系统400可执行邮件服务器存储的程序组件。所述邮件服务器可以为微软Exchange等因特网邮件服务器。所述邮件服务器可使用ASP、ActiveX、ANSI C++/C#、微软.NET、CGI脚本、Java、JavaScript、PERL、PHP、Python、WebObjects等工具。所述邮件服务器还可使用因特网信息访问协议(IMAP)、邮件应用程序编程接口(MAPI)、微软Exchange、邮局协议(POP)、简单邮件传输协议(SMTP)等通信协议。在一些实施方式中，计算机系统400可执行邮件客户端存储的程序组件。所述邮件客户端可为苹果Mail、微软Entourage、微软Outlook、谋智Thunderbird等邮件查看程序。
此外，一个或多个计算机可读存储介质可用于实施本发明的实施方式。计算机可读存储介质是指可对处理器可读取的信息或数据进行存储的任何类型的物理存储器。因此，计算机可读存储介质可对由一个或多个处理器执行的指令进行存储，包括用于使处理器执行与本申请实施方式相符的步骤或阶段的指令。上述用语“计算机可读介质”应理解为包括有形物件且不包括载波及瞬态信号，即为非暂时性介质，例如随机存取存储器(RAM)、只读存储器(ROM)、易失性存储器、非易失性存储器、硬盘驱动器、只读光盘存储器(CD-ROM)、DVD、闪存驱动器、磁盘以及其他任何已知物理存储介质。
以下所述为本发明实施方式的优点。
在一种实施方式中，本发明提供一种可以高稳健性及适应性呈现的高质量视频内容。
在本发明的一种实施方式中，本发明需要较小的带宽。
在一种实施方式中，本发明提供更高的高质量视频消费用户满意度。
在一种实施方式中，本发明始终提供确保于用户所观看对象上的高质量视频。
在一种实施方式中，本发明提供以逐帧方式基于关注区域、关注区域内的高清视频以及剩余区域(非关注区域)内的标清视频且可由压缩算法处理的新视频格式。所述压缩算法例如为，但不限于，MPEG。
以上所述操作可通过用于产生软件、固件、硬件或其任意组合的标准编程和/或工程技术实施为方法、系统或物件。此外，以上所述操作还可实施为保持于“计算机可读存储介质”中的代码，其中，处理器可从该计算机可读介质中读取所述代码并执行。所述处理器为可处理及执行所述查询的微处理器及处理器中的至少一个。计算机可读存储介质可包括磁存储介质(如硬盘驱动器、软盘、磁带等)，光存储装置(CD-ROM、DVD、光盘等)，易失性及非易失性存储器件(如EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、固件、可编程逻辑等)等介质。此外，非暂时性计算机可读介质包括除暂时性计算机可读介质之外的所有计算机可读介质。可实施上述操作的所述代码还可在硬件逻辑(如集成电路芯片、可编程门阵列(PGA)、专用集成电路(ASIC)等)中实施。
除此之外，可实施上述操作的所述代码可在“传输信号”中实施，其中，所述传输信号可在空间或光纤、铜线等传输介质中传播。其内编码了所述代码或逻辑的所述传输信号可进一步包括无线信号、卫星传输、无线电波、红外信号或蓝牙等。此外，其内编码了所述代码或逻辑的所述传输信号可由发送站发送，并可由接收站接收。其中，编码于所述传输信号内的所述代码或逻辑可在所述接收及传输站点或设备处解码并保存于硬件或非暂时性计算机可读介质中。“制造物”包括非暂时性计算机可读介质、硬件逻辑和/或其内可实现代码的传输信号。其内编码有可实施上述操作的实施方式的所述代码的装置可包括计算机可读介质或硬件逻辑。当然，本领域的技术人员可认识到的是，在不脱离本发明范围的前提下，可对上述配置做出多种修饰，而且所述制造物可包括本领域已知的合适信息承载介质。
除非另有明确说明，“一实施方式”、“实施方式”、“多种实施方式)”、“所述实施方式”、“所述多种实施方式”、“一种或多种实施方式”、“一些实施方式”以及“一种实施方式”各词均表示“本发明的一种或多种(而非全部)实施方式”的意思。
除非另有明确说明，“包括”、“包括”以及“具有”各词及其变形词均表示“包括，但不限于”的意思。
除非另有明确说明，项目的列举清单并不意味着其中的任何或所有项目具有相互排他关系。
除非另有明确说明，“一”、“一个”和“所述”各词均表示“一个或多个”的意思。
对具有相互间有联系的若干部件的实施方式的描述并不意味着所有这些部件均为必需部件。与此相反，为了展现本发明具有多种多样的实施方式，还对多种可选组件进行了描述。
本文中，一旦有对单个设备或物件的描述，即可明白的是，可使用多于一个的所述设备/物件(无论其之间是否均有协作关系)代替所述单个设备/物件。类似地，一旦在本文中有对多于一个的设备或物件(无论其之间是否均有协作关系)的描述，即可明白的是，可使用单个设备/物件代替所述多于一个的设备或物件，或使用不同数量的设备/物件代替所示数量的设备或程序。此外，某个设备的功能和/或特征可由一个或多个未明确描述为具有此类功能/特征的其他设备代为实现。因此，本发明的其它实施方式无需包括该设备本身。
图3所示操作展示了以某一顺序发生的特定事件。在替代实施方式中，可按照不同顺序执行某些操作，或者修改或去除某些操作。此外，可在上述逻辑中加入数个步骤的同时，仍使其符合所述实施方式。此外，本文所述的操作既可按顺序逐次发生，也可将当中的某些操作并行处理。再者，操作既可由单个处理单元执行，也可由分布式处理单元执行。
最后，本说明书所选的行文方式主要在于可读性和教示目的，且可能并不在于细述或限制本发明技术方案。因此，本发明范围并不意在由此《具体实施方式》限制，而是由基于此部分所做申请的任何权利要求。相应地，本发明实施方式的发明意在于说明而非限制本发明范围，而且本发明范围如下附权利要求所述。
虽然本文公开了各个方面及各种实施方式，但是对于本领域技术人员而言，其他方面及实施方式为显而易见的。本文所公开的各个方面及各种实施方式出于说明而非限制目的，本发明的真正范围及精神如下附权利要求所述。

Claims (17)

1.一种用于对与电子装置相关联的显示器所显示的视频的质量进行动态控制的方法，其特征在于，包括：
由一显示装置检测用户当前眼睛位置；
由所述显示装置根据所述用户当前眼睛位置识别所述显示装置的一显示屏上的至少一个关注区域；
由所述显示装置根据所述用户当前眼睛位置或所述至少一个关注区域中的至少一个以及根据基于所述用户的眼睛相对于所显示的运动对象的运动获悉的所述用户在瞬态过渡时的眼动速率预测下一眼睛位置；
由所述显示装置将标清视频转换为显示于所述显示屏上与所述当前眼睛位置及下一眼睛位置相关联的所述关注区域内的高清视频；以及
由所述显示装置将所述高清视频显示于所述显示屏的所述关注区域内。
2.如权利要求1所述方法，其特征在于，由至少一个运动检测器通过使用光学眼睛追踪、模式映射及基于凝视的接口技术中的一种检测所述用户当前眼睛位置。
3.如权利要求1所述方法，其特征在于，通过二元空间分割方法识别所述显示屏上的所述至少一个关注区域。
4.如权利要求1所述方法，其特征在于，还包括：在所述显示屏的非关注区域内显示所述标清视频。
5.如权利要求1所述方法，其特征在于，预测下一眼睛位置包括：
接收与所述显示屏上所显示的所述标清视频相关联的一个或多个参数以及至少一个用户配置信息当中的至少一个；
根据所述一个或多个参数和所述至少一个用户配置信息当中的至少一个及至少一个资源对所述下一眼睛位置进行预测；以及使用人工神经网络预测下一眼睛位置并根据所预测的下一眼睛位置，获取所述标清视频的一个或多个帧，
其中，所述至少一个资源选自带宽和处理能力。
6.如权利要求5所述方法，其特征在于，所述一个或多个参数为所述显示屏上当前坐标、相邻像素或对象中的多个运动矢量、所述标清视频的帧的帧色及色彩变化。
7.如权利要求1所述方法，其特征在于，将标清视频转换为高清视频包括：
由所述显示装置对所述关注区域内的多个帧以及与所述下一眼睛位置相关联的至少一个关注区域内的多个帧中的至少一个实施空间升采样。
8.如权利要求7所述方法，其特征在于，通过插值技术对所述多个帧进行空间升采样。
9.如权利要求1所述方法，其特征在于，还包括：处理所述高清视频，以将高清内容呈现于所述关注区域内，且将标清内容呈现于非关注区域内。
10.如权利要求1所述方法，其特征在于，将所述高清视频显示于所述显示屏的关注区域内包括：消除所述高清视频内的干扰及噪声中的至少一个。
11.一种可动态控制视频质量的显示装置，其特征在于，包括：
处理器；以及
存储器，以可通信方式与该处理器相连，其中，所述存储器存有处理器可执行指令，该指令在执行时使得所述处理器：
检测用户当前眼睛位置；
根据所述用户当前眼睛位置识别所述显示装置的一显示屏上的至少一个关注区域；
根据所述用户当前眼睛位置或所述至少一个关注区域中的至少一个以及根据基于所述用户的眼睛相对于所显示的运动对象的运动获悉的所述用户在瞬态过渡时的眼动速率预测下一眼睛位置；
将标清视频转换为显示于所述显示屏上与所述当前眼睛位置及下一眼睛位置相关联的所述关注区域内的高清视频；以及
将所述高清视频显示于所述显示屏的所述关注区域内。
12.如权利要求11所述装置，其特征在于，所述处理器设置为由至少一个运动检测器使用光学眼睛追踪、模式映射及基于凝视的接口技术当中的一种检测所述用户当前眼睛位置。
13.如权利要求11所述装置，其特征在于，还包括：在所述显示屏的非关注区域内显示所述标清视频。
14.如权利要求11所述装置，其特征在于，所述处理器设置为预测下一眼睛停留位置，包括：
接收与所述显示屏上所显示的所述标清视频相关联的一个或多个参数以及至少一个用户配置信息当中的至少一个；
根据所述一个或多个参数和所述至少一个用户配置信息当中的至少一个及至少一个资源对所述下一眼睛位置进行预测；以及
使用人工神经网络预测下一眼睛位置并根据所预测的下一眼睛位置，获取所述标清视频的一个或多个帧，
其中，所述至少一个资源选自带宽和处理能力。
15.如权利要求14所述装置，其特征在于，所述一个或多个参数为所述显示屏上当前坐标、相邻像素或对象中的多个运动矢量、所述标清视频的帧的帧色及色彩变化。
16.如权利要求11所述的装置，其特征在于，所述处理器设置为将标清视频转换为高清视频，包括：
由所述显示装置对所述关注区域内的多个帧以及与所述下一眼睛位置相关联的至少一个关注区域内的多个帧中的至少一个实施空间升采样。
17.一种非暂时性计算机可读介质，其特征在于，包括存于所述非暂时性计算机可读介质内的指令，所述指令在由处理器执行时可使一系统实施操作，所述操作包括：
检测用户当前眼睛位置；
根据所述用户当前眼睛位置识别显示装置的一显示屏上的至少一个关注区域；
根据所述用户当前眼睛位置或所述至少一个关注区域中的至少一个以及根据基于所述用户的眼睛相对于所显示的运动对象的运动获悉的所述用户在瞬态过渡时的眼动速率预测下一眼睛位置；
将标清视频转换为显示于所述显示屏上与所述当前眼睛位置及下一眼睛位置相关联的所述关注区域内的高清视频；以及
将所述高清视频显示于所述显示屏的所述关注区域内。
CN201610028707.2A 2015-06-09 2016-01-15 视频质量动态控制方法及装置 Active CN106254952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN2866/CHE/2015 2015-06-09
IN2866CH2015 IN2015CH02866A (zh) 2015-06-09 2015-06-09

Publications (2)

Publication Number Publication Date
CN106254952A CN106254952A (zh) 2016-12-21
CN106254952B true CN106254952B (zh) 2020-03-10

Family

ID=54396143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610028707.2A Active CN106254952B (zh) 2015-06-09 2016-01-15 视频质量动态控制方法及装置

Country Status (3)

Country Link
US (1) US9554085B2 (zh)
CN (1) CN106254952B (zh)
IN (1) IN2015CH02866A (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
WO2018004934A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US10152122B2 (en) * 2016-07-18 2018-12-11 Tobii Ab Foveated rendering
CN106652972B (zh) 2017-01-03 2020-06-05 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN107342047B (zh) * 2017-01-03 2020-06-23 京东方科技集团股份有限公司 像素电路及其驱动方法、以及显示面板
CN106782268B (zh) * 2017-01-04 2020-07-24 京东方科技集团股份有限公司 显示系统和用于显示面板的驱动方法
US10499066B2 (en) 2017-04-14 2019-12-03 Nokia Technologies Oy Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data
EP3612978A4 (en) * 2017-04-21 2020-06-03 Zenimax Media Inc. SYSTEMS AND METHODS FOR ENABLING ENCODER-GUIDED QUALITY RENDERING
US10889958B2 (en) * 2017-06-06 2021-01-12 Caterpillar Inc. Display system for machine
WO2019025895A1 (ja) * 2017-07-31 2019-02-07 株式会社半導体エネルギー研究所 表示装置
US11502003B2 (en) 2017-08-24 2022-11-15 Semiconductor Energy Laboratory Co., Ltd. Image processing method
KR102343648B1 (ko) * 2017-08-29 2021-12-24 삼성전자주식회사 영상 부호화 장치 및 영상 부호화 시스템
US10200753B1 (en) 2017-12-04 2019-02-05 At&T Intellectual Property I, L.P. Resource management for video streaming with inattentive user
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
CN110290285B (zh) * 2018-03-19 2021-01-22 京东方科技集团股份有限公司 图像处理方法、图像处理装置、图像处理系统及介质
US11089265B2 (en) * 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
US11553123B2 (en) 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11064154B2 (en) 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11270464B2 (en) 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
CN113741676B (zh) * 2020-05-29 2024-03-01 北京小米移动软件有限公司 显示屏帧率控制方法、装置及存储介质
US11336833B1 (en) 2021-02-26 2022-05-17 Microsoft Technology Licensing, Llc Remote user field of view-based camera orienting
US11936881B2 (en) 2021-09-30 2024-03-19 Hewlett-Packard Development Company, L.P. Region of interest based image data enhancement in a teleconference

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1510927A (zh) * 2002-12-23 2004-07-07 ��˹���´﹫˾ 按选定分辨率发送感兴趣的数字视频数据选定区域的方法
JP2005341076A (ja) * 2004-05-26 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 画像通信システム，通信会議システム，階層符号化装置，サーバ装置，画像通信方法，画像通信プログラムおよび画像通信プログラム記録媒体
CN101478671A (zh) * 2008-01-02 2009-07-08 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
CN102496024A (zh) * 2011-11-25 2012-06-13 山东大学 智能监控中以特征帧触发的事件检测方法
CN102789632A (zh) * 2011-05-19 2012-11-21 索尼公司 学习装置和方法、图像处理装置和方法、程序和记录介质
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
WO2014049036A1 (en) * 2012-09-27 2014-04-03 Sensomotoric Instruments Gmbh Tiled image based scanning for head position for eye and gaze tracking

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422653A (en) 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
JPH0824358B2 (ja) 1993-08-16 1996-03-06 工業技術院長 画像ディスプレー装置
US7925354B2 (en) 2000-05-26 2011-04-12 Second Sight Medical Products, Inc. Video processing methods for improving visual acuity and/or perceived image resolution
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
US7679676B2 (en) * 2004-06-03 2010-03-16 Koninklijke Philips Electronics N.V. Spatial signal conversion
EP2153649A2 (en) * 2007-04-25 2010-02-17 David Chaum Video copy prevention systems with interaction and compression
US8355671B2 (en) 2008-01-04 2013-01-15 Kopin Corporation Method and apparatus for transporting video signal over Bluetooth wireless interface
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US8212927B2 (en) * 2008-07-28 2012-07-03 Hitachi, Ltd. Image signal processing apparatus, image signal processing method and video display apparatus
US9058644B2 (en) * 2013-03-13 2015-06-16 Amazon Technologies, Inc. Local image enhancement for text recognition
CN107087431B (zh) * 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1510927A (zh) * 2002-12-23 2004-07-07 ��˹���´﹫˾ 按选定分辨率发送感兴趣的数字视频数据选定区域的方法
JP2005341076A (ja) * 2004-05-26 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> 画像通信システム，通信会議システム，階層符号化装置，サーバ装置，画像通信方法，画像通信プログラムおよび画像通信プログラム記録媒体
CN101478671A (zh) * 2008-01-02 2009-07-08 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
CN103249352A (zh) * 2010-12-08 2013-08-14 索尼电脑娱乐公司 利用视线跟踪的自适应显示
CN102789632A (zh) * 2011-05-19 2012-11-21 索尼公司 学习装置和方法、图像处理装置和方法、程序和记录介质
CN102496024A (zh) * 2011-11-25 2012-06-13 山东大学 智能监控中以特征帧触发的事件检测方法
WO2014049036A1 (en) * 2012-09-27 2014-04-03 Sensomotoric Instruments Gmbh Tiled image based scanning for head position for eye and gaze tracking

Also Published As

Publication number Publication date
IN2015CH02866A (zh) 2015-07-17
US9554085B2 (en) 2017-01-24
US20160366365A1 (en) 2016-12-15
CN106254952A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106254952B (zh) 视频质量动态控制方法及装置
US11531458B2 (en) Video enhancement control method, electronic apparatus and storage medium
US10771807B1 (en) System and method for compressing video using deep learning
US20210281718A1 (en) Video Processing Method, Electronic Device and Storage Medium
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
KR102553273B1 (ko) 가상 현실 이미지들의 이미지 개선을 위한 방법 및 장치
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
US20200380261A1 (en) Resource optimization based on video frame analysis
CN109120988B (zh) 解码方法、装置、电子设备以及存储介质
US20210233572A1 (en) Video processing method, electronic device, and storage medium
CN103517072A (zh) 视频通信方法和设备
US11051042B2 (en) Image processing device and method
CN115761090A (zh) 特效渲染方法、装置、设备、计算机可读存储介质及产品
KR102164686B1 (ko) 타일 영상의 영상 처리 방법 및 장치
EP3104621B1 (en) Method and device for dynamically controlling quality of a video
CN110636361B (zh) 智能化手机app设置平台、方法及存储介质
CN109218803B (zh) 视频增强控制方法、装置以及电子设备
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
CN113613024A (zh) 视频预处理方法及设备
EP4376424A1 (en) Method, apparatus, device, and medium for determining video smoothness
CN110087145B (zh) 用于处理视频的方法和装置
JP4434164B2 (ja) 輪郭データを利用した画像転送
CN112887758B (zh) 视频处理方法和装置
CN112182299B (zh) 一种视频中精彩片段的获取方法、装置、设备和介质
CN112785487B (zh) 图像处理方法及装置、存储介质和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant