CN106921890A - 一种用于促进设备中的视频渲染的方法和装置 - Google Patents

一种用于促进设备中的视频渲染的方法和装置 Download PDF

Info

Publication number
CN106921890A
CN106921890A CN201510990448.7A CN201510990448A CN106921890A CN 106921890 A CN106921890 A CN 106921890A CN 201510990448 A CN201510990448 A CN 201510990448A CN 106921890 A CN106921890 A CN 106921890A
Authority
CN
China
Prior art keywords
equipment
video
motion
user
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510990448.7A
Other languages
English (en)
Inventor
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Shanghai Bell Co Ltd
Original Assignee
Alcatel Lucent Shanghai Bell Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent Shanghai Bell Co Ltd filed Critical Alcatel Lucent Shanghai Bell Co Ltd
Priority to CN201510990448.7A priority Critical patent/CN106921890A/zh
Priority to PCT/IB2016/001826 priority patent/WO2017109567A1/en
Priority to EP16826156.8A priority patent/EP3395074A1/en
Publication of CN106921890A publication Critical patent/CN106921890A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种用于促进设备中的视频渲染的方法和装置，该方法包括：在所述设备的屏幕中获取用户的眼睛注视位置；基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；在确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及通过基于所述设备的运动在所述设备的屏幕中移动视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户保持在与运动之前相同或接近相同的位置。由此，振动导致的影响降低并且在振动环境下的用户体验得以改进。

Description

一种用于促进设备中的视频渲染的方法和装置
技术领域
本发明一般涉及视频渲染，更加具体地，涉及一种用于促进设备中的视频渲染(render)的方法和装置。
背景技术
一种非常普遍的视频观看情景是通过用户移动电话或者平板电脑在地铁或者公共汽车上进行的，一些人甚至只在这些公共交通工具上观看视频。这在大城市中是很常见的，比如上海，通常需要花费超过一个小时的上/下班路程时间。然而，许多人抱怨由于持续振动，在地铁或者公共汽车上观看视频并不方便。医生也说如果在公共汽车上长时间观看视频，会有害视力。
在这种环境中，不仅电话或者平板在振动，人体也在振动。在振动的环境下，眼睛没有足够的时间来注视特定的点，并且由于存在视觉残留现象，导致视频帧模糊不清。
发明内容
本发明所要解决的技术问题是改进在振动环境中的用户体验。
本发明说明书包括了用于促进设备中的视频渲染的方法和装置。
根据本发明的第一方面，提供了一种用于促进设备中的视频渲染的方法，该方法包括：
在所述设备的屏幕中获取用户的眼睛注视位置；
基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；
在确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及
通过基于所述设备的运动在所述设备的屏幕中移动视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户保持在与运动之前相同或接近相同的位置。
根据本发明的第二方面，提供了一种用于促进设备中的视频渲染的装置，该装置包括：
第一获取部件，被配置为在所述设备的屏幕中获取用户的眼睛注视位置；
处理部件，被配置为基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；
第二获取部件，被配置为在确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及
补偿部件，被配置为通过基于所述设备的运动而在所述屏幕中移动所述视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户保持在与运动之前相同或接近相同的位置。
在本发明的示例性实施例中，通过利用用户的眼睛注视位置基于设备的运动而在设备的屏幕中移动视频帧，本发明提供的方法和装置可以补偿设备的运动。由此，视频帧将会相对于用户基本上保持在与运动之前相同或接近相同的位置，振动产生的影响被减轻并且在振动环境中的用户体验得以改进。
附图说明
当结合附图阅读时，参照实施例的以下详细描述，将会最佳的理解本发明本身、所采用的优选实施例以及进一步的目标，其中：
图1为说明根据本发明实施例的用于促进设备中的视频渲染的方法的流程图；
图2显示了控制图像重定位以便通过使用运动传感器来减轻设备振动的影响的实例；
图3显示了控制图像重定位以便通过使用运动传感器来减轻设备和人体振动的影响的实例；
图4显示了视网膜中的点的人体视敏度(acuity)的时间关系；以及
图5说明了根据本发明实施例的用于促进设备中的视频渲染的装置的框图。
具体实施方式
本发明的实施例将会参照附图进行详细的描述。说明书中涉及的特征、优点、或者类似语言并非暗示与本发明一起实现的所有特征以及优点均应出现在本发明的一个实施例中。相反，涉及特征以及优点的语言被理解为表示与实施例相关描述的特定特征、优点、或者特性被包含在本发明的至少一个实施例中。进一步地，本发明描述的特征、优点以及特性可以任意合适方式合并在一个或者多个实施例中。相关领域技术人员将会理解无需特定实施例的一个或者多个特定特征或者优点，本发明仍可被实施。在其它情形下，附加特征以及优点可出现在本发明所有实施例中均未出现的特定实施例中。
本发明的基本思想是使用手机或者平板电脑中的传感器来降低振动的影响并优化视频传输资源。本方案包括三个部分：降低设备振动的影响、降低人体振动的影响以及传输资源优化。
首先，我们要降低振动产生的影响。然后，仍有部分振动效果无法消除，我们将视敏度降低。基于此思想，用户观看实时高清(HD)视频期间的传输资源可以减少，这是因为由于振动(例如，无法从标清视频中看出任何差别)，用户无需非常高分辨率的视频。因此，环境信息可被发送至视频服务器，以便促进视频编码来节省传输资源。
降低设备振动的影响
如图1所示，本发明提供了一种用于促进设备中的视频渲染的方法，所述方法包括：在步骤S101中，在所述设备的屏幕中获取用户的眼睛注视位置；在步骤S102中，基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；在步骤S103中，在确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及在步骤S104中，通过基于所述设备的运动在所述设备的屏幕中移动视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户基本上保持在与运动之前相同或接近相同的位置。
眼睛注视位置信息能够用于促进定位。通过眼睛跟踪器可以获得眼睛注视位置，其中眼睛跟踪器是一种传感器。如果眼睛注视在屏幕的内部，则由于眼睛不会注意到，视频帧的小部分超出屏幕不会成为问题。如果眼睛刚好注视在视频帧的边缘，则最好不移动图像。因此有了眼睛注视信息，无需害怕视频帧离开保护边界。
然后，通过一个或者多个传感器，诸如加速计以及陀螺仪传感器，能够检测设备的运动。例如，陀螺仪ADXRS453能够精确跟踪频率为50Hz的振动并在100Hz仍表现良好(参见“Analyzing Frequency Response ofInertial MEMS in Stabilization Systems”,http://www.analog.com/library/analogdialogue/archives/46-07/MEMS_stabilization.html)。100Hz对应6000rpm的发动机转速，因此其能够精确跟踪发动机。大多先进的移动电话现在均配备了此类传感器。在iPhone中，有官方方法用来通过UIKit、UIDevice、或者甚至低级核运动API来获得运动信息。所提议的思想是通过在屏幕中移动视频帧以使得图像基本上保持在相同位置，从而补偿设备振动。
图2显示了控制图像重定位以便通过使用运动传感器来减轻设备振动的影响的实例，其中运动传感器输出平板电脑的瞬时运动，通过使用该信息，视频帧沿着相反方向上移动，从而视频帧的位置相对于用户不变。示例性的ADXRS453陀螺仪能够跟踪50Hz的振动，并且屏幕刷新频率通常高于50Hz，从而在此实例中视频帧能够以50Hz的频率显示在新的位置。值得注意的是，更高频率的运动传感器能够用于跟踪更细微的运动。
在一个示例性实施方式中，步骤S104可以包括：在所述设备的屏幕中沿着与所获取的运动相反的方向将所述视频帧移动与设备的运动相同的距离。
在一个示例性实施方式中，视频移动的距离小于或者等于预定的距离，即配置的最大移动值。当设备的运动超过了最大移动值时，视频帧移动可以使用该最大移动值，或者不执行移动，这是因为设备和用户可能经受了严重的摇动。
在一个示例性实施方式中，视频帧以小于正常(常规)的尺寸显示。视频帧可能会移出平板电脑显示屏之外。这个问题可以通过在视频帧周围的小的黑色保护边界、并且视频帧比传统视频渲染更小来解决。这对于大屏幕来说不是问题，这是因为屏幕足够大。
降低身体振动的影响
在一个示例性实施方式中，用于促进设备中的视频渲染的方法可以还包括：获取用户的头部运动；计算用户运动与设备的运动之间的相对运动；并且步骤S104可包括：通过基于用户的头部运动与设备的运动之间的相对运动在设备屏幕中移动视频帧，来补偿所述设备的运动。
在一个示例性实施方式中，所述方法还包括：确定所述眼睛注视位置的变化是由所述用户的头部运动引起的还是由眼球扫视运动引起的；并且获取所述用户的头部运动的步骤是在确定眼睛注视位置的变化是由所述用户的头部运动引起的情况下执行的。
图3显示了控制图像重定位以便通过利用运动传感器而减轻设备和人体振动的影响的实施例。用户的身体也可能会经受振动，这会增加眼睛与设备之间的相对运动。为了缓解该现象，可以利用平板电脑的相机。根据本发明的发明人的研究，眼睛会进行眼球扫视运动以及凝视。在眼球扫视运动中，眼球转动，这无需头部运动。但是头部振动也会导致眼睛注视位置的抖动。因此结合眼睛跟踪器，通过平板电脑的相机检测头部运动，很容易获知眼睛注视位置的变化是否是由头部运动还是眼球扫视运动所引起的。当检测到头部振动时，相对于平板电脑的相对运动可被计算并且在屏幕中沿着所述相反方向移动视频帧时可以使用这一信息。
传输资源优化
在一个示例性实施方式中，用于促进设备中的视频渲染的方法还可以包括：基于所述眼睛注视位置来计算视敏度；以及将所述视敏度传输到提供视频的视频服务器，从而使得所述服务器能够基于视敏度对所述视频进行编码，以降低所述视频的质量。
当用户在地铁或者公共汽车上从网络观看实时视频时，利用上述两种技术，振动的影响可以被有效降低。但是某些级别的振动仍然无法被消除，这是因为存在振动跟踪延迟和错误。振动的影响能够根据小区域中的频繁注视抖动来估计，所述小区域中的频繁注视抖动与眼球扫视运动不同，眼球扫视运动是弹道的并且从一点直接移动到新的位置的运动。眼睛注视位置能够被过滤以获得高频运动，并且其反映了振动。
根据发明人的研究，在此环境下的视敏度降低，其遵照以下等式：
其中，表示人体视敏度，x为至中央区域的偏心距程度，其表示距离，t为时间，e为自然对数的底数，α1、α2、和α3可以预先设置，并且可以通过实验和/或经验导出，例如，α1＝1,α2＝0,和α3＝0。
等式(1)表明了眼睛需要一些时间来达到由分子所确定的最佳视敏度的事实。图4显示了视网膜中的点的人体视敏度的时间关系。
通过上述等式(1)，能够获得这种情形下的眼睛视敏度。在视网膜的中心处，并且在足够长的时间之后，视敏度可被认为归一化为1。基于以上段落获得的振动频率，能够获得在预设的度数的中央凹(fovea)(例如，2度中央凹)存在点的时间。将该时间输入到上述等式(1)中，能够获得视敏度，如果归一化，其小于1。
该信息被传输至视频服务器，并且服务器能够基于该视敏度信息对视频进行编码，以降低质量而不会对观看者造成视觉影响。通过这种方式，根据本发明的用于促进设备中的视频渲染的方法能够节省视频传输的网络资源。
下面给出了基于视敏度信息对视频进行编码的一个实例。
基于视敏度信息，可获得视敏度的动态范围，标记为[a,b]，其中a为最低视敏度，b为最高视敏度。待传输的视频通过给出的最大比特速率m和平均比特速率n来进行编码。那么，b映射到最大比特速率m，而(a+b)/2映射到平均比特速率n。这些参数之间是线性映射的。通过控制比特速率，能够对视频进行编码。如果最大比特速率m和平均比特速率指代的是标准视敏度，例如对多个人的测量进行平均，则能够实现映射如下。标准视敏度可以标记为[a0,b0]。然后，具有视敏度x的特定用户的视频比特速率可通过以下步骤计算：
首先，通过z＝a0+(x-a)*(b0-a0)/(b-a)，将x映射到标准视敏度z；以及
接着，通过b＝n+(m-n)/(b0-t)/(z-t)，将z映射到比特速率b，其中t＝(b0+a0)/2。
然后，为了节省视频传输的网络资源，服务器能够利用该结果对视频进行编码。
如图5所示，本发明还提供了用于促进设备中的视频渲染的装置，该装置包括：第一获取部件510，被配置为在所述设备的屏幕中获取用户的眼睛注视位置；处理部件520，被配置为基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；第二获取部件530，被配置为在处理部件520确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及补偿部件540，被配置为通过基于所述设备的运动而在所述屏幕中移动所述视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户基本上保持在与运动之前相同或接近相同的位置。
在一个示例性实施方式中，补偿部件540还被配置为：在所述设备的屏幕中沿着与所获取的运动相反的方向将所述视频帧移动与设备的运动相同的距离。
在一个示例性实施方式中，视频帧移动的距离小于或者等于预定的距离。
在一个示例性实施方式中，视频帧以小于正常的尺寸显示。
在一个示例性实施方式中，第一获取部件510还被配置为获得用户的头部运动；补偿部件540还被配置为计算用户的头部运动与设备的运动之间的相对运动；并且补偿部件540还被配置为通过基于用户的头部运动与设备的运动之间的相对运动在所述设备的屏幕中移动视频帧，来补偿所述设备的运动。
在一个示例性实施方式中，补偿部件540还被配置为确定眼睛注视位置的变化是由所述用户的头部运动引起的还是由眼球扫视运动引起的；并且
第一获取部件510被配置为被配置为在补偿部件540确定眼睛注视位置的变化是由所述用户的头部运动引起的情况下，获取所述用户的头部运动。
在一个示例性实施方式中，所述装置还可以包括：
计算部件550，其被配置为基于眼睛注视位置来计算用户的视敏度；
传输部件560，其被配置为将所述视敏度传输到提供视频的视频服务器，从而使得所述服务器能够基于所述视敏度对所述视频进行编码，以降低所述视频的质量。
在一个示例性实施方式中，第一获取部件510包括眼睛跟踪器，并且第二获取部件530包括加速计和陀螺仪传感器。
第一获取部件510，处理部件520，第二获取部件530，补偿部件540，计算部件550以及传输部件560中的至少一个假设包括程序指令，当执行程序指令时，使得所述装置根据如上所述的示例性实施例运行。上述第一获取部件510，处理部件520，第二获取部件530，补偿部件540，计算部件550以及传输部件560中的任意一个可被集成在一起或者在分开的部件中执行，并且可以是适合本地技术环境的任意类型，并作为非限制性实施例可包括通用计算机，专用计算机，微处理器，数字信号处理器(DSP)以及基于多核处理器架构的处理器中的一个或者多个。上述ROM可以是适合本地技术环境的任意环境并且可利用任意适合的数据存储技术而被执行，诸如基于半导体的存储设备，闪存，磁存储设备以及系统，光存储设备以及系统，固定存储器以及可移动存储器。
总之，不同示例性实施例可在硬件或者专用电路，软件、逻辑或者其任意组合中实施。例如，一些方面可在硬件中实施，而其它方面可在通过控制器，微处理器或者其它计算设备执行的固件或者软件中执行，尽管本发明不限于此。虽然本发明示例性实施例的不同方面可按照框图，流程图，或者使用一些其它图形表示的方式被阐释以及描述，本领域技术人员将会理解此处描述的这些块，部件，系统，技术或者方法可在如非限定实施例的硬件，软件，固件，专用电路或者逻辑，通用硬件或者控制器或者其它计算设备，或者其一些组合中实现。
应当理解本发明示例性实施例的至少一些方面可体现为计算机可执行指令，例如在通过一个或者多个计算机或者其它设备执行的一个或者多个程序模块中。总得来说，当被计算机或者其它设备中的处理器执行时，程序模块包括执行特定任务或者实施特定概要数据类型的例行程序，程序，客体，部件，数据结构等。计算机可执行指令可存储在计算机可读介质中，例如硬盘，光盘，可移动存储介质，固态存储器，随机存取存储器(RAM)等。本领域技术人员将会意识到，程序模块的功能如在不同实施例中期望的合并或者分散。此外，功能可全部或者部分实现在固件或者硬件中，例如集成电路，现场可编程门阵列(FPGA)等。
尽管本发明特定实施例已被公开，本领域技术人员将会理解在不脱离本发明精神和范围的前提下可对特定实施例做出变化。本发明的范围并不局限于特定实施例，并且附随权利要求涵盖了本发明范围中此类应用，变型以及实施例的任意以及全部。

Claims (15)

1.一种用于促进设备中的视频渲染的方法，该方法包括：
在所述设备的屏幕中获取用户的眼睛注视位置；
基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；
在确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及
通过基于所述设备的运动在所述设备的屏幕中移动视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户保持在与运动之前相同或接近相同的位置。
2.根据权利要求1所述的方法，其中补偿所述设备的运动的步骤包括：
在所述设备的屏幕中沿着与所获取的运动相反的方向将所述视频帧移动与设备的运动相同的距离。
3.根据权利要求1或者2所述的方法，其中所述视频帧移动的距离小于或者等于预定距离。
4.根据权利要求1或者2所述的方法，其中所述视频帧以小于正常的尺寸显示。
5.根据权利要求1或者2所述的方法，该方法还包括：
获取所述用户的头部运动；
计算所述用户的头部运动与所述设备的运动之间的相对运动；并且
补偿所述设备的运动的步骤包括：通过基于用户的头部运动与设备的运动之间的相对运动在设备屏幕中移动视频帧，来补偿所述设备的运动。
6.根据权利要求5所述的方法，该方法还包括：
确定所述眼睛注视位置的变化是由所述用户的头部运动引起的还是由眼球扫视运动引起的；并且
获取所述用户的头部运动的步骤是在确定眼睛注视位置的变化是由所述用户的头部运动引起的情况下执行的。
7.根据权利要求6所述的方法，该方法还包括：
基于所述眼睛注视位置来计算用户的视敏度；以及
将所述视敏度传输到提供视频的视频服务器，从而使得所述服务器能够基于视敏度对所述视频进行编码，以降低所述视频的质量。
8.一种用于促进设备中的视频渲染的装置，该装置包括：
第一获取部件，被配置为在所述设备的屏幕中获取用户的眼睛注视位置；
处理部件，被配置为基于所述眼睛注视位置，确定用户的眼睛注视在所述屏幕的内部还是在视频帧的边缘；
第二获取部件，被配置为在处理部件确定眼睛注视在所述屏幕的内部的情况下，获取所述设备的运动；以及
补偿部件，被配置为通过基于所述设备的运动而在所述屏幕中移动所述视频帧，来补偿所述设备的运动，以使得所述视频帧相对于用户保持在与运动之前相同或接近相同的位置。
9.根据权利要求8所述的装置，其中所述补偿部件还被配置为：
在所述设备的屏幕中沿着与所获取的运动相反的方向将所述视频帧移动与设备的运动相同的距离。
10.根据权利要求8或者9所述的装置，其中所述视频帧移动的距离小于或者等于预定距离。
11.根据权利要求8或者9所述的装置，其中所述视频帧以小于正常的尺寸显示。
12.根据权利要求8或者9所述的装置，其中：
所述第一获取部件还被配置为获取所述用户的头部运动；
所述补偿部件还被配置为计算所述用户的头部运动与所述设备的运动之间的相对运动；并且
所述补偿部件还被配置为通过基于用户的头部运动与设备的运动之间的相对运动在所述设备的屏幕中移动视频帧，来补偿所述设备的运动。
13.根据权利要求12所述的装置，其中：
所述补偿部件还被配置为确定眼睛注视位置的变化是由所述用户的头部运动引起的还是由眼球扫视运动引起的；并且
所述第一获取部件被配置为在所述补偿部件确定眼睛注视位置的变化是由所述用户的头部运动引起的情况下，获取所述用户的头部运动。
14.根据权利要求13所述的装置，该装置还包括：
计算部件，被配置为基于所述眼睛注视位置来计算用户的视敏度；以及
传输部件，被配置为将所述视敏度传输到提供视频的视频服务器，从而使得所述服务器能够基于所述视敏度对所述视频进行编码，以降低所述视频的质量。
15.根据权利要求8或者9所述的装置，其中所述第一获取部件包括眼睛跟踪器，并且所述第二获取部件包括加速计和陀螺仪传感器。
CN201510990448.7A 2015-12-24 2015-12-24 一种用于促进设备中的视频渲染的方法和装置 Pending CN106921890A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510990448.7A CN106921890A (zh) 2015-12-24 2015-12-24 一种用于促进设备中的视频渲染的方法和装置
PCT/IB2016/001826 WO2017109567A1 (en) 2015-12-24 2016-11-24 A method and apparatus for facilitating video rendering in a device
EP16826156.8A EP3395074A1 (en) 2015-12-24 2016-11-24 A method and apparatus for facilitating video rendering in a device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510990448.7A CN106921890A (zh) 2015-12-24 2015-12-24 一种用于促进设备中的视频渲染的方法和装置

Publications (1)

Publication Number Publication Date
CN106921890A true CN106921890A (zh) 2017-07-04

Family

ID=57796755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510990448.7A Pending CN106921890A (zh) 2015-12-24 2015-12-24 一种用于促进设备中的视频渲染的方法和装置

Country Status (3)

Country Link
EP (1) EP3395074A1 (zh)
CN (1) CN106921890A (zh)
WO (1) WO2017109567A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917923A (zh) * 2019-03-22 2019-06-21 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024040035A (ja) * 2022-09-12 2024-03-25 富士フイルム株式会社 プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933082A (zh) * 2007-11-30 2010-12-29 夏普株式会社 基于用户图像数据的显示器观看者运动补偿方法和系统
JP2012114544A (ja) * 2010-11-22 2012-06-14 Jvc Kenwood Corp 映像符号化装置
US20140247277A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Foveated image rendering
CN104160362A (zh) * 2012-03-07 2014-11-19 印象笔记公司 针对不利使用条件调整移动用户界面
CN104823125A (zh) * 2012-10-19 2015-08-05 微软技术许可有限责任公司 基于用户和设备移动的显示补偿
US20150235084A1 (en) * 2014-02-20 2015-08-20 Samsung Electronics Co., Ltd. Detecting user viewing difficulty from facial parameters

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2505223A1 (en) * 2011-03-31 2012-10-03 Alcatel Lucent Method and device for displaying images
JP4966421B1 (ja) * 2011-03-31 2012-07-04 株式会社東芝 情報処理装置及び情報処理方法
TWI427618B (zh) * 2011-06-16 2014-02-21 Hon Hai Prec Ind Co Ltd 電子裝置及其螢幕資訊調整方法
DE102014103621A1 (de) * 2014-03-17 2015-09-17 Christian Nasca Bildstabilisierungsverfahren

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933082A (zh) * 2007-11-30 2010-12-29 夏普株式会社 基于用户图像数据的显示器观看者运动补偿方法和系统
JP2012114544A (ja) * 2010-11-22 2012-06-14 Jvc Kenwood Corp 映像符号化装置
CN104160362A (zh) * 2012-03-07 2014-11-19 印象笔记公司 针对不利使用条件调整移动用户界面
CN104823125A (zh) * 2012-10-19 2015-08-05 微软技术许可有限责任公司 基于用户和设备移动的显示补偿
US20140247277A1 (en) * 2013-03-01 2014-09-04 Microsoft Corporation Foveated image rendering
US20150235084A1 (en) * 2014-02-20 2015-08-20 Samsung Electronics Co., Ltd. Detecting user viewing difficulty from facial parameters

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917923A (zh) * 2019-03-22 2019-06-21 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备
CN109917923B (zh) * 2019-03-22 2022-04-12 北京七鑫易维信息技术有限公司 基于自由运动调整注视区域的方法以及终端设备

Also Published As

Publication number Publication date
EP3395074A1 (en) 2018-10-31
WO2017109567A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
JP7095030B2 (ja) 仮想現実コンテンツのビデオレンダリング速度の調整および立体画像の処理
Arabadzhiyska et al. Saccade landing position prediction for gaze-contingent rendering
CN106502427B (zh) 虚拟现实系统及其场景呈现方法
CN106461951B (zh) 利用像素再分配优化的方法和显示设备
CN111670453B (zh) 依赖于注视的凹状渲染装置、方法、计算机程序和系统
US8605082B2 (en) Rendering adjustments to autocompensate for users with ocular abnormalities
WO2016157677A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10582116B2 (en) Shooting control method, shooting control apparatus and user equipment
US20140118240A1 (en) Systems and Methods for Configuring the Display Resolution of an Electronic Device Based on Distance
WO2016197639A1 (zh) 屏幕画面显示方法及装置
WO2012130742A1 (en) Method and device for displaying images
US20170372673A1 (en) System to compensate for visual impairment
US10775883B2 (en) Information processing method, information processing apparatus and user equipment
CN106921890A (zh) 一种用于促进设备中的视频渲染的方法和装置
US20220171968A1 (en) Graphics processing method and related eye-tracking system
US20210022604A1 (en) Eye fatigue prediction based on calculated blood vessel density score
CN110767144B (zh) 移动终端屏幕显示防抖方法、装置、移动终端及存储介质
US11127376B2 (en) Method for rendering a current image on a head-mounted display, corresponding apparatus, computer program product, and computer readable carrier medium
CN107105215A (zh) 呈现图像的方法和显示系统
CN109302640B (zh) 在虚拟现实视频中显示弹幕的方法和装置
EP3440532B1 (en) Improving readability of content displayed on a screen
EP3467617A1 (en) Apparatus and associated methods for reducing a likely sickness of a viewer of immersive visual content
CN113534959A (zh) 画面显示方法、装置、虚拟现实设备以及程序产品
US10545572B2 (en) Motion tracking apparatus and system
US11222394B2 (en) Devices and headsets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201206 Pudong Jinqiao Ning Road, Shanghai, No. 388

Applicant after: Shanghai NOKIA Baer Limited by Share Ltd

Address before: 201206 Pudong Jinqiao Ning Road, Shanghai, No. 388

Applicant before: Shanghai Alcatel-Lucent Co., Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20170704

RJ01 Rejection of invention patent application after publication