CN108270997A - 注视控制的比特率 - Google Patents

注视控制的比特率 Download PDF

Info

Publication number
CN108270997A
CN108270997A CN201711459032.8A CN201711459032A CN108270997A CN 108270997 A CN108270997 A CN 108270997A CN 201711459032 A CN201711459032 A CN 201711459032A CN 108270997 A CN108270997 A CN 108270997A
Authority
CN
China
Prior art keywords
bit rate
display
video
watching area
video flowing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711459032.8A
Other languages
English (en)
Inventor
袁嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108270997A publication Critical patent/CN108270997A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Abstract

本发明涉及一种注视控制的比特率。一种方法可以包括从摄像机接收视频流并且在显示器上显示视频流。该方法可以进一步包括：经由眼睛追踪传感器获得标识观看显示器的用户的注视区域的信息；生成从所述注视区域向所述显示器的边缘的梯度；和，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率。

Description

注视控制的比特率
背景技术
可以安装诸如摄像机的监视设备来捕捉关注区域的图像或视频。用户或一组用户可以在远离摄像机的显示器上监视来自摄像机的图像或视频。摄像机捕获的数据可以被处理并通过网络连接发送到显示器。例如，可以压缩图像或视频以减少必须通过网络传输的数据量。系统可以包括大量的通过网络传输大量数据的摄像机。大量的数据可能耗费网络资源。
发明内容
根据一个方面，一种由计算机设备执行的方法可以包括：从摄像机接收视频流；在显示器上显示视频流；经由眼睛追踪传感器获得标识观看显示器的用户的注视区域的信息；生成从注视区域向显示器的边缘的梯度；和，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率。这一方法可以导致节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。
另外，该方法可以包括：基于获得的信息来计算预测的注视轨迹；和，增加视频流的沿预测的注视轨迹的比特率。增加视频流的沿着预测的注视轨迹的比特率可提供以下优点：提供将成为注视区域的一部分的视频流部分中的更多信息，而不必增加整个视频流的比特率。
另外，该方法可以进一步包括：确定注视区域落在显示器之外；和，响应于确定注视区域落在显示器之外，降低整个视频流的比特率。降低整个视频流的比特率可以提供进一步节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的优点。
另外，该方法可以进一步包括：检测视频流中注视区域外的移动对象；和，将注视区域与移动对象相关联。将注视区域与移动对象相关联可以提供预测注视区域可移动到的区域的优点。
另外，生成从注视区域到显示器的边缘的梯度可以包括：定义从注视区域的边缘到距注视区域的边缘特定距离的第一区域的第一比特率降低因子，其中第一比特率降低因子指示第一区域的比特率被降低的程度；以及，定义从特定距离到显示器的边缘的第二区域的第二比特率降低因子，其中第二比特率降低因子指示第二区域的比特率被降低的程度，其中第二比特率降低因子高于第一比特率降低因子。定义第一比特率降低因子和第二比特率降低因子可以提供进一步节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的优点。
另外，生成从注视区域到显示器的边缘的梯度可以进一步包括：定义从注视区域的边缘向显示器的边缘的线性递减比特率降低因子，其中显示器的特定位置处的比特率降低因子指示特定位置处的比特率被降低的程度。定义线性递减比特率降低因子可以提供进一步节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的优点。
另外，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率可以进一步包括：指示摄像机降低视频流的与注视区域外的区域相关联的传感器的采样率。降低与视频流的注视区域外的区域相关联的传感器的采样率可以提供节省网络资源并降低传感器的处理器和存储器负荷的优点。
另外，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率可以进一步包括：指示摄像机在对视频流进行编码之前，降低视频流的注视区域外的区域的分辨率。在对视频流进行编码之前，降低视频流的注视区域外的区域的分辨率可以提供节省网络资源并降低图像处理器的处理和存储负荷的优点。
另外，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率可以进一步包括：指示摄像机在对视频流进行编码之前，增加视频流的注视区域外的区域的降噪过程。在对视频流进行编码之前，增加视频流的注视区域外的区域的降噪过程可以提供节省网络资源并降低图像处理器的处理和存储负荷的优点。
另外，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率可以进一步包括：指示摄像机增加与视频流的注视区域外的区域相关联的编码处理单元的压缩参数值。指示摄像机增加与视频流的注视区域外的区域相关联的编码处理单元的压缩参数值可以提供节省网络资源并降低编码处理单元的处理和存储负荷的优点。
另外，视频流可以包括多个视频流，并且显示器可以包括多个显示器。确定多个显示器的多个视频流的注视区域可以提供节省网络资源并降低包括多个视频流和多个显示器的系统的处理器和存储器负荷的优点。
根据另一方面，一种计算机设备可以包括：存储指令的存储器；和，处理器，被配置为执行指令以：从摄像机接收视频流；在显示器上显示视频流；经由眼睛追踪传感器获得标识观看显示器的用户的注视区域的信息；生成从注视区域向显示器的边缘的梯度；并且，指示摄像机基于生成的梯度降低视频流的注视区域外的比特率。该计算机设备可以提供节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。
另外，处理器可以被进一步配置为执行指令以：基于获得的注视信息来计算预测的注视轨迹；并且，增加视频流的沿预测的注视轨迹的比特率。增加视频流的沿预测的注视轨迹的比特率可以提供以下优点：提供将成为注视区域的一部分的视频流部分中的更多信息，而不必增加整个视频流的比特率。
另外，当生成从注视区域向显示器的边缘的梯度时，处理器可以被进一步配置为：定义从注视区域的边缘到距注视区域的边缘特定距离的第一区域的第一比特率降低因子，其中第一比特率降低因子指示第一区域的比特率被降低的程度；并且，定义从特定距离向显示器的边缘的第二区域的第二比特率降低因子，其中第二比特率降低因子指示第二区域的比特率被降低的程度，其中第二比特率降低因子高于第一比特率降低因子。定义第一比特率降低因子和第二比特率降低因子可以提供进一步节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的优点。
另外，当生成从注视区域向显示器的边缘的梯度时，处理器可以被进一步配置为：定义从注视区域的边缘向显示器的边缘的线性递减比特率降低因子，其中显示器的特定位置处的比特率降低因子指示特定位置处的比特率被降低的程度。定义线性递减比特率降低因子可以提供进一步节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的优点。
另外，当指示摄像机基于生成的梯度降低视频流的注视区域外的比特率时，处理器可以进一步被配置为：指示摄像机降低与视频流的注视区域外的区域相关联的传感器的采样率。降低与视频流的注视区域外的区域相关联的传感器的采样率可以提供节省网络资源并降低传感器的处理器和存储器负荷的优点。
另外，当指示摄像机基于生成的梯度降低视频流的注视区域外的比特率时，处理器可以进一步被配置为指示摄像机在对视频流进行编码之前，降低视频流的注视区域外的区域的分辨率。在对视频流进行编码之前，降低视频流的注视区域外的区域的分辨率可以提供节省网络资源并降低图像处理器的处理和存储负荷的优点。
另外，当指示摄像机基于生成的梯度降低视频流的注视区域外的比特率时，处理器可以进一步被配置为指示摄像机在对视频流进行编码之前，增加视频流的注视区域外的区域的降噪过程。在对视频流进行编码之前，增加视频流的注视区域外的区域的降噪过程可以提供节省网络资源并降低图像处理器的处理和存储负荷的优点。
另外，当指示摄像机基于生成的梯度降低视频流的注视区域外的比特率时，处理器可以进一步被配置为指示摄像机增加与视频流的注视区域外的区域相关联的编码处理单元的压缩参数值。指示摄像机增加与视频流的注视区域外的区域相关联的编码处理单元的压缩参数值可以提供节省网络资源并降低编码处理单元的处理和存储负荷的优点。
根据又一方面，一种系统可以包括：被配置为生成视频流的摄像机；和，计算机设备，所述计算机设备被配置为：从摄像机接收视频流；在显示器上显示视频流；经由眼睛追踪传感器获得标识观看显示器的用户的注视区域的信息；生成从注视区域向显示器的边缘的梯度；并且，向摄像机发送指令以基于生成的梯度降低视频流的注视区域外的比特率；并且其中摄像机被进一步配置为基于接收到的指令降低视频流的注视区域外的比特率。该系统可以提供节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。
附图说明
图1是示出根据本文描述的实施方式的包括眼睛追踪的示例性环境的框图；
图2是示出根据本文描述的实施方式的摄像机的示例性组件的框图；
图3是示出根据本文描述的实施方式的计算模块的示例性组件的框图；
图4示出了根据本文描述的实施方式的操作员查看具有眼睛追踪器的显示器的环境；
图5A和图5B示出了根据本文描述的一个或多个实施方式的从操作员的角度看的显示；
图6是图1的一些组件中的功能组件的图；
图7是图6的摄像机数据库的示例性组件的图；
图8是根据本文描述的实施方式的基于注视区域来控制比特率的过程的流程图；和
图9A-9C是根据本文描述的一个或多个实施方式的示例性比特率降低场景的图。
具体实施方式
以下详细描述参照附图。不同附图中的相同附图标记标识相同或相似的要素。
本文描述的实施方式涉及注视控制的比特率。监视摄像机将关注区域的视频流式传输到显示器。视频流可能具有高带宽要求，并可能消耗显著的网络带宽。此外，处理视频流可能需要处理器和存储器资源。观看显示器的人，本文称之为“操作员”或“用户”，在任何给定的时间可能只能观看显示器的一部分。此外，操作员可能会被分配观看来自多个摄像机的多个显示器，并且他或她一次只能盯住单个显示器。眼睛追踪器可用于识别操作员的注视区域，并因而识别操作员没有在观看的显示器的一部分，或一组显示器中的一个或多个显示器。因此，降低操作员没有在观看的视频流的部分中的视频流的比特率可以导致节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。
视频管理系统可以管理包括显示器的客户端设备。显示器可以从摄像机接收视频流，并在显示器上显示视频流。视频管理系统可以通过眼睛追踪传感器获得标识观看显示器的用户的注视区域的信息，生成从注视区域到显示器的边缘的梯度，并且指示摄像机基于生成的梯度降低视频流的注视区域外的比特率。在一些实施方式中，视频流可以包括多个视频流，并且显示器可以包括多个显示器。
梯度可以由一个或多个比特率降低因子来定义。视频流的区域的比特率降低因子可以指示与没有应用比特减少的区域的比特率相比，该区域的比特率被降低的程度。作为示例，生成梯度可以包括：定义从注视区域的边缘到距注视区域的边缘设定距离的第一区域的第一比特率降低因子；和，定义从设定距离到显示器的边缘的第二区域的、高于第一比特率降低因子的第二比特率降低因子。作为另一示例，产生梯度可以包括定义从注视区域的边缘到显示器的边缘的线性递减比特率降低因子。作为又一示例，产生梯度可以包括：确定注视区域落在显示器之外；以及，响应于确定注视区域落在显示器之外，降低整个视频流的比特率。作为又一示例，产生梯度可以包括指示摄像机增加关注区域内的视频流的比特率。
比特率降低因子可用于定义比特率降低而不是实际比特率值，这是因为实际比特率可能是不可预测的。实际比特率可能取决于基于视频流的属性对于特定视频流可实现的压缩量。因此，实际上，在特定情况下可能出现这样的情况：具有高比特率降低因子的第一区域将导致比没有比特率降低或具有低比特率降低因子的第二区域更高的比特率，这是因为第一区域中的图像数据可能是更可压缩的(例如，由于帧内压缩)。
视频管理系统可以对视频流的区域的比特率执行其他调整。作为示例，可以基于注视区域的移动来计算预测的注视轨迹，并且可以沿预测的注视轨迹增加比特率。作为另一示例，可以在视频流中检测移动对象，并且注视区域可以与移动对象相关联。如果注视区域开始朝向移动对象移动，则可以减小与移动对象相关联的比特率降低因子。
可以在从由传感器阵列捕获视频数据的点到经由网络连接将编码的视频流发送到显示器的处理路径上的多个点中的任何点处，减小比特率。作为示例，指示摄像机降低视频流的注视区域外的比特率可以包括指示摄像机降低与视频流的注视区域外的区域相关联的传感器的采样率。作为另一示例，指示摄像机降低视频流的注视区域外的比特率可以包括指示摄像机在对视频流进行编码之前，降低视频流的注视区域外的区域的分辨率。作为又一示例，指示摄像机降低视频流的注视区域外的比特率可以包括指示摄像机在对视频流进行编码之前，增加视频流的注视区域外的区域的降噪过程。作为又一示例，指示摄像机降低视频流的注视区域外的比特率可以包括指示摄像机增加与视频流的注视区域外的区域相关联的编码处理单元的压缩参数值。
图1是示出实施例中的示例性环境100的框图。环境100可以是例如用于保护区域或提供公共安全的监视系统。如图1所示，环境100可以包括摄像机110-1到110-M、网络120、监视站125-1到125-N、显示器130-1到130-N、眼睛追踪器140-1到140-N和/或视频管理系统(VMS)150。
摄像机110-1至110-M(单独地“摄像机110”或共同地“摄像机110”)捕获监视区域106的图像和/或视频。监视区域106可以由一个或多个摄像机110监视。例如，两个摄像机可以监视包括对象102-1的区域106-1。对象102可以包括任何对象，诸如门、人、动物、车辆、车辆上的牌照等。
摄像机110可以使用可见光、红外光和/或其它不可见的电磁辐射(例如紫外光、远红外光、太赫兹辐射、微波辐射等)来捕获图像数据。摄像机110可以包括热摄像机和/或用于雷达成像的雷达装置。捕获的图像数据可以包括连续的图像序列(例如，视频)、有限的图像序列、静止图像和/或其组合。摄像机110可以包括用于捕获和数字化图像的数字摄像机和/或用于捕获图像并以模拟格式存储图像数据的模拟摄像机。
摄像机110可以包括以一个或多个二维阵列排列的、生成数据(例如，图像数据或视频数据)的传感器。如本文所使用地，“视频数据”和“视频”可以更一般地分别被称为“图像数据”和“图像”。因此，除非另有说明，否则“图像数据”或“图像”意味着包括“视频数据”和“视频”。同样，除非另有说明，“视频数据”或“视频”可以包括静止图像。此外，在一些实施方式中，“视频数据”可以包括音频数据。
监视站125-1到125-N可以包括作为VMS 150的客户端并且耦接到显示器130-1到130-N的计算机设备(单独地，分别为“监视站125”和“显示器130”)。在实施例中，监视站125-1到125-N也被耦接到眼睛追踪器140-1到140-N(单独地，“眼睛追踪器140”)。监视站125和显示器130使操作员(图1中未示出)能够观看来自摄像机110的图像。眼睛追踪器140追踪观看显示器130的操作员的注视。每个监视站125、显示器130和眼睛追踪器140可以是用于操作员与环境100中所示的监视系统交互的“客户端”。
显示器130从一个或多个摄像机110接收并显示视频流。单个显示器130可以显示来自单个摄像机110或来自多个摄像机110(例如，以显示器130上的多个框或窗口)的图像。单个显示器130也可以显示来自单个摄像机的图像，但是以不同的框显示。也就是说，单个摄像机可以包括例如广角或鱼眼镜头，并且提供多个区域106的图像。来自不同区域106的图像可被分离并在显示器130上分开显示在不同的窗口和/或框中。显示器130可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管(CRT)显示器、等离子体显示器、激光视频显示器、电泳显示器、量子点显示器、视频投影仪和/或任何其它类型的显示设备。
眼睛追踪器140包括使得VMS 150(或环境100中的任何其它设备)能够确定操作员的眼睛聚焦的位置的传感器(例如，摄像机)。例如，可以将一组近红外光束指向操作员的眼睛，引起操作员的角膜中的反射。反射可以由包括在眼睛追踪器140中的摄像机追踪以确定操作员的注视区域。注视区域可以包括注视点和视网膜中央凹焦点区域。例如，操作员可以坐在监视站125的显示器130的前面。眼睛追踪器140确定操作员正在聚焦于显示器130的哪个部分。每个显示器130可以与单个眼睛追踪器140相关联。可替代地，眼睛追踪器140可对应于多个显示器130。在这种情况下，眼睛追踪器140可以确定操作员正在聚焦于哪个显示器和/或该显示器130的哪个部分。
眼睛追踪器140还可以确定用户的存在、注意力水平、焦点、困倦、意识和/或其它状态。眼睛追踪器140也可以确定用户的身份。来自眼睛追踪器140的信息可以用来获得对操作员的随时间的行为的了解或确定操作员的当前状态。在一些实施方式中，显示器130和眼睛追踪器140可以在由操作员佩戴的虚拟现实(VR)耳机中实现。操作员可以将一个或多个摄像机110用作VR耳机的输入，来进行区域106的虚拟检查。
网络120可以包括一个或多个电路交换网络和/或分组交换网络。例如，网络120可以包括局域网(LAN)、广域网(WAN)、城域网(MAN)、公共交换电话网(PSTN)、自组织网络、内联网、因特网、基于光纤的网络、无线网络和/或这些或其它类型的网络的组合。
VMS 150可以包括一个或多个计算机设备，诸如例如协调摄像机110、显示设备130和/或眼睛追踪系统140的操作的服务器设备。VMS 150可以接收并存储来自摄像机110的图像数据。VMS 150还可以为监视站125的操作员提供用户界面以查看存储在VMS 150中的图像数据或从摄像机110流式传输的图像数据。VMS150可以包括用于通过指示摄像机110降低操作员注视区域外的区域的比特率来节约系统资源的规则引擎。
在一些实施例中，环境100不包括单独的VMS 150。相反，由VMS150提供的多个服务由多个监视站125(例如，与显示器130相关联的计算机设备)和/或多个摄像机110本身或以环境100中的设备之间的分布式方式提供。例如，摄像机110可以包括用于通过指示摄像机110降低操作员注视区域外的区域的比特率来节约系统资源的规则引擎。类似地，VMS 150可以执行被描述为由摄像机110执行的操作。
尽管图1示出了环境100的示例性组件，但是在其它实施方式中，环境100可以包括与图1所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。附加地或可替代地，任何一个设备(或任何一组设备)可以执行被描述为由一个或多个其它设备执行的功能。
图2是示出实施例中的摄像机110的示例性组件的框图。如图2所示，摄像机110可以包括光学链210、传感器阵列220、总线225、图像处理器230、控制器240、存储器245、视频编码器250和/或通信接口260。在实施例中，摄像机110可以包括用于摇摄、倾斜、旋转和/或缩放摄像机110的一个或多个电机控制器270(例如三个)和一个或多个电机272(例如三个)。
光学链210包括将入射辐射(例如，光、可见光、红外波、毫米波等)引导到传感器阵列220以基于入射辐射捕获图像的外壳。光学链210包括一个或多个透镜212，透镜212将来自被监视区域的入射辐射收集并聚焦到传感器阵列220上。
传感器阵列220可以包括用于记录、感测和测量入射或落在传感器阵列220上的辐射(例如，光)的传感器的阵列。辐射可以在可见光波长范围、红外波长范围或其它波长范围内。
传感器阵列220可以包括例如电荷耦合器件(CCD)阵列和/或有源像素阵列(例如，互补金属氧化物半导体(CMOS)传感器阵列)。传感器阵列220还可以包括微测辐射热计(例如，当摄像机110包括热摄像机或检测器时)。
传感器阵列220输出指示(例如，描述性质或特性)入射在传感器阵列220上的辐射(例如，光)的数据。例如，从传感器阵列220输出的数据可以包括诸如入射在传感器阵列220中的一个或多个像素上的光的强度(例如，亮度)、颜色等的信息。入射在传感器阵列220上的光可以是“图像”，因为光可以由于光学链210中的透镜而被聚焦。在一些实施方式中，控制器240可通过关闭和/或降低传感器阵列220中的特定传感器或一组传感器的采样率来降低与传感器阵列220的特定区域相关联的比特率。
因为传感器阵列220感测落在传感器阵列220上的图像，所以其可被认为是“图像传感器”。如在本文中使用的术语，“图像”包括指示入射在传感器阵列220上的辐射的数据(例如，描述光的性质或特性)。因此，术语“图像”也可以被用来表示“图像传感器数据”或描述图像的任何数据或数据集。此外，“像素”可以表示对其进行了辐射测量(例如，指示入射在传感器阵列220上的光的测量)的传感器阵列220的任何区域或区。像素可对应于传感器阵列220中的一个或多个(或少于一个)传感器。在可替代的实施例中，传感器阵列220可以是可以使用扫描硬件(例如旋转镜)来形成图像的线性阵列，或者可以是可依靠图像处理器230和/或控制器240来产生图像传感器数据的非阵列传感器。
总线225包括使得摄像机110中的组件能够相互通信的通信路径。控制器240和/或图像处理器230对由传感器阵列220捕获的图像数据进行信号处理操作。例如，图像处理器230可以对由传感器阵列220捕获的图像进行诸如降噪、滤波、缩放等的图像处理。控制器240可以控制摄像机110的操作，并且可以向诸如传感器阵列220、图像处理器230、视频编码器250、通信接口260和/或电机控制器270的摄像机110的其它组件提供指令。
控制器240和/或图像处理器230可以包括解释并执行指令的任何类型的单核或多核处理器、微处理器、基于锁存器的处理器、和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。控制器240和/或图像处理器230可以包括或者被耦接到诸如图形处理单元(GPU)、通用图形处理单元(GPGPU)、单元、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、和/或另一类型的集成电路或处理逻辑的硬件加速器。
控制器240还可以确定和控制摄像机110的期望焦点和位置(例如，倾斜、摇摄、旋转、缩放等)。为此，控制器240向一个或多个电机控制器270发送命令以驱动一个或多个电机272倾斜、摇摄、旋转和/或变焦摄像机110或光学变焦镜头212。
存储器245可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器245可以包括随机存取存储器(RAM)或任何类型的动态存储设备、只读存储器(ROM)设备或任何类型的静态存储设备、磁或光记录存储设备及其相应的驱动器、或可移动存储设备。存储器245可存储供处理器摄像机110使用的信息和指令(例如，应用程序和/或操作系统)和数据(例如，应用程序数据)。存储器245可以存储标识一个或多个比特率降低因子和/或要应用一个或多个比特率降低因子的特定传感器阵列捕获、图像处理和/或编码处理和/或参数的信息。
存储器245可以存储由控制器240、图像处理器230、视频编码器250和/或通信接口260执行的指令。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器245中。软件指令可使控制器240、图像处理器230、视频编码器250和/或通信接口260执行本文所述的过程。例如，响应于控制器240、图像处理器230和/或视频编码器250执行存储在存储器245中的软件指令，摄像机110可以执行与图像处理有关的操作(例如，编码、降噪、代码转换、检测对象等)。可替代地，可使用硬连线电路(例如，逻辑)代替软件指令或与软件指令组合以实施本文所描述的过程。
视频编码器250可基于诸如H.262/运动图像专家组(MPEG)-2编解码器、H.263/MPEG-2部分2编解码器、H.264/MPEG-4编解码器、H.265/MPEG-H高效视频编码(HVEC)编解码器和/或另一类型的编解码器的一个或多个视频编解码器来压缩视频数据。
通信接口260包括电路和逻辑电路，其包括便于将数据传输到另一个设备的输入和/或输出端口、输入和/或输出系统和/或其它输入和输出组件。例如，通信接口340可以包括用于有线通信的网络接口卡(例如，以太网卡)或用于无线通信的无线网络接口(例如，长期演进(LTE)、WiFi、蓝牙等)卡。
尽管图2示出了摄像机110的示例性组件，但是在其它实施方式中，摄像机110可以包括与图2所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。另外地或可替代地，摄像机110的一个或多个组件可以执行被描述为由摄像机110的一个或多个其它组件执行的功能。例如，控制器240可以执行被描述为由图像处理器230执行的功能，反之亦然。可替代地或另外地，摄像机110可以包括如下面关于图3所描述的计算模块。
图3是示出实施例中的计算模块300的示例性组件的框图。诸如VMS 150、眼睛追踪系统140、监视站125和/或显示设备130的设备可以包括一个或多个计算模块300。如图3所示，计算模块300可以包括总线310、处理器320、存储器330和/或通信接口360。在一些实施例中，计算模块300还可以包括输入设备340和/或输出设备350。
总线310包括允许在计算模块300或其它设备的组件之间进行通信的路径。处理器320可以包括解释和执行指令的任何类型的单核处理器、多核处理器、微处理器、基于锁存的处理器和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。处理器320可以包括专用集成电路(ASIC)、FPGA和/或另一种类型的集成电路或处理逻辑。处理器320可以包括或者耦接到诸如GPU、GPGPU、单元、FPGA、ASIC和/或另一类型的集成电路或处理逻辑的硬件加速器。
存储器330可以包括可以存储供处理器320执行的信息和/或指令的任何类型的动态存储设备、和/或可以存储供处理器320使用的信息的任何类型的非易失性存储设备。例如，存储器330可以包括RAM或另一类型的动态存储设备、ROM设备或其它类型的静态存储设备、磁和/或光记录存储设备及其相应的驱动器(例如，硬盘驱动器、光盘驱动器等)，和/或诸如闪存的可移除形式的存储器。
存储器330可以存储供处理器320执行的指令。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器330中。软件指令可以使得处理器320执行本文描述的过程。可替代地，可使用硬连线电路(例如，逻辑)代替软件指令或与软件指令组合以实施本文所描述的过程。
操作系统可以包括用于管理计算模块300的硬件和软件资源的软件指令。例如，操作系统可以包括Linux、Windows、OS X、Android、嵌入式操作系统等。取决于在其中找到特定计算模块300的设备，应用程序和应用程序数据可以提供网络服务或包括应用程序。
通信接口360可以包括使得计算模块300能够与其它组件、设备和/或系统通信的发射器和/或接收器(例如收发器)。通信接口360可以经由无线通信(例如，射频、红外线和/或可见光学等)、有线通信(例如，导线、双绞线电缆、同轴电缆、传输线、光缆和/或波导等)或其组合进行通信。通信接口360可以包括将基带信号转换成射频(RF)信号或反之亦然的收发器，并且可以包括天线组件。
通信接口360可以包括逻辑组件，该逻辑组件包括便于将数据传输到其它设备的输入和/或输出端口、输入和/或输出系统、和/或其它输入和输出组件。例如，通信接口360可以包括用于有线通信的网络接口卡(例如，以太网卡)和/或用于无线通信的无线网络接口(例如，WiFi)卡。通信接口460还可以包括用于通过电缆进行通信的通用串行总线(USB)端口、BluetoothTM无线接口、射频识别(RFID)接口、近场通信(NFC)无线接口、和/或将数据从一种形式转换为另一种形式的任何其它类型的接口。
在一些实施方式中，计算模块300还可以包括输入设备340和/或输出设备350。输入设备340可以使得用户能够将信息输入到计算模块300中。输入设备370可以包括例如键盘、鼠标、笔、麦克风、遥控器、音频捕获设备、图像和/或视频捕获设备、触摸屏显示器和/或其它类型的输入设备。
输出设备350可以向用户输出信息。输出设备350可以包括显示器、打印机、扬声器和/或另一类型的输出设备。输入设备340和输出设备350可以使得用户能够与由计算模块300执行的应用交互。在“无头”设备(例如部署的远程摄像机)的情况下，输入和输出主要通过通信接口360而不是输入设备340和输出设备350。
如下面详细描述地，计算模块300可以基于注视区域执行与比特率调整有关的某些操作。计算模块300可以响应于处理器320执行包含在诸如存储器330的计算机可读介质中的软件指令来执行这些操作。计算机可读介质可以被定义为非临时性存储设备。存储设备可以在单个物理存储设备内实现，或者分布在多个物理存储设备上。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器330中。包含在存储器330中的软件指令可以使得处理器320执行本文描述的过程。可替代地，可使用硬连线电路代替软件指令或与软件指令组合以实施本文所描述的过程。因此，本文描述的实施方式不限于硬件电路和软件的任何特定组合。
计算模块300可以包括帮助接收、发送和/或处理数据的其它组件(未示出)。而且，计算模块300中的组件的其它配置也是可能的。在其它实施方式中，计算模块300可以包括比图3所示的更少的组件、不同的组件、附加的组件或不同布置的组件。另外地或可替代地，计算模块300的一个或多个组件可以执行被描述为由计算模块300的一个或多个其它组件执行的一个或多个任务。
图4示出了实施例中的查看具有眼睛追踪器140的显示器130的操作员402的示例性环境400。显示器130可以包括用于向操作员402显示信息的任何类型的显示器。操作员402查看显示器130并且可以经由在监视站125上运行的应用程序与VMS 150交互。例如，操作员402可以观看区域106的视频。
眼睛追踪器140包括使监视站125能够确定操作员402的眼睛聚焦的位置的传感器(例如，摄像机)。在图4中，例如，操作员402坐在显示器130的前方，并且眼睛追踪器140中的传感器感测操作员402的眼睛。例如，眼睛追踪器140可以确定注视点410，注视点410可以被表示为显示器130上的位置(例如，与一个或多个像素相关联的像素值)。基于操作员和显示器130的相对位置，可以估计对应于操作员402的视网膜中央凹视觉的视网膜中央凹视觉区域420(或“区域420”)。视网膜中央凹视觉对应于眼睛的详细视觉感知，并且近似地对向1-2个球形度数。因此，显示器130上的区域420可被计算并理解为对应于具有完全视觉敏锐度的操作员402视觉的部分。
在可替代的实施例中，视网膜中央凹视觉区域420可以在设置过程期间实验地为特定操作员402确定。视网膜中央凹视觉区域420与视网膜中央凹视觉区域420外侧的周边视觉区域430形成对比，周边视觉区域430对应于操作员402的周边视觉。注视点410近似位于区域420的中央，并且对应于从注视点410到操作员402的眼睛的视线。在实施例中，识别注视点410的信息可被发送到VMS 150。
图5A从操作员402的角度示出了显示器130。如图5A所示，显示器130包括注视点410、视网膜中央凹视觉区域420和周边视觉区域430。显示器130还包括其中视频流被呈现给操作员402的视频框520。在这个示例中，框520显示区域106的来自摄像机110的视频流，该视频流恰好包括门和看起来正在移动的人。操作员402的视网膜中央凹视觉区域420包含人，注视点410直接在人的脸上。另一方面，在框520中显示的门出现在操作员402的周边视觉区域430中。
在一些实施方式中，操作员的注视区域可以被指定为对应于视网膜中央凹视觉区域420。在其他实施方式中，可以基于注视点410和视网膜中央凹视觉区域420将操作员的注视区域指定为对应于不同的区域。作为示例，操作员的注视区域的大小可以被指定为在注视点410和视网膜中央凹视觉区域420的大小之间的某处。作为另一示例，操作员的注视区域可以被指定为更大且以视网膜中央凹视觉区域420为中心的区域。
基于指定的注视区域，可以触发不同的动作，使得眼睛追踪器140生成的信息可以被解释为视频管理系统的用户输入。例如，如果眼睛追踪器140-1确定操作员402正在观看显示来自摄像机110-1的视频流的框520-1，那么站125-1、VMS 150和/或摄像机110-1可以降低视频流的与在操作员的注视区域外的框520的区域相关联的区域的比特率。
图5B也从操作员402的角度示出了显示器130。然而，与图5A相反，图5B中的显示器130示出了多个框520-1到520-N(单独地，“框520”或者多个“框520”)。每个框520-1到520-N可以呈现不同的视频流，因此操作员402可以监视多于一个区域。不同的流可以由不同的摄像机110-1至110-M产生。在其它实施例中，每个框520-1至520-N可以显示在布置在操作员前方的不同显示器130上(例如，在墙壁上、在操作员前方的弧线中等)。可替代地或附加地，每个框520-1到520-N可以显示由共同的摄像机110-x产生的不同的流。例如，摄像机110-x可以使用“鱼眼”镜头并从延伸的角度区域捕捉视频。视频可以被处理以减少由鱼眼镜头引入的失真，并且将扩展的角度区域分成对应于不同区域的单独视频流，其可以分别在框520-1到520-N中呈现。如同图5A，图5B中的显示器130包括注视点410、视网膜中央凹视觉区域420和周边视觉区域430。
在这个示例中，框520-1可以显示来自区域106-1的摄像机110-1的视频流；视频框520-2可以显示来自区域106-2的摄像机110-2的视频流等等。图5B中的操作员402的视网膜中央凹视觉区域420包括框520-1的大部分，并且注视点410接近人的脸。在框520中显示的门也在视网膜中央凹视觉区域420中。另一方面，其它框520-2至520-N位于操作员402的周边视觉区域430中。注视点410和/或视网膜中央凹视觉区域420的位置可以被用于选择和/或指定特定的框520-x用于可以不同于其它框520的随后处理。例如，如图5B所示，注视点410可被用于指示框520-1是操作员关注的框。因此，视频监视系统可以将更多资源(例如，带宽和/或处理资源)分配给框520-1以改善框520-1中的视频流的呈现，并且减少分配给与不是操作员的焦点(例如，在周边视觉中)的框对应的其它流的资源。
图6是摄像机110、显示器130和VMS 150的功能组件的图。摄像机110的功能组件可以例如经由执行存储在存储器245中的指令的控制器240来实现。可替代地，摄像机110中包括的功能组件中的一些或全部可以通过硬连线电路来实现。显示器130和/或VMS 150的功能组件可以例如经由执行存储在存储器330中的指令的处理器320来实现。可替代地，包括在显示器130和/或VMS 150中的功能组件中的一些或全部可以通过硬连线电路来实现。
如图6所示，摄像机110可以包括传感器阵列管理器610、图像处理器620、编码器630和客户端接口640；监视站125可以包括解码器650和显示器接口660；并且VMS 150可以包括眼睛追踪器接口670、资源管理器680、摄像机数据库(DB)685和摄像机接口690。
来自摄像机110的视频流可以遵循以下处理路径到显示器130。传感器阵列管理器610指导传感器阵列220捕捉视频流的一组图像。图像处理器620可以对捕捉的图像执行图像处理，诸如降噪操作和/或缩放操作。然后，编码器630可以使用例如MPEG-4的编解码器来压缩图像。然后，客户端接口640可以将编码图像封装到例如MPEG-4部分14(MP4)的容器中，并且可以经由数据单元通过网络120将所包含的编码图像发送到监视站125以显示在显示器130上。解码器650可以从容器中获取编码的图像、可以对图像进行解码、并且可以将解码的图像提供给显示接口660。显示接口660可以将解码的图像存储在缓冲器中，并且可以将来自缓冲器的解码的图像作为显示器130上的视频流进行流式传输。
资源管理器680可以管理与环境100相关联的资源。例如，资源管理器680可以管理与从摄像机110向监视站125和关联的显示器130通过网络120传输数据相关联的网络资源，和/或与摄像机110、监视站125和/或显示器130相关联的处理器和存储器资源。资源管理器680可以指示摄像机110降低视频流的在操作员的注视区域外的区域的、与从摄像机110到显示器130的视频流相关联的比特率。眼睛追踪器接口670可以被配置为与眼睛追踪器140通信。例如，眼睛追踪器接口670可以使用与眼睛追踪器140相关联的特定应用程序编程接口(API)来获得标识与来自眼睛追踪器140的特定视频流相关联的注视区域的信息。
资源管理器680可以经由眼睛追踪器接口670从眼睛追踪器140收集注视区域信息，可以基于存储在摄像机DB 685中的信息确定一个或多个比特率降低因子，并且可以指示一个或多个摄像机110将一个或多个比特率降低因子应用于视频流的一个或多个区域。摄像机DB 685可以存储与特定摄像机110有关的信息。下面参考图7来描述可以存储在摄像机DB 685中的示例性信息。摄像机接口690可以被配置为与摄像机110通信，并且可以经由与摄像机110相关联的特定API发送来自资源管理器680的指令。
传感器阵列管理器610可以存储、管理和/或应用一个或多个传感器阵列参数。例如，传感器阵列管理器610可以存储用于管理传感器阵列220中的特定传感器应当被开启还是关闭的参数、特定传感器的采样率、特定传感器的灵敏度因子和/或其它类型的传感器参数。而且，传感器阵列管理器610可以存储用于确定由传感器阵列220捕获的图像的类型的传感器阵列220的一个或多个设置。例如，第一设置可以对应于常规图像，第二设置可以对应于广角或全景图像，第三设置可以对应于低光设置等。传感器阵列管理器610可接收来自VMS 150的指令以调整所存储的参数中的一个或多个参数，从而基于由VMS 150确定的注视区域信息来调整传感器阵列220的区域中的比特率。
图像处理器620可以存储、管理和/或应用一个或多个图像处理参数。例如，图像处理器620可以存储与诸如低通滤波器的降噪过程有关的参数、与缩放过程有关的参数、和/或可以用于改变与视频流的区域相关联的比特率的其它类型的图像处理参数。图像处理器620可接收来自VMS 150的指令以调整所存储的参数中的一个或多个参数，从而基于由VMS150确定的注视区域信息来调整视频流的区域中的比特率。
编码器630可以存储、管理和/或应用一个或多个编码参数，包括帧内编码参数和帧间编码参数。例如，编码器630可以存储用于视频流的特定区域和/或对象的量化参数(QP)、存储用于离散余弦变换(DCT)的一组系数、预测误差参数的平均绝对差(MAD)和/或其它编码参数。编码器630可接收来自VMS 150的指令以调整所存储的编码参数中的一个或多个编码参数，从而基于由VMS 150确定的注视区域信息来调整视频流的区域中的比特率。
客户端接口640可以存储、管理和/或应用一个或多个图像传输参数。例如，客户端接口640可以存储服务质量(QoS)参数。客户端接口640可接收来自VMS150的指令以调整所存储的编码参数中的一个或多个编码参数，从而基于由VMS150确定的注视区域信息来调整视频流的区域中的比特率。
尽管图6示出了摄像机110、显示器130和VMS 150的示例性功能组件，但是在其它实施方式中，摄像机110、显示器130或VMS 150可以包括与图6所示相比，更少的功能组件、不同的功能组件、不同布置的功能组件、或附加的功能组件。另外，摄像机110、显示器130和VMS 150的组件中的任何一个(或任何组件的组)可以执行被描述为由摄像机110、显示器130和VMS 150的一个或多个其它功能组件执行的功能。
图7是图6的摄像机数据库的示例性组件的图。如图7所示，摄像机DB 685可以存储一个或多个摄像机记录701。每个摄像机记录701可以存储与特定摄像机110有关的信息。摄像机记录701可以包括摄像机标识符(ID)字段710、注视区域字段720、梯度字段730和比特率降低字段740。
摄像机ID字段710可以存储与特定摄像机110相关联的一个或多个ID。例如，摄像机ID可以存储特定摄像机110的媒体访问控制(MAC)地址、特定摄像机110的互联网协议(IP)地址、由VMS 150分配给特定摄像机110的名称和/或另一类型的ID。此外，摄像机ID字段710可以存储特定摄像机110的制造和型号信息和/或特定摄像机110上安装的软件版本。此外，摄像机ID字段710可以包括使得VMS 150能够建立与特定摄像机110的安全连接的特定摄像机110的认证信息。
注视区域字段720可以包括标识特定摄像机110的当前或最近识别的注视区域的信息。例如，注视区域字段720可以标识注视点410、视网膜中央凹视觉区域420和/或另一指定的注视区域。此外，注视区域字段720可以包括与与特定摄像机110相关联的视频流的注视区域相关联的历史信息。例如，可以使用历史注视区域信息来预测与特定摄像机110相关联的视频流的注视轨迹。
梯度字段730可以存储标识与特定摄像机110相关联的比特率降低因子梯度的信息。例如，梯度字段730可以存储一组可能的梯度，并且可以存储标识来自一组可能的梯度的所选或活跃梯度的指示。可以通过一个或多个比特率降低因子，例如从注视区域的边缘到距注视区域的边缘设定距离的第一区域的第一比特率降低因子以及从设定距离到显示器的边缘的第二区域的、比第一比特率降低因子高的第二比特率降低因子，来定义梯度。作为另一示例，梯度可以定义从注视区域的边缘到显示器的边缘的线性递减比特率降低因子。作为又一示例，梯度可以定义非线性递减比特率降低因子(例如，指数递减比特率降低因子、对数递减比特率降低因子等)。
此外，梯度字段730可以包括用于调整比特率的附加指令和/或规范。作为又一示例，梯度字段730可以指定，如果注视区域落在显示器之外，则应该对于整个视频流降低比特率。作为另一示例，产生梯度可以包括指示摄像机增加视频流的注视区域内的比特率。作为又一示例，梯度字段730可以指定，如果注视轨迹指示注视区域正在移动到降低了比特率的区域中，则增加该区域中的比特率。
比特率降低字段740可以标识要在特定情况下应用的一个或多个比特率降低因子。此外，比特率降低字段740可以标识当前正被应用于与特定摄像机110相关联的视频流的一个或多个比特率降低因子。例如，比特率降低字段740可以标识一个或多个传感器阵列管理器610参数、一个或多个图像处理器参数620、一个或多个编码器参数和/或一个或多个客户端接口参数640。编码器参数可以包括能够被调整来实现比特率的不同的标准编码配置文件。例如，当使用H.264视频编码标准时，可以选择的编码配置文件包括基线、扩展、主要、高、高10、高4:2:2和高4:4:4预测。另外地或可替代地，可以调整较低级编码参数以进一步调整比特率。例如，对于MPEG编码标准，可以选择量化缩放矩阵来增加量化以降低编码帧内的比特率。此外，可以调整改变阈值水平以改变编码的帧间的压缩率。例如，当编码P帧和/或B帧时，可以提高运动的阈值，因此较少的变化被编码，这将降低编码的视频流的比特率。
图8是根据本文描述的实施方式的基于注视区域来控制比特率的过程的流程图。在一个实施方式中，图8的过程可以由VMS 150执行。在其它实施方式中，图8的过程的一些或全部可以由诸如摄像机110和/或监视站125的、与VMS 150分开和/或包括VMS 150的另一设备或一组设备执行。
图8的过程可以包括从摄像机接收视频流(块810)并且在显示器上显示视频流(块820)。例如，操作员可以登录到与监视站125和/或显示器130相关联的计算机设备，并且可以登录到VMS 150以配置一个或多个摄像机110。VMS 150可配置摄像机110来将被监视区域106的视频流提供给显示器130，并且显示器130可继续从摄像机110接收视频流数据并显示视频流数据。
可以为观看显示器的用户和/或操作员获得标识注视区域的信息(块830)。例如，眼睛追踪器140可以监视用户的眼睛以确定注视点410和/或视网膜中央凹视觉区域420，并且基于确定的注视点410和/或视网膜中央凹视觉区域420来确定注视区域。标识确定的注视区域的信息可以被提供给VMS 150的资源管理器680。可替代地，来自眼睛追踪器140的原始数据可以被提供给VMS 150，并且VMS 150可以基于原始数据来确定注视区域。
可以从注视区域向显示器的边缘生成梯度(块840)。例如，资源管理器680可产生与摄像机110相关联的视频流的梯度。可以基于一个或多个参数来从梯度字段730选择特定梯度。作为示例，在低网络负荷时可以选择更保守的梯度(例如，从注视区域的边缘向显示器的边缘的线性递减比特率降低因子)，而在高网络负荷时可以选择更严格的梯度(例如，对注视区域外的所有区域应用比特率降低因子)。作为另一示例，特定摄像机110可以被分配重要性等级，并且与较高重要性等级相关联的第一摄像机110可以被分配比与较低重要性等级相关联的第二摄像机110更保守的梯度。作为又一示例，可以为不同的用户和/或监视站125分配重要性等级，并且可以基于所分配的重要性等级来选择梯度。
可以指示摄像机基于生成的梯度降低视频流的注视区域外的比特率(块850)。例如，VMS 150可以从特定摄像机110的比特率降低字段740中选择一个或多个比特率降低因子，例如传感器阵列比特率降低因子、图像处理比特率降低因子、编码比特率降低因子和/或图像传输比特率降低因子。作为示例，VMS 150可以选择：调整与视频流的区域相关联的传感器阵列220中的传感器的子集的采样率；对该视频流的区域进行下采样(例如降低分辨率)；增加该视频流的区域中的降噪过程；增加编码压缩参数；和/或调整可能导致该视频流的区域中的比特率降低的另一参数。
可以基于一个或多个参数来选择特定比特率降低因子。作为示例，可以基于与视频流相关联的特定摄像机110的品牌和型号来选择比特率降低因子。作为另一示例，可以基于预测的比特率降低(例如，基于特定摄像机110的历史数据)来选择比特率降低因子，并且可以选择与最高的预测的比特率降低相关联的比特率降低因子。作为又一示例，可以基于用户选择的手动设置来选择比特率降低因子。在另一示例中，比特率降低可以与场景的内容和/或检测到的对象相关联。
图9A-9C是根据本文描述的一个或多个实施方式的示例性比特率降低场景的图。图9A示出显示器130上的第一示例性比特率降低场景901。如图9A所示，被指定为视网膜中央凹视觉区域420的注视区域驻留在显示器130的右下角。可以利用第一比特降低区域910和第二比特降低区域920来设置梯度。第一比特降低区域910可被定义为从视网膜中央凹视觉区域420的边缘延伸到设定距离。可以例如基于具有检测到运动的高可能性的周边视觉区域来确定设定距离。作为另一个示例，设定距离可以对应于从视网膜中央凹视觉区域420的边缘到显示器130的边缘的距离的百分比(例如，到边缘的距离的30％、到边缘的距离的50％等)。第二比特降低区域920可被定义为从设定距离进一步向显示器130的边缘延伸。
第一比特降低区域910可以与第一比特率减少因子相关联，第二比特降低区域920可以与比第一比特率降低因子高的第二比特率降低因子相关联。因此，第二比特降低区域920可以以低比特率提供低质量视频流，第一比特降低区域910可以提供具有较高质量和比特率的视频流，并且视网膜中央凹视觉区域420可以提供高质量视频流，在该高质量视频流中，比特率没有被从其标称视频压缩率降低。在一些实施方式中，可以(例如，通过降低压缩值、通过减少降噪、通过增加传感器子集的采样率等)增加视网膜中央凹视觉区域420内的比特率。
图9B示出显示器130上的第二示例性比特率降低场景902。如图9A所示，被指定为视网膜中央凹视觉区域420的注视区域再次驻留在显示器130的右下角。可以设置包括从视网膜中央凹视觉区域420向显示器130的边缘线性增加的比特率降低因子的梯度。区域930、932、934、936、938、940和942可以与增加的比特率降低因子相关联，并因此与降低比特率和视频质量相关联。
图9C示出显示器130上的第三示例性比特率降低场景903。在场景903中，使用高比特率降低因子来降低视网膜中央凹视觉区域420外的区域950的比特率。在降低比特率之后，随着从先前的注视区域970到当前注视区域980建立轨迹960，注视区域开始改变。轨迹960可以被用于预测与区域990相对应的注视区域的未来轨迹。作为响应，区域990中的比特率降低可以通过将降低的比特率提高回到与注视区域相关联的高比特率来消除。如此，可以预期用户的注视落入区域990，并且在用户的注视到达区域990之前，可以增加区域990中的比特率。这可以防止操作员的注视落在区域990上的时间和用户能够在区域990中观看高质量视频流的时间之间的任何滞后时间或延迟。轨迹可以使用存储注视区域970的先前轨迹的跟踪算法来预测，并且可以使用统计技术来预测注视区域970的移动中的未来变化。在实施例中，视频流中识别的对象之间的相关性可以影响注视区域990的预期移动的确定。例如，可以预期关注的对象吸引用户的注意力，因此关注的对象的外观和/或关注的对象的轨迹可以影响注视区域970的预测轨迹的计算。
本申请通过引用并入与本专利申请同一天递交的下列专利申请：美国专利申请编号：__/___,___(代理备案号P160085/US(0090-0018))，名称为“注视热图”，并且于2016年12月30日递交；美国专利申请编号：__/___,___(代理备案号P160191(0090-0023))，名称为“视频管理系统中基于注视的报警屏蔽”，并且于2016年12月30日递交；和美国专利申请编号：__/___,___(代理备案号P160193(0090-0024))，名称为“基于注视的块级框速率控制”，并且于2016年12月30日递交。
在前面的说明中，参照附图描述了各种优选实施例。然而，将显而易见的是，在不偏离如在随后的权利要求中阐述的本发明的更宽范围的情况下，可以对其进行各种修改和改变，并且可以实现另外的实施例。因此，说明书和附图被当作是说明性的而不是限制性的。
例如，虽然已经关于图8描述了一系列块，但是在其它实施方式中可以修改块的顺序。此外，可以并行地执行非依赖的块和/或信号流。
显而易见的是，如上所述，系统和/或方法可以在图中所示的实施方式中以软件、固件和硬件的许多不同形式来实现。用于实现这些系统和方法的实际软件代码或专用控制硬件不是对实施例的限制。因此，系统和方法的操作和行为在没有参考具体软件代码的情况下被描述。应当理解，软件和控制硬件可以被设计为基于本文的描述来实现系统和方法。
此外，上面描述的某些部分可以被实现为执行一个或多个功能的组件。如本文中所使用地，组件可以包括诸如处理器、ASIC或FPGA的硬件，或者硬件和软件的组合(例如，执行软件的处理器)。如本文中所使用地，词“示例性”意思是“作为用于说明的示例”。
当在本说明书中使用时，术语“包括”用于表示叙述过的特征、整体、步骤或组件的存在，而不排除一个或多个其它特征、整体、步骤、组件或它们的组的存在或增加。
如本文中所使用地，术语“逻辑”可以指代被配置为执行存储在一个或多个存储设备中的指令的一个或多个处理器的组合，可以指代硬连线电路，和/或可以指代其组合。此外，逻辑可以被包括在单个设备中，或者可以分布在多个并且可能是远程的设备上。
出于描述和限定本发明的目的，术语“基本上”在本文中用于表示可归因于任何定量比较、值、测量或其它表示的不确定性的固有程度。术语“基本上”也在本文中用于表示定量表示在不导致所讨论主题的基本功能的变化的情况下，可以与所述参考不同的程度。
除非明确地如此描述，否则本申请中使用的元件、动作或指令不应该被解释为对于实施例是关键的或必不可少的。而且，如本文所使用地，冠词“一”旨在包括一个或多个项目。此外，除非另有明确说明，短语“基于”旨在表示“至少部分基于”。

Claims (15)

1.一种由一个或多个计算机设备执行的方法，所述方法包括：
从摄像机接收视频流；
在显示器上显示所述视频流；
经由眼睛追踪传感器获得标识观看所述显示器的用户的注视区域的信息；
生成从所述注视区域向所述显示器的边缘的梯度；和
指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率。
2.根据权利要求1所述的方法，进一步包括：
基于获得的信息来计算预测的注视轨迹；和
增加所述视频流的沿所述预测的注视轨迹的比特率。
3.根据权利要求1所述的方法，进一步包括：
确定所述注视区域落在所述显示器之外；和
响应于确定所述注视区域落在所述显示器之外，降低整个所述视频流的比特率。
4.根据权利要求1所述的方法，其中生成从所述注视区域到所述显示器的边缘的梯度包括：
定义从所述注视区域的边缘到距所述注视区域的所述边缘特定距离的第一区域的第一比特率降低因子，其中所述第一比特率降低因子指示所述第一区域的比特率被降低的程度；和
定义从所述特定距离到所述显示器的所述边缘的第二区域的第二比特率降低因子，其中所述第二比特率降低因子指示所述第二区域的比特率被降低的程度，其中所述第二比特率降低因子高于所述第一比特率降低因子。
5.根据权利要求1所述的方法，其中生成从所述注视区域到所述显示器的边缘的梯度包括：
定义从所述注视区域的边缘向所述显示器的所述边缘的线性递减比特率降低因子，其中所述显示器的特定位置处的所述比特率降低因子指示所述特定位置处的比特率被降低的程度。
6.根据权利要求1所述的方法，其中指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率包括：
指示所述摄像机降低与所述视频流的所述注视区域外的区域相关联的传感器的采样率。
7.根据权利要求1所述的方法，其中指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率包括：
指示所述摄像机在对所述视频流进行编码之前，降低所述视频流的所述注视区域外的区域的分辨率。
8.根据权利要求1所述的方法，其中指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率包括：
指示所述摄像机在对所述视频流进行编码之前，增加所述视频流的所述注视区域外的区域的降噪过程。
9.根据权利要求1所述的方法，其中指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率包括：
指示所述摄像机增加与所述视频流的所述注视区域外的区域相关联的编码处理单元的压缩参数值。
10.根据权利要求1所述的方法，其中所述视频流包括多个视频流，并且其中所述显示器包括多个显示器。
11.一种计算机设备，包括：
存储指令的存储器；和
处理器，被配置为执行所述指令以：
从摄像机接收视频流；
在显示器上显示所述视频流；
经由眼睛追踪传感器获得标识观看所述显示器的用户的注视区域的信息；
生成从所述注视区域向所述显示器的边缘的梯度；并且
指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率。
12.根据权利要求11所述的计算机设备，其中，当生成从所述注视区域向所述显示器的边缘的梯度时，所述处理器被进一步配置为：
定义从所述注视区域的边缘到距所述注视区域的所述边缘特定距离的第一区域的第一比特率降低因子，其中所述第一比特率降低因子指示所述第一区域的比特率被降低的程度；并且
定义从所述特定距离到所述显示器的所述边缘的第二区域的第二比特率降低因子，其中所述第二比特率降低因子指示所述第二区域的比特率被降低的程度，其中所述第二比特率降低因子高于所述第一比特率降低因子。
13.根据权利要求11所述的计算机设备，其中，当生成从所述注视区域向所述显示器的边缘的梯度时，所述处理器被进一步配置为：
定义从所述注视区域的边缘向所述显示器的所述边缘的线性递减比特率降低因子，其中所述显示器的特定位置处的所述比特率降低因子指示所述特定位置处的比特率被降低的程度。
14.根据权利要求11所述的计算机设备，其中，当指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率时，所述处理器进一步被配置为执行以下步骤之一：
指示所述摄像机降低与所述视频流的所述注视区域外的区域相关联的传感器的采样率；和
指示所述摄像机在对所述视频流进行编码之前，降低所述视频流的所述注视区域外的区域的分辨率。
15.根据权利要求11所述的计算机设备，其中，当指示所述摄像机基于生成的梯度降低所述视频流的所述注视区域外的比特率时，所述处理器进一步被配置为执行以下步骤之一：
指示所述摄像机在对所述视频流进行编码之前，增加所述视频流的所述注视区域外的区域的降噪过程；和
指示所述摄像机增加与所述视频流的所述注视区域外的区域相关联的编码处理单元的压缩参数值。
CN201711459032.8A 2016-12-30 2017-12-28 注视控制的比特率 Pending CN108270997A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,856 US10121337B2 (en) 2016-12-30 2016-12-30 Gaze controlled bit rate
US15/395,856 2016-12-30
EP17154582.5A EP3343917A1 (en) 2016-12-30 2017-02-03 Gaze controlled bit rate
EP17154582.5 2017-02-03

Publications (1)

Publication Number Publication Date
CN108270997A true CN108270997A (zh) 2018-07-10

Family

ID=57995042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711459032.8A Pending CN108270997A (zh) 2016-12-30 2017-12-28 注视控制的比特率

Country Status (6)

Country Link
US (1) US10121337B2 (zh)
EP (1) EP3343917A1 (zh)
JP (1) JP6708622B2 (zh)
KR (1) KR102065479B1 (zh)
CN (1) CN108270997A (zh)
TW (1) TWI662834B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
WO2022021991A1 (zh) * 2020-07-31 2022-02-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10686859B2 (en) * 2017-12-28 2020-06-16 Intel Corporation Content scenario and network condition based multimedia communication
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
CN112106366A (zh) * 2018-05-07 2020-12-18 苹果公司 动态中央凹聚焦管线
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
CN108833976B (zh) * 2018-06-27 2020-01-24 深圳看到科技有限公司 一种全景视频动态切流后的画面质量评估方法及装置
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
KR102238125B1 (ko) * 2018-11-26 2021-04-08 수니코리아 엘엘씨(한국뉴욕주립대학교) 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
US11055976B2 (en) 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
US11830168B2 (en) * 2021-03-31 2023-11-28 Tobii Ab Method of compressing image data for network transport
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras
KR102497227B1 (ko) * 2022-11-11 2023-02-08 (주)아이브리지닷컴 심리스 동영상 스트리밍 재생 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
CN104096362A (zh) * 2013-04-02 2014-10-15 辉达公司 基于游戏者关注区域改进视频流的码率控制比特分配
CN105340279A (zh) * 2012-12-27 2016-02-17 微软技术许可有限责任公司 用于近眼显示器的显示更新时间缩减

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
JPH0951519A (ja) * 1995-08-08 1997-02-18 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及び情報提供装置並びに課金方法
JPH09200756A (ja) * 1996-01-17 1997-07-31 Kubota Corp 画像データ圧縮方法及び装置，画像データ送受信方法及び装置並びに画像データ受信装置
JPH10304335A (ja) * 1997-04-28 1998-11-13 Fujitsu Ltd 情報伝送装置
IL148431A0 (en) * 1999-12-30 2002-09-12 Swisscom Mobile Ag Method for the transmission of image data
JP2001045494A (ja) * 2000-01-01 2001-02-16 Mitsubishi Electric Corp 画像符号化装置
US6717607B1 (en) 2000-04-28 2004-04-06 Swisscom Mobile Ag Method and system for video conferences
JP2002218441A (ja) * 2001-01-22 2002-08-02 Matsushita Electric Ind Co Ltd 画像提供装置およびその方法
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4162398B2 (ja) * 2001-11-19 2008-10-08 株式会社日立製作所 映像表示システムおよびその方法
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
JP5082141B2 (ja) * 2008-04-07 2012-11-28 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
JP5210212B2 (ja) * 2009-03-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
KR101920646B1 (ko) * 2011-12-15 2018-11-22 한국전자통신연구원 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
JP2013157802A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 監視カメラ装置
WO2014057618A1 (ja) * 2012-10-09 2014-04-17 パナソニック株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
JP6138453B2 (ja) * 2012-10-29 2017-05-31 京セラ株式会社 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
KR101492919B1 (ko) * 2012-12-21 2015-02-12 서울시립대학교 산학협력단 저비용 다중 카메라 감시 시스템 및 방법
WO2014131690A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method and device for calibration-free gaze estimation
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
WO2015034561A1 (en) * 2013-09-03 2015-03-12 Tobii Technology Ab Portable eye tracking device
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法
CN103930817A (zh) * 2011-06-20 2014-07-16 谷歌公司 用于数据的自适应传送的系统和方法
CN105340279A (zh) * 2012-12-27 2016-02-17 微软技术许可有限责任公司 用于近眼显示器的显示更新时间缩减
CN104096362A (zh) * 2013-04-02 2014-10-15 辉达公司 基于游戏者关注区域改进视频流的码率控制比特分配

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
WO2022021991A1 (zh) * 2020-07-31 2022-02-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质

Also Published As

Publication number Publication date
US10121337B2 (en) 2018-11-06
TW201830961A (zh) 2018-08-16
KR102065479B1 (ko) 2020-01-13
EP3343917A1 (en) 2018-07-04
JP6708622B2 (ja) 2020-06-10
KR20180079189A (ko) 2018-07-10
US20180190091A1 (en) 2018-07-05
JP2018110397A (ja) 2018-07-12
TWI662834B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN108270997A (zh) 注视控制的比特率
CN108270996B (zh) 由计算机设备执行的方法及计算机系统
JP7353015B2 (ja) 方法、装置、およびカメラ
US20230360254A1 (en) Pose estimation method and related apparatus
US20170201689A1 (en) Remotely controlled communicated image resolution
US10643443B2 (en) Alarm masking based on gaze in video management system
EP3634005A1 (en) Client device and method for receiving and rendering video content and server device and method for streaming video content
CN114374832A (zh) 虚拟现实体验的控制方法、装置、用户设备及网络设备
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
KR20150095080A (ko) 영상 데이터 전송 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710