CN108270996A - 注视热图 - Google Patents

注视热图 Download PDF

Info

Publication number
CN108270996A
CN108270996A CN201711457056.XA CN201711457056A CN108270996A CN 108270996 A CN108270996 A CN 108270996A CN 201711457056 A CN201711457056 A CN 201711457056A CN 108270996 A CN108270996 A CN 108270996A
Authority
CN
China
Prior art keywords
interest
video
day
low region
attentively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711457056.XA
Other languages
English (en)
Other versions
CN108270996B (zh
Inventor
比约恩·阿多
伏莱德瑞克·皮尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108270996A publication Critical patent/CN108270996A/zh
Application granted granted Critical
Publication of CN108270996B publication Critical patent/CN108270996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本发明涉及注视热图。公开了一种方法和视频管理系统。该方法可以包括从摄像机接收视频流并且在显示器上显示视频流。该方法可以包括经由眼睛追踪传感器获得观看显示器的操作员的注视信息。该方法可以包括基于获得的注视信息生成一时间段内的视频流的历史注视热图，并且基于生成的历史注视热图来确定视频流的低关注区域。该方法可以包括指示摄像机降低低关注区域中的视频流的比特率。

Description

注视热图
背景技术
可以安装诸如摄像机的监视设备来捕捉关注区域的图像或视频。操作员或一组操作员可以在远离摄像机的显示器上监视来自摄像机的图像或视频。摄像机捕获的数据可以被处理并通过网络连接发送到显示器。例如，可以压缩图像或视频以减少必须通过网络传输的数据量。系统可以包括大量的通过网络传输大量数据的摄像机。大量的数据可能耗费网络资源。
发明内容
根据一个方面，由计算机设备执行的方法可以包括：从摄像机接收视频流；在显示器上显示视频流；经由眼睛追踪传感器获得观看显示器的操作员的注视信息；基于获得的注视信息，生成一时间段内的视频流的历史注视热图；基于生成的历史注视热图，确定视频流的低关注区域；和指示摄像机降低低关注区域中的视频流的比特率。这一方法可以导致节省网络资源并降低摄像机和监视站的监视系统的处理器和内存负荷的技术效果。
此外，该方法可以包括：基于所生成的历史注视热图来确定视频流的高关注区域；和指示摄像机增加高关注区域中的视频流的比特率。指示摄像机增加高关注区域中的视频流的比特率可以提供在视频流的高关注的部分中提供更多信息，而不必增加整个视频流的比特率的优点。
另外，时间段可以比一天更长。使用比一天更长的时间段可以提供基于长期模式的低关注区域的优点。
另外，时间段可以对应于一天中的特定时间或一星期中的特定一天，并且基于所生成的历史注视热图来确定视频流的低关注区域可以包括：基于一天中的第一时间或一星期中的第一天的多个实例中生成的一天中的第一时间或一星期中的第一天的历史注视热图，来确定一天中的第一时间或一星期中的第一天的第一低关注区域；和，基于一天中的第二时间或一星期中的第二天的多个实例中生成的一天中的第二时间或一星期中的第二天的历史注视热图，来确定一天中的第二时间或一星期中的第二天的第二低关注区域，其中第二低关注区域不同于第一低关注区域。确定一天中的不同时间或一星期中的不同日子的不同的低关注区域可以提供使得低关注区域适应于一天中的不同时间或一星期中的不同日子的优点。
另外，基于所生成的历史注视热图来确定视频流的低关注区域可以包括：识别摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；选择与所识别的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的所生成的历史注视热图的子集；和基于选择的生成的历史注视热图的子集来确定视频流的低关注区域。确定不同的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置的不同的低关注区域可以提供使得低关注区域适应不同摄像机设置的优点。
另外，视频流可以包括多个视频流，并且其中显示器包括多个显示器。确定多个显示器的多个视频流的低关注区域可以提供节省网络资源并减少包括多个视频流和多个显示器的系统的处理器和存储器负荷的优点。
另外，该方法可以包括：将事件类型与历史注视热图中的特定变化相关联；检测相关事件类型的事件；和响应于检测到事件，基于历史注视热图中的特定变化来改变低关注区域。基于历史注视热图中的特定变化来改变低关注区域可以提供使得低关注区域适应变化条件的优点。
另外，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机降低与低关注区域相关联的传感器的采样率。降低与低关注区域相关联的传感器的采样率可以提供节省网络资源并减少传感器的处理器和存储器负荷的优点。
另外，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机在编码视频流之前增加针对低关注区域的降噪过程。针对低关注区域增加降噪过程可以提供节省网络资源并减少图像处理器的处理和存储器负荷的优点。
另外，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机调整与低关注区域相关联的编码处理单元的编码参数。指示摄像机调整与低关注摄像机相关联的编码处理单元的编码参数可以提供节省网络资源并减少编码处理单元的处理和存储器负荷的优点。
根据另一方面，一种计算机系统可以包括：用于存储指令的存储器；和用于从摄像机接收视频流的接收器；用于显示视频流的显示器；处理器，被配置为执行所述指令以：经由眼睛追踪传感器获得观看显示器的操作员的注视信息；基于获得的注视信息，生成一时间段内的视频流的历史注视热图；基于生成的历史注视热图，确定视频流的低关注区域；并且确定要指示摄像机降低低关注区域中的视频流的比特率；以及发送器，用于向摄像机发送指令以降低低关注区域中的视频流的比特率。这一计算机系统可以提供节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。
此外，处理器可以被进一步配置为基于所生成的历史注视热图来确定视频流的高关注区域；并且处理器可以被配置为确定要指示摄像机增加高关注区域中的视频流的比特率；并且发送器可以被配置为向摄像机发送指令以增加高关注区域中的视频流的比特率。指示摄像机增加高关注区域中的视频流的比特率可以提供在高关注的视频流的部分中提供更多信息，而不必增加整个视频流的比特率的优点。
另外，时间段可以比一天更长。使用比一天更长的时间段可以提供基于长期模式的低关注区域的优点。
另外，时间段可以对应于一天中的特定时间或一星期中的特定一天，并且处理器可以被进一步配置为：基于一天中的第一时间或一星期中的第一天的多个实例中生成的一天中的第一时间或一星期中的第一天的历史注视热图，来确定一天中的第一时间或一星期中的第一天的第一低关注区域；并且基于一天中的第二时间或一星期中的第二天的多个实例中生成的一天中的第二时间或一星期中的第二天的历史注视热图，来确定一天中的第二时间或一星期中的第二天的第二低关注区域，其中第二低关注区域不同于第一低关注区域。确定一天中的不同时间或一星期中的不同日子的不同的低关注区域可以提供使得低关注区域适应于一天中的不同时间或一星期中的不同日子的优点。
另外，处理器可以被进一步配置为：识别摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；选择与所识别的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的所生成的历史注视热图的子集；并且基于选择的生成的历史注视热图的子集来确定视频流的低关注区域。确定不同的摄像机的摇摄、缩放、倾斜、旋转或图像类型设置的不同的低关注区域可以提供使得低关注区域适应不同摄像机设置的优点。
另外，视频流可以包括多个视频流，并且显示器可以包括多个显示器。确定多个显示器的多个视频流的低关注区域可以提供节省网络资源并减少包括多个视频流和多个显示器的系统的处理器和存储器负荷的优点。
另外，处理器可以被进一步配置为：将事件类型与历史注视热图中的特定变化相关联；检测相关事件类型的事件；并且响应于检测到事件，基于历史注视热图中的特定变化来改变低关注区域。基于历史注视热图中的特定变化来改变低关注区域可以提供使得低关注区域适应变化条件的优点。
另外，处理器可以被进一步配置为确定要指示摄像机降低与低关注区域相关联的传感器的采样率；并且用于降低低关注区域中的视频流的比特率的指令可以包括用于降低与低关注区域相关联的传感器的采样率的对摄像机的指令。降低与低关注区域相关联的传感器的采样率可以提供节省网络资源并减少传感器的处理器和存储器负荷的优点。
另外，处理器可以被进一步配置为：在编码视频流之前，确定要指示摄像机增加低关注区域的降噪过程；并且，用于降低低关注区域中的视频流的比特率的指令可以包括用于在编码视频流之前增加针对低关注区域的降噪过程的指令。针对低关注区域增加降噪过程可以提供节省网络资源并减少图像处理器的处理和存储器负荷的优点。
另外，处理器可以被进一步配置为确定要指示摄像机调整与低关注区域相关联的编码处理单元的编码参数，并且用于降低低关注区域中的视频流的比特率的指令可以包括用于调整与低关注区域相关联的编码处理单元的编码参数的指令。指示摄像机调整与低关注摄像机相关联的编码处理单元的编码参数可以提供节省网络资源并减少编码处理单元的处理和存储器负荷的优点。
附图说明
图1是示出根据本文描述的实施方式的包括眼睛追踪的示例性环境的框图；
图2是示出根据本文描述的实施方式的摄像机的示例性组件的框图；
图3是示出根据本文描述的实施方式的计算模块的示例性组件的框图；
图4示出了根据本文描述的实施方式的操作员查看具有眼睛追踪器的显示器的环境；
图5A和图5B示出了根据本文描述的一个或多个实施方式的从操作员的角度看的显示；
图6是图1的一些组件中的功能组件的图；
图7A-7B是图6的摄像机数据库的示例性组件的图；
图8是根据本文描述的实施方式的基于注视区域来控制比特率的过程的流程图；和
图9A-9D是根据本文描述的一个或多个实施方式的示例性注视热图场景的图。
具体实施方式
以下详细描述参照附图。不同附图中的相同附图标记标识相同或相似的要素。
本文描述的实施方式涉及注视热图。监视摄像机将关注区域的视频流式传输到显示器。视频流可能具有高带宽要求，并可能消耗显著的网络带宽。此外，处理视频流可能需要处理器和存储器资源。观看显示器的人(本文称为“操作员”或“用户”)可能发现显示器上显示的场景的特定区域是高关注的，并且可能发现场景的其它区域是低关注的。例如，如果摄像机正在监视具有路径和门的区域，则操作员可能花费大量的时间观看门和路径，并且可能花费相对较少的时间观察门周围的墙。
眼睛追踪器可用于识别操作员的注视区域，并因而识别操作员正在观看的显示器的一部分，或一组显示器中的一个或多个显示器。过了一段时间后，可以生成历史注视热图，其指示操作员花费在查看显示特定时间段内来自特定摄像机的视频流的显示器上的特定位置上的时间量。可以基于视频流中的预期可变性来选择时间段。在一些实施方式中，时间段可以是至少一天。在其它实施方式中，时间段可以比一天更长(例如，一星期、一个月等)。
历史注视热图可以例如给视频流的一帧中的每个像素或像素集分配值，所分配的值表示操作员的注视点对应于像素或像素集的时间长度。例如，对像素或像素集的较高分配值可对应于操作员花费在查看对应于像素或像素集的视频流帧的位置上的较长时间量。
历史注视热图可以被用来确定视频流的低关注区域，并且摄像机可以被指示来降低低关注区域中的视频流的比特率。降低视频流的低关注区域中的视频流的比特率可能会导致节省网络资源并降低摄像机和监视站的监视系统的处理器和存储器负荷的技术效果。在一些实施方式中，视频流可以包括多个视频流，并且显示器可以包括多个显示器。
此外，在一些实施方式中，可以基于历史注视热图来确定视频流的高关注区域，并且可以指示摄像机增加高关注区域中的视频流的比特率。
历史注视热图可以存储特定数据点的附加信息，并且附加信息可以用于相对于特定参数细化注视热图。作为示例，对于注视热图中的视频流的每个位置(例如，像素、像素集等)，附加信息可以包括标识何时收集注视信息的一天中的特定时间或一星期中的特定一天的信息。因此，基于收集的一天中的特定时间或一星期中的特定一天的视频流的注视信息的多个实例，可以从历史注视热图中获取一天中的不同时间或一星期中的不同日子的注视热图。因此，例如，可以基于一天中的第一时间或一星期中的第一天的多个实例中生成的一天中的第一时间或一星期中的第一天的历史注视热图，为一天中的第一时间或一星期中的第一天确定第一低关注区域，并且可以基于一天中的第二时间或一星期中的第二天的多个实例中生成的一天中的第二时间或一星期中的第二天的历史注视热图，为一天中的第二时间或一星期中的第二天确定第二低关注区域。
作为另一示例，对于注视热图中的视频流的每个位置，附加信息可以包括标识收集注视信息时的特定摄像机设置的信息。因此，可以从历史注视热图获取不同摄像机设置的注视热图。例如，可以选择摄像机的摇摄、缩放、倾斜、旋转或图像类型(例如，正常与广角等)设置，可以基于摄像机设置选择来生成历史注视热图的子集，并且可以基于注视热图子集来确定所选择的摄像机设置的视频流的低关注区域。
作为又一示例，对于注视热图中的视频流的每个位置，附加信息可以包括标识特定事件类型的信息。可以基于所生成的警报、基于记录在与被监视区域相关联并由视频管理系统管理的日历中的事件、基于由操作员输入的手动的信息、和/或基于另一种识别事件的技术，来识别事件类型。事件类型可能与历史注视热图中的特定变化相关联。如果将来检测到事件类型，则可以基于历史注视热图中的相关变化来改变低关注区域。例如，门传感器可以指示门已经被打开，并且在门传感器被激活的特定时间内，操作员的注视可以改变到与门相关联的区域。在与门传感器建立关联之后，如果将来门传感器被激活，则与门相关联的低关注区域可以被改变为高关注区域，并且针对门的比特率可以被增加。
可以在从由传感器阵列捕获视频数据的点到经由网络连接将编码的视频流发送到显示器的处理路径上的多个点中的任何点处，减小比特率。作为示例，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机降低与低关注区域相关联的传感器的采样率。作为另一示例，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机在对视频流进行编码之前，降低低关注区域的分辨率。作为又一示例，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机在对视频流进行编码之前增加针对低关注区域的降噪过程。作为又一示例，指示摄像机降低低关注区域中的视频流的比特率可以包括指示摄像机增加与低关注区域相关联的编码处理单元的压缩参数值。
图1是示出实施例中的示例性环境100的框图。环境100可以是例如用于保护区域或提供公共安全的监视系统。如图1所示，环境100可以包括摄像机110-1到110-M、网络120、监视站125-1到125-N、显示器130-1到130-N、眼睛追踪器140-1到140-N和/或视频管理系统(VMS)150。
摄像机110-1至110-M(单独地“摄像机110”或多个“摄像机110”)捕获监视区域106的图像和/或视频。监视区域106可以由一个或多个摄像机110监视。例如，两个摄像机可以监视包括对象102-1的区域106-1。对象102可以包括任何对象，诸如门、人、动物、车辆、车辆上的牌照等。
摄像机110可以使用可见光、红外光和/或其它不可见的电磁辐射(例如紫外光、远红外光、太赫兹辐射、微波辐射等)来捕获图像数据。摄像机110可以包括热摄像机和/或用于雷达成像的雷达装置。捕获的图像数据可以包括连续的图像序列(例如，视频)、有限的图像序列、静止图像和/或其组合。摄像机110可以包括用于捕获和数字化图像的数字摄像机和/或用于捕获图像并以模拟格式存储图像数据的模拟摄像机。
摄像机110可以包括以一个或多个二维阵列排列的、生成数据(例如，图像数据或视频数据)的传感器。如本文所使用地，“视频数据”和“视频”可以更一般地分别被称为“图像数据”和“图像”。因此，除非另有说明，否则“图像数据”或“图像”意味着包括“视频数据”和“视频”。同样，除非另有说明，“视频数据”或“视频”可以包括静止图像。此外，在一些实施方式中，“视频数据”可以包括音频数据。
监视站125-1到125-N可以包括作为VMS 150的客户端并且耦接到显示器130-1到130-N的计算机设备(单独地，分别为“监视站125”和“显示器130”)。在实施例中，监视站125-1到125-N也被耦接到眼睛追踪器140-1到140-N(单独地，“眼睛追踪器140”)。监视站125和显示器130使操作员(图1中未示出)能够观看来自摄像机110的图像。眼睛追踪器140追踪观看显示器130的操作员的注视。每个监视站125、显示器130和眼睛追踪器140可以是用于操作员与环境100中所示的监视系统交互的“客户端”。
显示器130从一个或多个摄像机110接收并显示视频流。单个显示器130可以显示来自单个摄像机110或来自多个摄像机110(例如，以显示器130上的多个框或窗口)的图像。单个显示器130也可以显示来自单个摄像机的图像，但是以不同的框显示。也就是说，单个摄像机可以包括例如广角或鱼眼镜头，并且提供多个区域106的图像。来自不同区域106的图像可被分离并在显示器130上分开显示在不同的窗口和/或框中。显示器130可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管(CRT)显示器、等离子体显示器、激光视频显示器、电泳显示器、量子点显示器、视频投影仪和/或任何其它类型的显示设备。
眼睛追踪器140包括使得VMS 150(或环境100中的任何其它设备)能够确定操作员的眼睛聚焦的位置的传感器(例如，摄像机)。例如，可以将一组近红外光束指向操作员的眼睛，引起操作员的角膜中的反射。反射可以由包括在眼睛追踪器140中的摄像机追踪以确定操作员的注视区域。注视区域可以包括注视点和视网膜中央凹焦点区域。例如，操作员可以坐在监视站125的显示器130的前面。眼睛追踪器140确定操作员正在聚焦于显示器130的哪个部分。每个显示器130可以与单个眼睛追踪器140相关联。可替代地，眼睛追踪器140可对应于多个显示器130。在这种情况下，眼睛追踪器140可以确定操作员正在聚焦于哪个显示器和/或该显示器130的哪个部分。
眼睛追踪器140还可以确定用户的存在、注意力水平、焦点、困倦、意识和/或其它状态。眼睛追踪器140也可以确定用户的身份。来自眼睛追踪器140的信息可以用来获得对操作员的随时间的行为的了解或确定操作员的当前状态。在一些实施方式中，显示器130和眼睛追踪器140可以在由操作员佩戴的虚拟现实(VR)耳机中实现。操作员可以将一个或多个摄像机110用作VR耳机的输入，来进行区域106的虚拟检查。
网络120可以包括一个或多个电路交换网络和/或分组交换网络。例如，网络120可以包括局域网(LAN)、广域网(WAN)、城域网(MAN)、公共交换电话网(PSTN)、自组织网络、内联网、因特网、基于光纤的网络、无线网络和/或这些或其它类型的网络的组合。
VMS 150可以包括一个或多个计算机设备，诸如例如协调摄像机110、显示设备130和/或眼睛追踪系统140的操作的服务器设备。VMS 150可以接收并存储来自摄像机110的图像数据。VMS 150还可以为监视站125的操作员提供用户界面以查看存储在VMS 150中的图像数据或从摄像机110流式传输的图像数据。VMS 150可以包括用于通过指示摄像机110降低操作员注视区域之外的区域的比特率来节约系统资源的规则引擎。
在一些实施例中，环境100不包括单独的VMS 150。相反，由VMS 150提供的多个服务由多个监视站125(例如，与显示器130相关联的计算机设备)和/或多个摄像机110本身或以环境100中的设备之间的分布式方式提供。例如，摄像机110可以包括用于通过指示摄像机110降低操作员注视区域之外的区域的比特率来节约系统资源的规则引擎。类似地，VMS150可以执行被描述为由摄像机110执行的操作。
尽管图1示出了环境100的示例性组件，但是在其它实施方式中，环境100可以包括与图1所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。附加地或可替代地，任何一个设备(或任何一组设备)可以执行被描述为由一个或多个其它设备执行的功能。
图2是示出实施例中的摄像机110的示例性组件的框图。如图2所示，摄像机110可以包括光学链210、传感器阵列220、总线225、图像处理器230、控制器240、存储器245、视频编码器250和/或通信接口260。在实施例中，摄像机110可以包括用于摇摄、倾斜、旋转和/或缩放摄像机110的一个或多个电机控制器270(例如三个)和一个或多个电机272(例如三个)。
光学链210包括将入射辐射(例如，光、可见光、红外波、毫米波等)引导到传感器阵列220以基于入射辐射捕获图像的外壳。光学链210包括一个或多个透镜212，透镜212将来自被监视区域的入射辐射收集并聚焦到传感器阵列220上。
传感器阵列220可以包括用于记录、感测和测量入射或落在传感器阵列220上的辐射(例如，光)的传感器的阵列。辐射可以在可见光波长范围、红外波长范围或其它波长范围内。
传感器阵列220可以包括例如电荷耦合器件(CCD)阵列和/或有源像素阵列(例如，互补金属氧化物半导体(CMOS)传感器阵列)。传感器阵列220还可以包括微测辐射热计(例如，当摄像机110包括热摄像机或检测器时)。
传感器阵列220输出指示(例如，描述性质或特性)入射在传感器阵列220上的辐射(例如，光)的数据。例如，从传感器阵列220输出的数据可以包括诸如入射在传感器阵列220中的一个或多个像素上的光的强度(例如，亮度)、颜色等的信息。入射在传感器阵列220上的光可以是“图像”，因为光可以由于光学链210中的透镜而被聚焦。在一些实施方式中，控制器240可通过关闭和/或降低传感器阵列220中的特定传感器或一组传感器的采样率来降低与传感器阵列220的特定区域相关联的比特率。
因为传感器阵列220感测落在传感器阵列220上的图像，所以其可被认为是“图像传感器”。如在本文中使用的术语，“图像”包括指示入射在传感器阵列220上的辐射的数据(例如，描述光的性质或特性)。因此，术语“图像”也可以被用来表示“图像传感器数据”或描述图像的任何数据或数据集。此外，“像素”可以表示对其进行了辐射测量(例如，指示入射在传感器阵列220上的光的测量)的传感器阵列220的任何区域或区。像素可对应于传感器阵列220中的一个或多个(或少于一个)传感器。在可替代的实施例中，传感器阵列220可以是可以使用扫描硬件(例如旋转镜)来形成图像的线性阵列，或者可以是可依靠图像处理器230和/或控制器240来产生图像传感器数据的非阵列传感器。
总线225包括使得摄像机110中的组件能够相互通信的通信路径。控制器240和/或图像处理器230对由传感器阵列220捕获的图像数据进行信号处理操作。例如，图像处理器230可以对由传感器阵列220捕获的图像进行诸如降噪、滤波、缩放等的图像处理。控制器240可以控制摄像机110的操作，并且可以向诸如传感器阵列220、图像处理器230、视频编码器250、通信接口260和/或电机控制器270的摄像机110的其它组件提供指令。
控制器240和/或图像处理器230可以包括解释并执行指令的任何类型的单核或多核处理器、微处理器、基于锁存器的处理器、和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。控制器240和/或图像处理器230可以包括或者被耦接到诸如图形处理单元(GPU)、通用图形处理单元(GPGPU)、单元、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、和/或另一类型的集成电路或处理逻辑的硬件加速器。
控制器240还可以确定和控制摄像机110的期望焦点和位置(例如，倾斜、摇摄、旋转、缩放等)。为此，控制器240向一个或多个电机控制器270发送命令以驱动一个或多个电机272倾斜、摇摄、旋转和/或变焦摄像机110或光学变焦镜头212。
存储器245可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器245可以包括随机存取存储器(RAM)或任何类型的动态存储设备、只读存储器(ROM)设备或任何类型的静态存储设备、磁或光记录存储设备及其相应的驱动器、或可移动存储设备。存储器245可存储供处理器摄像机110使用的信息和指令(例如，应用程序和/或操作系统)和数据(例如，应用程序数据)。存储器245可以存储标识一个或多个比特率降低因子和/或要应用一个或多个比特率降低因子的特定传感器阵列捕获、图像处理和/或编码处理和/或参数的信息。
存储器245可以存储由控制器240、图像处理器230、视频编码器250和/或通信接口260执行的指令。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器245中。软件指令可使控制器240、图像处理器230、视频编码器250和/或通信接口260执行本文所述的过程。例如，响应于控制器240、图像处理器230和/或视频编码器250执行存储在存储器245中的软件指令，摄像机110可以执行与图像处理有关的操作(例如，编码、降噪、代码转换、检测对象等)。可替代地，可使用硬连线电路(例如，逻辑)代替软件指令或与软件指令组合以实施本文所描述的过程。
视频编码器250可基于诸如H.262/运动图像专家组(MPEG)-2编解码器、H.263/MPEG-2部分2编解码器、H.264/MPEG-4编解码器、H.265/MPEG-H高效视频编码(HVEC)编解码器和/或另一类型的编解码器的一个或多个视频编解码器来压缩视频数据。
通信接口260包括电路和逻辑电路，其包括便于将数据传输到另一个设备的输入和/或输出端口、输入和/或输出系统、和/或其它输入和输出组件。例如，通信接口340可以包括用于有线通信的网络接口卡(例如，以太网卡)或用于无线通信的无线网络接口(例如，长期演进(LTE)、WiFi、蓝牙等)卡。
尽管图2示出了摄像机110的示例性组件，但是在其它实施方式中，摄像机110可以包括与图2所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。另外地或可替代地，摄像机110的一个或多个组件可以执行被描述为由摄像机110的一个或多个其它组件执行的功能。例如，控制器240可以执行被描述为由图像处理器230执行的功能，反之亦然。可替代地或另外地，摄像机110可以包括如下面关于图3所描述的计算模块。
图3是示出实施例中的计算模块300的示例性组件的框图。诸如VMS 150、眼睛追踪系统140、监视站125和/或显示设备130的设备可以包括一个或多个计算模块300。如图3所示，计算模块300可以包括总线310、处理器320、存储器330和/或通信接口360。在一些实施例中，计算模块300还可以包括输入设备340和/或输出设备350。
总线310包括允许在计算模块300或其它设备的组件之间进行通信的路径。处理器320可以包括解释和执行指令的任何类型的单核处理器、多核处理器、微处理器、基于锁存的处理器和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。处理器320可以包括专用集成电路(ASIC)、FPGA和/或另一种类型的集成电路或处理逻辑。处理器320可以包括或者耦接到诸如GPU、GPGPU、单元、FPGA、ASIC和/或另一类型的集成电路或处理逻辑的硬件加速器。
存储器330可以包括可以存储供处理器320执行的信息和/或指令的任何类型的动态存储设备、和/或可以存储供处理器320使用的信息的任何类型的非易失性存储设备。例如，存储器330可以包括RAM或另一类型的动态存储设备、ROM设备或其它类型的静态存储设备、磁和/或光记录存储设备及其相应的驱动器(例如，硬盘驱动器、光盘驱动器等)，和/或诸如闪存的可移除形式的存储器。
存储器330可以存储供处理器320执行的指令。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器330中。软件指令可以使得处理器320执行本文描述的过程。可替代地，可使用硬连线电路(例如，逻辑)代替软件指令或与软件指令组合以实施本文所描述的过程。
操作系统可以包括用于管理计算模块300的硬件和软件资源的软件指令。例如，操作系统可以包括Linux、Windows、OS X、Android、嵌入式操作系统等。取决于在其中找到特定计算模块300的设备，应用程序和应用程序数据可以提供网络服务或包括应用程序。
通信接口360可以包括使得计算模块300能够与其它组件、设备和/或系统通信的发射器和/或接收器(例如收发器)。通信接口360可以经由无线通信(例如，射频、红外线和/或可见光学等)、有线通信(例如，导线、双绞线电缆、同轴电缆、传输线、光缆和/或波导等)或其组合进行通信。通信接口360可以包括将基带信号转换成射频(RF)信号或反之亦然的收发器，并且可以包括天线组件。
通信接口360可以包括逻辑组件，该逻辑组件包括便于将数据传输到其它设备的输入和/或输出端口、输入和/或输出系统、和/或其它输入和输出组件。例如，通信接口360可以包括用于有线通信的网络接口卡(例如，以太网卡)和/或用于无线通信的无线网络接口(例如，WiFi)卡。通信接口460还可以包括用于通过电缆进行通信的通用串行总线(USB)端口、BluetoothTM无线接口、射频识别(RFID)接口、近场通信(NFC)无线接口、和/或将数据从一种形式转换为另一种形式的任何其它类型的接口。
在一些实施方式中，计算模块300还可以包括输入设备340和/或输出设备350。输入设备340可以使得用户能够将信息输入到计算模块300中。输入设备370可以包括例如键盘、鼠标、笔、麦克风、遥控器、音频捕获设备、图像和/或视频捕获设备、触摸屏显示器和/或其它类型的输入设备。
输出设备350可以向用户输出信息。输出设备350可以包括显示器、打印机、扬声器和/或另一类型的输出设备。输入设备340和输出设备350可以使得用户能够与由计算模块300执行的应用交互。在“无头”设备(例如部署的远程摄像机)的情况下，输入和输出主要通过通信接口360而不是输入设备340和输出设备350。
如下面详细描述地，计算模块300可以基于历史注视热图执行与比特率调整有关的某些操作。计算模块300可以响应于处理器320执行包含在诸如存储器330的计算机可读介质中的软件指令来执行这些操作。计算机可读介质可以被定义为非临时性存储设备。存储设备可以在单个物理存储设备内实现，或者分布在多个物理存储设备上。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器330中。包含在存储器330中的软件指令可以使得处理器320执行本文描述的过程。可替代地，可使用硬连线电路代替软件指令或与软件指令组合以实施本文所描述的过程。因此，本文描述的实施方式不限于硬件电路和软件的任何特定组合。
计算模块300可以包括帮助接收、发送和/或处理数据的其它组件(未示出)。而且，计算模块300中的组件的其它配置也是可能的。在其它实施方式中，计算模块300可以包括比图3所示的更少的组件、不同的组件、附加的组件或不同布置的组件。另外地或可替代地，计算模块300的一个或多个组件可以执行被描述为由计算模块300的一个或多个其它组件执行的一个或多个任务。
图4示出了实施例中的查看具有眼睛追踪器140的显示器130的操作员402的示例性环境400。显示器130可以包括用于向操作员402显示信息的任何类型的显示器。操作员402查看显示器130并且可以经由在监视站125上运行的应用程序与VMS 150交互。例如，操作员402可以观看区域106的视频。
眼睛追踪器140包括使监视站125能够确定操作员402的眼睛聚焦的位置的传感器(例如，摄像机)。在图4中，例如，操作员402坐在显示器130的前方，并且眼睛追踪器140中的传感器感测操作员402的眼睛。例如，眼睛追踪器140可以确定注视点410，注视点410可以被表示为显示器130上的位置(例如，与一个或多个像素相关联的像素值)。基于操作员和显示器130的相对位置，可以估计对应于操作员402的视网膜中央凹视觉的视网膜中央凹视觉区域420(或“区域420”)。视网膜中央凹视觉对应于眼睛的详细视觉感知，并且近似地对向1-2个球形度数。因此，显示器130上的区域420可被计算并理解为对应于具有完全视觉敏锐度的操作员402视觉的部分。
在可替代的实施例中，视网膜中央凹视觉区域420可以在设置过程期间实验地为特定操作员402确定。视网膜中央凹视觉区域420与视网膜中央凹视觉区域420外侧的周边视觉区域430形成对比，周边视觉区域430对应于操作员402的周边视觉。注视点410近似位于区域420的中央，并且对应于从注视点410到操作员402的眼睛的视线。在实施例中，识别注视点410的信息可被发送到VMS 150。
图5A从操作员402的角度示出了显示器130。如图5A所示，显示器130包括注视点410、视网膜中央凹视觉区域420和周边视觉区域430。显示器130还包括其中视频流被呈现给操作员402的视频框520。在这个示例中，框520显示区域106的来自摄像机110的视频流，该视频流恰好包括门和看起来正在移动的人。操作员402的视网膜中央凹视觉区域420包含人，注视点410直接在人的脸上。另一方面，在框520中显示的门出现在操作员402的周边视觉区域430中。
在一些实施方式中，可以基于注视点410来生成注视热图。在其它实施方式中，可以基于视网膜中央凹视觉区域420生成注视热图。在另一些实施方式中，注视热图可以基于大小在注视点410的大小和视网膜中央凹视觉区域420的大小之间的某处的区域来生成。在又一些实施方式中，注视热图可以基于较大且以视网膜中央凹视觉区域420为中心的区域来生成。
图5B也从操作员402的角度示出了显示器130。然而，与图5A相反，图5B中的显示器130示出了多个框520-1到520-N(单独地，“框520”或者多个“框520”)。每个框520-1到520-N可以呈现不同的视频流，因此操作员402可以监视多于一个区域。不同的流可以由不同的摄像机110-1至110-M产生。在其它实施例中，每个框520-1至520-N可以显示在布置在操作员前方的不同显示器130上(例如，在墙壁上、在操作员前方的弧线中等)。可替代地或附加地，每个框520-1到520-N可以显示由共同的摄像机110-x产生的不同的流。例如，摄像机110-x可以使用“鱼眼”镜头并从延伸的角度区域捕捉视频。视频可以被处理以减少由鱼眼镜头引入的失真，并且将扩展的角度区域分成对应于不同区域的单独视频流，其可以分别在框520-1到520-N中呈现。如同图5A，图5B中的显示器130包括注视点410、视网膜中央凹视觉区域420和周边视觉区域430。
在这个示例中，框520-1可以显示来自区域106-1的摄像机110-1的视频流；视频框520-2可以显示来自区域106-2的摄像机110-2的视频流，等等。图5B中的操作员402的视网膜中央凹视觉区域420包括框520-1的大部分，并且注视点410接近人的脸。在框520中显示的门也在视网膜中央凹视觉区域420中。另一方面，其它框520-2至520-N位于操作员402的周边视觉区域430中。注视点410和/或视网膜中央凹视觉区域420的位置可以被用于选择和/或指定特定的框520-x用于可以不同于其它框520的随后处理。例如，如图5B所示，注视点410可被用于指示框520-1是操作员关注的框。因此，视频监视系统可以将更多资源(例如，带宽和/或处理资源)分配给框520-1以改善框520-1中的视频流的呈现，并且减少分配给与不是操作员的焦点(例如，在周边视觉中)的框对应的其它流的资源。
图6是摄像机110、显示器130和VMS 150的功能组件的图。摄像机110的功能组件可以例如经由执行存储在存储器245中的指令的控制器240来实现。可替代地，摄像机110中包括的功能组件中的一些或全部可以通过硬连线电路来实现。显示器130和/或VMS 150的功能组件可以例如经由执行存储在存储器330中的指令的处理器320来实现。可替代地，包括在显示器130和/或VMS 150中的功能组件中的一些或全部可以通过硬连线电路来实现。
如图6所示，摄像机110可以包括传感器阵列管理器610、图像处理器620、编码器630和客户端接口640；监视站125可以包括解码器650和显示器接口660；并且VMS 150可以包括眼睛追踪器接口670、资源管理器680、摄像机数据库(DB)685和摄像机接口690。
来自摄像机110的视频流可以遵循以下处理路径到显示器130。传感器阵列管理器610指导传感器阵列220捕捉视频流的一组图像。图像处理器620可以对捕捉的图像执行图像处理，诸如降噪操作和/或缩放操作。然后，编码器630可以使用例如MPEG-4的编解码器来压缩图像。然后，客户端接口640可以将编码图像封装到例如MPEG-4部分14(MP4)的容器中，并且可以经由数据单元通过网络120将所包含的编码图像发送到监视站125以显示在显示器130上。解码器650可以从容器中获取编码的图像、可以对图像进行解码、并且可以将解码的图像提供给显示接口660。显示接口660可以将解码的图像存储在缓冲器中，并且可以将来自缓冲器的解码的图像作为显示器130上的视频流进行流式传输。
资源管理器680可以管理与环境100相关联的资源。例如，资源管理器680可以管理与从摄像机110向监视站125和关联的显示器130通过网络120传输数据相关联的网络资源，和/或与摄像机110、监视站125和/或显示器130相关联的处理器和存储器资源。资源管理器680可以指示摄像机110降低与基于历史注视热图确定的低关注区域的从摄像机110至显示器130的视频流相关联的比特率。眼睛追踪器接口670可以被配置为与眼睛追踪器140通信。例如，眼睛追踪器接口670可以使用与眼睛追踪器140相关联的特定应用程序编程接口(API)来获得标识与来自眼睛追踪器140的特定视频流相关联的注视区域的信息。
资源管理器680可以经由眼睛追踪器接口670从眼睛追踪器140收集注视信息，并且可以过一段时间后基于所收集的注视信息生成历史注视热图。资源管理器580可以将生成的历史注视热图存储在摄像机DB 685中。资源管理器580可以基于生成的历史注视热图来确定摄像机110的一个或多个低关注区域和/或一个或多个高关注区域。然后，资源管理器580可以指示摄像机降低一个或多个低关注区域的比特率，和/或增加一个或多个高关注区域的比特率。
摄像机DB 685可以存储与特定摄像机110有关的信息。下面参考图7A来描述可以存储在摄像机DB 685中的示例性信息。摄像机接口690可以被配置为与摄像机110通信，并且可以经由与摄像机110相关联的特定API发送来自资源管理器680的指令。
传感器阵列管理器610可以存储、管理和/或应用一个或多个传感器阵列参数。例如，传感器阵列管理器610可以存储用于管理传感器阵列220中的特定传感器应当被开启还是关闭的参数、特定传感器的采样率、特定传感器的灵敏度因子和/或其它类型的传感器参数。而且，传感器阵列管理器610可以存储用于确定由传感器阵列220捕获的图像的类型的传感器阵列220的一个或多个设置。例如，第一设置可以对应于常规图像，第二设置可以对应于广角或全景图像，第三设置可以对应于低光设置等。传感器阵列管理器610可接收来自VMS 150的指令以调整所存储的参数中的一个或多个参数，从而基于由VMS 150确定的注视热图来调整传感器阵列220的低关注区域中的比特率。
图像处理器620可以存储、管理和/或应用一个或多个图像处理参数。例如，图像处理器620可以存储与诸如低通滤波器的降噪过程有关的参数、与缩放过程有关的参数、和/或可以用于改变与视频流的区域相关联的比特率的其它类型的图像处理参数。图像处理器620可接收来自VMS 150的指令以调整所存储的参数中的一个或多个参数，从而基于由VMS150确定的注视热图来调整视频流的低关注区域中的比特率。
编码器630可以存储、管理和/或应用一个或多个编码参数，包括帧内编码参数和帧间编码参数。例如，编码器630可以存储用于视频流的特定区域和/或对象的量化参数(QP)、存储用于离散余弦变换(DCT)的一组系数、预测误差参数的平均绝对差(MAD)和/或其它编码参数。编码器630可接收来自VMS 150的指令以调整所存储的编码参数中的一个或多个编码参数，从而基于由VMS 150确定的注视热图来调整视频流的低关注区域中的比特率。
客户端接口640可以存储、管理和/或应用一个或多个图像传输参数。例如，客户端接口640可以存储服务质量(QoS)参数。客户端接口640可接收来自VMS 150的指令以调整所存储的编码参数中的一个或多个编码参数，从而基于由VMS 150确定的注视热图来调整视频流的低关注区域中的比特率。
尽管图6示出了摄像机110、显示器130和VMS 150的示例性功能组件，但是在其它实施方式中，摄像机110、显示器130或VMS 150可以包括与图6所示相比，更少的功能组件、不同的功能组件、不同布置的功能组件或附加的功能组件。另外，摄像机110、显示器130和VMS 150的组件中的任何一个(或任何组件的组)可以执行被描述为由摄像机110、显示器130和VMS 150的一个或多个其它功能组件执行的功能。
图7A是图6的摄像机数据库的示例性组件的图。如图7A所示，摄像机DB 685可以存储一个或多个摄像机记录701。每个摄像机记录701可以存储与特定摄像机110有关的信息。摄像机记录701可以包括摄像机标识符(ID)字段710、注视热图720、低关注区域字段730和比特率降低字段740。
摄像机ID字段710可以存储与特定摄像机110相关联的一个或多个ID。例如，摄像机ID可以存储特定摄像机110的媒体访问控制(MAC)地址、特定摄像机110的互联网协议(IP)地址、由VMS 150分配给特定摄像机110的名称和/或另一类型的ID。此外，摄像机ID字段710可以存储特定摄像机110的制造和型号信息和/或特定摄像机110上安装的软件版本。此外，摄像机ID字段710可以包括使得VMS 150能够建立与特定摄像机110的安全连接的特定摄像机110的认证信息。
注视热图720可以存储特定摄像机110的注视热图信息。例如，视频流的每一位置(例如，像素、像素集等)可与指示注视信息的一组数据点相关联。下面参考图7B描述可以存储在注视热图720中的示例性信息。
低关注区域字段730可以存储标识特定摄像机110的一个或多个低关注区域的信息。此外，也可以在低关注区域字段730中标识一个或多个高关注区域。另外，低关注区域字段730可以针对一天中的特定时间、一星期中的特定一天、特定摄像机110的特定摇摄、倾斜、缩放、旋转和/或图像类型设置、特定事件类型、特定操作员和/或其它类型的参数，标识一个或多个低关注区域。每个低关注区域可以被标识为来自特定摄像机110的视频流中的像素集。
比特率降低字段740可以标识要在特定情况下应用的一个或多个比特率降低因子。此外，比特率降低字段740可以标识当前正被应用于与特定摄像机110相关联的视频流的一个或多个比特率降低因子。例如，比特率降低字段740可以标识一个或多个传感器阵列管理器610参数、一个或多个图像处理器参数620、一个或多个编码器参数和/或一个或多个客户端接口参数640。编码器参数可以包括能够被调整来实现比特率的不同的标准编码配置文件。例如，当使用H.264视频编码标准时，可以选择的编码配置文件包括基线、扩展、主要、高、高10、高4:2:2和高4:4:4预测。另外地或可替代地，可以调整较低级编码参数以进一步调整比特率。例如，对于MPEG编码标准，可以选择量化缩放矩阵来增加量化以降低编码帧内的比特率。此外，可以调整改变阈值水平以改变编码的帧间的压缩率。例如，当编码P帧和/或B帧时，可以提高运动的阈值，因此较少的变化被编码，这将降低编码的视频流的比特率。
尽管图7A示出了摄像机DB 685的示例性组件，但是在其它实施方式中，摄像机DB685可以存储与图7A所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。
图7B示出注视热图720的示例性组件。如图7B所示，注视热图720可以包括一组位置记录750。每个位置记录750可以存储与摄像机记录701相关联的摄像机110的视频流中的特定位置的注视信息和附加信息。位置记录750可以包括位置字段752、值字段754以及一个或多个注视信息记录760。
位置字段752可以标识特定位置。例如，位置字段752可以标识来自摄像机110的视频帧的像素、子像素、像素集、区域和/或另一种子单元。值字段754可以存储与特定位置相关联的一个或多个注视热图值。例如，值字段754可以存储注视点410的次数的归一化值，或在特定的时间段落在特定的位置的注视信息(例如，视网膜中央凹视觉区域420、围绕注视点410具有指定半径的区域等)的另一度量。如果特定的时间段正在进行，则当从眼睛追踪器140接收到新的注视信息时，值字段754可以继续被更新。
此外，值字段754可以存储附加值。例如，值字段754可以存储对应于基于诸如一天中的时间、摄像机设置等的参数过滤的注视信息记录760的子集的值。此外，值字段754可以存储用于确定低关注区域的一个或多个阈值和/或用于确定高关注区域的一个或多个阈值。例如，可基于来自摄像机110的视频流的带宽和/或处理器负荷的期望减少来设置不同的阈值。如果选择较高的带宽和/或处理器负荷的减少，则可以选择较高的阈值，这可能导致更多的位置被过滤出注视热图720，从而导致较高的低关注区域。
每个注视信息记录760可以存储与与特定位置相关联的特定注视信息数据点有关的信息。注视信息记录760可以包括注视点字段762、时间戳字段764、摄像机设置字段766、操作员字段768和事件类型字段770。
注视点字段762可以标识特定的注视点数据点。例如，注视点字段762可以存储从眼睛追踪器140接收的注视信息数据。时间戳字段764可以包括特定注视点数据点的时间戳(例如，时间和日期)。摄像机设置字段766可以标识与特定注视点数据点相关联的一个或多个摄像机设置。摄像机设置信息可以经由摄像机接口690从与显示器130相关联的计算机设备和/或从摄像机110接收。摄像机设置信息可以包括标识摇摄设置、倾斜设置、旋转设置和/或变焦设置的信息。此外，摄像机设置信息可以标识特定的图像类型设置，例如正常角度设置、广角设置、鱼眼镜头设置、滤色器设置、光源设置、传感器阵列设置(例如，可见光、红外光等)和/或其它类型的图像类型设置。
操作员字段768可以标识与注视点数据点相关联的特定操作员。例如，不同的操作员可能更喜欢看视频帧的不同部分。例如，可以基于从与显示器130相关联的计算机设备获得的登录信息来识别操作员。事件类型字段770可以标识与特定注视点数据点相关联的事件类型。例如，VMS 150可以获得在特定注视点数据点被获得时，诸如运动传感器、门传感器、火灾警报传感器、麦克风、人员计数器传感器、车库中的车辆传感器和/或另一类型的传感器的特定传感器已经连同摄像机110被激活的数据。此外，VMS 150可以被配置为接收与被监视区域106相关联的日历信息，例如为特定区域安排的事件(例如为会议预订会议室、安排维护、安排火灾警报等)。
尽管图7B示出了注视热图720的示例性组件，但是在其它实施方式中，注视热图720可以存储与图7B所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。
图8是根据本文描述的实施方式的基于注视区域来控制比特率的过程的流程图。在一个实施方式中，图8的过程可以由VMS 150执行。在其它实施方式中，图8的过程的一些或全部可以由诸如摄像机110和/或监视站125的、与VMS 150分开和/或包括VMS 150的另一设备或一组设备执行。
图8的过程可以包括从摄像机接收视频流(块810)并且在显示器上显示视频流(块820)。例如，操作员可以登录到与监视站125和/或显示器130相关联的计算机设备，并且可以登录到VMS 150以配置一个或多个摄像机110。VMS 150可配置摄像机110来将被监视区域106的视频流提供给显示器130，并且显示器130可继续从摄像机110接收视频流数据并显示视频流数据。
可以通过眼睛追踪传感器来为观看显示器的操作员获得注视信息(块830)。例如，眼睛追踪器140可以监视操作员的眼睛以确定注视点410和/或视网膜中央凹视觉区域420，并且基于确定的注视点410和/或视网膜中央凹视觉区域420来确定注视区域。标识确定的注视区域的信息可以被提供给VMS 150的资源管理器680。可替代地，来自眼睛追踪器140的原始数据可以被提供给VMS 150，并且VMS 150可以基于原始数据来确定注视区域。
视频流的历史注视热图可以基于所获得的注视信息来生成(块840)。例如，VMS150可以将视频流的每个位置的注视信息相加，并且可以为每个位置生成指示操作员的注视点410(和/或视网膜中央凹视觉区域420)多少次或多频繁地落在该位置上的值。VMS 150可以使用生成的值来标识视频流的低关注(和/或高关注)区域。
在一些实施方式中，VMS 150可以生成可以可供操作员或管理员查看的注视热图的图形表示。VMS 150可以为图形表示中的注视热图中的每个值分配阴影或颜色。例如，可以将深阴影或颜色分配给对应于频繁地与操作员的注视点410相关联的位置的高值，并且浅阴影或颜色可以被分配给对应于不太频繁地与操作员的注视点410相关联的位置的低值。
可以基于生成的历史注视热图来确定视频流的低关注区域(块850)。例如，VMS150可以分析历史注视热图以识别具有低历史注视发生的区域。可以为视频流中的特定位置(诸如像素或像素集)设置低关注区域阈值，以确定该位置是否满足对低关注区域的要求。作为示例，如果操作员查看该位置少于每单位时间(例如，每小时)的阈值次数，则该位置可被指定为低关注区域。作为另一示例，如果操作员查看该位置小于观看视频流的总时间的阈值百分比的时间，则该位置可以被指定为低关注区域。可以使用类似的过程来识别高关注区域。例如，如果操作员查看该位置多于每单位时间(例如，每小时)的阈值次数和/或如果操作员查看该位置多于观看视频流的总时间的阈值百分比的时间，则该位置可被指定为高关注区域。
如上面关于摄像机DB 685的注视热图字段720所提到的，注视热图中的每个位置可以包括附加信息，例如每个注视信息数据点的时间和日期信息、摄像机设置信息、操作员信息和/或事件类型信息。附加信息可以用于关于注视热图中包括的任何参数来细化注视热图。细化的注视热图可以用于产生关于特定参数的低关注(和/或高关注)区域。
因此，可以为历史注视热图的不同过滤标准选择不同的低关注区域(和/或高关注区域)。例如，可为一天中的不同时间、一星期中的不同日子、不同的摄像机设置、不同的操作员和/或不同的事件类型来选择不同的低关注区域。
此外，在一些实施方式中，可以生成细化的注视热图的图形表示，并且可以由操作员或管理员查看。因此，例如可以生成一天中的特定时间的注视热图的图形表示。
可以指示摄像机降低低关注区域中的视频流的比特率(块860)。例如，VMS 150可以从特定摄像机110的比特率降低字段740中选择一个或多个比特率降低因子，例如传感器阵列比特率降低因子、图像处理比特率降低因子、编码比特率降低因子和/或图像传输比特率降低因子。作为示例，VMS 150可以选择：调整与低关注区域相关联的传感器阵列220中的传感器的子集的采样率；对低关注区域进行下采样(例如降低分辨率)；增加低关注区域中的降噪过程；增加低关注区域中的编码压缩参数；和/或调整可能导致低关注区域中的比特率降低的另一参数。图9A-9D是根据本文描述的一个或多个实施方式的示例性注视热图场景的图。如图9A所示，显示器130上的视频框集合901可以包括来自四个不同摄像机110的视频流。框910显示来自监视办公楼的入口门厅的摄像机的视频流。门厅包括大门、前厅和走廊。框920显示来自监视具有通往门的路径的停车场的摄像机的视频流。框930显示来自监视具有隔间的办公室套房的摄像机的视频流。框940显示来自监视通向小巷的后门的摄像机的视频流。
图9B示出了为视频框集合901生成的一组注视热图902。该组注视热图902可以对应于注视热图720中存储的信息的图形表示。如果注视热图720的特定位置752处的值低于阈值，则该位置可以被指定为不被包括在图形表示中的或者用于确定低关注区域的目的的注视热图720中。注视热图720的图形表示可基于请求被生成并显示给操作员或管理员。此外，识别出的低关注区域可以与注视热图一起显示。在一些实施方式中，用户或操作员可以手动地选择一个或多个低关注区域，或者可以经由显示注视热图720的图形表示的图形用户界面手动地调整识别的低关注区域。
注视热图920对应于框910。注视热图920表明操作员大部分时间花费在观看主门以及人们从主门向前厅和侧面走廊走下的路径。框910包括低关注区域922和低关注区域924，其对应于框910的操作员花费相对较少时间观看的区域，因为很少有人在这些区域中行走或站立。
注视热图930对应于框912。注视热图930表明操作员大部分时间花费在观看通往建筑物入口和停车场的通道。框912包括对应于框912的操作员花费相对较少时间观看的区域的低关注区域932、低关注区域934和低关注区域936，例如通道旁边的草地。
注视热图940对应于框914。注视热图940表明操作员大部分时间花费在观看隔间和隔间之间的路径。框914包括低关注区域942、低关注区域944和低关注区域946，其对应于框914的操作员不经常观看的区域，例如隔间上方的墙壁或前景中分隔隔间的墙壁。
注视热图950对应于框916。注视热图950表明，操作员大部分时间花费在观看：楼梯和附近区域，人们在这里走出去抽烟；以及通往后面区域的小巷，附近的行人有时会经过这里。框916包括操作员花费相对较少的时间观看的低关注区域952，因为该区域没有看到太多行人。
图9C和图9D示出了一天中的不同时间的一组注视热图903和904。如图9C所示，注视热图903可对应于员工正在进入与提供框910、912、914和916的视频流的摄像机110相关联的建筑物时的早高峰时间段。来自监视通向小巷的后门的摄像机的视频流的框916在早晨时间可能不会受到操作员注意，因为在这一时间内没有人可能正在常出入于该区域。因此，可以将整个框916指定为低关注区域954，并且可以在这些时间期间减小框916的整个视频流的比特率。
如图9D所示，注视热图904可以对应于员工已经离开与提供框910、912、914和916的视频流的摄像机110相关联的建筑物的夜间时段。在此期间，框910和914可能受到操作员的较少注意。例如，操作员可能继续监视到门厅的前门，但是可能不监视门厅的前厅，因为在夜间没有人到处活动。因此，低关注区域922和924可以在夜间扩展成低关注区域928。类似地，在夜间，操作员可能花费更少的时间来观察框914中的隔间，并且低关注区域942、944和946可以被改变为低关注区域948和949。
本申请通过引用并入与本专利申请同一天递交的下列专利申请：美国专利申请编号：__/___,___(代理备案号P160069/US(0090-0022))，名称为“注视控制的比特率”，并且于2016年12月30日递交；美国专利申请编号：__/___,___(代理备案号P160191(0090-0023))，名称为“视频管理系统中基于注视的报警屏蔽”，并且于2016年12月30日递交；和美国专利申请编号：__/___,___(代理备案号P160193(0090-0024))，名称为“基于注视的块级框速率控制”，并且于2016年12月30日递交。
在前面的说明中，参照附图描述了各种优选实施例。然而，将显而易见的是，在不偏离如在随后的权利要求中阐述的本发明的更宽范围的情况下，可以对其进行各种修改和改变，并且可以实现另外的实施例。因此，说明书和附图被当作是说明性的而不是限制性的。
例如，虽然已经关于图8描述了一系列块，但是在其它实施方式中可以修改块的顺序。此外，可以并行地执行非依赖的块和/或信号流。
显而易见的是，如上所述，系统和/或方法可以在图中所示的实施方式中以软件、固件和硬件的许多不同形式来实现。用于实现这些系统和方法的实际软件代码或专用控制硬件不是对实施例的限制。因此，系统和方法的操作和行为在没有参考具体软件代码的情况下被描述，应当理解，软件和控制硬件可以被设计为基于本文的描述来实现系统和方法。
此外，上面描述的某些部分可以被实现为执行一个或多个功能的组件。如本文中所使用地，组件可以包括诸如处理器、ASIC或FPGA的硬件，或者硬件和软件的组合(例如，执行软件的处理器)。如本文中所使用地，词“示例性”意思是“作为用于说明的示例”。
当在本说明书中使用时，术语“包括”用于表示叙述过的特征、整体、步骤或组件的存在，而不排除一个或多个其它特征、整体、步骤、组件或它们的组的存在或增加。
如本文中所使用地，术语“逻辑”可以指代被配置为执行存储在一个或多个存储设备中的指令的一个或多个处理器的组合，可以指代硬连线电路，和/或可以指代其组合。此外，逻辑可以被包括在单个设备中，或者可以分布在多个并且可能是远程的设备上。
出于描述和限定本发明的目的，术语“基本上”在本文中用于表示可归因于任何定量比较、值、测量或其它表示的不确定性的固有程度。术语“基本上”也在本文中用于表示定量表示在不导致所讨论主题的基本功能的变化的情况下，可以与所述参考不同的程度。
除非明确地如此描述，否则本申请中使用的元件、动作或指令不应该被解释为对于实施例是关键的或必不可少的。而且，如本文所使用地，冠词“一”旨在包括一个或多个项目。此外，除非另有明确说明，短语“基于”旨在表示“至少部分基于”。

Claims (15)

1.一种由计算机设备执行的方法，所述方法包括：
从摄像机接收视频流；
在显示器上显示所述视频流；
经由眼睛追踪传感器获得观看所述显示器的操作员的注视信息；
基于获得的注视信息，生成一时间段内的所述视频流的历史注视热图；
基于生成的历史注视热图，确定所述视频流的低关注区域；和
指示所述摄像机降低所述低关注区域中的所述视频流的比特率。
2.根据权利要求1所述的方法，进一步包括：
基于所述生成的历史注视热图，确定所述视频流的高关注区域；和
指示所述摄像机增加所述高关注区域中的所述视频流的比特率。
3.根据权利要求1所述的方法，其中所述时间段对应于一天中的特定时间或一星期中的特定一天，并且其中基于所述生成的历史注视热图，确定所述视频流的所述低关注区域包括：
基于一天中的第一时间或一星期中的第一天的多个实例中生成的所述一天中的第一时间或所述一星期中的第一天的历史注视热图，来确定所述一天中的第一时间或所述一星期中的第一天的第一低关注区域；和
基于一天中的第二时间或一星期中的第二天的多个实例中生成的所述一天中的第二时间或所述一星期中的第二天的历史注视热图，来确定所述一天中的第二时间或所述一星期中的第二天的第二低关注区域，其中所述第二低关注区域不同于所述第一低关注区域。
4.根据权利要求1所述的方法，其中基于所述生成的历史注视热图，确定所述视频流的低关注区域包括：
识别所述摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；
选择与识别的所述摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的生成的历史注视热图的子集；和
基于选择的所述生成的历史注视热图的子集来确定所述视频流的所述低关注区域。
5.根据权利要求1所述的方法，其中所述视频流包括多个视频流，并且其中所述显示器包括多个显示器。
6.根据权利要求1所述的方法，其中指示所述摄像机降低所述低关注区域中的所述视频流的所述比特率包括：
指示所述摄像机降低与所述低关注区域相关联的传感器的采样率。
7.根据权利要求1所述的方法，其中指示所述摄像机降低所述低关注区域中的所述视频流的所述比特率包括：
指示所述摄像机在编码所述视频流之前，增加对所述低关注区域的降噪过程。
8.根据权利要求1所述的方法，其中指示所述摄像机降低所述低关注区域中的所述视频流的所述比特率包括：
指示所述摄像机调整与所述低关注区域相关联的编码处理单元的编码参数。
9.一种计算机系统，包括：
用于存储指令的存储器；和
用于从摄像机接收视频流的接收器；
用于显示所述视频流的显示器；
处理器，被配置为执行所述指令以：
经由眼睛追踪传感器获得观看所述显示器的操作员的注视信息；
基于获得的注视信息，生成一时间段内的所述视频流的历史注视热图；
基于生成的历史注视热图，确定所述视频流的低关注区域；并且
确定要指示所述摄像机降低所述低关注区域中的所述视频流的比特率；和
发送器，用于向所述摄像机发送指令以降低所述低关注区域中的所述视频流的所述比特率。
10.根据权利要求9所述的计算机系统，
其中所述处理器被进一步配置为基于所述生成的历史注视热图来确定所述视频流的高关注区域；
其中所述处理器被配置为确定要指示所述摄像机增加所述高关注区域中的所述视频流的比特率；并且
其中所述发送器被配置为向所述摄像机发送指令以增加所述高关注区域中的所述视频流的所述比特率。
11.根据权利要求9所述的计算机系统，其中所述时间段对应于一天中的特定时间或一星期中的特定一天，并且其中所述处理器被进一步配置为：
基于一天中的第一时间或一星期中的第一天的多个实例中生成的所述一天中的第一时间或所述一星期中的第一天的历史注视热图，来确定所述一天中的第一时间或所述一星期中的第一天的第一低关注区域；并且
基于一天中的第二时间或一星期中的第二天的多个实例中生成的所述一天中的第二时间或所述一星期中的第二天的历史注视热图，来确定所述一天中的第二时间或所述一星期中的第二天的第二低关注区域，其中所述第二低关注区域不同于所述第一低关注区域。
12.根据权利要求9所述的计算机系统，其中所述处理器被进一步配置为：
识别所述摄像机的摇摄、缩放、倾斜、旋转或图像类型设置；
选择与识别的所述摄像机的摇摄、缩放、倾斜、旋转或图像类型设置相关联的生成的历史注视热图的子集；并且
基于选择的所述生成的历史注视热图的子集来确定所述视频流的所述低关注区域。
13.根据权利要求9所述的计算机系统，
其中所述处理器被配置为确定要指示所述摄像机降低与所述低关注区域相关联的传感器的采样率；并且
其中用于降低所述低关注区域中的所述视频流的所述比特率的指令包括用于降低与所述低关注区域相关联的所述传感器的所述采样率的对所述摄像机的指令。
14.根据权利要求9所述的计算机系统，
其中所述处理器被进一步配置为：在编码所述视频流之前，确定要指示所述摄像机增加所述低关注区域的降噪过程；并且
其中用于降低所述低关注区域中的所述视频流的所述比特率的指令包括用于在编码所述视频流之前增加对所述低关注区域的所述降噪过程的指令。
15.根据权利要求9所述的计算机系统，
其中所述处理器被配置为确定要指示所述摄像机调整与所述低关注区域相关联的编码处理单元的编码参数，并且
其中用于降低所述低关注区域中的所述视频流的所述比特率的指令包括用于调整与所述低关注区域相关联的所述编码处理单元的所述编码参数的指令。
CN201711457056.XA 2016-12-30 2017-12-28 由计算机设备执行的方法及计算机系统 Active CN108270996B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,893 US10110802B2 (en) 2016-12-30 2016-12-30 Historical gaze heat map for a video stream
US15/395,893 2016-12-30
EP17154581.7A EP3343937B1 (en) 2016-12-30 2017-02-03 Method and computer system for video encoding using a historical gaze heat map
EP17154581.7 2017-02-03

Publications (2)

Publication Number Publication Date
CN108270996A true CN108270996A (zh) 2018-07-10
CN108270996B CN108270996B (zh) 2019-04-16

Family

ID=58017914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711457056.XA Active CN108270996B (zh) 2016-12-30 2017-12-28 由计算机设备执行的方法及计算机系统

Country Status (6)

Country Link
US (1) US10110802B2 (zh)
EP (1) EP3343937B1 (zh)
JP (1) JP6453991B2 (zh)
KR (1) KR101936155B1 (zh)
CN (1) CN108270996B (zh)
TW (1) TWI654879B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505481A (zh) * 2019-07-15 2019-11-26 杭州亿圣信息技术有限公司 一种利用眼动监测提高视频poi低损编码效率的方法
CN111443665A (zh) * 2020-03-11 2020-07-24 东南大学 一种基于眼动信号的智慧病房控制方法和系统
CN111479112A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质
WO2021026948A1 (zh) * 2019-08-14 2021-02-18 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN113238693A (zh) * 2021-06-09 2021-08-10 维沃移动通信有限公司 图标排序方法、图标排序装置和电子设备

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017212B2 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017211B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017213B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017214B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
CN106372095B (zh) * 2015-10-16 2020-02-07 北京智谷睿拓技术服务有限公司 电子地图显示方法、装置及车载设备
US10349060B2 (en) * 2017-06-30 2019-07-09 Intel Corporation Encoding video frames using generated region of interest maps
US10582196B2 (en) 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
US10853965B2 (en) * 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
EP3812071A4 (en) 2018-06-08 2022-03-23 Moldino Tool Engineering, Ltd. CUTTING INSERT AND CUTTING EDGE REPLACEMENT TYPE CUTTING TOOL
US10747760B2 (en) * 2018-06-08 2020-08-18 Capital One Services, Llc Method and system for tracking virtual reality experiences
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
AU2019322625A1 (en) * 2018-08-17 2021-03-18 Stone Lock Global, Inc. Methods and apparatus for facial recognition
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10708642B1 (en) * 2018-12-13 2020-07-07 Sling Media Pvt Ltd Systems, methods, and devices for optimizing streaming bitrate based on variations in processor load
JP7174318B2 (ja) * 2019-01-25 2022-11-17 株式会社エビデント 情報処理装置、情報処理方法、及びプログラム
JP7385385B2 (ja) 2019-07-19 2023-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像配信システムおよび画像配信方法
CN110602506B (zh) * 2019-09-25 2023-04-28 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
JP7496677B2 (ja) 2019-09-30 2024-06-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US11232686B2 (en) * 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
KR102287281B1 (ko) * 2020-01-13 2021-08-06 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
JP7542994B2 (ja) * 2020-05-26 2024-09-02 キヤノン株式会社 電子機器
US11310553B2 (en) 2020-06-19 2022-04-19 Apple Inc. Changing resource utilization associated with a media object based on an engagement score
US11999356B2 (en) * 2020-11-13 2024-06-04 Toyota Research Institute, Inc. Cognitive heat map: a model for driver situational awareness
USD976904S1 (en) 2020-12-18 2023-01-31 Stone Lock Global, Inc. Biometric scanner
US11567633B2 (en) * 2021-02-08 2023-01-31 Microsoft Technology Licensing, Llc Intention image analysis for determining user focus
WO2023229647A1 (en) * 2022-05-24 2023-11-30 Google Llc Positioning a graphical keyboard within a graphical user interface
US12086301B2 (en) 2022-06-01 2024-09-10 Sphere Entertainment Group, Llc System for multi-user collaboration within a virtual reality environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133770A1 (en) * 1998-03-04 2012-05-31 Raymond Anthony Joao Vehicle operator and/or occupant information apparatus and method
CN104854861A (zh) * 2012-12-18 2015-08-19 高通股份有限公司 现实视点视频方法及设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US6717607B1 (en) 2000-04-28 2004-04-06 Swisscom Mobile Ag Method and system for video conferences
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP2006332882A (ja) * 2005-05-24 2006-12-07 Mitsubishi Electric Corp 動画像符号化装置
EP2000889B1 (en) 2006-03-15 2018-06-27 Omron Corporation Monitor and monitoring method, controller and control method, and program
GB0611969D0 (en) 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
DK2389095T3 (da) 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
WO2011011542A1 (en) * 2009-07-21 2011-01-27 Integrated Device Technology, Inc. A method and system for detection and enhancement of video images
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
JP6157170B2 (ja) * 2013-03-28 2017-07-05 大阪瓦斯株式会社 監視支援システム
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
CN106415442A (zh) * 2014-05-08 2017-02-15 索尼公司 便携式电子设备和控制便携式电子设备的方法
US20150339589A1 (en) 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
KR101619635B1 (ko) * 2014-11-06 2016-05-10 현대자동차주식회사 시선추적을 이용한 메뉴 선택장치
KR101657227B1 (ko) * 2015-01-09 2016-09-21 에스케이플래닛 주식회사 고객 정보 관리 장치, 고객 정보 관리 방법, 고객 정보 관리 시스템 및 컴퓨터 프로그램이 기록된 기록매체
US9778740B2 (en) * 2015-04-10 2017-10-03 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133770A1 (en) * 1998-03-04 2012-05-31 Raymond Anthony Joao Vehicle operator and/or occupant information apparatus and method
CN104854861A (zh) * 2012-12-18 2015-08-19 高通股份有限公司 现实视点视频方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REEVES T H 等: "Adaptive foveation of MPEG video", <ACM MULTIMEDIA，96> *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505481A (zh) * 2019-07-15 2019-11-26 杭州亿圣信息技术有限公司 一种利用眼动监测提高视频poi低损编码效率的方法
CN110505481B (zh) * 2019-07-15 2021-06-01 杭州亿圣信息技术有限公司 一种利用眼动监测提高视频poi低损编码效率的方法
WO2021026948A1 (zh) * 2019-08-14 2021-02-18 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN111443665A (zh) * 2020-03-11 2020-07-24 东南大学 一种基于眼动信号的智慧病房控制方法和系统
CN111479112A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质
CN111479112B (zh) * 2020-06-23 2020-11-03 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质
CN113238693A (zh) * 2021-06-09 2021-08-10 维沃移动通信有限公司 图标排序方法、图标排序装置和电子设备
CN113238693B (zh) * 2021-06-09 2023-10-24 维沃移动通信有限公司 图标排序方法、图标排序装置和电子设备

Also Published As

Publication number Publication date
EP3343937A1 (en) 2018-07-04
JP6453991B2 (ja) 2019-01-16
CN108270996B (zh) 2019-04-16
TW201830952A (zh) 2018-08-16
US10110802B2 (en) 2018-10-23
EP3343937B1 (en) 2018-12-26
US20180191952A1 (en) 2018-07-05
TWI654879B (zh) 2019-03-21
KR101936155B1 (ko) 2019-01-08
KR20180079190A (ko) 2018-07-10
JP2018110398A (ja) 2018-07-12

Similar Documents

Publication Publication Date Title
CN108270996B (zh) 由计算机设备执行的方法及计算机系统
CN108270997A (zh) 注视控制的比特率
US10123020B2 (en) Block level update rate control based on gaze sensing
US20160189501A1 (en) Security monitoring system and corresponding alarm triggering method
US20080129844A1 (en) Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US10255683B1 (en) Discontinuity detection in video data
US10643443B2 (en) Alarm masking based on gaze in video management system
US10986314B2 (en) On screen display (OSD) information generation camera, OSD information synthesis terminal, and OSD information sharing system including the same
CN103458235A (zh) 一种智能视频监控系统
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
JP2020171057A (ja) 撮像装置
KR20150095080A (ko) 영상 데이터 전송 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant