CN108271021A - 基于注视感测的块级更新速率控制 - Google Patents

基于注视感测的块级更新速率控制 Download PDF

Info

Publication number
CN108271021A
CN108271021A CN201810001196.4A CN201810001196A CN108271021A CN 108271021 A CN108271021 A CN 108271021A CN 201810001196 A CN201810001196 A CN 201810001196A CN 108271021 A CN108271021 A CN 108271021A
Authority
CN
China
Prior art keywords
video
operator
blinkpunkt
window
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810001196.4A
Other languages
English (en)
Other versions
CN108271021B (zh
Inventor
比约恩·阿多
伏莱德瑞克·皮尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108271021A publication Critical patent/CN108271021A/zh
Application granted granted Critical
Publication of CN108271021B publication Critical patent/CN108271021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开一种基于注视感测的块级更新速率控制。一种方法基于注视感测解码视频数据，该方法可以解码从与摄像机相关联的编码器接收的编码视频流，并且在设备的显示器上呈现解码视频流。该方法可以进一步检测观看显示器的操作员的注视点，并基于注视点将与解码的视频流相关联的位置指定为跳过块插入点。该方法可以将位置发送给编码器，其中，编码器在对摄像机产生的视频数据进行编码时，降低与跳过块插入点对应的帧间帧编码块的更新速率。一种装置可以实现该用于基于注视感测编码视频数据的方法。

Description

基于注视感测的块级更新速率控制
背景技术
在分配由一个或多个摄像机产生的视频流时，视频监视系统可能产生大量的数据。由于视频监视系统中的组件可能通过网络互连，因此分配视频流会消耗大量的网络资源。当被在显示器上呈现多个视频流时，单个操作员在一个时间只能将其注意力集中在一个视频流上。因此，在传统的视频监视系统中，大量的网络资源被操作员未观看的视频流的分配所消耗。
发明内容
在一个实施例中，公开了一种基于注视感测来解码视频数据的方法。该方法可以包括解码从与摄像机相关联的编码器接收的编码的视频流，并且在设备的显示器上呈现解码的视频流。该方法可以包括检测观看显示器的操作员的注视点，并基于注视点将与解码的视频流相关联的位置指定为跳过块插入点。该方法可以包括将位置发送给编码器，其中，编码器在对摄像机产生的视频数据进行编码时，降低与跳过块插入点对应的帧间帧编码块的更新速率。
通过基于注视感测在编码过程中减少块的更新速率，可以将操作员周边视野中的视频流的比特率从那些具有操作员高度关注的那些视图中的视频流的比特率降低，从而提高网络的利用率和效率。而且，解码具有较低更新速率的块的视频流将减少编码器和解码器两者的计算负荷，因此节省了编码视频流的摄像机以及解码视频流的监视站中的功耗。
在一个实施例中，该方法可以包括将解码的视频流呈现在设备的显示器上具有操作员的主要焦点的窗口中，并且确定操作员的注视点在具有操作员的主要焦点的窗口的边界内。该方法可以包括确定具有操作员的主要焦点的窗口内的中央凹视觉区域，并且将与中央凹视觉区域外的解码视频流相关联的位置指定为跳过块插入点。该方法可以基于操作员的注视来改善在具有操作员的主要焦点的窗口中呈现的视频的质量。
在一个实施例中，该方法可以包括解码至少一个附加的编码的视频流，并且将解码的视频流和至少一个附加的解码的视频流分别呈现在设备的显示器上或设备的另一个显示器上的多个窗口中的不同窗口中。该方法可以包括基于注视点，确定多个窗口中具有操作员的主要焦点的窗口，并且将位置指定为与不具有操作员的主要焦点的至少一个窗口相关联的解码的视频流内的跳过块插入点。因此，该方法可以避免在不具有用户的主要焦点的窗口中的一个或多个视频上浪费计算、功率和网络资源。
在一个实施例中，该方法可以包括基于注视点确定具有操作员的主要焦点的窗口内的中央凹视觉区域，并且将中央凹视觉区域外的位置指定为与具有操作员的主要焦点的窗口相关联的解码的视频流中的跳过块插入点。因此，该方法可以避免在具有用户的主要焦点的窗口内的视频的一个或多个部分上浪费计算、功率和网络资源。
在一个实施例中，该方法可以包括确定大于与具有操作员的主要焦点的窗口相关联的解码的视频流的图片组(GOP)长度的、与不具有操作员的主要焦点的至少一个窗口相关联的次要解码的视频流的GOP长度。该方法可以包括将确定的GOP长度发送给与次要解码的视频流相关联的编码器，以编码与不具有操作员的主要焦点的至少一个窗口相关联的视频。GOP长度可以被适当地确定，从而以有效的方式分配计算、网络和功率资源。
在一个实施例中，该方法可以包括确定从注视点到不具有操作员的主要焦点的至少一个窗口的距离。该方法可以包括随着注视点与不具有操作员的主要焦点的至少一个窗口之间的距离增加，增加确定的GOP长度。
在一个实施例中，该方法可以包括当注视点在具有操作员的主要焦点的窗口内移动时，追踪注视点超过预定阈值的一段时间或距离，从而将注视点的移动和解码的视频流中的移动对象相关联。该方法可以包括指定移动对象作为关注对象，并且防止对与解码的视频流中的关注对象相关联的位置进行将位置指定为跳过块插入点。基于注视追踪对象提供了一种用于操作员指定关注对象的有效且自然的方式。
在一个实施例中，该方法可以包括生成表示指定的关注对象的标识符，并将该标识符保存在包含解码的视频流的元数据的数据库中。基于注视生成标识符提供了一种用于操作员指定关注对象的有效且自然的方式。
在一个实施例中，该方法可以包括确定注视点在显示器上的实质上同一位置处保持了超过预定阈值的一段时间，并且增加注视点周围的预定区域中的解码的视频流的放大率。基于注视控制放大率提供了一种用于操作员鉴别视频中关注区域中的细节的有效且自然的方式。
在一个实施例中，该方法可以包括确定注视点在具有操作员的主要焦点的窗口上保持了超过预定阈值的一段时间，并且增加具有操作员的主要焦点的窗口的放大率。基于注视控制放大率提供了一种用于操作员鉴别视频中关注区域中的细节的有效且自然的方式。
在一个实施例中，该方法可以包括由于操作员的眨眼，确定注视点在预定时间段内消失并重新出现预定次数，同时保持在显示器上的基本上同一位置，并且执行与注视点周围的区域中的解码的视频流相关联的命令。基于注视和眨眼输入命令提供了一种用于操作员将命令输入视频监视系统的有效且自然的方式。
在一个实施例中，执行该命令可以包括改变注视点周围区域中的解码的视频流的放大率，或者保存标注注视点周围区域中的解码的视频流的数据库中的标识符。控制注视点周围区域中的放大率提供了一种用于操作员鉴别视频中关注区域中的细节的有效且自然的方式。
在一个实施例中，该方法可以包括追踪注视点的位置一段时间和基于注视点的追踪的位置来预测注视点的下一个位置。预测注视点的未来位置可以减少基于注视控制来调整视频流的比特率的等待时间。
在一个实施例中，该方法可以包括接收包括具有包括跳过块的帧间帧的第一分量视频流和具有比第一分量视频流序列低的像素密度的第二分量视频流的合并编码视频流，其中第二分量视频流在时间上和空间上与第一分量视频流相关联。该方法可以包括识别第一分量视频流的帧间帧中的跳过块，并且解码不是跳过块的块中的第一分量视频流的帧间帧。该方法可以包括解码第二分量视频流的帧间帧和放大解码的第二分量视频流中的帧间帧以匹配解码的第一分量视频流中的帧间帧的像素密度。该方法可以包括识别与解码的第一分量视频流中的跳过块位置相对应的、放大的解码的第二分量视频流中的像素。该方法可以包括提取解码的第二分量视频流中的识别的像素，并将提取的像素插入到解码的第一编码比特流中的跳过块的对应位置。上述方法通过插入跳过块来减少视频数据处理量。
在一个实施例中，公开了一种基于注视感测来编码视频数据的方法。该方法可以包括接收由至少一个传感器阵列捕获的视频数据并且接收与解码的视频流相关联的位置以指定用于编码接收的视频数据的跳过块插入点，其中所述位置基于在设备处确定的注视点。该方法可以包括基于接收的位置在对接收的视频数据进行编码之前识别跳过块插入点，其中跳过块插入点指定具有降低的更新速率的帧间帧内的块。该方法可以包括为识别的跳过块插入点确定降低的更新速率的频率，并且基于确定的频率来编码具有与识别的跳过块插入点相关联的块的帧间帧。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，该方法可以包括从接收的视频数据生成第一视频序列和从所接收的视频数据生成具有比第一视频序列低的像素密度的第二视频序列，其中第二视频序列在时间和空间上与第一视频序列相似。该方法可以包括：指示第一视频序列中的相关像素，其中识别的跳过块插入点被指定为不相关；以及编码第一视频序列中的指示的相关像素以产生第一编码视频流，其中被指定为不相关的像素被使用跳过块编码。该方法可以包括编码第二视频序列以产生第二编码视频流并且合并第一编码视频流和第二编码视频流。该方法可以包括将合并的编码视频流发送到设备。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，其中生成第二视频序列的该方法可以包括：在二维中对第一视频序列进行数字下采样。在二维中下采样可以提高视频编码的处理速度。
在一个实施例中，进一步指示相关像素的该方法可以包括：产生第一视频序列的掩模。生成掩模可以通过减少视频编码量来提高效率。
在一个实施例中，公开了一种被配置来基于注视感测来解码视频数据的设备。该设备可以包括显示器、被配置来通过网络交换数据的通信接口、耦接到显示器和通信接口的处理器、和耦接到处理器的存储指令的存储器。这些指令可以使处理器解码从与摄像机相关联的编码器接收的编码的视频流、在显示器上呈现解码的视频流、检测观看显示器的操作员的注视点、基于注视点将与解码的视频流相关联的位置指定为跳过块插入点、并将位置发送给编码器。编码器在对摄像机产生的视频数据进行编码时，降低与跳过块插入点对应的帧间帧编码块的更新速率。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，该存储器可以包括进一步使处理器将解码的视频流呈现在设备的显示器上具有操作员的主要焦点的窗口中，确定操作员的注视点在具有操作员的主要焦点的窗口的边界内，确定具有操作员的主要焦点的窗口内的中央凹视觉区域，并且将与中央凹视觉区域外的解码的视频流相关联的位置指定为跳过块插入点的指令。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，该存储器可以包括使处理器解码至少一个附加的编码的视频流，将解码的视频流和至少一个附加的解码的视频流各自呈现在显示器上的多个窗口中的不同窗口中，基于注视点来确定多个窗口中具有操作员的主要焦点的窗口，并且将位置指定为与不具有操作员的主要焦点的至少一个窗口相关联的解码的视频流内的跳过块插入点的指令。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，该存储器可以包括使处理器基于注视点确定具有操作员的主要焦点的窗口内的中央凹视觉区域，并且将中央凹视觉区域外的位置指定为与具有操作员的主要焦点的窗口相关联的解码的视频流中的跳过块插入点的指令。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，公开了一种用于基于注视感测来编码视频数据的摄像机。该摄像机可以包括：传感器阵列；被配置为通过网络交换数据的通信接口；耦接到传感器阵列和通信接口的控制器、图像处理器和视频编码器；以及耦接到控制器、图像处理器和视频编码器的存储器。存储器存储指令，所述指令可使控制器、图像处理器或视频编码器：接收由传感器阵列捕获的视频数据；以及接收与解码的视频流相关联的位置以指定用于编码接收的视频数据的跳过块插入点的指令，其中位置可以基于在客户端设备处确定的注视点；基于接收的位置在对接收的视频数据进行编码之前识别跳过块插入点，其中跳过块插入点指定具有降低的更新速率的帧间帧内的块；为识别的跳过块插入点确定降低的更新速率的频率；以及基于确定的频率来编码具有与识别的跳过块插入点相关联的块的帧间帧。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
在一个实施例中，该存储器可以包括指令，所述指令进一步使控制器、图像处理器或视频编码器中的至少一个：从接收的视频数据生成第一视频序列并且从所接收的视频数据生成具有比第一视频序列低的像素密度的第二视频序列，其中第二视频序列在时间和空间上与第一视频序列相似；指示第一视频序列中的相关像素，其中识别的跳过块插入点被指定为不相关；对指示的第一视频序列中的相关像素进行编码以产生第一编码视频流，其中使用跳过块对被指定为不相关的像素进行编码；编码第二视频序列以产生第二编码视频流并且合并第一编码视频流和第二编码视频流；以及将合并的编码视频流发送到客户端设备。基于注视来确定跳过块插入点允许有效使用计算、功率和网络资源。
附图说明
图1是示出一个实施例中的包括眼睛追踪的示例性环境的框图；
图2是示出一个实施例中的摄像机的示例性组件的框图；
图3是示出一个实施例中的计算模块的示例性组件的框图；
图4示出了一个实施例中操作员查看具有眼睛追踪器的显示器的环境；
图5A和图5B示出了在两个实施例中从操作员的角度来看的显示；
图6是示出基于注视感测来解码视频数据的示例性过程的流程图；和
图7是基于注视感测来编码视频数据的示例性过程的流程图。
具体实施方式
以下详细描述参照附图。不同附图中的相同附图标记标识相同或相似的元件。
鉴于视频监视系统在任意时间段内生成的大量数据，处理、分发和检索收集的数据可能变成资源密集型的，尤其是在处理和/或网络资源利用方面。当操作员通过网络监视多个视频流时，呈现在监视站的显示器上的数据中的大部分数据不能成为操作员的焦点。
为了更有效地使用视频监视系统中的处理和/或网络资源，下面描述的实施例涉及使用眼睛追踪来确定操作员的焦点并且降低不是操作员的焦点的视频流中块的更新速率的过程和系统。因此，通过感测操作员的注视，在操作员的周边视图中的单个视频流的部分可以降低块的更新速率。另外地或可替代地，当正在不同的窗口中将多个流呈现给用户时，在操作员的周边视野中的视频流在视频流被编码时，可以降低块的更新速率。
通过基于注视感测在编码过程中减少块的更新速率，可以将操作员周边视野中的视频流的比特率与那些具有操作员高度关注的那些视图中的视频流的比特率相比，降低。而且，解码具有较低更新速率的块的视频流将减少编码器和解码器两者的计算负荷，因此节省了编码视频流的摄像机以及解码视频流的监视站中的功耗。
降低块的更新速率可以例如使用通过引用并入本文的于2015年2月5日公开的、标题为“用于生成合并的数字视频序列的方法、装置和系统”的、转让给安讯士有限公司的、公开号为US 2015/0036736的美国专利申请中说明的那些技术来进行。
例如，可以通过在编码帧间帧时迫使编码器在视频帧中发送SKIP块来实现降低块的更新速率。当为视频的一部分指示SKIP块时，即使输入图像可能已经从该区域中的先前图像改变，也不为视频的该部分发送图像数据。
本文给出的实施例可以应用于诸如ISO/MPEG系列(MPEG-1、MPEG-2、MPEG-4)的视频编码/解码标准以及ITU-H.26X系列(H.261、H.263和扩展、H.264和也被称为H.265标准的HEVC)的视频推荐。本文给出的实施例也可以应用于其它类型的视频编码标准，例如，属于WMV系列的微软编解码器、On2编解码器(例如，VP6、VP6-E、VP6-S、VP7或VP8)或WebM的。
当进行视频编码以降低比特率时，可以将要编码的帧分割成可以被压缩和编码的更小的编码单元(块，宏块等)。对于帧间帧编码，每个块可以被分配一个或多个运动矢量。帧的预测可以通过根据该组运动矢量来替换来自过去和/或未来帧的像素块来构建。之后，由先前帧中的运动矢量替换的块可以与当前帧进行比较，并且通过使用变换编码，以与帧内编码帧类似的方式，对被称为残余信号的、要编码的当前帧与其运动补偿预测之间的差异进行熵编码。
上述帧间帧编码可以通过使用“跳过块”来防止。换句话说，跳过块可以在不发送残余错误或运动矢量的情况下被“编码”。相反，编码器可以只记录为帧间帧中的特定块位置指定了跳过块，并且解码器可以从已经解码的其它块中推导出图像信息。在实施例中，跳过块的图像信息可以从数字视频数据的同一帧中的块或前一帧中的块推断出。
如本文所使用地，内部帧可以在没有对任何过去或未来帧进行的情况下被编码，并被称为I帧。可以使用称为P帧的单向预测帧或者称为B帧的双向预测帧来编码帧间帧。P帧和B帧都可能包括编码在先前帧中的任何地方都找不到的新数据的块，但它们可能很少见。I帧可以包括放置在没有时间冗余是可用的的、对应于场景改变的新的一组帧的开始处的场景改变帧，或者放置在一些时间冗余是可用的的其它位置的刷新帧。通常以规则或不规则的间隔插入I帧，以便为新的流式编码器提供刷新点或作为传输错误的恢复点。
I帧可以围入多个P帧和B帧，或者在一些实施例中，仅围入所谓的“图像组”(GOP)中的多个P帧。GOP长度可以包括以30帧每秒采样的30帧视频，这意味着一个I帧可以跟随29个P帧。在其它实施例中，GOP可以是动态的并且基于场景内容、视频质量和/或由眼睛追踪器提供的注视信息而变化。
图1是示出一个实施例中的包括眼睛追踪的示例性环境100的框图。环境100可以是例如用于保护区域或提供公共安全的监视系统。如图1所示，环境100可以包括摄像机110-1到110-M、网络120、视频管理系统(VMS)150、监视站125-1到125-N、眼睛追踪器140-1到140-N、和/或显示器130-1到130-N。环境100还可以包括各种非成像检测器，例如运动检测器、温度检测器、烟雾检测器等(未示出)。
摄像机110-1至110-M(被称为“摄像机110”，多个称为“多个摄像机110”，具体地称为“摄像机110-x”)捕获监视区域106的图像和/或视频。监视区域106可以由一个或多个摄像机110监视。对象102可以包括任何对象，诸如门、人、动物、车辆、车辆上的牌照等。
摄像机110可以使用可见光、红外光和/或其它不可见的电磁辐射(例如紫外光、远红外光、太赫兹辐射、微波辐射等)来捕获图像数据。摄像机110可以包括热摄像机和/或用于雷达成像的雷达。捕获的图像数据可以包括连续的图像序列(例如，视频)、有限的图像序列、静止图像、和/或其组合。摄像机110可以包括用于捕获和数字化图像的数字摄像机和/或用于捕获图像并以模拟格式存储图像数据的模拟摄像机。
摄像机110可以包括生成排列成一个或多个二维阵列的数据(例如，图像数据或视频数据)的传感器。如本文所使用地，“视频数据”和“视频”可以更一般地分别被称为“图像数据”和“图像”。因此，除非另有说明，否则“图像数据”或“图像”意味着包括“视频数据”和“视频”。类似地，除非另有说明，“视频数据”或“视频”可以包括静止图像。
其它监视设备或传感器可以从监视区域106捕获信息。例如，运动检测器(例如，除了照摄像机以外的某物)可以检测区域106-1中的运动。运动检测器可以包括接近传感器、磁传感器、入侵传感器、压力传感器、红外光传感器、雷达传感器和/或辐射传感器。作为另一示例，烟雾探测器可以探测区域106-1中的烟雾。烟雾探测器还可以包括热传感器。
监视站125-1到125-N被耦接到显示器130-1到130-N(单独地，分别是“监视站125”和“显示器130”)。在一个实施例中，监视站125-1到125-N也被耦接到眼睛追踪器140-1到140-N(单独地，“眼睛追踪器140”)。监视站125和显示器130使操作员(图1中未示出)能够观看由摄像机110生成的图像。眼睛追踪器140追踪观看显示器130的操作员的注视。每个监视站125-x、显示器130-x和眼睛追踪器140-x可以是用于操作员与环境100中所示的监视系统交互的“客户端”。
显示器130从一个或多个摄像机110接收并显示视频流。单个显示器130可以显示来自单个摄像机110或来自多个摄像机110(例如，以显示器130上的多个框或窗口)的图像。单个显示器130也可以显示来自单个摄像机的图像，但是以不同的框显示。也就是说，单个摄像机可以包括例如广角或鱼眼镜头，并且提供多个区域106的图像。来自不同区域106的图像可被分离并在显示器130上分开显示在不同的窗口和/或框中。显示器130可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管(CRT)显示器、等离子显示器、激光视频显示器、电泳显示器、量子点显示器、视频投影仪和/或任何其它类型的显示设备。
眼睛追踪器140包括使得VMS 150(或环境100中的任何设备)能够确定操作员的眼睛聚焦的位置的传感器(例如，摄像机)。例如，可以将一组近红外光束指向操作员的眼睛，引起操作员的角膜中的反射。反射可以由包括在眼睛追踪器140中的摄像机追踪以确定操作员的注视区域。注视区域可以包括注视点和视网膜中央凹焦点区域。例如，操作员可以坐在监视站125的显示器130的前面。眼睛追踪器140确定操作员正在聚焦于显示器130的哪个部分。每个显示器130可以与单个眼睛追踪器140相关联。可替代地，眼睛追踪器140可对应于多个显示器130。在这种情况下，眼睛追踪器140可以确定操作员正在关注哪个显示器和/或该显示器130的哪个部分。
眼睛追踪器140还可以确定用户的存在、注意力水平、焦点、困倦、意识和/或其它状态。眼睛追踪器140也可以确定用户的身份。来自眼睛追踪器140的信息可以用来获得对操作员的随时间的行为的了解或确定操作员的当前状态。在一些实施方式中，显示器130和眼睛追踪器140可以在由操作员佩戴的虚拟现实(VR)耳机中实现。操作员可以将一个或多个摄像机110用作VR耳机的输入，来进行区域106的虚拟检查。
网络120可以包括一个或多个电路交换网络和/或分组交换网络。例如，网络120可以包括局域网(LAN)、广域网(WAN)、城域网(MAN)、公共交换电话网(PSTN)、自组织网络、内联网、因特网、基于光纤的网络、无线网络、和/或这些或其它类型的网络的组合。
VMS 150可以包括一个或多个计算机设备，例如协调摄像机110、显示设备130和/或眼睛追踪系统140的操作的服务器设备。VMS 150可以接收并存储来自摄像机110的图像数据。VMS 150还可以为监视站125的操作员提供用户界面以查看存储在VMS 150中的图像数据或从摄像机110流式传输的图像数据。
在一些实施例中，环境100不包括单独的VMS 150。相反，由VMS150提供的服务由监视站125和/或摄像机110本身或以环境100中的设备之间的分布式方式提供。同样地，VMS150可以执行被描述为由摄像机110执行的操作。例如，VMS 150，而不是照摄像机110，可以分析图像数据来检测运动。
尽管图1示出了环境100的示例性组件，但是在其它实施方式中，环境100可以包括与图1所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。附加地或可替代地，任何一个设备(或任何一组设备)可以执行被描述为由一个或多个其它设备执行的功能。
图2是示出一个实施例中的摄像机的示例性组件的框图。如图2所示，摄像机110可以包括光学链210、传感器阵列220、总线225、图像处理器230、控制器240、存储器245、视频编码器250和/或通信接口260。在实施例中，摄像机110可以包括用于平移、倾斜和/或缩放摄像机110的一个或多个电机控制器270(例如三个)和一个或多个电机272(例如三个)。
光学链210包括将入射辐射(例如，光、可见光、红外波、毫米波等)引导到传感器阵列220以基于入射辐射捕获图像的外壳。光学链210包括透镜212，将来自监视区域的入射辐射收集并聚焦到传感器阵列220上。
传感器阵列220可以包括用于记录、感测和测量入射或落在传感器阵列220上的辐射(例如，光)的传感器的阵列。辐射可以在可见光波长范围、红外波长范围或其它波长范围内。传感器阵列220可以包括例如电荷耦接器件(CCD)阵列和/或有源像素阵列(例如，互补金属氧化物半导体(CMOS)传感器阵列)。传感器阵列220还可以包括微测辐射热计(例如，当摄像机110包括热摄像机或检测器时)。
传感器阵列220输出指示(例如，描述性质或特性)入射在传感器阵列220上的辐射(例如，光)的数据。例如，从传感器阵列220输出的数据可以包括诸如入射在传感器阵列220中的一个或多个像素上的光的强度(例如，亮度)、颜色等的信息。入射在传感器阵列220上的光可以是“图像”，因为光可以由于光学链210中的透镜而被聚焦。
因为传感器阵列220感测落在传感器阵列220上的图像，所以其可被认为是“图像传感器”。如在本文中使用的术语，“图像”包括指示入射在传感器阵列220上的辐射(例如，描述光的性质或特性)的数据。因此，术语“图像”也可以被用来表示“图像传感器数据”或描述图像的任何数据或数据集。此外，“像素”可以表示对其进行了辐射测量(例如，指示入射在传感器阵列220上的光的测量)的传感器阵列220的任何区或区域。像素可对应于传感器阵列220中的一个或多个(或少于一个)传感器。在可替代的实施例中，传感器240可以是可以使用扫描硬件(例如旋转镜)来形成图像的线性阵列，或者是可以依靠图像处理器230和/或控制器240来产生图像传感器数据的非阵列传感器。视频编码器250可以编码图像传感器数据以传输到环境100中的其它设备，例如站125和/或VMS 150。视频编码器250可使用视频编码技术，例如ISO/MPEG或ITU-H.26X系列的视频编码标准。
总线225是使得摄像机110中的组件能够相互通信的通信路径。控制器240可以控制和协调摄像机110的操作。控制器240和/或图像处理器230对由传感器阵列220捕获的图像数据进行信号处理操作。控制器240和/或图像处理器230可以包括解释并执行指令的任何类型的单核或多核处理器、微处理器、基于锁存器的处理器、和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。控制器240和/或图像处理器230可以包括或者被耦接到诸如图形处理单元(GPU)、通用图形处理单元(GPGPU)、单元、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、和/或另一类型的集成电路或处理逻辑的硬件加速器。
控制器240还可以确定和控制摄像机110的期望焦点和位置(例如，倾斜、缩放等)。为此，控制器240向一个或多个电动机控制器270发送命令以驱动一个或多个电动机272倾斜和/或平移摄像机110或光学变焦镜头212。
存储器245可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器245可以包括随机存取存储器(RAM)或任何类型的动态存储设备、只读存储器(ROM)设备或任何类型的静态存储设备、磁或光记录存储设备及其相应的驱动器、或可移动存储设备。存储器245可存储供处理器摄像机110使用的信息和指令(例如，应用程序和/或操作系统)和数据(例如，应用程序数据)。
存储器245可以存储由控制器240和/或图像处理器230执行的指令。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器245中。软件指令可使控制器240、视频编码器260和/或图像处理器230执行本文所述的过程。例如，响应于控制器240、视频编码器250和/或图像处理器230执行存储在存储器245中的软件指令，摄像机110可以执行与图像处理有关的操作(例如，编码、代码转换、检测对象等)。可替代地，可使用硬连线电路(例如，逻辑)代替软件指令或与软件指令组合以实施本文所描述的过程。
通信接口260包括电路和逻辑电路，其包括便于将数据传输到另一个设备的输入和/或输出端口、输入和/或输出系统和/或其它输入和输出部件。例如，通信接口260可以包括用于有线通信的网络接口卡(例如，以太网卡)或用于无线通信的无线网络接口(例如，WiFi)卡。
尽管图2示出了摄像机110的示例性组件，但是在其它实施方式中，摄像机110可以包括与图2所示相比，更少的组件、不同的组件、不同布置的组件或附加的组件。另外地或可替代地，摄像机110的一个或多个组件可以执行被描述为由摄像机110的一个或多个其它组件执行的功能。例如，控制器240可以执行被描述为由图像处理器230执行的功能，反之亦然。可替代地或另外地，摄像机110可以包括如下面关于图3所描述的计算模块。
图3是示出一个实施例中的计算模块的示例性组件的框图。诸如VMS 150、眼睛追踪系统140和/或显示设备130的设备可以包括一个或多个计算模块300。如图3所示，计算模块300可以包括总线310、处理器320、存储器330和/或通信接口360。在一些实施例中，计算模块300还可以包括输入设备340和/或输出设备350。
总线310包括允许在计算模块300或其它设备的组件之间进行通信的路径。处理器320可以包括解释和执行指令的任何类型的单核处理器、多核处理器、微处理器、基于锁存的处理器和/或处理逻辑(或处理器、微处理器和/或处理逻辑系列)。处理器320可以包括ASIC、FPGA和/或另一种类型的集成电路或处理逻辑。处理器320可以包括或者耦接到诸如GPU、GPGPU、单元、FPGA、ASIC和/或另一类型的集成电路或处理逻辑的硬件加速器。
存储器330可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器330可以包括RAM或任何类型的动态存储设备、ROM或任何类型的静态存储设备、磁或光记录存储设备及其相应的驱动器、或可移动存储设备。存储器330可存储供处理器320使用的信息和指令(例如，应用程序和操作系统)和数据(例如，应用程序数据)。
存储器330可以存储供处理器320执行的指令。软件指令可以从另一个计算机可读介质或从另一个设备被读入到存储器330中。软件指令可以使得处理器320执行本文描述的过程。可替代地，可使用硬连线电路(例如，逻辑)代替软件指令或与软件指令组合以实施本文所描述的过程。
操作系统包括用于管理计算模块300的硬件和软件资源的软件指令。例如，操作系统可以包括Linux、Windows、OS X、Android、嵌入式操作系统等。取决于在其中找到特定计算模块300的设备，应用程序和应用程序数据可以提供网络服务或包括应用程序。
通信接口360可以包括使得计算模块300能够与其它组件、设备和/或系统通信的发射器和/或接收器(例如收发器)。通信接口360可以经由无线通信(例如，射频、红外等)、有线通信或其组合进行通信。通信接口360可以包括将基带信号转换成射频(RF)信号或反之亦然的收发器，并且可以被耦接到天线。
通信接口360可以包括逻辑组件，该逻辑组件包括便于将数据传输到其它设备的输入和/或输出端口、输入和/或输出系统和/或其它输入和输出组件。例如，通信接口360可以包括用于有线通信的网络接口卡(例如，以太网卡)或用于无线通信的无线网络接口(例如，WiFi)卡。
一些设备还可以包括输入设备340和输出设备350。输入设备340可以使得用户能够将信息输入到计算模块300中。输入设备370可以包括键盘、鼠标、笔、麦克风、照摄像机、触摸屏显示器等。
输出设备350可以向用户输出信息。输出设备350可以包括显示器、打印机、扬声器等。输入设备340和输出设备350可以使得用户能够与由计算模块300执行的应用交互。在“无头”设备(例如部署的远程摄像机)的情况下，输入和输出主要通过通信接口360而不是输入设备340和输出设备350。
计算模块300可以包括帮助接收、发送和/或处理数据的其它组件(未示出)。而且，计算模块300中的组件的其它配置也是可能的。在其它实施方式中，计算模块300可以包括比图3所示的更少的组件、不同的组件、附加的组件或不同布置的组件。另外地或可替代地，计算模块300的一个或多个组件可以执行被描述为由计算模块300的一个或多个其它组件执行的一个或多个任务。
图4示出了查看具有眼睛追踪器140的显示器130的操作员402的示例性环境400。显示器130可以包括用于向操作员402显示信息的任何类型的显示器。操作员402查看显示器130并且可以经由在监视站125上运行的应用程序与VMS 150交互。例如，操作员402可以观看区域106的视频。当根据规则在区域106中存在运动时，监视站125可能发出警报。然后，操作员402可以通过经由与在监视站125上运行的应用进行交互的键盘来使警报安静而响应。
眼睛追踪器140包括使监视站125能够确定操作员402的眼睛聚焦的位置的传感器(例如，摄像机)。在图4中，例如，操作员402坐在显示器130的前方，并且眼睛追踪器140中的传感器感测操作员402的眼睛。例如，眼睛追踪器140可以确定注视点410，注视点410可以被表示为显示器130上的位置(例如，像素值)。基于操作员和显示器130的相对位置，可以估计对应于操作员402的视网膜中央凹视觉的视网膜中央凹视觉区域420(或“区域420”)。视网膜中央凹视觉对应于眼睛的详细视觉感知，并且大约对向1-2个立体度数。因此，显示器130上的区域420可被计算并理解为对应于具有完全视觉敏锐度的操作员402视觉的部分。在可替代的实施例中，区域420可以在设置过程期间实验地为特定操作员402确定。区域420与视网膜中央凹视觉区域420外侧的周边视觉区域430形成对比，周边视觉区域430对应于操作员402的周边视觉。注视点410大致位于区域420的中央，并且对应于从注视点410到操作员402的眼睛的视线。在一个实施例中，识别注视点410的信息可被发送到视频管理系统150。
图5A从操作员402的角度示出了显示器130。如图5A所示，显示器130包括注视点410、视网膜中央凹视觉区域420和周边视觉区域430。显示器130还包括其中视频流被呈现给操作员402的视频框520。在这个示例中，框520显示区域106-1的来自摄像机110-1的视频流，该视频流恰好包括门和看起来正在移动的人。操作员402视网膜中央凹视觉区域420包含人，注视点410直接在人的脸上。另一方面，在框520中显示的门出现在操作员402周边视野区域430中。在下面更详细描述的一个示例中，当在区域106-1中感测到运动时，站125-1在显示器130的窗口522A中显示以下警报：区域106-1中的运动警报。
基于注视点410和/或区域420的位置，在对视频流进行编码时，可以指定帧间帧的块的不同更新速率，以使得由眼睛追踪器140生成的信息可以被解释为(可能通过视频管理系统150)到摄像机110的用户输入。例如，如果如图5A所示，眼睛追踪器140-1确定操作员402正在观看人的上部，则位于区域420中的视频数据(例如块)可以被更新以保留在编码期间生成帧间帧时的运动和/或空间细节。另一方面，位于区域420之外的视频数据可被指定为具有在生成全部或部分帧间帧时使用的跳过块，从而块不会被频繁地更新以降低比特率。
图5B也从操作员402的角度示出了显示器130。然而，与图5A相反，图5B中的显示器130示出了多个框520-1到520-N(各个“框520-x”；或者多个“框520”)。每个框520-1到520-N可以呈现不同的视频流，因此操作员402可以监视多于一个区域。不同的流可以由不同的摄像机110-1至110-M产生。可替代地或附加地，每个框520-1到520-N可以显示由共同的摄像机110-x产生的不同的流。例如，摄像机110-x可以使用“鱼眼”镜头并从延伸的角度区域捕捉视频。视频可以被处理以减少由鱼眼镜头引入的失真，并且将扩展的角度区域分成对应于不同区域的单独视频流，其可以分别在框520-1到520-N中呈现。如同图5A，图5B中的显示器130包括注视点410、视网膜中央凹视觉区域420和周边视觉区域430。
在这个示例中，框520-1可以显示来自区域106-1的摄像机110-1的视频流；视频框520-2可以显示来自区域106-2(未示出)的摄像机110-2(未示出)的视频流，等等。图5B中的操作员402视网膜中央凹视觉区域420包括框架520-1的大部分，并且注视点410接近人的面部。在框520中显示的门也在视网膜中央凹视觉区域420中。另一方面，其它框520-2至520-N位于操作员402的周边视觉区域430中。
注视点410和/或视网膜中央凹视觉区域420的位置可以被用于选择和/或指定特定的框520-x用于可以不同于其它框520的随后处理。例如，如图5B所示，注视点410可被用于指示框520-1是操作员关注的框。因此，视频监视系统可以将更多资源(例如，带宽和/或处理资源)分配给框520-1以改善框520-1中的视频流的呈现，并且减少分配给对应于不是操作员的焦点(例如，在周边视野中)的框的其它流的资源。具体来说，如果如图5B所示，眼睛追踪器140-1确定操作员402正在观看框520-1，则位于区域420中的视频数据可以被更新以保留在编码期间生成帧间帧时的运动和/或空间细节。另一方面，位于区域420之外的其它框520-2到520-N的视频数据可以被指定为具有用于生成帧间帧的跳过块，从而块不会被频繁地更新以降低框520-2到520-N中的比特率。
图6是示出基于注视感测来解码视频数据的示例性过程600的流程图。在实施例中，过程600可以由客户端设备(例如，监视站125-x、眼睛追踪器140-x和显示器130-x)通过执行指令处理器320来执行。指令可以被存储在存储器330中。在可替代的实施例中，过程600可以由VMS 150执行。
在实施例中，过程600可以最初包括解码从与摄像机110相关联的编码器(例如，视频编码器250)接收的编码视频流(块610)。可以经由网络120在监视站125处接收的编码视频流可以由对监视区域106-x中的对象102-x进行成像的摄像机110-x生成。过程600可以进一步包括在监视站125的显示器130上呈现解码的视频流(块615)，并且检测查看显示器130的操作员402的注视点410(块620)。过程600可以包括基于注视点410将与解码的视频流相关联的位置指定为跳过块插入点(块625)，并且将位置发送到视频编码器250，其中视频编码器250可在对由摄像机110产生的视频数据进行编码时降低对应于跳过块插入点的帧间帧编码块的更新速率。
过程600可以进一步包括在监视站125的显示器130上具有操作员402的主要焦点的窗口520中呈现解码的视频流，并且确定操作员402的注视点410在具有操作员402的主要焦点的窗口520的边界内。过程600可以进一步包括确定具有操作员402的主要焦点的窗口内的中央凹视觉区域420。可以基于操作员402和显示器130之间的距离来计算显示器130上的区域420。过程600可以进一步包括将与中央凹视觉区域420外的解码的视频流相关联的位置指定为跳过块插入点。
在另一实施例中，监视站125可以从一个或多个摄像机110接收多个视频流以在显示器130上呈现。在一个示例中，多个流可以来自具有鱼眼镜头的同一照摄像机130-x，该鱼眼镜头从宽视场(例如，360度)收集视频，然后对视图的不同部分进行弯曲去除以产生多个分开的、不失真的视频流。另外地或可替代地，多个视频流可以由可收集监视区域106的不同部分的多个摄像机110产生。因此，过程600可以进一步包括解码一个或多个附加的编码的视频流、将解码的视频流和附加的解码的视频流各自呈现在监视站125的显示器130上的多个窗口520中的不同的窗口中。可替代地，可以在监视站125的附加的显示器上呈现附加的视频流。过程600可以包括基于注视点410，确定多个窗口520中具有操作员402的主要焦点的窗口520-1，并且将位置指定为与不具有操作员402的主要焦点的至少一个窗口520-2到20-N相关联的解码的视频流内的跳过块插入点。过程600可以进一步包括基于注视点410，确定具有操作员402的主要焦点的窗口520-1内的中央凹视觉区域420，并且将中央凹视觉区域420外的位置指定为与具有操作员402的主要焦点的窗口520-1相关联的解码的视频流中的跳过块插入点。
过程600可以进一步包括：确定比与具有操作员402的主要焦点的窗口520-1相关联的解码的视频流的图片组(GOP)长度大的、与不具有操作员的主要焦点的至少一个窗口(520-2到520-N)相关联的次要解码视频流的GOP长度；以及将确定的GOP长度发送到与次要解码视频流相关联的编码器250，以编码与不具有操作员的主要焦点的一个(或多个)窗口520-2到520-N相关联的视频。过程600可以进一步包括确定从注视点410到不具有操作员的主要焦点的至少一个窗口(例如，520-2到520-N)的距离，并且随着注视点410和不具有操作员402的主要焦点的至少一个窗口(例如，520-2至520-N)之间的距离的增加而增加确定的GOP长度。
关于GOP长度，典型的视频采集场景可以只使用I帧和P帧，每秒30帧情况下的GOP长度为30张图像。这意味着一个I帧可能跟着29个P帧。在这种情况下，操作员402没有正在查看的区域中的宏块可以被降低到每秒1次更新，而正在被查看的宏块可以是每秒全部30次更新。也可以在保持稳定的更新速率的同时，将较低的更新速率设置为每秒2、3或5次更新。如果更新速率不需要非常稳定，则更新可以是每秒1到30之间的任何值。在实施例中，GOP长度可以基于由眼睛追踪器140确定的操作员402的焦点而是动态的。
过程600可以进一步包括：当注视点410在具有操作员402的主要焦点的窗口520-1内移动时，追踪注视点410超过预定阈值的一段时间或距离；将注视点410的移动与解码的视频中的移动对象相关联；将移动对象指定为关注对象；以及防止对与解码的视频流中的关注对象相关联的位置进行将位置指定为跳过块插入点。过程600还可以包括生成表示指定的关注对象的标识符，并将该标识符保存在包含解码的视频流的元数据的数据库中。
过程600可以进一步包括确定注视点410在显示器130上的实质上同一位置处保持了超过预定阈值的一段时间，然后增加注视点410周围的预定区域中的解码的视频流的放大率。可替代地，过程600可以包括确定注视点420在具有操作员402的主要焦点的窗口520-1上维持超过预定阈值的一段时间，然后相对于不具有操作员402的主要焦点的其它窗口(520-2到520-N)，增加具有操作员的主要焦点的窗口520-1的放大率。
过程600还可以包括由于操作员402的眨眼而确定：在预定的时间段内，注视点410消失并且重新出现预定的次数，同时保持在显示器130上的实质上同一位置。过程600可以进一步包括执行与注视点410周围的区域中的解码的视频流相关联的命令。过程600还可以包括改变注视点周围区域中的解码的视频流的放大率，或者在标注注视点周围区域中的解码的视频流的数据库中保存标识符。
过程600可以进一步包括追踪注视点410的位置一段时间和基于注视点的追踪的位置来预测注视点的下一个位置。预测可以使用已知的追踪和/或统计估计技术来进行。因此，过程600可以最小化或者至少减小注视点410被移动的时间和达到与该位置相关联的帧间帧的完全更新速率的时间之间的延迟。例如，娱乐场中使用的照摄像机110可能需要具有非常低的等待时间。在那些情况下，延迟可能如此之低，以至于每当注视点410被移动时，操作员402不受必须等待完全更新速率的影响。如果摄像机110没有足够快地作出反应，则可以使用注视点410的上述预测。
为了解码具有跳过块插入点的视频流，过程600可以进一步包括接收包括具有包括跳过块的帧间帧的第一分量视频流和具有比所述第一分量视频流序列低的像素密度的第二分量视频流的合并编码视频流，其中所述第二分量视频流在时间上和空间上与所述第一分量视频流相关联。过程600可以进一步包括识别第一分量视频流的帧间帧中的跳过块，并且解码不是跳过块的块中的第一分量视频流的帧间帧。过程600可以进一步包括：解码所述第二分量视频流的帧间帧和放大所述解码的第二分量视频流中的帧间帧以匹配所述解码的第一分量视频流中的所述帧间帧的像素密度；识别与解码的第一分量视频流中的跳过块位置相对应的、放大的解码的第二分量视频流中的像素；以及提取解码的第二分量视频流中的识别的像素，并将提取的像素插入到解码的第一编码比特流中的跳过块的对应位置。
图7是示出基于注视感测来编码视频数据的示例性过程700的流程图。在实施例中，过程700可以通过在控制器240、图像处理器230或视频编码器250或其任何组合上执行指令而在摄像机110中执行。指令可以存储在公共存储器245中，和/或至少部分地存储在专用于控制器240、图像处理器230和视频编码器250的各个存储器上。
过程700可以包括接收由至少一个传感器阵列220捕获的视频数据(块710)。捕获的视频数据对应于与摄像机110相关联的监视区域106。过程700可进一步包括接收与解码的视频流相关联的位置，以指定用于编码接收的视频数据的跳过块插入点(块715)，其中所述位置基于由眼睛追踪器140确定的注视点410。过程700进一步包括在编码接收的视频数据之前，基于接收的位置，识别跳过块插入点(块720)。跳过块插入点可以指定具有降低的更新速率的帧间帧内的块。过程700可以包括为识别的跳过块插入点确定降低的更新速率的频率(块725)。该频率可以表示在GOP内的帧间帧中，特定块每秒更新的次数。过程700可以进一步包括基于确定的频率来编码具有与识别的跳过块插入点相关联的块的帧间帧(块730)。
为了编码具有跳过块插入点的视频流，过程700可以包括从接收的视频数据生成第一视频序列，并且从接收的视频数据生成具有比第一视频序列低的像素密度的第二视频序列。第二视频序列可以在时间上和空间上与第一视频序列相似。处理700可进一步包括指示第一视频序列中的相关像素，其中识别的跳过块插入点被指定为不相关，并且编码指示的第一视频序列中的相关像素以产生第一编码视频流。被指定为不相关的像素可以使用跳过块来编码。过程700可以进一步包括编码第二视频序列以产生第二编码视频流，合并第一编码视频流和第二编码视频流，然后将合并的编码视频流发送到监视站125。
在实施例中，生成第二视频序列可以包括在二维中对第一视频序列进行数字下采样。在另一实施例中，指示相关像素可以包括生成第一视频序列的掩模。
在前面的说明中，参照附图描述了各种实施例。然而，将显而易见的是，在不偏离如在随后的权利要求中阐述的本发明的更宽范围的情况下，可以对其进行各种修改和改变，并且可以实现另外的实施例。因此，说明书和附图被当作是说明性的而不是限制性的。
例如，虽然已经关于图6和图7描述了信号和/或逻辑的顺序，但是在其它实施方式中，可以修改块、逻辑流和/或信号流的顺序。此外，可以并行地执行非依赖的块和/或信号流。
本申请通过引用并入与本专利申请同一天递交的下列专利申请：美国专利申请编号：15/395,893(代理备案号P160085/US(0090-0018))，名称为“注视热图”，并且于2016年12月30日递交；美国专利申请编号15/395,856(代理备案号P160069(0090-0022))，名称为“注视控制的比特率”，并且于2016年12月30日递交；以及美国专利申请编号15/395,403(代理备案号P160191(0090-0023))，名称为“视频管理系统中基于注视的报警屏蔽”，并且于2016年12月30日递交。
显而易见的是，如上所述，系统和/或过程可以在图中所示的实现中以软件、固件和硬件的许多不同形式来实现。用于实现这些系统和过程的实际软件代码或专用控制硬件不是对实施例的限制。因此，系统和过程的操作和行为在没有参考具体软件代码的情况下被描述，不过应当理解，软件和控制硬件可以被设计为基于本文的描述来实现系统和过程。
此外，上面描述的某些部分可以被实现为执行一个或多个功能的组件。如本文中所使用地，组件可以包括诸如处理器、ASIC或FPGA的硬件，或者硬件和软件的组合(例如，执行软件的处理器)。
术语“包括”和“包含”表示叙述过的特征、整体、步骤或组件的出现，而不排除一个或多个其它特征、整体、步骤、组件或它们的组的出现或增加。“示例性”一词用于表示多个示例的“用作示例、实例或说明”。本文描述为“示例性”的任何实施例不一定意味着其优于其它实施例或比其它实施例有利。
除非明确地如此描述，否则本申请中使用的元件、动作或指令不应该被解释为对于实施例是关键的或必不可少的。而且，如本文所使用地，冠词“一个”旨在包括一个或多个项目。此外，除非另有明确说明，短语“基于”旨在表示“至少部分基于”。

Claims (15)

1.一种用于基于注视感测解码视频数据的方法，包括：
解码从与摄像机相关联的编码器接收的编码的视频流；
在设备的显示器上呈现解码的视频流；
检测观看所述显示器的操作员的注视点；
基于所述注视点，将与所述解码的视频流相关联的位置指定为跳过块插入点；和
将所述位置发送给所述编码器，其中所述编码器在编码所述摄像机产生的视频数据时，降低与所述跳过块插入点对应的帧间帧编码块的更新速率。
2.根据权利要求1所述的方法，进一步包括：
在所述设备的所述显示器上将所述解码的视频流呈现在具有所述操作员的主要焦点的窗口中；
确定所述操作员的所述注视点在具有所述操作员的所述主要焦点的所述窗口的边界内；
确定具有所述操作员的所述主要焦点的所述窗口内的中央凹视觉区域；和
将与所述中央凹视觉区域外的所述解码的视频流相关联的位置指定为跳过块插入点。
3.根据权利要求1所述的方法，进一步包括：
解码至少一个附加的编码的视频流；
将所述解码的视频流和至少一个附加的解码的视频流各自呈现在所述设备的所述显示器上或所述设备的另一显示器上的多个窗口中的不同的窗口中；
基于所述注视点，确定所述多个窗口中具有所述操作员的主要焦点的窗口；和
将位置指定为与不具有所述操作员的所述主要焦点的至少一个窗口相关联的所述解码的视频流内的跳过块插入点。
4.根据权利要求3所述的方法，进一步包括：
基于所述注视点，确定具有所述操作员的所述主要焦点的所述窗口内的中央凹视觉区域；和
将所述中央凹视觉区域外的位置指定为与具有所述操作员的所述主要焦点的所述窗口相关联的所述解码的视频流中的跳过块插入点。
5.根据权利要求3所述的方法，进一步包括：
确定大于与具有所述操作员的所述主要焦点的所述窗口相关联的所述解码的视频流的图片组(GOP)长度的、与不具有所述操作员的所述主要焦点的所述至少一个窗口相关联的次要解码的视频流的GOP长度；和
将确定的所述GOP长度发送给与所述次要解码的视频流相关联的编码器，以编码与不具有所述操作员的所述主要焦点的所述至少一个窗口相关联的视频。
6.根据权利要求5所述的方法，进一步包括：
确定从所述注视点到不具有所述操作员的所述主要焦点的所述至少一个窗口的距离；和
随着所述注视点与不具有所述操作员的所述主要焦点的所述至少一个窗口之间的所述距离增加，增加确定的所述GOP长度。
7.根据权利要求2所述的方法，进一步包括：
当注视点在具有所述操作员的主要焦点的所述窗口内移动时，追踪所述注视点超过预定阈值的一段时间或距离；
将所述注视点的所述移动和所述解码的视频流中的移动对象相关联；
将所述移动对象指定为关注对象；和
防止对与所述解码的视频流中的所述关注对象相关联的位置进行所述将位置指定为跳过块插入点。
8.根据权利要求7所述的方法，进一步包括：
生成表示指定的关注对象的标识符；和
将所述标识符保存在包含所述解码的视频流的元数据的数据库中。
9.根据权利要求1所述的方法，进一步包括：
追踪所述注视点的位置一段时间；和
基于所述注视点的追踪的位置，预测所述注视点的下一位置。
10.一种用于基于注视感测编码视频数据的方法，包括：
接收由至少一个传感器阵列捕获的视频数据；
接收与解码的视频流相关联的位置以指定用于编码接收的视频数据的跳过块插入点，其中所述位置基于在设备处确定的注视点；
基于接收的位置，在编码接收的视频数据之前，识别跳过块插入点，其中所述跳过块插入点指定具有降低的更新速率的帧间帧内的块；
为识别的跳过块插入点，确定所述降低的更新速率的频率；和
基于确定的频率来编码具有与所述识别的跳过块插入点相关联的块的帧间帧。
11.根据权利要求10所述的方法，进一步包括：
从所述接收的视频数据产生第一视频序列；
从所述接收的视频数据生成具有比所述第一视频序列低的像素密度的第二视频序列，其中所述第二视频序列在时间上和空间上与所述第一视频序列相似；
指示所述第一视频序列中的相关像素，其中所述识别的跳过块插入点被指定为不相关；
编码指示的所述第一视频序列中的相关像素以产生第一编码视频流，其中使用跳过块编码被指定为不相关的像素；
编码所述第二视频序列以产生第二编码视频流；
合并所述第一编码视频流和所述第二编码视频流；和
将合并的编码视频流发送到所述设备。
12.根据权利要求11所述的方法，其中生成所述第二视频序列进一步包括：
在二维中对所述第一视频序列进行数字下采样。
13.根据权利要求11所述的方法，其中指示相关像素进一步包括：
产生所述第一视频序列的掩模。
14.一种被配置为基于注视感测解码视频数据的设备，包括：
显示器；
被配置为通过网络交换数据的通信接口；
耦接到所述显示器和所述通信接口的处理器；和
耦接到所述处理器的存储器，所述存储器存储使所述处理器执行根据权利要求1至9中任一项所述的方法的指令。
15.一种被配置为基于注视感测编码视频数据的摄像机，包括：
传感器阵列；
被配置为通过网络交换数据的通信接口；
耦接到所述传感器阵列和所述通信接口的控制器、图像处理器和视频编码器；和
耦接到所述控制器、所述图像处理器和所述视频编码器的存储器，所述存储器存储使所述控制器、所述图像处理器或所述视频编码器中的至少一个执行根据权利要求10到13中任一项所述的方法的指令。
CN201810001196.4A 2016-12-30 2018-01-02 基于注视感测的块级更新速率控制 Active CN108271021B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,790 2016-12-30
US15/395,790 US10123020B2 (en) 2016-12-30 2016-12-30 Block level update rate control based on gaze sensing
EP17154579.1 2017-02-03
EP17154579.1A EP3343916A1 (en) 2016-12-30 2017-02-03 Block level update rate control based on gaze sensing

Publications (2)

Publication Number Publication Date
CN108271021A true CN108271021A (zh) 2018-07-10
CN108271021B CN108271021B (zh) 2024-03-19

Family

ID=57995041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810001196.4A Active CN108271021B (zh) 2016-12-30 2018-01-02 基于注视感测的块级更新速率控制

Country Status (6)

Country Link
US (1) US10123020B2 (zh)
EP (1) EP3343916A1 (zh)
JP (1) JP7353015B2 (zh)
KR (1) KR102505462B1 (zh)
CN (1) CN108271021B (zh)
TW (1) TWI767972B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263192A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 视频处理方法及相关设备
CN112532982A (zh) * 2019-09-19 2021-03-19 安讯士有限公司 使用跳过块掩码来减小来自监控摄像机的比特率
CN113849142A (zh) * 2021-09-26 2021-12-28 深圳市火乐科技发展有限公司 图像展示方法、装置、电子设备及计算机可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018169176A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US10528794B2 (en) * 2017-06-05 2020-01-07 Motorola Solutions, Inc. System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information
US10186124B1 (en) 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
CN111294601A (zh) * 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置
US20200195944A1 (en) * 2018-12-14 2020-06-18 Advanced Micro Devices, Inc. Slice size map control of foveated coding
MX2021012393A (es) 2019-04-10 2022-03-17 Scott Charles Mullins Sistemas de monitoreo.
CN114402191A (zh) * 2019-10-09 2022-04-26 松下知识产权经营株式会社 摄影装置
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
US11343531B2 (en) * 2020-06-17 2022-05-24 Western Digital Technologies, Inc. Storage system and method for object monitoring
US20240071191A1 (en) * 2020-12-30 2024-02-29 Raptor Vision, Llc Monitoring systems
AU2022398348A1 (en) * 2021-11-24 2024-06-06 Phenix Real Time Solutions, Inc. Eye gaze as a proxy of attention for video streaming services
CN114827663B (zh) * 2022-04-12 2023-11-21 咪咕文化科技有限公司 分布式直播插帧系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking
CN103458238A (zh) * 2012-11-14 2013-12-18 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH01141479A (ja) * 1987-11-28 1989-06-02 A T R Tsushin Syst Kenkyusho:Kk 視線検出を利用した画像通信装置
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US6717607B1 (en) 2000-04-28 2004-04-06 Swisscom Mobile Ag Method and system for video conferences
JP2006054830A (ja) * 2004-08-16 2006-02-23 Sony Corp 画像圧縮通信方法及び装置
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
JP2009118072A (ja) * 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
JP2012249116A (ja) * 2011-05-30 2012-12-13 Canon Inc 画像符号化装置
EP2940985A4 (en) * 2012-12-26 2016-08-17 Sony Corp IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING METHOD AND PROGRAM
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
JP2016178356A (ja) * 2015-03-18 2016-10-06 株式会社リコー 通信装置、通信システム、受信制御方法およびプログラム
US9900602B2 (en) * 2015-08-20 2018-02-20 Citrix Systems, Inc. Optimizing remote graphics delivery and presentation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking
CN103458238A (zh) * 2012-11-14 2013-12-18 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REEVES T H等: "《Adaptive Foveation of MPEG Video》", 《PROCEEDINGS OF ACM MULTIMEDIA 96》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263192A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 视频处理方法及相关设备
CN112532982A (zh) * 2019-09-19 2021-03-19 安讯士有限公司 使用跳过块掩码来减小来自监控摄像机的比特率
CN112532982B (zh) * 2019-09-19 2022-11-04 安讯士有限公司 使用跳过块掩码来减小来自监控摄像机的比特率
CN113849142A (zh) * 2021-09-26 2021-12-28 深圳市火乐科技发展有限公司 图像展示方法、装置、电子设备及计算机可读存储介质
CN113849142B (zh) * 2021-09-26 2024-05-28 深圳市火乐科技发展有限公司 图像展示方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
JP7353015B2 (ja) 2023-09-29
KR20180079188A (ko) 2018-07-10
KR102505462B1 (ko) 2023-03-02
TW201830973A (zh) 2018-08-16
JP2018110399A (ja) 2018-07-12
TWI767972B (zh) 2022-06-21
US10123020B2 (en) 2018-11-06
EP3343916A1 (en) 2018-07-04
CN108271021B (zh) 2024-03-19
US20180192057A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN108271021A (zh) 基于注视感测的块级更新速率控制
CN108270996B (zh) 由计算机设备执行的方法及计算机系统
CN108270997A (zh) 注视控制的比特率
Bao et al. Motion-prediction-based multicast for 360-degree video transmissions
JP6598109B2 (ja) 映像受信方法及び端末装置
EP3499897A1 (en) Camerawork generating method and video processing device
US20230360254A1 (en) Pose estimation method and related apparatus
US9269245B2 (en) Region of interest based video synopsis
US10277832B2 (en) Image processing method and image processing system
WO2014103732A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN106658011A (zh) 全景视频的编解码方法和装置
TW201242372A (en) Video coding system using implied reference frames
US10643443B2 (en) Alarm masking based on gaze in video management system
Del Bue et al. Smart cameras with real-time video object generation
KR102694107B1 (ko) 비디오 모니터링의 실시간 편차
US20110228170A1 (en) Video Summary System
KR100500152B1 (ko) 고해상도 영상 신호 전송 방법 및 상기 방법을 수행하는 고해상도 카메라 시스템
JP2020080479A (ja) 動画記録再生装置、動画伝送システムおよび方法
CN116137954A (zh) 信息处理设备、信息处理方法和信息处理系统
MX2011009183A (es) Dispositivo de transmision de video por red celular.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant