JP2018110398A - 方法、およびコンピュータシステム - Google Patents

方法、およびコンピュータシステム Download PDF

Info

Publication number
JP2018110398A
JP2018110398A JP2017254814A JP2017254814A JP2018110398A JP 2018110398 A JP2018110398 A JP 2018110398A JP 2017254814 A JP2017254814 A JP 2017254814A JP 2017254814 A JP2017254814 A JP 2017254814A JP 2018110398 A JP2018110398 A JP 2018110398A
Authority
JP
Japan
Prior art keywords
interest
camera
video stream
area
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017254814A
Other languages
English (en)
Other versions
JP2018110398A5 (ja
JP6453991B2 (ja
Inventor
アルド ビョルン
Ardoe Bjoern
アルド ビョルン
ピル フレードリク
Pihl Fredrik
ピル フレードリク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of JP2018110398A publication Critical patent/JP2018110398A/ja
Publication of JP2018110398A5 publication Critical patent/JP2018110398A5/ja
Application granted granted Critical
Publication of JP6453991B2 publication Critical patent/JP6453991B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】ネットワークを介して送信される監視映像データのデータ量を減らす方法及びコンピュータシステムを提供する。【解決手段】アイトラッキングセンサ１４０−１・・・１４０−Ｎを介して、ディスプレイ１３０−１・・・１３０−Ｎを見ているオペレータの注視情報を取得し、取得された注視情報に基づいてある時間間隔のビデオストリームの履歴注視ヒートマップを生成することと、生成された履歴注視ヒートマップに基づいてビデオストリームの低関心エリアを決定し、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラ１１０に命令する。【選択図】図１

Description

本発明は、方法、およびコンピュータシステムに関する。
関心エリアの画像またはビデオを取り込むために、監視装置（例えば、カメラ）を設置することができる。オペレータまたはオペレータのグループは、カメラから遠隔に位置するディスプレイ上でカメラからの画像またはビデオを監視することができる。カメラによって取り込まれたデータは処理され、ネットワーク接続を介してディスプレイに送られ得る。例えば、ネットワークを介して送信されなければならないデータの量を減らすために、画像またはビデオを圧縮することができる。システムは、ネットワークを介して大量のデータを送信する多数のカメラを含んでもよい。大量のデータはネットワークのリソースに負荷を掛ける可能性がある。
１つの態様によれば、コンピュータ装置によって実行される方法は、カメラからビデオストリームを受信することと、ビデオストリームをディスプレイ上に表示することと、アイトラッキングセンサを介して、ディスプレイを見ているオペレータの注視情報を取得することと、取得された注視情報に基づいて、ある時間間隔のビデオストリームの履歴注視ヒートマップを生成することと、生成された履歴注視ヒートマップに基づいて、ビデオストリームの低関心エリアを決定することと、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することと、を含んでもよい。本方法は、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムに対してプロセッサおよびメモリの負荷を低減させるという技術的効果をもたらすことができる。
また、本方法は、生成された履歴注視ヒートマップに基づいて、ビデオストリームの高関心エリアを決定することと、高関心エリアにおけるビデオストリームのビットレートを増加させるようにカメラに命令することと、を含んでもよい。高関心エリアにおけるビデオストリームのビットレートを増加するようにカメラに命令することは、ビデオストリーム全体のビットレートを増加させる必要なしに、関心の高いビデオストリームの部分に、より多くの情報を提供するという利点を提供することができる。
また、時間間隔は１日より長くてもよい。１日よりも長い時間間隔を使用することは、長期間のパターンに基づく低関心エリアの利点を提供することができる。
また、時間間隔は、特定の時刻または特定の曜日に対応してもよく、生成された履歴注視ヒートマップに基づいてビデオストリームの低関心エリアを決定することは、第１の時刻または曜日に対して第１の時刻または曜日の複数のインスタンスにわたって生成された履歴注視ヒートマップに基づいて第１の時刻または曜日に対する第１の低関心エリアを決定することと、第２の時刻または曜日に対して第２の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて第２の時刻または曜日に対する第２の低関心エリアを決定することと、を含んでもよく、第２の低関心エリアは第１の低関心エリアとは異なっていてもよい。異なる時刻または曜日に対して異なる低関心エリアを決定することは、低関心エリアを異なる時刻または曜日に適合させるという利点を提供することができる。
また、生成された履歴注視ヒートマップに基づいてビデオストリームの低関心エリアを決定することは、カメラのパン、ズーム、チルト、回転、または画像タイプの設定を特定することと、カメラの特定されたパン、ズーム、チルト、回転、または画像タイプの設定に関連付けられた生成された履歴注視ヒートマップのサブセットを選択することと、生成された履歴注視ヒートマップの選択されたサブセットに基づいてビデオストリームの低関心エリアを決定することと、を含んでもよい。カメラの異なるパン、ズーム、チルト、回転、または画像タイプの設定に対して異なる低関心エリアを決定することは、低関心エリアを異なるカメラ設定に適合させるという利点を提供することができる。
また、ビデオストリームは複数のビデオストリームを含んでもよく、ディスプレイは複数のディスプレイを含んでもよい。複数のディスプレイに対して複数のビデオストリームの低関心エリアを決定することは、ネットワークリソースを節約し、複数のビデオストリームおよび複数のディスプレイを含むシステムに対してプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。
また、本方法は、イベントタイプを履歴注視ヒートマップの特定の変化に関連付けることと、関連付けられたイベントタイプのイベントを検出することと、イベントを検出したことに応答して、履歴注視ヒートマップの特定の変化に基づいて低関心エリアを変更することと、を含んでもよい。履歴注視ヒートマップの特定の変化に基づいて低関心エリアを変更することは、低関心エリアを変化する条件に適合させるという利点を提供することができる。
また、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することは、低関心エリアに関連付けられたセンサのサンプリングレートを低減させるようにカメラに命令することを含んでもよい。低関心エリアに関連付けられたセンサのサンプリングレートを低減させることは、ネットワークリソースを節約し、センサに対してプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。
また、低関心エリアにおいてビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に低関心エリアに対するノイズ低減プロセスを増加させるようにカメラに命令することを含んでもよい。低関心エリアに対するノイズ低減プロセスを増加させることは、ネットワークリソースを節約し、画像プロセッサに対して処理およびメモリ負荷を低減させるという利点を提供することができる。
また、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することは、低関心エリアに関連付けられた符号化処理ユニットのための符号化パラメータを調整するようにカメラに命令することを含んでもよい。低関心エリアに関連付けられた符号化処理ユニットの符号化パラメータを調整するようにカメラに命令することは、ネットワークリソースを節約し、符号化処理ユニットに対して処理およびメモリ負荷を低減させるという利点を提供することができる。
別の一態様によれば、コンピュータシステムは、命令を格納するためのメモリと、カメラからビデオストリームを受信する受信機と、ビデオストリームを表示するディスプレイと、命令を実行して、アイトラッキングセンサを介して、ディスプレイを見ているオペレータの注視情報を取得し、取得された注視情報に基づいて、ある時間間隔のビデオストリームに対する履歴注視ヒートマップを生成し、生成された履歴注視ヒートマップに基づいて、ビデオストリームの低関心エリアを決定し、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することを決定するように構成されたプロセッサと、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラへの命令を送信する送信機とを含んでもよい。このコンピュータシステムは、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムに対してプロセッサおよびメモリの負荷を低減させるという技術的効果を提供することができる。
また、プロセッサは、生成された履歴注視ヒートマップに基づいてビデオストリームの高関心エリアを決定するようにさらに構成されてもよく、プロセッサは、高関心エリアにおけるビデオストリームのビットレートを増加するようにカメラに命令することを決定するように構成されてもよく、送信機は、高関心エリアにおけるビデオストリームのビットレートを増加するようにカメラに命令を送信するように構成されてもよい。高関心エリアにおけるビデオストリームのビットレートを増加するようにカメラに命令することは、ビデオストリーム全体のビットレートを増加させる必要なしに、関心の高いビデオストリームの部分に、より多くの情報を提供するという利点を提供することができる。
また、時間間隔は１日より長くてもよい。１日よりも長い時間間隔を使用することは、長期間のパターンに基づく低関心エリアの利点を提供することができる。
また、時間間隔は、特定の時刻または特定の曜日に対応してもよく、プロセッサはさらに、第１の時刻または曜日に対して第１の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて第１の時刻または曜日に対する第１の低関心エリアを決定し、第２の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて第２の時刻または曜日に対する第２の低関心エリアを決定し、第２の低関心エリアは第１の低関心エリアとは異なるように、構成されてもよい。異なる時刻または曜日に対して異なる低関心エリアを決定することは、低関心エリアを異なる時刻または曜日に適合させるという利点を提供することができる。
また、プロセッサはさらに、カメラのパン、ズーム、チルト、回転、または画像タイプの設定を特定し、カメラの特定されたパン、ズーム、チルト、回転、または画像タイプの設定に関連付けられた生成された履歴注視ヒートマップのサブセットを選択し、生成された履歴注視ヒートマップの選択されたサブセットに基づいて、ビデオストリームの低関心エリアを決定するように構成されてもよい。カメラの異なるパン、ズーム、チルト、回転、または画像タイプの設定に対して異なる低関心エリアを決定することは、低関心エリアを異なるカメラ設定に適合させるという利点を提供することができる。
また、ビデオストリームは複数のビデオストリームを含んでもよく、ディスプレイは複数のディスプレイを含んでもよい。複数のディスプレイに対して複数のビデオストリームの低関心エリアを決定することは、ネットワークリソースを節約し、複数のビデオストリームおよび複数のディスプレイを含むシステムに対してプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。
また、プロセッサはさらに、履歴注視ヒートマップ内の特定の変化とイベントタイプを関連付け、関連付けられたイベントタイプのイベントを検出し、イベントの検出に応答して、履歴注視ヒートマップにおける特定の変化に基づいて低関心エリアを変更するように構成されてもよい。履歴注視ヒートマップの特定の変化に基づいて低関心エリアを変更することは、低関心エリアを変化する条件に適合させるという利点を提供することができる。
また、プロセッサはさらに、低関心エリアに関連付けられたセンサのサンプリングレートを低減させるようにカメラに命令することを決定するように構成されてもよく、低関心エリアにおけるビデオストリームのビットレートを減少させる命令は、低関心エリアに関連付けられたセンサのサンプリングレートを低減させるためのカメラへの命令を含んでもよい。低関心エリアに関連付けられたセンサのサンプリングレートを低減させることは、ネットワークリソースを節約し、センサに対してプロセッサおよびメモリの負荷を低減させるという利点を提供することができる。
また、プロセッサはさらに、ビデオストリームを符号化する前に低関心エリアに対するノイズ低減プロセスを増加するようにカメラに命令することを決定するように構成されてもよく、低関心エリアにおけるビデオストリームのビットレートを減少させる命令は、ビデオストリームを符号化する前に低関心エリアに対するノイズ低減プロセスを増加させる命令を含んでもよい。低関心エリアに対するノイズ低減プロセスを増加させることは、ネットワークリソースを節約し、画像プロセッサに対して処理およびメモリ負荷を低減させるという利点を提供することができる。
また、プロセッサは、低関心エリアに関連付けられた符号化処理ユニットの符号化パラメータを調整するようにカメラに命令することを決定するようにさらに構成されてもよく、低関心エリアにおけるビデオストリームのビットレートを減少させるための命令は、低関心エリアに関連付けられた符号化処理ユニットの符号化パラメータを調整するための命令を含んでもよい。低関心エリアに関連付けられた符号化処理ユニットの符号化パラメータを調整するようにカメラに命令することは、ネットワークリソースを節約し、符号化処理ユニットに対して処理およびメモリ負荷を低減させるという利点を提供することができる。
本明細書に記載の一実装に係るアイトラッキングを含む例示的な環境を示すブロック図である。 本明細書に記載の一実装に係るカメラの例示的なコンポーネントを示すブロック図である。 本明細書に記載の一実装に係るコンピューティングモジュールの例示的なコンポーネントを示すブロック図である。 オペレータが、本明細書に記載の一実装に係るアイトラッカーを有するディスプレイを見る環境を示す。 本明細書に記載の１以上の実装に係るオペレータの観点からの表示を示す。 本明細書に記載の１以上の実装に係るオペレータの観点からの表示を示す。 図１のコンポーネントのうちのいくつかの機能的コンポーネントの図である。 図６のカメラデータベースの例示的なコンポーネントの図である。 図６のカメラデータベースの例示的なコンポーネントの図である。 本明細書に記載の一実装に係る注視エリアに基づいてビットレートを制御するプロセスのフローチャートである。 本明細書に記載の１以上の実装に係る例示的な注視ヒートマップシナリオの図である。 本明細書に記載の１以上の実装に係る例示的な注視ヒートマップシナリオの図である。 本明細書に記載の１以上の実装に係る例示的な注視ヒートマップシナリオの図である。 本明細書に記載の１以上の実装に係る例示的な注視ヒートマップシナリオの図である。
以下の詳細な説明は、添付図面を参照する。異なる図面における同じ参照番号は、同一または類似の要素を特定する。
本明細書に記載される実装は、注視ヒートマップ（gaze heat map）に関する。監視カメラは、関心エリアのビデオをディスプレイにストリーミングする。ビデオストリームは、高い帯域幅要件を有する可能性があり、かなりのネットワーク帯域幅を消費する可能性がある。さらに、ビデオストリームを処理するには、プロセッサおよびメモリリソースが必要となる可能性がある。本明細書で「オペレータ」または「ユーザ」と呼ばれるディスプレイを見ている人は、ディスプレイに表示されたシーンの特定のエリアを高い関心のものと見出す可能性があり、シーンの他のエリアを低い関心のものと見出す可能性がある。例えば、カメラが通路とドアとを有するエリアを監視している場合、オペレータは、ドアと通路を見るのにかなりの時間量を費やす可能性があり、ドアの周りの壁を見るのに比較的少ない時間量を費やす可能性がある。
アイトラッカー（アイトラッキングシステム）を使用して、オペレータの注視エリア（gaze area）を特定し、それにより、オペレータが見ているディスプレイの一部、またはディスプレイグループ内の１以上のディスプレイを特定することができる。ある時間間隔にわたって、特定の時間間隔にわたって特定のカメラからのビデオストリームを表示するディスプレイ上の特定の位置をオペレータが見ている時間量を示す履歴注視ヒートマップ（historical gaze heat map）が生成され得る。時間間隔は、ビデオストリームの予測される変動に基づいて選択することができる。いくつかの実装では、時間間隔は少なくとも１日とすることができる。他の実装では、時間間隔は１日よりも長くてもよい（例えば、１週間、１ヶ月など）。
履歴注視ヒートマップは、例えば、オペレータの注視点（gaze point）がピクセルまたはピクセルのセットに対応する時間の長さを表す割り当てられた値を用いて、ビデオストリームのフレーム内のピクセルまたはピクセルのセットの各々に値を割り当てることができる。例えば、ピクセルまたはピクセルのセットへのより高い割り当て値は、ピクセルまたはピクセルのセットに対応するビデオストリームフレームの位置を見ているオペレータによって費やされるより長い時間量に対応し得る。
履歴注視ヒートマップは、ビデオストリームに対して低関心エリアを決定するために使用することができ、カメラは、低関心エリアにおけるビデオストリームのビットレートを減少させるように命令されることが可能である。ビデオストリームの低関心エリアにおけるビデオストリームのビットレートを低減させることは、ネットワークリソースを節約し、カメラおよび監視ステーションの監視システムに対してプロセッサおよびメモリの負荷を低減させるという技術的効果をもたらすことができる。いくつかの実装では、ビデオストリームは複数のビデオストリームを含んでもよく、ディスプレイは複数のディスプレイを含んでもよい。
さらに、いくつかの実装では、ビデオストリームに対する高関心エリアは、履歴注視ヒートマップに基づいて決定することができ、カメラは、高関心エリアにおけるビデオストリームのビットレートを高めるように命令されることが可能である。
履歴注視ヒートマップは、特定のデータ点に対して追加の情報を格納することができ、追加の情報は、特定のパラメータに関して注視ヒートマップを精緻化するために使用することができる。一例として、注視ヒートマップ内のビデオストリームの各位置（例えばピクセル、ピクセルのセットなど）に対して、追加の情報は、注視情報（gaze information）が収集された特定の時刻または特定の曜日を特定する情報を含んでもよい。したがって、特定の時刻または曜日に対するビデオストリームに対して収集される注視情報の複数のインスタンスに基づいて、履歴注視ヒートマップから異なる時刻または曜日に対する注視ヒートマップを検索することができる。したがって、例えば、第１の低関心エリアは、第１の時刻または曜日の複数のインスタンスにわたって第１の時刻または曜日に対して生成された履歴注視ヒートマップに基づいて、第１の時刻または曜日に対して決定することができ、第２の低関心エリアは、第２の時刻または曜日の複数のインスタンスにわたって第２の時刻または曜日に対して生成された履歴注視ヒートマップに基づいて、第２の時刻または曜日に対して決定することができる。
別の一例として、注視ヒートマップ内のビデオストリームの各位置に対して、追加の情報は、注視情報が収集されたときの特定のカメラ設定を特定する情報を含んでもよい。したがって、異なるカメラ設定に対する注視ヒートマップを、履歴注視ヒートマップから検索することができる。例えば、カメラに対するパン、ズーム、チルト、回転、または画像タイプ（例えば、通常対広角など）の設定を選択することができ、履歴ヒートマップのサブセットは、カメラ設定の選択に基づいて生成することができ、選択されたカメラ設定に対するビデオストリームの低関心エリアを、注視ヒートマップのサブセットに基づいて決定することができる。
さらに別の一例として、注視ヒートマップ内のビデオストリームの各位置に対して、追加の情報は、特定のイベントタイプを特定する情報を含んでもよい。イベントタイプは、生成された警報に基づいて、監視されるエリアに関連付けられ、ビデオ管理システムによって管理されるカレンダーに記録されたイベントに基づいて、オペレータによって入力された手動の情報に基づいて、および／または、イベントを特定する別の技術に基づいて、特定することができる。イベントタイプは、履歴注視ヒートマップの特定の変化に関連付けることができる。将来、イベントタイプが検出された場合、低関心エリアは、履歴注視ヒートマップの関連付けられた変化に基づいて変更することができる。例えば、ドアセンサは、ドアが開かれたことを示すことができ、オペレータの注視は、作動しているドアセンサの特定の時間内にドアに関連付けられたエリアに変化する可能性がある。ドアセンサとの関連付けが行われた後、ドアセンサが将来作動すると、ドアに関連付けられた低関心エリアは高関心エリアに変更されてもよく、ドアのためのビットレートが増加させられ得る。
ビットレートは、センサアレイによるビデオデータの取り込み点から、ネットワーク接続を介してディスプレイに符号化されたビデオストリームを送信するまでの処理経路に沿った多数の点のうちのいずれかで低減させることができる。一例として、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することは、低関心エリアに関連付けられたセンサ用のサンプリングレートを低減させるようにカメラに命令することを含んでもよい。別の一例として、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に低関心エリアに対する解像度を下げるようにカメラに命令することを含んでもよい。さらに別の一例として、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することは、ビデオストリームを符号化する前に低関心エリアに対するノイズ低減プロセスを増加するようにカメラに命令することを含んでもよい。さらに別の一例として、低関心エリアにおけるビデオストリームのビットレートを減少させるようにカメラに命令することは、低関心エリアに関連付けられた符号化処理ユニットに対する圧縮パラメータ値を増加させるようにカメラに命令することを含んでもよい。
図１は、一実施形態における例示的な環境１００を示すブロック図である。環境１００は、例えば、エリアを守るため、または公共安全を提供するための監視システムであり得る。図１に示すように、環境１００は、カメラ１１０−１〜１１０−Ｍ、ネットワーク１２０、監視ステーション１２５−１〜１２５−Ｎ、ディスプレイ１３０−１〜１３０−Ｎ、アイトラッカー１４０−１〜１４０−Ｎ、および／またはビデオ管理システム（ＶＭＳ）１５０を含んでもよい。
カメラ１１０−１〜１１０−Ｍ（個別に「カメラ１１０」または複数の「カメラ１１０」）は、監視エリア１０６の画像および／またはビデオを取り込む。監視エリア１０６は、１以上のカメラ１１０によって監視することができる。例えば、２つのカメラは、物体１０２−１を含むエリア１０６−１を監視することができる。物体１０２は、任意の物体（例えば、ドア、人、動物、車両、車両上のナンバープレートなど）を含んでもよい。
カメラ１１０は、可視光、赤外光、および／または他の非可視電磁放射線（例えば、紫外光、遠赤外光、テラヘルツ放射線、マイクロ波放射線など）を使用して画像データを取り込むことができる。カメラ１１０は、レーダ撮像のための熱カメラおよび／またはレーダ装置を含んでもよい。取り込まれた画像データは、連続画像シーケンス（例えば、ビデオ）、限定された画像シーケンス、静止画像、および／またはそれらの組み合わせを含んでもよい。カメラ１１０は、画像を取り込みデジタル化するためのデジタルカメラおよび／または画像を取り込んでアナログ形式で画像データを格納するためのアナログカメラを含んでもよい。
カメラ１１０は、１以上の２次元アレイ（例えば、画像データまたはビデオデータ）に配列されたデータを生成するセンサを含んでもよい。本明細書で使用される場合、「ビデオデータ」および「ビデオ」は、より一般的にそれぞれ「画像データ」および「画像」と呼ぶことができる。したがって、「画像データ」または「画像」は、特に明記しない限り、「ビデオデータ」および「ビデオ」を含むことを意味する。同様に、「ビデオデータ」または「ビデオ」は、特に明記しない限り、静止画像を含み得る。さらに、いくつかの実装では、「ビデオデータ」は音声データを含み得る。
ＶＭＳ１５０のクライアントであり、ディスプレイ１３０−１〜１３０−Ｎに接続されたコンピュータ装置が、監視ステーション１２５−１〜１２５−Ｎに含まれ得る（それぞれ個別に「ディスプレイ１３０」および「監視ステーション１２５」）。一実施形態では、監視ステーション１２５−１〜１２５−Ｎはまた、アイトラッカー１４０−１〜１４０−Ｎ（個別に「アイトラッカー１４０」）に結合される。監視ステーション１２５およびディスプレイ１３０は、オペレータ（図１には図示せず）がカメラ１１０からの画像を見ることを可能にする。アイトラッカー１４０は、ディスプレイ１３０を見ているオペレータの注視を追跡する。監視ステーション１２５、ディスプレイ１３０、およびアイトラッカー１４０の各々は、オペレータが環境１００内に示される監視システムとインタラクトするための「クライアント」とすることができる。
ディスプレイ１３０は、１以上のカメラ１１０からのビデオストリームを受信して表示する。１つのディスプレイ１３０は、単一のカメラ１１０または複数のカメラ１１０からの画像を（例えば、ディスプレイ１３０上の複数のフレームまたはウィンドウ内に）示すことができる。単一のディスプレイ１３０はまた、単一のカメラからの異なるフレームの画像を表示することもできる。すなわち、単一のカメラは、例えば、広角レンズまたは魚眼レンズを含んでもよく、複数のエリア１０６の画像を提供することができる。異なるエリア１０６からの画像は、異なるウィンドウおよび／またはフレームで別々にディスプレイ１３０上に分離して表示させることができる。ディスプレイ１３０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、レーザビデオディスプレイ、電気泳動ディスプレイ、量子ドットディスプレイ、ビデオプロジェクタ、および／または任意の他のタイプのディスプレイ装置を含んでもよい。
アイトラッカー１４０は、ＶＭＳ１５０（または環境１００内の任意の他の装置）がオペレータの目がどこに集中しているかを判定することを可能にするセンサ（例えば、カメラ）を含む。例えば、一組の近赤外光ビームは、オペレータの目に向けられ、オペレータの角膜で反射を引き起こすことができる。反射は、アイトラッカー１４０に含まれるカメラによって追跡され、オペレータの注視エリアを決定することができる。注視エリアは、注視点および中心窩の焦点（focus）のエリアを含んでもよい。例えば、オペレータは、監視ステーション１２５のディスプレイ１３０の前に座ることができる。アイトラッカー１４０は、ディスプレイ１３０のどの部分にオペレータが焦点を合わせているかを決定する。各ディスプレイ１３０は、単一のアイトラッカー１４０に関連付けることができる。あるいはまた、アイトラッカー１４０は、複数のディスプレイ１３０に対応することができる。この場合、アイトラッカー１４０は、オペレータがどのディスプレイに、および／またはそのディスプレイ１３０のどの部分に焦点を合わせているかを判定することができる。
アイトラッカー１４０はまた、ユーザの存在、注意のレベル、焦点、眠気、意識、および／または他の状態を判定することもできる。アイトラッカー１４０はまた、ユーザの身元を判定することもできる。アイトラッカー１４０からの情報は、経時的なオペレータの行動内に洞察を得るために、またはオペレータの現在の状態を判定するために使用することができる。いくつかの実装では、ディスプレイ１３０およびアイトラッカー１４０は、オペレータが着用するバーチャルリアリティ（ＶＲ）ヘッドセット内に実装することができる。オペレータは、ＶＲヘッドセットへの入力として１以上のカメラ１１０を使用してエリア１０６の仮想検査を実行することができる。
ネットワーク１２０は、１以上の回線交換ネットワークおよび／またはパケット交換ネットワークを含んでもよい。例えば、ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ＰＳＴＮ（Public Switched Telephone Network）、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク、無線ネットワーク、および／またはこれらのまたは他のタイプのネットワークの組み合わせを含んでもよい。
ＶＭＳ１５０は、カメラ１１０、ディスプレイ１３０、および／またはアイトラッカー１４０の動作を統合する１以上のコンピュータ装置（例えば、サーバ装置など）を含んでもよい。ＶＭＳ１５０は、カメラ１１０からの画像データを受信して格納することができる。ＶＭＳ１５０はまた、ＶＭＳ１５０に格納された画像データまたはカメラ１１０からストリーミングされた画像データを見るための、監視ステーション１２５のオペレータのためのユーザインターフェースを、提供することもできる。ＶＭＳ１５０は、カメラ１１０に、オペレータの注視エリアの外側にある領域のビットレートを低減させるように命令することによってシステムリソースを節約するためのルールエンジンを含んでもよい。
いくつかの実施形態では、環境１００は、別個のＶＭＳ１５０を含まない。代わりに、ＶＭＳ１５０によって提供されるサービスは、監視ステーション１２５（例えば、ディスプレイ１３０に関連付けられたコンピュータ装置）および／またはカメラ１１０自体によって、または環境１００内の装置間に分散された方法で提供される。例えば、カメラ１１０は、オペレータの注視エリアの外側にある領域に対してビットレートを低減させるようにカメラ１１０に命令することによって、システムリソースを節約するルールエンジンを含んでもよい。同様に、ＶＭＳ１５０は、カメラ１１０によって実行されるものとして説明された動作を実行することができる。
図１には、環境１００の例示的なコンポーネントが示されているが、他の実装では、環境１００は、図１に示されているよりも少ないコンポーネント、異なるコンポーネント、異なる配置のコンポーネント、または追加のコンポーネントを含んでもよい。追加的または代替的に、任意の１つの装置（または装置の任意のグループ）が、１以上の他の装置によって実行されるものとして説明された機能を実行することができる。
図２は、一実施形態におけるカメラ１１０の例示的なコンポーネントを示すブロック図である。図２に示すように、カメラ１１０は、光学チェーン２１０、センサアレイ２２０、バス２２５、画像プロセッサ２３０、コントローラ２４０、メモリ２４５、ビデオエンコーダ２５０、および／または通信インターフェース２６０を含んでもよい。一実施形態では、カメラ１１０は、カメラ１１０をパン、チルト、回転、および／またはズームするための１以上のモータコントローラ２７０（例えば、３つ）および１以上のモータ２７２（例えば、３つ）を含んでもよい。
光学チェーン２１０は、入射放射線（例えば、光、可視光、赤外線波、ミリ波など）をセンサアレイ２２０に導き、入射放射線に基づいて画像を取り込むエンクロージャを含む。光学チェーン２１０は、入射放射線を監視エリアからセンサアレイ２２０上に収集して集束させる１以上のレンズ２１２を含む。
センサアレイ２２０は、センサアレイ２２０上に入射するまたは降り注ぐ放射線（例えば、光）を検知、検出、および測定するためのセンサのアレイを含んでもよい。放射線は、可視光波長範囲、赤外線波長範囲、または他の波長範囲とすることができる。
センサアレイ２２０は、例えば、電荷結合素子（ＣＣＤ）アレイおよび／またはアクティブピクセルアレイ（例えば、相補型金属酸化物半導体（ＣＭＯＳ）センサアレイ）を含んでもよい。センサアレイ２２０はまた、（例えば、カメラ１１０が熱カメラまたは検出器を含む場合）マイクロボロメータを含むこともできる。
センサアレイ２２０は、センサアレイ２２０に入射する放射線（例えば、光）を示す（例えば、特性または特徴を記述する）データを出力する。例えば、センサアレイ２２０から出力されるデータは、センサアレイ２２０内の１以上のピクセルに入射する情報（例えば、光の強度（例えば、照度）、色など）を含んでもよい。センサアレイ２２０に入射する光は、光学チェーン２１０内のレンズの結果として光が集束させられ得る「画像」であり得る。いくつかの実装では、コントローラ２４０は、センサアレイ２２０のうちの特定のセンサまたはセンサのセットのサンプリングレートをオフにする、および／または低減させることによって、センサアレイ２２０の特定の領域に関連付けられたビットレートを低減させることができる。
センサアレイ２２０は、センサアレイ２２０上に降り注ぐ画像を検出するので、「画像センサ」と考えることができる。この用語が本明細書で使用されるとき、「画像」は、センサアレイ２２０に入射する放射線を示す（例えば、光の特性または特徴を記述する）データを含む。したがって、「画像」という用語はまた、「画像センサデータ」または画像を記述する任意のデータまたはデータセットを意味するために使用することもできる。さらに、「ピクセル」は、放射線の測定（例えば、センサアレイ２２０に入射する光を示す測定）が行われるセンサアレイ２２０の任意の領域またはエリアを意味することができる。ピクセルは、センサアレイ２２０内の１以上（または１未満）のセンサに対応することができる。別の実施形態では、センサアレイ２２０は、走査ハードウェア（例えば、回転ミラー）を使用して画像を形成することができるリニアアレイ、または画像センサデータを生成するために画像プロセッサ２３０および／またはコントローラ２４０に依存する可能性のある非アレイセンサであってもよい。
バス２２５は、カメラ１１０内のコンポーネントが互いに通信することを可能にする通信経路を含む。コントローラ２４０および／または画像プロセッサ２３０は、センサアレイ２２０によって取り込まれた画像データ上で信号処理動作を実行する。センサアレイ２２０によって取り込まれた画像上で画像処理（例えば、画像プロセッサ２３０は、ノイズ低減、フィルタリング、スケーリングなど）を行うことができる。コントローラ２４０は、カメラ１１０の動作を制御することができ、カメラ１１０の他のコンポーネント（例えば、センサアレイ２２０、画像プロセッサ２３０、ビデオエンコーダ２５０、通信インターフェース２６０、および／またはモータコントローラ２７０）に命令を提供することができる。
コントローラ２４０および／または画像プロセッサ２３０は、命令を解釈して実行する任意のタイプのシングルコアまたはマルチコアプロセッサ、マイクロプロセッサ、ラッチベースのプロセッサ、および／または処理ロジック（またはプロセッサ、マイクロプロセッサ、および／または処理ロジックのファミリ）を含んでもよい。コントローラ２４０および／または画像プロセッサ２３０は、ハードウェアアクセラレータ（例えば、グラフィックス処理ユニット（ＧＰＵ）、汎用グラフィックス処理ユニット（ＧＰＧＰＵ）、セル（Ｃｅｌｌ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、および／または別のタイプの集積回路または処理ロジック）を含むか、またはそれに結合することができる。
コントローラ２４０はまた、カメラ１１０の所望の焦点および位置（例えば、チルト、パン、回転、ズームなど）を決定して制御することもできる。そうするために、コントローラ２４０は、１以上のモータコントローラ２７０にコマンドを送信して、カメラ１１０をチルト、パン、回転、および／またはズームするための１以上のモータ２７２、または光学式ズームレンズ２１２を駆動する。
メモリ２４５は、情報および／または命令を格納する任意のタイプの揮発性および／または不揮発性の記憶装置を含んでもよい。メモリ２４５は、ランダムアクセスメモリ（ＲＡＭ）または任意のタイプの動的記憶装置、リードオンリメモリ（ＲＯＭ）デバイス、または任意のタイプの静的記憶装置、磁気または光記録メモリデバイスおよびその対応するドライブ、またはリムーバブルメモリデバイスを含んでもよい。メモリ２４５は、カメラ１１０による使用のための情報および命令（例えば、アプリケーションおよび／またはオペレーティングシステム）およびデータ（例えば、アプリケーションデータ）を格納することができる。メモリ２４５は、１以上のビットレート低減係数および／または特定のセンサアレイ取り込み、画像処理、および／または１以上のビットレート低減係数が適用される符号化プロセスおよび／またはパラメータを特定する情報を格納することができる。
メモリ２４５は、コントローラ２４０、画像プロセッサ２３０、ビデオエンコーダ２５０、および／または通信インターフェース２６０による実行のための命令を格納することができる。ソフトウェア命令は、別のコンピュータ可読媒体または別の装置からメモリ２４５に読み込むことができる。ソフトウェア命令は、コントローラ２４０、画像プロセッサ２３０、ビデオエンコーダ２５０、および／または通信インターフェース２６０に、本明細書に記載のプロセスを実行させることができる。例えば、カメラ１１０は、メモリ２４５内に格納されたソフトウェア命令を実行する、コントローラ２４０、画像プロセッサ２３０、および／またはビデオエンコーダ２５０に応答して、画像処理（例えば、符号化、ノイズ低減化、トランスコード、オブジェクトの検出など）に関連する動作を実行することができる。あるいはまた、本明細書で説明するプロセスを実装するために、配線接続された回路（例えば、ロジック）をソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用してもよい。
ビデオエンコーダ２５０は、１以上のビデオコーデック（例えば、Ｈ．２６２／ＭＰＥＧ（Moving Pictures Experts Group）−２コーデック、Ｈ．２６３／ＭＰＥＧ−２Ｐａｒｔ２コーデック、Ｈ．２６４／ＭＰＥＧ−４コーデック、Ｈ．２６５／ＭＰＥＧ−ＨＨＶＥＣ（High Efficiency Video Coding）コーデック、および／または別のタイプのコーデック）に基づいてビデオデータを圧縮することができる。
通信インターフェース２６０は、入力および／または出力ポート、入力および／または出力システム、および／または他の装置へのデータの送信を促進する他の入力および出力コンポーネントを含む回路および論理回路を含む。例えば、通信インターフェース２６０は、有線通信のためのネットワークインターフェースカード（例えば、イーサネット（登録商標）カード）、または無線通信のための無線ネットワークインターフェース（例えば、ＬＴＥ（Long Term Evolution）、ＷｉＦｉ、Bluetoothなど）カードを含んでもよい。
図２は、カメラ１１０の例示的なコンポーネントを示しているが、他の実施形態では、カメラ１１０は、図２に示されているものよりも少ないコンポーネント、異なるコンポーネント、異なる配置のコンポーネント、または追加のコンポーネントを含んでもよい。追加的または代替的に、カメラ１１０の１以上のコンポーネントは、カメラ１１０の１以上の他のコンポーネントによって実行されるように説明された機能を実行することができる。例えば、コントローラ２４０は、画像プロセッサ２３０によって実行されるように説明された機能を実行することができ、その逆も可能である。代替的または追加的に、カメラ１１０は、図３に関して以下に説明されるようなコンピューティングモジュールを含んでもよい。
図３は、一実施形態におけるコンピューティングモジュール３００の例示的なコンポーネントを示すブロック図である。装置（例えば、ＶＭＳ１５０、アイトラッカー１４０、監視ステーション１２５、および／またはディスプレイ１３０）は、１以上のコンピューティングモジュール３００を含んでもよい。図３に示されるように、コンピューティングモジュール３００は、バス３１０、プロセッサ３２０、メモリ３３０、および／または通信インターフェース３６０を含んでもよい。いくつかの実施形態では、コンピューティングモジュール３００はまた、入力装置３４０および／または出力装置３５０をも含み得る。
バス３１０は、コンピューティングモジュール３００のコンポーネントまたは他の装置の間の通信を可能にする経路を含む。プロセッサ３２０は、命令を解釈して実行する任意のタイプのシングルコアプロセッサ、マルチコアプロセッサ、マイクロプロセッサ、ラッチベースのプロセッサ、および／または処理ロジック（またはプロセッサ、マイクロプロセッサ、および／または処理ロジックのファミリ）を含んでもよい。プロセッサ３２０は、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ、および／または別のタイプの集積回路または処理ロジックを含んでもよい。プロセッサ３２０は、ハードウェアアクセラレータ（例えば、ＧＰＵ、ＧＰＧＰＵ、Ｃｅｌｌ、ＦＰＧＡ、ＡＳＩＣ、および／または別のタイプの集積回路または処理ロジック）を含むか、またはそれに結合することができる。
メモリ３３０は、プロセッサ３２０によって実行される情報および／または命令を格納することができる任意のタイプの動的記憶装置、および／またはプロセッサ３２０によって使用される情報を格納することができる任意のタイプの不揮発性記憶装置を含んでもよい。例えば、メモリ３３０は、ＲＡＭまたは他のタイプの動的記憶装置、ＲＯＭ装置または他のタイプの静的記憶装置、磁気および／または光記録メモリ装置およびその対応するドライブ（例えば、ハードディスクドライブ、光学式ドライブなど）および／または取り外し可能な形態のメモリ（例えば、フラッシュメモリ）を含んでもよい。
メモリ３３０は、プロセッサ３２０によって実行される命令を格納することができる。ソフトウェア命令は、別のコンピュータ可読媒体または別の装置からメモリ３３０に読み込むことができる。ソフトウェア命令は、プロセッサ３２０に本明細書に記載のプロセスを実行させることができる。あるいはまた、配線接続された回路（例えば、ロジック）をソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用して、本明細書に記載のプロセスを実行することができる。
オペレーティングシステムは、コンピューティングモジュール３００のハードウェアおよびソフトウェアリソースを管理するためのソフトウェア命令を含んでもよい。例えば、オペレーティングシステムは、Ｌｉｎｕｘ（登録商標）、Ｗｉｎｄｏｗｓ、ＯＳ Ｘ、Ａｎｄｒｏｉｄ、組み込みオペレーティングシステムなどを含んでもよい。特定のコンピューティングモジュール３００が内部に見つかった装置に応じて、アプリケーションおよびアプリケーションデータは、ネットワークサービスを提供するか、またはアプリケーションを含んでもよい。
通信インターフェース３６０は、コンピューティングモジュール３００が他のコンポーネント、装置、および／またはシステムと通信することを可能にする送信機および／または受信機（例えば、トランシーバ）を含んでもよい。通信インターフェース３６０は、無線通信（例えば、高周波、赤外線、および／または視覚光学など）、有線通信（例えば、導線、ツイストペアケーブル、同軸ケーブル、伝送ライン、光ファイバケーブル、および／または導波路など）、またはそれらの組み合わせを介して通信することができる。通信インターフェース３６０は、ベースバンド信号を高周波（ＲＦ）信号に変換するトランシーバ、またはその逆のトランシーバを含んでもよく、アンテナアセンブリを含んでもよい。
通信インターフェース３６０は、入力および／または出力ポート、入力および／または出力システム、および／または他の装置へのデータの送信を促進する他の入力および出力コンポーネントを含む論理コンポーネントを含んでもよい。例えば、通信インターフェース３６０は、有線通信のためのネットワークインターフェースカード（例えば、イーサネットカード）および／または無線通信のための無線ネットワークインターフェース（例えば、ＷｉＦｉ）カードを含んでもよい。通信インターフェース４６０はまた、ケーブル、Bluetooth（登録商標）無線インターフェース、ＲＦＩＤ（radio−frequency identification）インターフェース、ＮＦＣ（near-field communication）無線インターフェース、および／または１つの形態から別の形態にデータを変換する他のタイプのインターフェースを介した通信のためのユニバーサルシリアルバス（ＵＳＢ）ポートを含んでもよい。
いくつかの実装では、コンピューティングモジュール３００はまた、入力装置３４０および出力装置３５０も含んでもよい。入力装置３４０は、ユーザがコンピューティングモジュール３００に情報を入力することを可能にすることができる。入力装置３７０は、例えば、キーボード、マウス、ペン、マイクロフォン、リモートコントロール、オーディオ取り込み装置、画像および／またはビデオ取り込み装置、タッチスクリーンディスプレイ、および／または別のタイプの入力装置を含んでもよい。
出力装置３５０は、情報をユーザへ出力することができる。出力装置３５０は、ディスプレイ、プリンタ、スピーカ、および／または別のタイプの出力装置を含んでもよい。入力装置３４０および出力装置３５０は、ユーザがコンピューティングモジュール３００によって実行されるアプリケーションとインタラクトすることを可能にすることができる。「ヘッドレス」装置（例えば、配備されたリモートカメラ）の場合、入力および出力は、主として入力装置３４０および出力装置３５０ではなく通信インターフェース３６０を介して行われる。
以下で詳細に説明するように、コンピューティングモジュール３００は、履歴注視ヒートマップに基づいてビットレート調整に関する特定の動作を実行することができる。コンピューティングモジュール３００は、コンピュータ可読媒体（例えば、メモリ３３０）に含まれるソフトウェア命令を実行するプロセッサ３２０に応答して、これらの動作を実行することができる。コンピュータ可読媒体は、非一時的メモリデバイスとして定義され得る。メモリデバイスは、単一の物理メモリデバイス内に実装されてもよいし、複数の物理メモリデバイスにわたって分散されてもよい。ソフトウェア命令は、別のコンピュータ可読媒体または別の装置からメモリ３３０に読み込まれてもよい。メモリ３３０に含まれるソフトウェア命令は、プロセッサ３２０に本明細書に記載のプロセスを実行させることができる。あるいはまた、本明細書に記載のプロセスを実施するためにソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、配線接続された回路を使用することができる。したがって、本明細書に記載の実装は、ハードウェア回路およびソフトウェアの特定の組み合わせに限定されない。
コンピューティングモジュール３００は、データの受信、送信、および／または処理を支援する他のコンポーネント（図示せず）を含んでもよい。さらに、コンピューティングモジュール３００内のコンポーネントの他の構成も可能である。他の実装では、コンピューティングモジュール３００は、図３で示されたものよりも少ないコンポーネント、異なるコンポーネント、追加のコンポーネント、または異なる配置のコンポーネントを含んでもよい。追加的または代替的に、コンピューティングモジュール３００の１以上のコンポーネントは、コンピューティングモジュール３００の１以上の他のコンポーネントによって実行されるものとして説明された１以上のタスクを実行することができる。
図４は、一実施形態においてアイトラッカー１４０を有するディスプレイ１３０を見ているオペレータ４０２の例示的な環境４００を示す。ディスプレイ１３０は、オペレータ４０２に情報を表示するための任意のタイプのディスプレイを含んでもよい。オペレータ４０２は、ディスプレイ１３０を見て、監視ステーション１２５上で動作しているアプリケーションを介してＶＭＳ１５０とインタラクトすることができる。例えば、オペレータ４０２は、エリア１０６のビデオを見ることができる。
アイトラッカー１４０は、監視ステーション１２５がオペレータ４０２の目がどこに集中しているかを判定することを可能にするセンサ（例えば、カメラ）を含む。図４では、例えば、オペレータ４０２はディスプレイ１３０の前に座っており、アイトラッカー１４０内のセンサがオペレータ４０２の目を検出する。例えば、アイトラッカー１４０は、ディスプレイ１３０上の位置（例えば、１以上のピクセルに関連付けられたピクセル値）として表すことができる注視点４１０を決定することができる。オペレータとディスプレイ１３０の相対的な位置に基づいて、オペレータ４０２の中心窩視野に対応する中心窩視野エリア４２０（または「エリア４２０」）を見積もることができる。中心窩視野は、目の詳細な視覚知覚に対応し、およそ１〜２球面度に対応する。したがって、ディスプレイ１３０上のエリア４２０は計算され、完全な視力を有するオペレータ４０２の視野の一部に対応すると理解することができる。
別の一実施形態では、中心窩視野エリア４２０は、特定のオペレータ４０２に対して設定手順中に実験的に決定することができる。中心窩視野エリア４２０は、オペレータ４０２の周辺視野に対応する、中心窩視野エリア４２０の外側の周辺視野エリア４３０とは対照的である。注視点４１０は、エリア４２０のほぼ中央にあり、注視点４１０からオペレータ４０２の目までの視線に対応する。一実施形態では、注視点４１０を特定する情報は、ＶＭＳ１５０に伝達することができる。
図５Ａは、オペレータ４０２の視点からのディスプレイ１３０を示している。図５Ａに示されるように、ディスプレイ１３０は、注視点４１０、中心窩視野エリア４２０、および周辺視野エリア４３０を含む。ディスプレイ１３０はまた、ビデオフレーム５２０を含み、ビデオフレーム５２０内においてビデオストリームがオペレータ４０２に提示される。この例では、フレーム５２０は、エリア１０６のカメラ１１０からのビデオストリームを示し、これは、ドアと、移動しているように見える個人とをたまたま含んでいる。オペレータ４０２の中心窩視野エリア４２０は、個人を包含し、注視点４１０は個人の顔面上に直接存在する。他方、フレーム５２０に表示されるドアは、オペレータ４０２の周辺視野エリア４３０に現れる。
いくつかの実装では、注視ヒートマップは、注視点４１０に基づいて生成することができる。他の実装では、注視ヒートマップは、中心窩視野エリア４２０に基づいて生成することができる。さらに他の実装では、注視ヒートマップは、注視点４１０のサイズと中心窩視野エリア４２０のサイズとの間のどこかのサイズのエリアに基づいて生成することができる。さらに他の実装では、注視ヒートマップは、中心窩視野エリア４２０よりも大きく中心に揃ったエリアに基づいて生成することができる。
図５Ｂはまた、オペレータ４０２の視点からのディスプレイ１３０を示している。しかしながら、図５Ａとは対照的に、図５Ｂのディスプレイ１３０は、多数のフレーム５２０−１〜５２０−Ｎ（個別に「フレーム５２０」、または複数の「フレーム５２０」）を示している。各フレーム５２０−１〜５２０−Ｎは、異なるビデオストリームを提示することができるので、オペレータ４０２は複数のエリアを監視することができる。異なるストリームは、異なるカメラ１１０−１〜１１０−Ｍによって生成され得る。他の実施形態では、各フレーム５２０−１〜５２０−Ｎは、オペレータの前に配置された異なるディスプレイ１３０（例えば、壁面上、オペレータの前で円弧状、等）に表示することができる。代替的または追加的に、各フレーム５２０−１〜５２０−Ｎは、共通のカメラ１１０−ｘによって生成された異なるストリームを表示することができる。例えば、カメラ１１０−ｘは、「魚眼」レンズを使用し、拡張された角度エリアからビデオを取り込むことができる。ビデオは、魚眼レンズによって導入された歪みを低減して、フレーム５２０−１から５２０−Ｎに別々に提示することができる異なるエリアに対応する別々のビデオストリームに、拡張された角度エリアを分離するように処理することができる。図５Ａと同様に、図５Ｂのディスプレイ１３０は、注視点４１０、中心窩視野エリア４２０、および周辺視野エリア４３０を含む。
この例では、フレーム５２０−１は、エリア１０６−１のカメラ１１０−１からのビデオストリームを示すことができ、ビデオフレーム５２０−２は、エリア１０６−２のカメラ１１０−２からのビデオストリームを示すことができる。図５Ｂ内のオペレータ４０２の中心窩視野エリア４２０は、フレーム５２０−１の大部分を包含し、注視点４１０は個人の顔に近い。フレーム５２０に表示されるドアはまた、中心窩視野エリア４２０にある。他方、他のフレーム５２０−２〜５２０−Ｎは、オペレータ４０２の周辺視野エリア４３０にある。注視点４１０および／または中心窩視野エリア４２０の位置は、他のフレーム５２０とは異なる可能性のある後続の処理のために特定のフレーム５２０−ｘを選択および／または指定するために使用することができる。例えば、図５Ｂに示すように、注視点４１０を使用して、そのフレーム５２０−１がオペレータにとって関心のあるフレームであることを示すために使用することができる。したがって、ビデオ監視システムは、フレーム５２０−１におけるビデオストリームの提示を改善するために、フレーム５２０−１により多くのリソース（例えば、帯域幅および／または処理リソース）を割り当てることができ、オペレータの焦点（例えば、周辺視覚内）ではないフレームに対応する他のストリームに割り当てられたリソースを低減させることができる。
図６は、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０の機能的コンポーネントの図である。カメラ１１０の機能的コンポーネントは、例えば、メモリ２４５に格納された命令を実行するコントローラ２４０を介して実装することができる。あるいはまた、カメラ１１０に含まれる一部または全部の機能的コンポーネントは、配線接続された回路を介して実装することができる。ディスプレイ１３０および／またはＶＭＳ１５０の機能的コンポーネントは、例えば、メモリ３３０に格納された命令を実行するプロセッサ３２０を介して実装することができる。あるいはまた、ディスプレイ１３０および／またはＶＭＳ１５０に含まれる一部または全部の機能的コンポーネントは、配線接続された回路を介して実装することができる。
図６に示されるように、カメラ１１０は、センサアレイマネージャ６１０、画像プロセッサ６２０、エンコーダ６３０、およびクライアントインターフェース６４０を含んでもよく、監視ステーション１２５は、デコーダ６５０およびディスプレイインターフェース６６０を含んでもよく、ＶＭＳ１５０は、アイトラッカーインターフェース６７０、リソースマネージャ６８０、カメラデータベース（ＤＢ）６８５、およびカメラインターフェース６９０を含んでもよい。
カメラ１１０からのビデオストリームは、ディスプレイ１３０への以下の処理経路に従うことができる。センサアレイマネージャ６１０は、センサアレイ２２０にビデオストリームの画像のセットを取り込むように命令する。画像プロセッサ６２０は、取り込まれた画像に画像処理（例えば、ノイズ低減動作および／またはスケーリング動作）を実行することができる。次に、エンコーダ６３０は、コーデック（例えば、ＭＰＥＧ−４など）を使用して画像を圧縮することができる。次に、クライアントインターフェース６４０は、符号化された画像をコンテナ（例えば、ＭＰＥＧ−４Ｐａｒｔ１４（ＭＰ４）など）にカプセル化し、ネットワーク１２０を介してデータユニットを介して監視ステーション１２５にコンテナ化された符号化された画像を送信してディスプレイ１３０に表示することができる。デコーダ６５０は、コンテナから符号化された画像を取り出すことができ、画像を復号し、復号された画像をディスプレイインターフェース６６０に提供することができる。ディスプレイインターフェース６６０は、復号された画像をバッファ内に格納することができ、ディスプレイ１３０上にビデオストリームとしてバッファからの復号された画像をストリーミングすることができる。
リソースマネージャ６８０は、環境１００に関連付けられたリソースを管理することができる。例えば、リソースマネージャ６８０は、カメラ１１０からネットワーク１２０を介して監視ステーション１２５および関連付けられたディスプレイ１３０へのデータの送信に関連するネットワークリソース、および／またはカメラ１１０、監視ステーション１２５、および／またはディスプレイ１３０に関連するプロセッサリソースおよびメモリリソースを管理することができる。リソースマネージャ６８０は、履歴注視ヒートマップに基づいて決定された低関心エリアに対して、カメラ１１０からディスプレイ１３０へのビデオストリームに関連するビットレートを低減させるようにカメラ１１０に命令することができる。アイトラッカーインターフェース６７０は、アイトラッカー１４０と通信するように構成されてもよい。例えば、アイトラッカーインターフェース６７０は、アイトラッカー１４０に関連する特定のアプリケーションプログラミングインターフェース（ＡＰＩ）を使用してアイトラッカー１４０からの特定のビデオストリームに関連付けられた注視エリアを特定する情報を得ることができる。
リソースマネージャ６８０は、アイトラッカーインターフェース６７０を介してアイトラッカー１４０から注視情報を収集することができ、ある時間間隔にわたって、収集された注視情報に基づいて履歴注視ヒートマップを生成することができる。リソースマネージャ５８０は、生成された履歴注視ヒートマップをカメラＤＢ６８５に格納することができる。リソースマネージャ５８０は、生成された履歴注視ヒートマップに基づいてカメラ１１０に対して１以上の低関心エリアおよび／または１以上の高関心エリアを決定することができる。次に、リソースマネージャ５８０は、１以上の低関心エリアに対してビットレートを低減させ、および／または１以上の高関心エリアに対してビットレートを増加させるようにカメラに命令することができる。
カメラＤＢ６８５は、特定のカメラ１１０に関する情報を格納することができる。カメラＤＢ６８５に格納され得る例示的な情報については、図７Ａを参照して後述する。カメラインターフェース６９０は、カメラ１１０と通信するように構成されてもよく、カメラ１１０に関連する特定のＡＰＩを介してリソースマネージャ６８０から命令を送信することができる。
センサアレイマネージャ６１０は、１以上のセンサアレイパラメータを格納、管理、および／または適用することができる。例えば、センサアレイマネージャ６１０は、センサアレイ２２０内の特定のセンサをオンにするべきかオフにするべきかを管理するパラメータ、特定のセンサ用のサンプリングレート、特定のセンサ用の感度係数、および／または他のタイプのセンサパラメータを格納することができる。さらに、センサアレイマネージャ６１０は、センサアレイ２２０によって取り込まれた画像のタイプを決定するために、センサアレイ２２０のための１以上の設定を格納することができる。例えば、第１の設定は通常の画像に対応することができ、第２の設定は、広角またはパノラマ画像に対応することができ、第３の設定は、低い照明設定に対応することができるなどである。センサアレイマネージャ６１０は、ＶＭＳ１５０によって決定された注視ヒートマップに基づいて、センサアレイ２２０の低関心エリアのビットレートを調整するために、ＶＭＳ１５０からの命令を受信して、格納されたパラメータのうちの１以上を調整することができる。
画像プロセッサ６２０は、１以上の画像処理パラメータを格納、管理、および／または適用することができる。例えば、画像プロセッサ６２０は、ノイズ低減プロセス（例えば、ローパスフィルタ）に関連するパラメータ、スケーリング処理に関連するパラメータ、および／またはビデオストリームの領域に関連付けられたビットレートを変化させるのに使用することができる他のタイプの画像処理パラメータを格納することができる。画像プロセッサ６２０は、ＶＭＳ１５０によって決定された注視ヒートマップに基づいてビデオストリームの低関心エリアにおけるビットレートを調整するために、格納されたパラメータのうちの１以上を調整するためのＶＭＳ１５０からの命令を受信することができる。
エンコーダ６３０は、イントラフレーム（フレーム内）符号化パラメータおよびインターフレーム（フレーム間）符号化パラメータを含む１以上の符号化パラメータを格納、管理、および／または適用することができる。例えば、エンコーダ６３０は、ビデオストリームの特定の領域および／またはオブジェクトに対する量子化パラメータ（ＱＰ）を格納し、離散コサイン変換（ＤＣＴ）のための係数のセット、予測誤差パラメータの平均絶対差（ＭＡＤ）、および／または他の符号化パラメータを格納することができる。エンコーダ６３０は、ＶＭＳ１５０によって決定された注視ヒートマップに基づいてビデオストリームの低関心エリアにおけるビットレートを調整するために、格納された符号化パラメータのうちの１以上を調整するためのＶＭＳ１５０からの命令を受信することができる。
クライアントインターフェース６４０は、１以上の画像送信パラメータを格納、管理、および／または適用することができる。例えば、クライアントインターフェース６４０は、ＱｏＳ（Quality of Service）パラメータを格納することができる。クライアントインターフェース６４０は、ＶＭＳ１５０によって決定された注視ヒートマップに基づいてビデオストリームの低関心エリアにおけるビットレートを調整するために、格納された符号化パラメータの１以上を調整するためのＶＭＳ１５０からの命令を受け取ることができる。
図６は、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０の例示的な機能的コンポーネントを示しているが、他の実装では、カメラ１１０、ディスプレイ１３０、またはＶＭＳ１５０は、図６に示されたものよりも少ない機能的コンポーネント、異なる機能的コンポーネント、異なる配置の機能的コンポーネント、または追加の機能的コンポーネントを含んでもよい。また、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０のコンポーネント（またはコンポーネントの任意のグループ）のうちの任意の１つは、カメラ１１０、ディスプレイ１３０、およびＶＭＳ１５０の１以上の他の機能的コンポーネントによって実行されるものとして説明された機能を実行することができる。
図７Ａは、図６のカメラデータベースの例示的コンポーネントの図である。図７Ａに示すように、カメラＤＢ６８５は、１以上のカメラレコード７０１を格納することができる。各カメラレコード７０１は、特定のカメラ１１０に関連する情報を格納することができる。カメラレコード７０１は、カメラ識別子（ＩＤ）フィールド７１０、注視ヒートマップ７２０、低関心エリアフィールド７３０、およびビットレート低減フィールド７４０を含んでもよい。
カメラＩＤフィールド７１０は、特定のカメラ１１０に関連付けられた１以上のＩＤを格納することができる。例えば、カメラＩＤは、特定のカメラ１１０に対するメディアアクセスコントロール（ＭＡＣ）アドレス、特定のカメラ１１０に対するインターネットプロトコル（ＩＰ）アドレス、ＶＭＳ１５０によって特定のカメラ１１０に割り当てられた名前、および／または別のタイプのＩＤを格納することができる。さらに、カメラＩＤフィールド７１０は、特定のカメラ１１０に対する製造・モデル情報および／または特定のカメラ１１０にインストールされたソフトウェアバージョンを格納することができる。また、カメラＩＤフィールド７１０は、ＶＭＳ１５０が特定のカメラ１１０との安全な接続を確立することを可能にする、特定のカメラ１１０に対する認証情報を含んでもよい。
注視ヒートマップ７２０は、特定のカメラ１１０に対する注視ヒートマップ情報を格納することができる。例えば、ビデオストリームの各位置（例えば、ピクセル、ピクセルのセットなど）は、注視情報を示すデータ点のセットと関連付けられ得る。注視ヒートマップ７２０内に格納され得る例示的な情報については、図７Ｂを参照して後述する。
低関心エリアフィールド７３０は、特定のカメラ１１０に対して１以上の低関心エリアを特定する情報を格納することができる。さらに、１以上の高関心エリアもまた、低関心エリアフィールド７３０内で特定することができる。また、低関心エリアフィールド７３０は、特定の時刻、特定の曜日、特定のカメラ１１０に対する特定のパン、チルト、ズーム、回転、および／または画像タイプの設定、特定のイベントタイプ、特定のオペレータ、および／または他のタイプのパラメータに対して、１以上の低関心エリアを特定することができる。各低関心エリアは、特定のカメラ１１０からのビデオストリーム内のピクセルのセットとして特定され得る。
ビットレート低減フィールド７４０は、特定の状況において適用されるべき１以上のビットレート低減係数を特定することができる。また、ビットレート低減フィールド７４０は、特定のカメラ１１０に関連付けられたビデオストリームに現在適用されている１以上のビットレート低減係数を特定することができる。例えば、ビットレート低減フィールド７４０は、１以上のセンサアレイマネージャ６１０パラメータ、１以上の画像プロセッサ６２０パラメータ、１以上のエンコーダパラメータ、および／または１以上のクライアントインターフェース６４０パラメータを特定することができる。エンコーダパラメータは、ビットレートに影響を与えるように調整することができる異なる規格の符号化プロファイルを含んでもよい。例えば、Ｈ．２６４ビデオ符号化規格を使用する場合、選択可能な符号化プロファイルには、Baseline，Extended，Main，High，High １０、High ４：２：２、およびHigh ４：４：４ Predictiveが含まれる。追加的または代替的に、より低いレベルの符号化パラメータを調整して、ビットレートをさらに調整してもよい。例えば、ＭＰＥＧ符号化規格に対して、量子化スケーリング行列を選択して、符号化されたイントラフレームのビットレートを低減させるために量子化を増加させることができる。さらに、変化閾値レベルを調整して、符号化されたインターフレームに対する圧縮率を変更してもよい。例えば、Ｐフレームおよび／またはＢフレームを符号化するときに、動きのための閾値を上げることができ、こうして符号化されたビデオストリームに対してビットレートを下げるより少ない変化が符号化される。
図７Ａは、カメラＤＢ６８５の例示的なコンポーネントを示しているが、他の実装では、カメラＤＢ６８５は、図７Ａに示されるものよりも少ないコンポーネント、異なるコンポーネント、異なる配置のコンポーネント、または追加のコンポーネントを格納することができる。
図７Ｂは、注視ヒートマップ７２０の例示的なコンポーネントを示している。図７Ｂに示すように、注視ヒートマップ７２０は、一組の位置レコード７５０を含んでもよい。各位置レコード７５０は、カメラレコード７０１に関連するカメラ１１０のビデオストリーム内の特定の位置についての注視情報および追加情報を格納することができる。位置レコード７５０は、位置フィールド７５２、値フィールド７５４、および１以上の注視情報レコード７６０を含んでもよい。
位置フィールド７５２は、特定の位置を特定することができる。例えば、位置フィールド７５２は、カメラ１１０からのビデオフレームの、ピクセル、サブピクセル、ピクセルの組、エリア、および／または別のサブユニットを特定することができる。値フィールド７５４は、特定の位置に関連付けられた１以上の注視ヒートマップの値を格納することができる。例えば、値フィールド７５４は、多数回の注視点４１０の正規化された値、または特定の時間間隔の特定の位置に含まれる注視情報の他の尺度（例えば、中心窩視野エリア４２０、注視点４１０の周りの指定された半径を有するエリアなど）を格納することができる。特定の時間間隔が進行中である場合、値フィールド７５４は、新たな注視情報がアイトラッカー１４０から受信されると、更新され続けることができる。
さらに、値フィールド７５４は、追加の値を格納することができる。例えば、値フィールド７５４は、パラメータ（例えば、時刻、カメラ設定など）に基づいてフィルタリングされた注視情報レコード７６０のサブセットに対応する値を格納することができる。さらに、値フィールド７５４は、低関心エリアを決定するための１以上の閾値、および／または高関心エリアを決定するための１以上の閾値を格納することができる。例えば、異なる閾値は、カメラ１１０からのビデオストリームに対する帯域幅および／またはプロセッサ負荷の所望の低減に基づいて設定することができる。帯域幅および／またはプロセッサ負荷のより高い低減が選択される場合、より高い閾値を選択することができ、これは、より多くの位置が注視ヒートマップ７２０からフィルタリングされる結果をもたらす可能性があり、より高い低関心エリアをもたらす。
各注視情報レコード７６０は、特定の位置に関連付けられた特定の注視情報データ点に関する情報を格納することができる。注視情報レコード７６０は、注視点フィールド７６２、タイムスタンプフィールド７６４、カメラ設定フィールド７６６、オペレータフィールド７６８、およびイベントタイプフィールド７７０を含んでもよい。
注視点フィールド７６２は、特定の注視点データ点を特定することができる。例えば、注視点フィールド７６２は、アイトラッカー１４０から受信した注視情報データを格納することができる。タイムスタンプフィールド７６４は、特定の注視点データ点のタイムスタンプ（例えば、時間および日付）を含んでもよい。カメラ設定フィールド７６６は、特定の注視点データ点に関連付けられた１以上のカメラ設定を特定することができる。カメラ設定情報は、ディスプレイ１３０に関連するコンピュータ装置から、および／またはカメラインターフェース６９０を介してカメラ１１０から受信することができる。カメラ設定情報は、パン設定、チルト設定、回転設定、および／またはズーム設定を特定する情報を含んでもよい。さらに、カメラ設定情報は、特定の画像タイプ設定（例えば、標準角設定、広角設定、魚眼レンズ設定、カラーフィルタ設定、光源設定、センサアレイ設定（例えば、可視光、赤外光など）、および／または別のタイプの画像タイプ設定）を特定することができる。
オペレータフィールド７６８は、注視点データ点に関連付けられた特定のオペレータを特定することができる。例えば、異なるオペレータは、ビデオフレームの異なる部分を見ることを好む場合がある。オペレータは、例えば、ディスプレイ１３０に関連付けられたコンピュータ装置から得られたログイン情報に基づいて特定することができる。イベントタイプフィールド７７０は、特定の注視点データ点に関連付けられたイベントタイプを特定することができる。例えば、ＶＭＳ１５０は、特定の注視点データ点が取得された時点で特定のセンサ（例えば、モーションセンサ、ドアセンサ、火災警報センサ、マイクロフォン、人数計測センサ、ガレージ内の車両センサ、および／または別のタイプのセンサ）がカメラ１１０に接続されて起動されたというデータを取得することができる。さらに、ＶＭＳ１５０は、監視エリア１０６に関連付けられたカレンダー情報（例えば、特定のエリアのためにスケジュールされたイベント（例えば、会議のために予約された会議室、スケジュールされている保守、スケジュールされている火災警報など））を受信するように構成されてもよい。
図７Ｂは、注視ヒートマップ７２０の例示的なコンポーネントを示しているが、他の実装では、注視ヒートマップ７２０は、図７Ｂに示されるものよりも少ないコンポーネント、異なるコンポーネント、異なる配置のコンポーネント、または追加のコンポーネントを格納することができる。
図８は、本明細書に記載される一実装に係る注視エリアに基づいてビットレートを制御するプロセスのフローチャートである。１つの実装では、図８のプロセスは、ＶＭＳ１５０によって実行することができる。他の実装では、図８のプロセスの一部または全部は、ＶＭＳ１５０とは別個の、および／またはＶＭＳ１５０を含む別の装置または装置のグループ（例えば、カメラ１１０および／または監視ステーション１２５）によって実行され得る。
図８のプロセスは、カメラからビデオストリームを受信すること（ブロック８１０）と、ビデオストリームをディスプレイ上に表示すること（ブロック８２０）と、を含んでもよい。例えば、オペレータは、監視ステーション１２５および／またはディスプレイ１３０に関連付けられたコンピュータ装置にログインすることができ、１以上のカメラ１１０を構成するためにＶＭＳ１５０にログインすることができる。ＶＭＳ１５０は、監視エリア１０６のビデオストリームをディスプレイ１３０に提供するようにカメラ１１０を構成してもよく、ディスプレイ１３０は、カメラ１１０からビデオストリームデータを受信し続け、ビデオストリームデータを表示し続けることができる。
アイトラッキングセンサを介してディスプレイを見ているオペレータに対して、注視情報が取得され得る（ブロック８３０）。例えば、アイトラッカー１４０は、注視点４１０および／または中心窩視野エリア４２０を決定するためにオペレータの目を監視し、決定された注視点４１０および／または中心窩視野エリア４２０に基づいて注視エリアを決定することができる。決定された注視エリアを特定する情報は、ＶＭＳ１５０のリソースマネージャ６８０に提供され得る。あるいはまた、アイトラッカー１４０からの生データがＶＭＳ１５０に提供されてもよく、ＶＭＳ１５０は生データに基づいて注視エリアを決定してもよい。
取得された注視情報に基づいて、ビデオストリームのための履歴注視ヒートマップが生成され得る（ブロック８４０）。例えば、ＶＭＳ１５０は、ビデオストリームの各位置に対して注視情報を追加することができ、オペレータの注視点４１０（および／または中心窩視野エリア４２０）が何回またはどれくらいの頻度でその位置に出現したかを示す各位置の値を生成することができる。ＶＭＳ１５０は、生成された値を使用して、ビデオストリームに対して低関心（および／または高関心）エリアを特定することができる。
いくつかの実装では、ＶＭＳ１５０は、オペレータまたは管理者が見るために利用可能とすることができる注視ヒートマップのグラフィック表示を生成することができる。ＶＭＳ１５０は、グラフィック表示内において注視ヒートマップ内の各値に陰影または色を割り当てることができる。例えば、オペレータの注視点４１０と頻繁に関連付けられた位置に対応する高い値に暗い陰影または色を割り当てることができ、オペレータの注視点４１０とより低い頻度で関連付けられた位置に対応する低い値に明るい陰影または色を割り当てることができる。
ビデオストリームに対する低関心エリアは、生成された履歴注視ヒートマップに基づいて決定することができる（ブロック８５０）。例えば、ＶＭＳ１５０は、履歴注視ヒートマップを分析して、履歴注視の出現頻度が低いエリアを特定することができる。低関心エリアの閾値が、ビデオストリーム内の特定の位置（例えば、ピクセルまたはピクセルのセット）に対して設定され、その位置が低関心エリアの要件を満たすかどうかを決定することができる。一例として、オペレータが単位時間当たり（例えば、１時間当たり）に閾値回数未満の位置を見る場合、その位置は低関心エリアとして指定することができる。別の一例として、オペレータが、ビデオストリームを見ている総時間量のうちの閾値パーセンテージ未満の時間、その位置を見る場合、その位置は低関心エリアとして指定することができる。同様の手順を使用して、高関心エリアを特定することができる。例えば、オペレータが、単位時間当たり（例えば、１時間当たり）に閾値回数以上の位置を見る場合、および／またはオペレータが、ビデオストリームを見ている総時間量のうちの閾値パーセンテージを超える時間、その位置を見る場合、その位置を高関心エリアとして指定することができる。
カメラＤＢ６８５の注視ヒートマップ７２０に関して上述したように、注視ヒートマップ内の各位置は、各注視情報データ点に対して追加情報（例えば、時間および日付情報、カメラ設定情報、オペレータ情報、および／またはイベントタイプ情報）を含んでもよい。追加情報は、注視ヒートマップに含まれる任意のパラメータに関して注視ヒートマップを精緻化するために使用することができる。精緻化された注視ヒートマップを使用して、特定のパラメータに関して低関心（および／または高関心）エリアを生成することができる。
したがって、異なる低関心エリア（および／または高関心エリア）が、履歴注視ヒートマップに対する異なるフィルタリング基準に対して選択されてもよい。例えば、異なる時刻、異なる曜日、異なるカメラ設定、異なるオペレータ、および／または異なるイベントタイプに対して異なる低関心エリアが選択され得る。
さらに、いくつかの実装では、精緻化された注視ヒートマップのグラフィック表示を生成することができ、オペレータまたは管理者が見るために利用可能にすることができる。したがって、例えば、特定の時刻に対する注視ヒートマップのグラフィック表示が生成され得る。
カメラは、低関心エリアにおけるビデオストリームのビットレートを減少させるように命令されてもよい（ブロック８６０）。例えば、ＶＭＳ１５０は、特定のカメラ１１０に対するビットレート低減フィールド７４０から、１以上のビットレート低減係数（例えば、センサアレイビットレート低減係数、画像処理ビットレート低減係数、符号化ビットレート低減係数、および／または画像送信ビットレート低減係数）を選択することができる。一例として、ＶＭＳ１５０は、低関心エリアに関連付けられたセンサアレイ２２０内のセンサのサブセットのサンプリングレートを調整するように、低関心エリアをダウンサンプリングするように（例えば、解像度を下げるように）、低関心エリアにおいてノイズ低減プロセスを増加させるように、低関心エリアにおいて符号化圧縮パラメータを増加させるように、および／または低関心エリアにおいてビットレートを低減させることができる別のパラメータを調整するように選択することができる。
図９Ａ〜図９Ｄは、本明細書に記載の１以上の実装に係る例示的な注視ヒートマップシナリオの図である。図９Ａに示すように、ディスプレイ１３０上のビデオフレームセット９０１は、４つの異なるカメラ１１０からのビデオストリームを含んでもよい。フレーム９１０は、オフィスビルの入口ロビーを監視するカメラからのビデオストリームを表示する。ロビーは、入り口のドア、前庭、および廊下を含んでいる。フレーム９１２は、ドアまでの通路を備えた駐車場を監視するカメラからのビデオストリームを表示する。フレーム９１４は、小個室（キュービクル）を有するオフィススイートを監視するカメラからのビデオストリームを表示する。フレーム９１６は、路地に開口する裏口を監視するカメラからのビデオストリームを表示する。
図９Ｂは、ビデオフレームセット９０１に対して生成された注視ヒートマップ９０２のセットを示す。注視ヒートマップ９０２のセットは、注視ヒートマップ７２０に記憶された情報のグラフィック表示に対応することができる。注視ヒートマップ７２０の特定の位置７５２での値が閾値以下である場合、その位置は、グラフィック表示内で、または低関心エリアを決定する目的で、注視ヒートマップ７２０に含まれないものとして指定することができる。注視ヒートマップ７２０のグラフィック表示は、オペレータまたは管理者に対して、または要求に基づいて生成され、表示することができる。また、特定された低関心エリアが、注視ヒートマップとともに表示されてもよい。いくつかの実装では、ユーザまたはオペレータは、注視ヒートマップ７２０のグラフィック表示を表示するグラフィカルユーザインターフェースを介して、１以上の低関心エリアを手動で選択することができ、または特定された低関心エリアを手動で調整することができる。
注視ヒートマップ９２０は、フレーム９１０に対応する。注視ヒートマップ９２０は、オペレータがメインドアと、人々がメインドアから前庭および側部廊下へと歩く通路とを見ることに大部分の時間を費やしていることを示している。フレーム９１０は、これらのエリア内で歩いている、または立っている人はほとんどいないので、オペレータが比較的低い時間量を見るのに費やしているフレーム９１０のエリアに対応する低関心エリア９２２および低関心エリア９２４を含む。
注視ヒートマップ９３０は、フレーム９１２に対応する。注視ヒートマップ９３０は、オペレータが建物の入り口および駐車場の歩道を見るのに大部分の時間を費やしていることを示している。フレーム９１２は、低関心エリア９３２、低関心エリア９３４、および低関心エリア９３６を含み、これらはオペレータが比較的低い時間量を見るのに費やしているフレーム９１２のエリア（例えば、歩道の隣の芝生）に対応する。
注視ヒートマップ９４０は、フレーム９１４に対応する。注視ヒートマップ９４０は、オペレータが小個室および小個室間の通路を見るのに大部分の時間を費やしていることを示している。フレーム９１４は、低関心エリア９４２、低関心エリア９４４、および低関心エリア９４６を含み、これらは、オペレータがあまり頻繁には見ないフレーム９１４のエリア（例えば、小個室の上の壁または前景内で小個室を分離する壁）に対応する。
注視ヒートマップ９５０は、フレーム９１６に対応する。注視ヒートマップ９５０は、オペレータが、人々が喫煙するために出ていく階段および近くのエリア、および近くに歩いて出かける際に時々通る裏口に通じる路地を見るのに時間の大部分を費やしていることを示している。フレーム９１６は、あまり多くの歩行者交通を見ないので、オペレータが比較的低い時間量を見るのに費やしている低関心エリア９５２を含む。
図９Ｃおよび図９Ｄは、異なる時刻に対する注視ヒートマップ９０３および９０４のセットを示す。図９Ｃに示すように、注視ヒートマップ９０３は、フレーム９１０、９１２、９１４、および９１６のビデオストリームを提供するカメラ１１０に関連付けられた建物に従業員が入る朝のラッシュアワー時間に対応することができる。路地に開口する裏口を監視しているカメラからのビデオストリームに対するフレーム９１６は、朝の時間の間は、この時間中にこのエリアを頻繁に訪れる人はいないので、オペレータからの注目を集める可能性はない。したがって、フレーム９１６の全体を低関心エリア９５４として指定することができ、フレーム９１６に対するビデオストリーム全体のビットレートをこれらの時間中に低減させることができる。
図９Ｄに示されるように、注視ヒートマップ９０４は、従業員がフレーム９１０、９１２、９１４、９１６のビデオストリームを提供するカメラ１１０に関連付けられた建物を離れている夜間に対応することができる。フレーム９１０および９１４は、この時間中にオペレータからの注目をあまり集めないかもしれない。例えば、オペレータは、ロビーへのフロントドアを監視し続けてもよいが、夜間に人は移動しないので、ロビーの前庭を監視しなくてもよい。したがって、低関心エリア９２２および９２４は、夜間に低関心エリア９２８に拡大することができる。同様に、オペレータは、フレーム９１４内の小個室を観察するのに時間をあまり費やさない可能性があり、夜間に低関心エリア９４２、９４４、および９４６を低関心エリア９４８および９４９に変更することができる。
この出願は、本特許出願と同日に出願された以下の特許出願を参照として本明細書に援用する。２０１６年１２月３０日に出願された「注視制御されたビットレート（Gaze Controlled Bit Rate）」と題された米国特許出願第１５／３９５，８５６号（代理人整理番号Ｐ１６００６９／ＵＳ（００９０−００２２）、２０１６年１２月３０日に出願された「ビデオ管理システムにおける注視に基づく警報マスキング（Alarm Masking Based on Gaze in Videｏ Management System）」と題された米国特許出願第１５／３９５，４０３号（代理人整理番号Ｐ１６０１９１（００９０−００２３））、および２０１６年１２月３０日に出願された「注視に基づくブロックレベルフレームレート制御（Block Level Frame Rate Control Based on Gaze）」と題された米国特許出願第１５／３９５，７９０号（代理人整理番号Ｐ１６０１９３（００９０−００２４））。
以上、様々な好ましい実施形態について、添付図面を参照して説明してきた。しかしながら、特許請求の範囲に記載された本発明のより広い範囲から逸脱することなく、様々な修正および変更を行うことができ、追加の実施形態が実施可能であることは明らかであろう。したがって、本明細書および図面は、限定的ではなく例示的な意味で考慮されるべきである。
例えば、図８に関して一連のブロックを説明してきたが、ブロックの順序は、他の実装で変更することができる。また、依存していないブロックおよび／または信号フローは、並行して実行することができる。
上述したようなシステムおよび／または方法は、図に示す実装において、ソフトウェア、ファームウェア、およびハードウェアの多くの異なる形態で実施することができることは明らかであろう。これらのシステムおよび方法を実施するために使用される実際のソフトウェアコードまたは特殊化された制御ハードウェアは、本実施形態を限定するものではない。したがって、システムおよび方法の動作および挙動は、特定のソフトウェアコードを参照することなく説明された。すなわち、ソフトウェアおよび制御ハードウェアは、本明細書の記載に基づいてシステムおよび方法を実施するように設計可能であることが理解される。
さらに、上述の特定の部分は、１以上の機能を実行するコンポーネントとして実装されてもよい。本明細書で使用されるコンポーネントは、ハードウェア（例えば、プロセッサ、ＡＳＩＣ、またはＦＰＧＡ）またはハードウェアとソフトウェアの組み合わせ（例えば、ソフトウェアを実行するプロセッサ）を含んでもよい。本明細書で使用される「例示的」という用語は、「例示のための一例として」を意味する。
本明細書中で使用される場合、用語「含む（comprises）」および「含む（comprising）」は、記載された構成、整数、工程、またはコンポーネントの存在を特定するものと解釈されるが、１以上の他の構成、整数、工程、コンポーネント、またはそれらのグループの存在または追加を除外しない。
本明細書で使用される用語「ロジック」は、１以上のメモリデバイス内に格納された命令を実行するように構成された１以上のプロセッサの組み合わせを指すことができる、ハードウェア回路を指すことができる、および／またはそれらの組み合わせを指すことができる。さらに、ロジックは、単一のデバイス内に含まれることができる、または複数の（場合によっては遠隔の）デバイスに分散させることができる。
本発明を説明および定義する目的で、本明細書では、「実質的に」という用語は、定量的な比較、値、測定値、または他の表現に起因する可能性のある不確実性の固有の程度を表すために利用される。「実質的に」という用語はまた、本明細書では、定量的表現が、問題の主題の基本機能に変化をもたらすことなく、記載された基準から変動する程度を表すためにも利用される。
本出願で使用されている要素、動作、または命令は、本実施形態にとって重大であるまたは必須であるとは、そのように明示的に記載されていない限り、解釈されるべきではない。また、本明細書で使用する場合、冠詞「a」は、１以上の項目を含むことを意図している。さらに、「に基づいて」というフレーズは、特に断りのない限り、「少なくとも部分的に基づいて」を意味することを意図している。
１１０ カメラ
１３０ ディスプレイ
３２０ プロセッサ
３３０ メモリ
４０２ オペレータ

Claims (15)

  1. コンピュータ装置によって実行される方法であって、
    カメラからビデオストリームを受信することと、
    前記ビデオストリームをディスプレイ上に表示することと、
    アイトラッキングセンサを介して、前記ディスプレイを見ているオペレータの注視情報を取得することと、
    前記取得された注視情報に基づいて、ある時間間隔の前記ビデオストリームに対する履歴注視ヒートマップを生成することと、
    前記生成された履歴注視ヒートマップに基づいて、前記ビデオストリームの低関心エリアを決定することと、
    前記低関心エリアにおける前記ビデオストリームのビットレートを減少させるように前記カメラに命令することと、を含む方法。
  2. 前記生成された履歴注視ヒートマップに基づいて前記ビデオストリームの高関心エリアを決定することと、
    前記高関心エリアにおける前記ビデオストリームのビットレートを増加させるようにカメラに命令することと、をさらに含む請求項１に記載の方法。
  3. 前記時間間隔は、特定の時刻または特定の曜日に対応し、前記生成された履歴注視ヒートマップに基づいて前記ビデオストリームの前記低関心エリアを決定することは、
    第１の時刻または曜日に対して前記第１の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて前記第１の時刻または曜日に対する第１の低関心エリアを決定することと、
    第２の時刻または曜日に対して前記第２の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて前記第２の時刻または曜日に対する第２の低関心エリアを決定することと、を含み、
    前記第２の低関心エリアは、前記第１の低関心エリアとは異なる、請求項１に記載の方法。
  4. 前記生成された履歴注視ヒートマップに基づいて前記ビデオストリームの低関心エリアを決定することは、
    前記カメラのパン、ズーム、チルト、回転、または画像タイプの設定を特定することと、
    前記カメラの前記特定されたパン、ズーム、チルト、回転、または画像タイプの設定に関連付けられた前記生成された履歴注視ヒートマップのサブセットを選択することと、
    前記生成された履歴注視ヒートマップの前記選択されたサブセットに基づいて、前記ビデオストリームの前記低関心エリアを決定することと、を含む請求項１に記載の方法。
  5. 前記ビデオストリームは複数のビデオストリームを含み、前記ディスプレイは複数のディスプレイを含む請求項１に記載の方法。
  6. 前記低関心エリアにおけるビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記低関心エリアに関連付けられたセンサのサンプリングレートを低減させるように前記カメラに命令することを含む請求項１に記載の方法。
  7. 前記低関心エリアにおけるビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記ビデオストリームを符号化する前に前記低関心エリアに対するノイズ低減プロセスを増加させるように前記カメラに命令することを含む請求項１に記載の方法。
  8. 前記低関心エリアにおけるビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記低関心エリアに関連付けられた符号化処理ユニットの符号化パラメータを調整するよう前記カメラに命令することを含む請求項１に記載の方法。
  9. 命令を格納するためのメモリと、
    カメラからビデオストリームを受信する受信機と、
    前記ビデオストリームを表示するディスプレイと、
    前記命令を実行して、
    アイトラッキングセンサを介して、前記ディスプレイを見ているオペレータの注視情報を取得し、
    前記取得された注視情報に基づいて、ある時間間隔のビデオストリームに対する履歴注視ヒートマップを生成し、
    前記生成された履歴注視ヒートマップに基づいて、前記ビデオストリームの低関心エリアを決定し、
    前記低関心エリアにおける前記ビデオストリームのビットレートを減少させるように前記カメラに命令することを決定するように構成されたプロセッサと、
    前記低関心エリアにおけるビデオストリームのビットレートを減少させる命令を前記カメラへ送信する送信機と、を含むコンピュータシステム。
  10. 前記プロセッサはさらに、前記生成された履歴注視ヒートマップに基づいて前記ビデオストリームの高関心エリアを決定するように構成され、
    前記プロセッサは、前記高関心エリアにおける前記ビデオストリームのビットレートを増加させるよう前記カメラに命令することを決定するように構成され、
    送信機は、前記高関心エリアにおける前記ビデオストリームのビットレートを増加させる命令を前記カメラへ送信するように構成される請求項９に記載のコンピュータシステム。
  11. 前記時間間隔は、特定の時刻または特定の曜日に対応し、
    前記プロセッサはさらに、
    第１の時刻または曜日に対して前記第１の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて前記第１の時刻または曜日に対する第１の低関心エリアを決定し、
    第２の時刻または曜日に対して前記第２の時刻または曜日の複数のインスタンスにわたって生成される履歴注視ヒートマップに基づいて前記第２の時刻または曜日に対する第２の低関心エリアを決定するように構成され、
    前記第２の低関心エリアは、前記第１の低関心エリアとは異なる、請求項９に記載のコンピュータシステム
    。
  12. 前記プロセッサはさらに、
    前記カメラのパン、ズーム、チルト、回転、または画像タイプの設定を特定し、
    前記カメラの前記特定されたパン、ズーム、チルト、回転、または画像タイプの設定に関連付けられた前記生成された履歴注視ヒートマップのサブセットを選択し、
    前記生成された履歴注視ヒートマップの前記選択されたサブセットに基づいて、前記ビデオストリームの前記低関心エリアを決定するように構成される請求項９に記載のコンピュータシステム。
  13. 前記プロセッサは、前記低関心エリアに関連付けられたセンサのサンプリングレートを低減させるように前記カメラに命令することを決定するように構成され、
    前記低関心エリアにおける前記ビデオストリームのビットレートを減少させる前記命令は、前記低関心エリアに関連付けられたセンサのサンプリングレートを低減させる、カメラへの命令を含む請求項９に記載のコンピュータシステム。
  14. 前記プロセッサはさらに、前記ビデオストリームを符号化する前に前記低関心エリアに対するノイズ低減プロセスを増加させるように前記カメラに命令することを決定するように構成され、
    前記低関心エリアにおける前記ビデオストリームのビットレートを減少させる前記命令は、前記ビデオストリームを符号化する前に前記低関心エリアに対するノイズ低減プロセスを増加させる命令を含む請求項９に記載のコンピュータシステム。
  15. 前記プロセッサは、前記低関心エリアに関連付けられた符号化処理ユニットの符号化パラメータを調整するようにカメラに命令することを決定するように構成され、
    前記低関心エリアにおける前記ビデオストリームのビットレートを減少させる前記命令は、前記低関心エリアに関連付けられた前記符号化処理ユニットのための前記符号化パラメータを調整する命令を含む請求項９に記載のコンピュータシステム。
JP2017254814A 2016-12-30 2017-12-28 方法、およびコンピュータシステム Active JP6453991B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,893 2016-12-30
US15/395,893 US10110802B2 (en) 2016-12-30 2016-12-30 Historical gaze heat map for a video stream
EP17154581.7A EP3343937B1 (en) 2016-12-30 2017-02-03 Method and computer system for video encoding using a historical gaze heat map
EP17154581.7 2017-02-03

Publications (3)

Publication Number Publication Date
JP2018110398A true JP2018110398A (ja) 2018-07-12
JP2018110398A5 JP2018110398A5 (ja) 2018-09-27
JP6453991B2 JP6453991B2 (ja) 2019-01-16

Family

ID=58017914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254814A Active JP6453991B2 (ja) 2016-12-30 2017-12-28 方法、およびコンピュータシステム

Country Status (6)

Country Link
US (1) US10110802B2 (ja)
EP (1) EP3343937B1 (ja)
JP (1) JP6453991B2 (ja)
KR (1) KR101936155B1 (ja)
CN (1) CN108270996B (ja)
TW (1) TWI654879B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235084A1 (ja) 2018-06-08 2019-12-12 三菱日立ツール株式会社 切削インサートおよび刃先交換式切削工具
WO2021015035A1 (ja) * 2019-07-19 2021-01-28 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像配信システム、および画像処理方法
JP7463268B2 (ja) 2019-12-30 2024-04-08 アクシス アーベー ビデオのモニタリングにおけるリアルタイム偏差
JP7496677B2 (ja) 2019-09-30 2024-06-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017212B2 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017211B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017213B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
US11017214B1 (en) 2012-09-07 2021-05-25 Stone Lock Global, Inc. Methods and apparatus for biometric verification
CN106372095B (zh) * 2015-10-16 2020-02-07 北京智谷睿拓技术服务有限公司 电子地图显示方法、装置及车载设备
US10349060B2 (en) * 2017-06-30 2019-07-09 Intel Corporation Encoding video frames using generated region of interest maps
US10582196B2 (en) 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
US10853965B2 (en) * 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10747760B2 (en) * 2018-06-08 2020-08-18 Capital One Services, Llc Method and system for tracking virtual reality experiences
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US11019361B2 (en) * 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
KR20210070278A (ko) * 2018-08-17 2021-06-14 스톤 락 글로벌, 인크. 안면 인식을 위한 방법 및 장치
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
US10708642B1 (en) * 2018-12-13 2020-07-07 Sling Media Pvt Ltd Systems, methods, and devices for optimizing streaming bitrate based on variations in processor load
JP7174318B2 (ja) * 2019-01-25 2022-11-17 株式会社エビデント 情報処理装置、情報処理方法、及びプログラム
CN110505481B (zh) * 2019-07-15 2021-06-01 杭州亿圣信息技术有限公司 一种利用眼动监测提高视频poi低损编码效率的方法
CN110441901A (zh) * 2019-08-14 2019-11-12 东北大学 一种可实时追踪注视位置的光学显微镜系统及方法
CN110602506B (zh) * 2019-09-25 2023-04-28 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
KR102287281B1 (ko) * 2020-01-13 2021-08-06 주식회사 비주얼캠프 시선 분석 방법 및 이를 수행하기 위한 장치
CN111443665A (zh) * 2020-03-11 2020-07-24 东南大学 一种基于眼动信号的智慧病房控制方法和系统
JP7542994B2 (ja) * 2020-05-26 2024-09-02 キヤノン株式会社 電子機器
US11310553B2 (en) * 2020-06-19 2022-04-19 Apple Inc. Changing resource utilization associated with a media object based on an engagement score
CN111479112B (zh) * 2020-06-23 2020-11-03 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质
US11999356B2 (en) * 2020-11-13 2024-06-04 Toyota Research Institute, Inc. Cognitive heat map: a model for driver situational awareness
USD976904S1 (en) 2020-12-18 2023-01-31 Stone Lock Global, Inc. Biometric scanner
US11567633B2 (en) * 2021-02-08 2023-01-31 Microsoft Technology Licensing, Llc Intention image analysis for determining user focus
CN113238693B (zh) * 2021-06-09 2023-10-24 维沃移动通信有限公司 图标排序方法、图标排序装置和电子设备
WO2023229647A1 (en) * 2022-05-24 2023-11-30 Google Llc Positioning a graphical keyboard within a graphical user interface
US12086301B2 (en) 2022-06-01 2024-09-10 Sphere Entertainment Group, Llc System for multi-user collaboration within a virtual reality environment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP2006332882A (ja) * 2005-05-24 2006-12-07 Mitsubishi Electric Corp 動画像符号化装置
US20100215098A1 (en) * 2009-02-23 2010-08-26 Mondo Systems, Inc. Apparatus and method for compressing pictures with roi-dependent compression parameters
JP2014508311A (ja) * 2010-12-08 2014-04-03 株式会社ソニー・コンピュータエンタテインメント 視線追跡を用いた適応的ディスプレー
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
JP2014192861A (ja) * 2013-03-28 2014-10-06 Osaka Gas Co Ltd 監視支援システム
US20160291690A1 (en) * 2014-05-08 2016-10-06 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
US20160301862A1 (en) * 2015-04-10 2016-10-13 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
US9075136B1 (en) * 1998-03-04 2015-07-07 Gtj Ventures, Llc Vehicle operator and/or occupant information apparatus and method
US6717607B1 (en) 2000-04-28 2004-04-06 Swisscom Mobile Ag Method and system for video conferences
US8406457B2 (en) 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
GB0611969D0 (en) 2006-06-16 2006-07-26 Robert Gordon The University Video content prioritisation
DK2389095T3 (da) 2009-01-26 2014-11-17 Tobii Technology Ab Detektering af blikpunkt hjulpet af optiske referencesignaler
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
JP5701874B2 (ja) * 2009-07-21 2015-04-15 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオ画像の検出およびエンハンスメントのための方法およびシステム
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
US20150339589A1 (en) 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
KR101619635B1 (ko) * 2014-11-06 2016-05-10 현대자동차주식회사 시선추적을 이용한 메뉴 선택장치
KR101657227B1 (ko) * 2015-01-09 2016-09-21 에스케이플래닛 주식회사 고객 정보 관리 장치, 고객 정보 관리 방법, 고객 정보 관리 시스템 및 컴퓨터 프로그램이 기록된 기록매체
US10475370B2 (en) * 2016-02-17 2019-11-12 Google Llc Foveally-rendered display

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132362A (ja) * 2001-10-22 2003-05-09 Sony Corp 情報通信システム、および情報通信方法、並びにコンピュータ・プログラム
JP2006332882A (ja) * 2005-05-24 2006-12-07 Mitsubishi Electric Corp 動画像符号化装置
US20100215098A1 (en) * 2009-02-23 2010-08-26 Mondo Systems, Inc. Apparatus and method for compressing pictures with roi-dependent compression parameters
JP2014508311A (ja) * 2010-12-08 2014-04-03 株式会社ソニー・コンピュータエンタテインメント 視線追跡を用いた適応的ディスプレー
US20140092006A1 (en) * 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
JP2014192861A (ja) * 2013-03-28 2014-10-06 Osaka Gas Co Ltd 監視支援システム
US20160291690A1 (en) * 2014-05-08 2016-10-06 Sony Corporation Portable electronic equipment and method of controlling a portable electronic equipment
US20160301862A1 (en) * 2015-04-10 2016-10-13 Finwe Oy Method and system for tracking an interest of a user within a panoramic visual content

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019235084A1 (ja) 2018-06-08 2019-12-12 三菱日立ツール株式会社 切削インサートおよび刃先交換式切削工具
WO2021015035A1 (ja) * 2019-07-19 2021-01-28 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像配信システム、および画像処理方法
JP2021018575A (ja) * 2019-07-19 2021-02-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像配信システム、および画像処理方法
JP7385385B2 (ja) 2019-07-19 2023-11-22 株式会社ソニー・インタラクティブエンタテインメント 画像配信システムおよび画像配信方法
US11847715B2 (en) 2019-07-19 2023-12-19 Sony Interactive Entertainment Inc. Image processing apparatus, image distribution system, and image processing method
JP7496677B2 (ja) 2019-09-30 2024-06-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
JP7463268B2 (ja) 2019-12-30 2024-04-08 アクシス アーベー ビデオのモニタリングにおけるリアルタイム偏差

Also Published As

Publication number Publication date
CN108270996B (zh) 2019-04-16
US10110802B2 (en) 2018-10-23
EP3343937A1 (en) 2018-07-04
TW201830952A (zh) 2018-08-16
JP6453991B2 (ja) 2019-01-16
KR20180079190A (ko) 2018-07-10
US20180191952A1 (en) 2018-07-05
CN108270996A (zh) 2018-07-10
KR101936155B1 (ko) 2019-01-08
EP3343937B1 (en) 2018-12-26
TWI654879B (zh) 2019-03-21

Similar Documents

Publication Publication Date Title
JP6453991B2 (ja) 方法、およびコンピュータシステム
JP6708622B2 (ja) 方法、およびコンピュータ装置
JP7353015B2 (ja) 方法、装置、およびカメラ
RU2628745C2 (ru) Система защитного наблюдения и соответствующий способ инициирования тревожной сигнализации
JP7539951B2 (ja) 撮像装置
CN102857786A (zh) 视频监视系统中的质量检查
JP6809114B2 (ja) 情報処理装置、画像処理システム、プログラム
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
JP7357194B2 (ja) 情報出力装置、検知システム、制御方法、及びプログラム
CN207166669U (zh) Vr智能监控系统
JP2024159782A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180814

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180814

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180814

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181213

R150 Certificate of patent or registration of utility model

Ref document number: 6453991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250