JP2018110397A5 - - Google Patents

Download PDF

Info

Publication number
JP2018110397A5
JP2018110397A5 JP2017254813A JP2017254813A JP2018110397A5 JP 2018110397 A5 JP2018110397 A5 JP 2018110397A5 JP 2017254813 A JP2017254813 A JP 2017254813A JP 2017254813 A JP2017254813 A JP 2017254813A JP 2018110397 A5 JP2018110397 A5 JP 2018110397A5
Authority
JP
Japan
Prior art keywords
bit rate
video stream
gaze area
camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017254813A
Other languages
English (en)
Other versions
JP6708622B2 (ja
JP2018110397A (ja
Filing date
Publication date
Priority claimed from US15/395,856 external-priority patent/US10121337B2/en
Application filed filed Critical
Publication of JP2018110397A publication Critical patent/JP2018110397A/ja
Publication of JP2018110397A5 publication Critical patent/JP2018110397A5/ja
Application granted granted Critical
Publication of JP6708622B2 publication Critical patent/JP6708622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. 1以上のコンピュータ装置によって実行される方法であって、
    カメラからビデオストリームを受信することと、
    前記ビデオストリームをディスプレイ上に表示することと、
    アイトラッキングセンサを介して、前記ディスプレイを見ているユーザの注視エリアを特定する情報を取得することと、
    前記注視エリアから前記ディスプレイの縁部に向かって勾配を生成することと、
    前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるようにカメラに命令することと、を含む方法。
  2. 前記取得された情報に基づいて予測される注視軌跡を計算することと、
    前記予測された注視軌跡に沿って前記ビデオストリームのビットレートを増加させることと、をさらに含む請求項1に記載の方法。
  3. 前記注視エリアが前記ディスプレイの外側にあると判定することと、
    前記注視エリアが前記ディスプレイの外側にあると判定したことに応答して、前記ビデオストリーム全体のビットレートを減少させることと、をさらに含む請求項1に記載の方法。
  4. 前記注視エリアの外側の前記ビデオストリーム内の移動物体を検出することと、
    前記注視エリアを前記移動物体に相関させることと、をさらに含む請求項2に記載の方法。
  5. 前記注視エリアから前記ディスプレイの縁部まで前記勾配を生成することは、
    前記注視エリアの縁部から、前記注視エリアの縁部からの特定の距離までの第1の領域に対する第1のビットレート低減係数を定義することと、
    前記特定の距離から前記ディスプレイの縁部までの第2の領域に対する第2のビットレート低減係数を定義することと、を含み、
    前記第1のビットレート低減係数は、前記第1の領域に対するビットレートが低減される程度を示し、
    前記第2のビットレート低減係数は、前記第2の領域に対するビットレートが低減される程度を示し、
    前記第2のビットレート低減係数は、前記第1のビットレート低減係数よりも高い、請求項1に記載の方法。
  6. 前記注視エリアから前記ディスプレイの縁部まで前記勾配を生成することは、
    前記注視エリアの縁部から前記ディスプレイの前記縁部に向かって線形に減少するビットレート低減係数を定義することを含み、
    前記ディスプレイの特定の位置における前記ビットレート低減係数は、前記特定の位置におけるビットレートが低減される程度を示す請求項1に記載の方法。
  7. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるように前記カメラに命令することを含む請求項1に記載の方法。
  8. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記ビデオストリームを符号化する前に、前記注視エリアの外側の前記ビデオストリームのエリアの解像度を低下させるように前記カメラに命令することを含む請求項1に記載の方法。
  9. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記ビデオストリームを符号化する前に、前記注視エリアの外側の前記ビデオストリームのエリアに対してノイズ低減プロセスを増加させるように前記カメラに命令することを含む請求項1に記載の方法。
  10. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令することは、
    前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられた符号化処理ユニットに対して圧縮パラメータ値を増加させるように前記カメラに命令することを含む請求項1に記載の方法。
  11. 前記ビデオストリームは複数のビデオストリームを含み、前記ディスプレイは複数のディスプレイを含む請求項1に記載の方法。
  12. 命令を格納するメモリと、
    前記命令を実行して、
    カメラからビデオストリームを受信し、
    前記ビデオストリームをディスプレイ上に表示し、
    アイトラッキングセンサを介して、前記ディスプレイを見ているユーザの注視エリアを特定する情報を取得し、
    前記注視エリアから前記ディスプレイの縁部に向かって勾配を生成し、
    前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するように構成されるプロセッサとを含むコンピュータ装置。
  13. 前記プロセッサは、
    取得された注視情報に基づいて予測された注視軌跡を計算し、
    前記予測された注視軌跡に沿って前記ビデオストリームのビットレートを増加させるように前記命令を実行するように、さらに構成される請求項12に記載のコンピュータ装置。
  14. 前記注視エリアから前記ディスプレイの縁部まで前記勾配を生成するとき、前記プロセッサは、
    前記注視エリアの縁部から、前記注視エリアの縁部からの特定の距離までの第1の領域に対して第1のビットレート低減係数を定義し、前記第1のビットレート低減係数は、前記第1の領域に対するビットレートが低減する程度を示し、
    前記特定の距離から前記ディスプレイの縁部に向かう第2の領域に対して第2のビットレート低減係数を定義し、前記第2のビットレート低減係数は、前記第2の領域のビットレートが低減される程度を示し、前記第2のビットレート低減係数は、前記第1のビットレート低減係数よりも高くなるように、さらに構成される請求項12に記載のコンピュータ装置。
  15. 前記注視エリアから前記ディスプレイの縁部まで前記勾配を生成するとき、前記プロセッサは、
    前記注視エリアの縁部から前記ディスプレイの前記縁部に向かって線形に減少するビットレート低減係数を定義し、前記ディスプレイの特定の位置における前記ビットレート低減係数は、前記特定の位置におけるビットレートが低減される程度を示すように、さらに構成される請求項12に記載のコンピュータ装置。
  16. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
    前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられたセンサ用のサンプリングレートを低減させるように前記カメラに命令するように、さらに構成される請求項12に記載のコンピュータ装置。
  17. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
    前記ビデオストリームを符号化する前に、前記注視エリアの外側の前記ビデオストリームのエリアに対して解像度を低下させるように前記カメラに命令するように、さらに構成される請求項12に記載のコンピュータ装置。
  18. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
    前記ビデオストリームを符号化する前に前記注視エリアの外側の前記ビデオストリームのエリアに対してノイズ低減プロセスを増加させるように前記カメラに命令するように、さらに構成される請求項12に記載のコンピュータ装置。
  19. 前記生成された勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令するとき、前記プロセッサは、
    前記注視エリアの外側の前記ビデオストリームのエリアに関連付けられた符号化処理ユニットの圧縮パラメータ値を増加させるように前記カメラに命令するように、さらに構成される請求項12に記載のコンピュータ装置。
  20. ビデオストリームを生成するように構成されたカメラと、
    前記カメラから前記ビデオストリームを受信し、
    前記ビデオストリームをディスプレイ上に表示し、
    アイトラッキングセンサを介して、前記ディスプレイを見ているユーザの注視エリアを特定する情報を取得し、
    前記注視エリアから前記ディスプレイの縁部まで勾配を生成し、
    生成された前記勾配に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように前記カメラに命令を送信するように構成されたコンピュータ装置とを含み、
    前記カメラは、受信された前記命令に基づいて前記注視エリアの外側の前記ビデオストリームのビットレートを減少させるように、さらに構成されているシステム。
JP2017254813A 2016-12-30 2017-12-28 方法、およびコンピュータ装置 Active JP6708622B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/395,856 US10121337B2 (en) 2016-12-30 2016-12-30 Gaze controlled bit rate
US15/395,856 2016-12-30
EP17154582.5A EP3343917A1 (en) 2016-12-30 2017-02-03 Gaze controlled bit rate
EP17154582.5 2017-02-03

Publications (3)

Publication Number Publication Date
JP2018110397A JP2018110397A (ja) 2018-07-12
JP2018110397A5 true JP2018110397A5 (ja) 2018-11-08
JP6708622B2 JP6708622B2 (ja) 2020-06-10

Family

ID=57995042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017254813A Active JP6708622B2 (ja) 2016-12-30 2017-12-28 方法、およびコンピュータ装置

Country Status (6)

Country Link
US (1) US10121337B2 (ja)
EP (1) EP3343917A1 (ja)
JP (1) JP6708622B2 (ja)
KR (1) KR102065479B1 (ja)
CN (1) CN108270997A (ja)
TW (1) TWI662834B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
US10805653B2 (en) * 2017-12-26 2020-10-13 Facebook, Inc. Accounting for locations of a gaze of a user within content to select content for presentation to the user
US10686859B2 (en) * 2017-12-28 2020-06-16 Intel Corporation Content scenario and network condition based multimedia communication
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
KR102547106B1 (ko) * 2018-05-07 2023-06-23 애플 인크. 동적 포비티드 파이프라인
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
CN108833976B (zh) * 2018-06-27 2020-01-24 深圳看到科技有限公司 一种全景视频动态切流后的画面质量评估方法及装置
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
KR102238125B1 (ko) * 2018-11-26 2021-04-08 수니코리아 엘엘씨(한국뉴욕주립대학교) 가상 현실 영상의 부호화 장치 및 방법, 및 복호화 장치 및 방법
US11032607B2 (en) * 2018-12-07 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for embedding visual advertisements in video content
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
US11055976B2 (en) 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
US11232686B2 (en) 2019-12-30 2022-01-25 Axis Ab Real-time deviation in video monitoring
CN114071150B (zh) * 2020-07-31 2023-06-16 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
US20220111859A1 (en) * 2020-10-12 2022-04-14 Ford Global Technologies, Llc Adaptive perception by vehicle sensors
US11830168B2 (en) * 2021-03-31 2023-11-28 Tobii Ab Method of compressing image data for network transport
EP4329293A1 (en) * 2022-08-25 2024-02-28 Artificialy SA Support system of the control of surveillance cameras
KR102497227B1 (ko) * 2022-11-11 2023-02-08 (주)아이브리지닷컴 심리스 동영상 스트리밍 재생 장치 및 그 방법

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
JPH0951519A (ja) * 1995-08-08 1997-02-18 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及び情報提供装置並びに課金方法
JPH09200756A (ja) * 1996-01-17 1997-07-31 Kubota Corp 画像データ圧縮方法及び装置,画像データ送受信方法及び装置並びに画像データ受信装置
JPH10304335A (ja) * 1997-04-28 1998-11-13 Fujitsu Ltd 情報伝送装置
ES2203222T3 (es) * 1999-12-30 2004-04-01 Swisscom Mobile Ag Procedimiento de transmision de datos de imagen.
JP2001045494A (ja) * 2000-01-01 2001-02-16 Mitsubishi Electric Corp 画像符号化装置
JP4602632B2 (ja) 2000-04-28 2010-12-22 スイスコム モービル アーゲー ビデオ会議の方法とシステム
JP2002218441A (ja) * 2001-01-22 2002-08-02 Matsushita Electric Ind Co Ltd 画像提供装置およびその方法
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4162398B2 (ja) * 2001-11-19 2008-10-08 株式会社日立製作所 映像表示システムおよびその方法
DE10300048B4 (de) * 2002-01-05 2005-05-12 Samsung Electronics Co., Ltd., Suwon Verfahren und Vorrichtung zur Bildcodierung und -decodierung
JP2004056335A (ja) * 2002-07-18 2004-02-19 Sony Corp 情報処理装置および方法、表示装置および方法、並びにプログラム
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
CN101184221A (zh) * 2007-12-06 2008-05-21 上海大学 基于视觉关注度的视频编码方法
JP5082141B2 (ja) * 2008-04-07 2012-11-28 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
KR20100095833A (ko) * 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Roi 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
JP5210212B2 (ja) * 2009-03-16 2013-06-12 キヤノン株式会社 画像処理装置、画像処理方法
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
KR101920646B1 (ko) * 2011-12-15 2018-11-22 한국전자통신연구원 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
JP2013157802A (ja) * 2012-01-30 2013-08-15 Mitsubishi Electric Corp 監視カメラ装置
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックIpマネジメント株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
JP6138453B2 (ja) * 2012-10-29 2017-05-31 京セラ株式会社 テレビ電話機能付き機器、プログラムおよびテレビ電話機能付き機器の制御方法
KR101492919B1 (ko) * 2012-12-21 2015-02-12 서울시립대학교 산학협력단 저비용 다중 카메라 감시 시스템 및 방법
US10514541B2 (en) * 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
WO2014131690A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method and device for calibration-free gaze estimation
US10242462B2 (en) * 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
KR101882594B1 (ko) * 2013-09-03 2018-07-26 토비 에이비 휴대용 눈 추적 디바이스
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム

Similar Documents

Publication Publication Date Title
JP2018110397A5 (ja)
JP2016521894A5 (ja)
FR2967804B1 (fr) Procede et dispositif de detection et de suivi d&#39;objets non rigides en mouvement, en temps reel, dans un flux video, permettant a un utilisateur d&#39;interagir avec un systeme informatique
WO2016153628A3 (en) Augmented reality content creation
MX2018013364A (es) Sistemas y metodos para presentar contenido.
JP2016515242A5 (ja)
JP2016529585A5 (ja)
RU2016136371A (ru) Дистанционное управление устройствами через обнаружение взгляда
JP2016528952A5 (ja)
JP2016511487A5 (ja)
JP2017508192A5 (ja)
WO2014140931A3 (en) Systems and methods for performing a triggered action
JP2013092964A5 (ja)
JP2014220723A5 (ja) 画像表示装置、画像表示方法、およびプログラム
WO2014142600A3 (en) Display control method and apparatus
MY173983A (en) Information providing apparatus, information providing method and program
JP2016514865A5 (ja)
JP2016085487A5 (ja)
EP2620863A3 (en) Intelligent gesture-based user&#39;s instantaneous interaction and task requirements recognition system and method
MY175525A (en) Method and apparatus to combine ocular control with motion control for human computer interaction
EP2800057A3 (en) Mobile determination of properties of a trajectory of a ball
GB2553926A (en) Automatic detection of panoramic gestures
JP2017195552A5 (ja)
JP2017535755A5 (ja)
JP2010268163A5 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム