JP2019047250A - 映像表示システム、映像表示方法及び映像表示プログラム - Google Patents

映像表示システム、映像表示方法及び映像表示プログラム Download PDF

Info

Publication number
JP2019047250A
JP2019047250A JP2017166923A JP2017166923A JP2019047250A JP 2019047250 A JP2019047250 A JP 2019047250A JP 2017166923 A JP2017166923 A JP 2017166923A JP 2017166923 A JP2017166923 A JP 2017166923A JP 2019047250 A JP2019047250 A JP 2019047250A
Authority
JP
Japan
Prior art keywords
user
imaging
unit
video
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017166923A
Other languages
English (en)
Inventor
真治 谷口
Shinji Taniguchi
真治 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Inc
Original Assignee
Fove Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Inc filed Critical Fove Inc
Priority to JP2017166923A priority Critical patent/JP2019047250A/ja
Priority to CN201810745800.4A priority patent/CN109429061A/zh
Priority to US16/038,293 priority patent/US10708652B2/en
Priority to TW107127049A priority patent/TW201921028A/zh
Priority to KR1020180092749A priority patent/KR20190024691A/ko
Publication of JP2019047250A publication Critical patent/JP2019047250A/ja
Priority to US16/888,298 priority patent/US20200296459A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザの視線方向に基づいて生成する次のフレームの生成時間に余裕のある映像表示システムを提供する。
【解決手段】
映像表示システムは、映像を受け付ける受付部と、受付部が受け付けた映像を表示する表示部と、ユーザの目に近赤外光を照射する照射部と、表示部に表示された映像を視認するユーザの目を、近赤外光に基づいて撮像する撮像部と、を備えるユーザが装置して映像を視聴する装着具と、撮像部が撮像した撮像画像に基づいて、ユーザの注視点を検出する視線検出部と、視線検出部が検出した注視点に基づいて、装着具に表示すべき映像を生成する映像生成部と、を備え、装着具は、表示部に表示される映像の各フレームが表示されるごとに、当該フレームをユーザが視認していると推定されるタイミングで撮像部による撮像が実行できるように撮像部に対して撮像の開始タイミングを指示する制御部とを備える。
【選択図】図１

Description

本発明は、ユーザの注視点に基づいて映像を生成して表示する映像表示システム、映像表示方法及び映像表示プログラムに関する。
従来、ユーザの頭部に装着して、映像を提示するものとして、ヘッドマウントディスプレイや、ウェアラブルグラスなどの開発が進められており、中には、ユーザの視線を検出するものもある。特許文献１には、ユーザの視線方向を検出可能な情報処理装置が開示されており、所定のタイミング毎にユーザの眼球画像を取得することを開示している。
特開２０１５−９０５６９号公報
ところで、このような視線の検出は、例えば、映像においては、次のフレームの映像データの作成に利用されることがある。より具体的には、例えば、ユーザが３６０度映像を視聴しているような場合にユーザの視線を中心とした次のフレームの映像データを作成し、表示する。このとき、視線の特定には、映像を視聴するユーザの目を撮像した撮像画像を用いて行われるが、所定のタイミングごとの撮像では、当該撮像画像は、実際にユーザがそのフレームを見ていることを保証するものではないという問題があった。また、次のフレームを用意するにあたって、ユーザの目を撮像し、撮像して得られた撮像画像を解析して、注視点を特定するという工程を経てから、映像データを用意することになるので、映像データの準備に使用可能な時間が短いという問題もあった。
そこで、本発明は上記問題に鑑みてなされたものであり、より正確に各フレームを視聴しているユーザの目の撮像画像を得ることができ、ユーザが視聴する映像データの準備のための時間を従来よりも長く確保できる映像表示システムを提供することを目的とする。
上記課題を解決するために、本発明の一態様に係る映像表示システムは、映像を受け付ける受付部と、受付部が受け付けた映像を表示する表示部と、ユーザの目に近赤外光を照射する照射部と、表示部に表示された映像を視認するユーザの目を、近赤外光に基づいて撮像する撮像部と、を備えるユーザが装置して映像を視聴する装着具と、撮像部が撮像した撮像画像に基づいて、ユーザの注視点を検出する視線検出部と、視線検出部が検出した注視点に基づいて、装着具に表示すべき映像を生成する映像生成部と、を備え、装着具は、表示部に表示される映像の各フレームが表示されるごとに、当該フレームをユーザが視認していると推定されるタイミングで撮像部による撮像が実行できるように撮像部に対して撮像の開始タイミングを指示する制御部とを備える。
上記課題を解決するために、本発明の一態様に係る映像表示方法は、映像を受け付ける受付ステップと、受付ステップにおいて受け付けた映像を表示する表示ステップと、ユーザの目に近赤外光を照射する照射ステップと、表示ステップにおいて表示される映像のフレームが表示されるごとに、当該フレームをユーザが視認していると推定されるタイミングで撮像が実行できるように撮像の開始タイミングを指示する制御ステップと、表示ステップにおいて表示された映像を視認するユーザの目を、指示された開始タイミングに従って、近赤外光に基づいて撮像する撮像ステップと、撮像ステップにおいて撮像した撮像画像に基づいて、ユーザの注視点を検出する視線検出ステップと、視線検出ステップにおいて検出した注視点に基づいて、装着具に表示すべき映像を生成する映像生成ステップとを含む。
上記課題を解決するために、本発明の一態様に係る映像表示プログラムは、コンピュータに、映像を受け付ける受付機能と、受付機能が受け付けた映像を表示する表示機能と、ユーザの目に近赤外光を照射する照射機能と、表示機能が表示される映像のフレームが表示されるごとに、当該フレームをユーザが視認していると推定されるタイミングで撮像が実行できるように撮像の開始タイミングを指示する制御機能と、表示機能が表示された映像を視認するユーザの目を、指示された開始タイミングに従って、近赤外光に基づいて撮像する撮像機能と、撮像機能が撮像した撮像画像に基づいて、ユーザの注視点を検出する視線検出機能と、視線検出機能が検出した注視点に基づいて、装着具に表示すべき映像を生成する映像生成機能とを実現させる。
また、上記映像表示システムにおいて、受付部は、受け付けた映像の映像データを、表示部に表示するための形式に変換し、表示部は、受付部が変換した映像データの表示の開始を示す同期信号を出力し、制御部は、同期信号に基づいて撮像部に開始タイミングを指示する指示信号を撮像部に出力することとしてもよい。
また、上記映像表示システムにおいて、制御部は、ユーザが表示部にフレームの表示が開始されてから視認するまでの時間に応じて、指示信号を出力することとしてもよい。
また、上記映像表示システムにおいて、制御部は、更に、照射部が近赤外光をユーザの目に照射するタイミングを制御することとしてもよい。
本発明の一態様に係る映像表示システムは、ユーザの目を撮像するタイミングを制御することにより、より正確に映像を視聴しているユーザの目を撮像することができる。また、映像表示システムは、撮像のタイミング制御により撮像のタイミングの開始を従来よりも早めることで、次に視聴する映像データの準備に余裕を持たせることができる。
映像表示システムの構成例を示すブロック図である。 ヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 ヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 ヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 映像表示システムの動作例を示すフローチャートである。 撮像タイミングのタイミング制御を行わなかった場合のタイミングチャートである。 撮像タイミングのタイミング制御を行った場合のタイミングチャートである。
以下、本発明に係る映像表示システムの一態様について、図面を参照しながら説明する。
＜実施の形態＞
本発明に係る映像表示システムは、図１に示すように、映像表示システム１は、映像を受け付ける受付部１１０と、受付部が受け付けた映像を表示する表示部１０２と、ユーザの目に近赤外光を照射する照射部１３５と、表示部１０２に表示された映像を視認するユーザの目を、近赤外光に基づいて撮像する撮像部１４０と、を備えるユーザが装置して映像を視聴する装着具１００と、映像表示システムは、記撮像部が撮像した撮像画像に基づいて、ユーザの注視点を検出する視線検出装置２００と、視線検出部２２０が検出した注視点に基づいて、装着具１００に表示すべき映像を生成する映像生成部２５０と、を備え、装着具１００は、表示部１０２に表示される映像の各フレームが表示されるごとに、当該フレームをユーザが視認していると推定されるタイミングで撮像部１４０による撮像が実行できるように撮像部１４０に対して撮像の開始タイミングを指示する制御部１２０とを備える。
即ち、映像表示システム１は、撮像部１４０による撮像タイミングを制御することにより、表示部１０２に表示された映像（フレーム）を実際にユーザが視認していると推定されるタイミングで撮像できるとともに、次にユーザが視認する映像（フレーム）を、ある程度余裕をもって生成することができる。以下、映像表示システム１について詳細に説明する。
図２は、実施の形態に係る映像表示システム１の概観を模式的に示す図である。実施の形態に係る映像表示システム１は、装着具１００の一例として示したヘッドマウントディスプレイ１００と視線検出装置２００とを含む。以下においては、装着具１００は、ヘッドマウントディスプレイ１００と記載する。図２に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。
視線検出装置２００は、視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の少なくとも一方の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図２に示す例では有線（例えば、ＵＳＢケーブル）により視線検出装置２００がヘッドマウントディスプレイ１００と接続している例を示しているが、これは、無線接続でもよい。無線接続の場合、視線検出装置２００がヘッドマウントディスプレイ１００と実行する無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（登録商標）やＷｉＧｉｇ（登録商標）、ＷＨＤＩ（登録商標）等の規格に則って実行される。
なお、図２は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。
ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。
ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。
図３は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図３は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。
図３に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。
以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。
レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図３においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図３に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易だからである。
上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。
図４は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図３に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および出力部１８０を備える。
赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。
画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像生成部２３２が生成する。映像生成部２３２については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）等を用いて実現できる。
ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。
凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。
凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図３では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよいし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。
複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。
図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。
上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。
ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。
なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する左目撮像カメラ１１６ａと、左目で反射された赤外光を含む画像を撮像する右目撮像カメラ１１６ｂとを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。
出力部１８０は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、出力部１８０は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線検出部２２０の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。
詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。赤外光源からの近赤外光は、ある程度の指向性を有するものの、ある程度の拡散光も照射しており、ユーザ３００の眼の画像は、当該拡散光により撮像される。
以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。
図１に戻って、図１は、映像表示システム１の詳細構成を示すブロック図である。図１に示すように、映像表示システム１は、ヘッドマウントディスプレイ１００と、視線検出装置２００とを含む。
図１に示すようにヘッドマウントディスプレイ１００は、受付部１１０と、表示部１０２と、制御部１２０と、照射部１３５と、撮像部１４０と、出力部１８０とを備える。受付部１１０と、表示部１０２と、制御部１２０と、照射部１３５と、撮像部１４０と、出力部１８０とは、互いに異なる回路により実現され、図に示すように接続される。
受付部１１０は、表示部１０２に表示すべき映像データを受け付ける機能を有する。受付部１１０は、入力端子１１１と、出力端子１１３とを備える。入力端子１１１は、映像データを例えば、ビデオ信号として受け付ける。そして、受付部１１０は、受け付けたビデオ信号をＭＩＰＩ（Mobile Industry Processor Interface）形式に変換する。そして、変換後のビデオ信号を出力端子１１３から出力して、表示部１０２に伝達する。受付部１１０は、映像データを受け付ける入力インターフェースであり、入力端子１１１は、例えば、ＵＳＢ端子であってよい。なお、ここでは、受け付けたビデオ信号をＭＩＰＩ形式に変換しているが、これは一例であり、ＬＶＤＳ（Low Voltage Differential Signalling）信号、ベースバンド信号などその他の形式の信号に変換するものであってもよく以降においても同様とする。また、入力端子についてもＵＳＢ端子は一例に過ぎず、その他の端子や入力機構であってよく、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）、ディスプレイポート、無線通信チップなどを用いてもよい。
表示部１０２は、受付部１１０で受け付けた映像データを表示する機能を有するディスプレイユニットである。表示部１０２は、伝達されたＭＩＰＩ形式のビデオ信号を入力端子１０４で受け付け、受け付けたビデオ信号に基づく画像を画像表示素子１０８に表示する。また、表示部１０２は、書き込みの開始のトリガとして垂直同期信号を用いており、この垂直同期信号を出力するとともに、出力端子１０６から制御部１２０にも出力する。なお、ここでは、出力端子１０６から垂直同期信号を出力する構成を例示しているが、これは受付部１１０が有する同期用出力から制御部１２０に出力する構成を用いてもよい。また、表示部１０２は、映像生成部２５０から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。
制御部１２０は、撮像部１４０による撮像のタイミングを制御する機能を有する。また、制御部１２０は、照射部１３５による赤外光源１０３からの近赤外光の照射のタイミングを制御する機能も有する。制御部１２０は、入力端子１２１と、入力端子１２２と、照射遅延制御部１２３と、撮像遅延制御部１２４と、出力端子１２５と、出力端子１２６とを備える。制御部１２０は、例えば、マイクロプロセッサである。
入力端子１２１は、視線検出装置２００と接続するための端子であり、視線検出装置２００から、視認タイミングを受け付けて、照射遅延制御部１２３と、撮像遅延制御部１２４とに伝達する。ここで、視認タイミングとは、ユーザ３００が映像の１フレームが表示部１０２により表示されて、実際に内容を視認して注視点が確定したときの時刻に関する情報のことである。視認タイミングは、ユーザ３００によって、その反応速度の差に起因して、その時刻は変化（前後）する。
入力端子１２２は、表示部１０２から出力された垂直同期信号を受け付けるための端子であり、当該信号を受け付けたタイミングを撮像遅延制御部１２４に伝達する。
照射遅延制御部１２３は、照射部１３５の左目用ＬＥＤ１０３ａと、右目用ＬＥＤ１０３ｂとを用いてユーザ３００の目に近赤外光を照射する照射タイミングを制御する機能を有する。具体的には、照射遅延制御部１２３は、入力端子１２１から伝達された視認タイミングと、入力端子１２２から伝達された垂直同期信号のタイミングとに基づいて、ユーザの目を撮像すべきタイミングにおいて近赤外光が照射されているように、照射タイミング信号を生成し、出力端子１２５に伝達する。照射タイミングは、撮像部１４０による撮像のタイミングより若干早い方が望ましい。なお、照射タイミングは、厳密には、映像データの次のフレームにおけるユーザの目を撮像するタイミングにおいて近赤外光を照射するタイミングを示すものである。赤外光源１０３（ＬＥＤ１０３ａ、１０３ｂ）から近赤外光を照射するタイミングを制御し、ＯＮ／ＯＦＦを行うことで、照射部１３５における省電力を図ることができる。
撮像遅延制御部１２４は、撮像部１４０が左目撮像カメラ１１６ａと、右目撮像カメラ１１６ｂとのそれぞれにユーザの目を撮像すべきタイミングを制御する機能を有する。撮像遅延制御部１２４は、入力端子１２１から伝達された視認タイミングと、入力端子１２２から伝達された垂直同期信号のタイミングとに基づいて、撮像部１４０が撮像を開始すべき撮像タイミングを示す撮像タイミング信号を生成し、出力端子１２６に伝達する。撮像タイミング信号は、ユーザ３００が表示部１０２により表示された映像の１フレームを実際に視認し注視点が確定したと推定されるタイミングで撮像が行われるように、撮像の起動を指示する信号であるともいえる。なお、撮像タイミングは、厳密には、映像データの次のフレームにおいてユーザの目を撮像するべきタイミングを示すものである。
出力端子１２５は、照射部１３５に対して、伝達された照射タイミング信号を伝達する機能を有する。
出力端子１２６は、撮像部１４０に対して、伝達された撮像タイミング信号を伝達する機能を有する。
照射部１３５は、ユーザの目に近赤外光を照射する機能を有する。照射部１３５は、左目用ＬＥＤ（近赤外光源）１０３ａと、右目用ＬＥＤ（近赤外光源）１０３ｂとを備える。照射部１３５は、出力端子１２５から伝達された照射タイミング信号に従って、左目用ＬＥＤ１０３ａと右目用ＬＥＤ１０３ｂとを点灯する。
撮像部１４０は、照射部１３５により照射された近赤外光に基づいて、ユーザ３００の目を撮像する機能を有する。撮像部１４０は、左目撮像カメラ１１６ａと、右目撮像カメラ１１６ｂとを備える。撮像部１４０は、出力端子１２６から伝達された撮像タイミング信号に従って、左目撮像カメラ１１６ａと、右目撮像カメラ１１６ｂとを起動し、映像を視認するユーザ３００の目を撮像する。撮像部１４０は、撮像した撮像画像を、出力部１８０に伝達する。なお、撮像タイミングの制御は、グローバルシャッターを開いているタイミングを制御するものであってもよい。
出力部１８０は、撮像部１４０が撮像した撮像画像を、視線検出装置２００に出力する機能を有するインターフェースである。出力部１８０は、入力端子１８２と、出力端子１８１とを備える。出力部１８０は、入力端子１８２で撮像部１４０から受け付けた撮像画像を、出力端子１８１を介して、視線検出装置２００に伝達する。出力端子１８１は、例えば、ＵＳＢ端子により実現することができる。
以上が、ヘッドマウントディスプレイ１００の構成である。次に、視線検出装置２００について説明する。
視線検出装置２００は、入力端子２１０と、視線検出部２２０と、映像生成部２５０と、出力端子２３０と、出力端子２４０とを備える。
入力端子２１０は、ヘッドマウントディスプレイ１００から送信された撮像画像の入力を受け付けるための端子である。入力端子２１０は、例えば、ＵＳＢ端子により実現することができる。入力端子２１０は、受信した撮像画像を視線検出部２２０に伝達する。
視線検出部２２０は、伝達された撮像画像に基づいて、ユーザ３００の視線を検出する機能を有する。視線検出部２２０は、例えば、マイクロプロセッサにより実現することができる。視線検出部２２０は、画像解析部２２１と、検出部２２２と、撮像制御部２２３とを備える。
画像解析部２２１は、伝達された撮像画像から、ユーザ３００の角膜位置などを特定する。
検出部２２２は、画像解析部２２１による撮像画像の解析結果を用いて、ユーザ３００の映像における注視点を検出する。検出部２２２は、検出した注視点を映像生成部２５０に伝達する。
撮像制御部２２３は、ユーザ３００が表示された映像を実際に視認するまでに要した時間を特定し、当該時間を視認タイミングとして、出力端子２３０に伝達する。撮像制御部２２３は、例えば、予め定められた一般的に人間が対象を明確に視認しているとされるまでに要する時間としてデフォルトの値を用いたり、画像変化のタイミングと注視点変化のタイミングとの時間間隔から得られる遅延推定値を用いたりして、視認するまでに要する時間を特定する。
視線検出部２２０によるユーザ３００の視線の検出手法の更なる詳細については後述する。
映像生成部２５０は、検出部２２２から伝達されたユーザ３００の注視点に基づいて、次のフレームの映像データを生成する。例えば、映像生成部２５０は、ユーザ３００の注視点を中心とした所定範囲（例えば、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示可能な表示範囲）の映像データを生成する。また、映像生成部２５０は、例えば、ユーザ３００の注視点を中心とした所定範囲を高解像度、当該所定範囲外を低解像度として映像データを生成することとしてもよい。そして、生成した映像データを出力端子２４０に伝達する。
出力端子２３０は、撮像制御部２２３から伝達された視認タイミングを、ヘッドマウントディスプレイ１００に伝達する機能を有する。出力端子２３０は、例えば、ＵＳＢ端子により実現することができる。
出力端子２４０は、映像生成部２５０から伝達された映像データを、ビデオ信号として、ヘッドマウントディスプレイ１００に伝達する機能を有する。出力端子２４０は、例えば、ＵＳＢ端子により実現することができるが、入力端子と同様に、ＨＤＭＩ、ディスプレイポートなども利用できる。また、出力端子２４０は、映像データを出力するタイミングを、撮像制御部２２３にも伝達する。これにより、出力する映像データに同期して撮像制御部２２３が視認タイミングを伝達することができるので、ヘッドマウントディスプレイ１００は、視線検出装置２００から出力される映像データに同期した撮像を実現することができる。
以上が視線検出装置２００の構成の説明である。次に、ユーザの注視点の検出について説明する。
図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し出力部１８０が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２０及び視線検出部２２０が解析することにより実現される。
映像生成部２３２は、図５に示すような点Ｑ１〜Ｑ９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ１〜点Ｑ９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ１〜Ｑ９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。
図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２０は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２０は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。
視線検出部２２０はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２０は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。
図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ１〜点Ｑ９の座標をそれぞれＱ１（ｘ１，ｙ１）Ｔ，Ｑ２（ｘ２，ｙ２）Ｔ・・・，Ｑ９（ｘ９，ｘ９）Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ１〜点Ｑ９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ１〜Ｐ９とする。このとき、２次元座標系３０６における点Ｐ１〜Ｐ９の座標をそれぞれＰ１（Ｘ１，Ｙ１）Ｔ，Ｐ２（Ｘ２，Ｙ２）Ｔ，・・・，Ｐ９（Ｘ９，Ｙ９）Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。
いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。
Figure 2019047250
このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
ＱＮ＝ＭＰＮ （Ｎ＝１，・・・，９） （２）
上記式（２）を具体的に書き下すと以下の式（３）のようになる。
Figure 2019047250
式（３）を変形すると以下の式（４）を得る。
Figure 2019047250
 ここで、
Figure 2019047250
 とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）
式（５）において、ベクトルｙの要素は視線検出部２２０が画像表示素子１０８に表示させる点Ｑ１〜Ｑ９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２０は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。
式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２０がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。
ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘｏｐｔは、以下の式（６）で求められる。
ｘｏｐｔ＝（ＡＴＡ）−１ＡＴｙ （６）
ここで「−１」は逆行列を示す。
視線検出部２２０は、求めたベクトルｘｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２０は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８に表示される動画像上のどこを注視しているかを推定できる。ここで、視線検出部２２０は、更に、ユーザの眼と、画像表示素子１０８間の距離情報をヘッドマウントディスプレイ１００から受信し、その距離情報に応じて、推定したユーザが注視している座標値を修正する。なお、ユーザの眼と画像表示素子１０８との間の距離による注視位置の推定のずれは誤差の範囲として無視してもよい。これにより、視線検出部２２０は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、視線検出部２２０は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。なお、片目だけの視線ベクトルで２次元平面上でのユーザの注視点を特定することができ、両眼の視線ベクトルを得ることでユーザの注視点の奥行き方向の情報まで算出することができる。視線検出装置２００はこのようにしてユーザの注視点を特定することができる。なお、ここに示した注視点の特定方法は一例であり、本実施の形態に示した以外の手法を用いて、ユーザの注視点を特定してもよい。
以上が映像表示システム１の構成である。
＜動作＞
図７は、映像表示システム１におけるヘッドマウントディスプレイ１００の動作を示すフローチャートである。図７は、映像データの１フレームに対するヘッドマウントディスプレイ１００の動作を示すものであり、図７に示す処理は繰り返し実行される。
図７に示すように、まず、ヘッドマウントディスプレイ１００の受付部１１０は、視線検出装置２００から映像データを受け付ける（ステップＳ７０１）。受付部１１０は、受け付けたビデオ信号をＭＩＰＩ形式の信号に変換して、表示部１０２に伝達する。
表示部１０２は、受け付けたＭＩＰＩ形式の映像信号の表示を開始し（ステップＳ７０２）、垂直同期信号を出力端子１０６から制御部１２０に出力し、制御部１２０は、入力端子１２２で当該垂直同期信号を受け取る。
一方、制御部１２０の入力端子１２１は、視線検出部２２０から、ユーザ３００の視認タイミングの入力を受け付ける（ステップＳ７０３）。入力端子１２１は、受け付けた視認タイミングを、照射遅延制御部１２３と、撮像遅延制御部１２４とに伝達する。
照射遅延制御部１２３は、伝達された視認タイミングに基づいて、次のフレームにおける遅延量を決定する。また、撮像遅延制御部１２４は、伝達された視認タイミングと、垂直同期信号のタイミングとに基づいて、次のフレームにおける遅延量を決定する（ステップＳ７０４）。即ち、撮像遅延制御部１２４は、伝達された垂直同期信号に、視認タイミングに基づいて映像の表示開始からユーザが実際に視認するまでの時間を加算し、そこから撮像開始から実際に撮像を行うまでに要する時間を減算し、減算結果が負の値になる場合には、映像データにおけるフレームの１周期分の時間を加算して撮像タイミング信号を生成する。なお、照射と撮像のタイミングについての周期性を確立できた後には、照射遅延制御部１２３や撮像遅延制御部１２４は、垂直同期信号からの遅延時間を固定して、照射タイミング信号や撮像タイミング信号を生成することとしてもよい。
制御部１２０は、決定した遅延量に基づいて生成した照射タイミング信号を、照射部１３５に伝達するとともに、生成した撮像タイミング信号を撮像部１４０に伝達する（ステップＳ７０５）。
照射部１３５は、伝達された照射タイミング信号で示されるタイミングで、左目用ＬＥＤ１０３ａと、右目用ＬＥＤ１０３ｂとを点灯して、ユーザ３００の目に近赤外光を照射する（ステップＳ７０６）。
また、撮像部１４０は、伝達された撮像タイミング信号で示されるタイミングで、左目撮像カメラ１１６ａと、右目撮像カメラ１１６ｂとによるユーザの目の撮像を開始し、撮像画像を得る（ステップＳ７０７）。
撮像部１４０は、撮像画像を出力部１８０に伝達し、出力部１８０は、伝達された撮像画像を、視線検出装置２００に出力する（ステップＳ７０８）。
これにより、１フレーム分に対応するユーザの目を撮像した撮像画像を得ることができる。当該撮像画像を受信した視線検出装置２００は、画像解析部２２１が解析してユーザ３００の画像における角膜位置を特定し、画像解析部２２１の解析結果を受けて、検出部２２２がユーザ３００の注視点を特定する。そして、映像生成部２５０は、視線検出部２２０が検出した注視点に基づいて次のフレームの映像データを生成し、出力端子２４０からヘッドマウントディスプレイ１００に出力する。また、併せて、撮像制御部２２３が、視認タイミングを生成して、映像データの出力に同期して、当該視認タイミングをヘッドマウントディスプレイ１００の制御部１２０に伝達する。
以上が、映像表示システム１の動作である。
＜具体例＞
ここから、信号の一具体例を用いて、映像表示システム１の動作とその効果を説明する。
図８は、撮像タイミングの制御を行わなかった場合のタイミングチャートを示し、図９は、撮像タイミングの制御を行った場合のタイミングチャートを示している。両図面において、横軸は時間軸を示し、ここでは、ｍｓのオーダーで時間の経過を示している。また、両図面において、左側には、映像表示システム１において、どこの信号であるかを示している。また、映像の１フレームを表示する周期をここでは１１ｍｓであるとする。即ち、映像表示システム１においては、１１ｍｓの間に、映像の１フレームを表示し、ユーザの目を撮像し、撮像画像からユーザの注視点を特定し、特定した注視点から次の１フレームのデータを生成するという処理まで行う必要があるものとする。
図８、図９において、各信号は、上から順に出力端子２４０から出力される信号Ｓ１のタイミング、入力端子１１１が信号を受け付けるタイミング、出力端子１１３から出力される信号Ｓ２のタイミング、入力端子１０４が信号を受け付けるタイミング、出力端子１０６から出力される信号Ｓ３のタイミング、入力端子１２２が信号を受け付けるタイミング、制御部１２０の出力端子１２６から出力される信号Ｓ４（撮像開始タイミングを規定する信号）のタイミング、撮像部１４０が信号を受け付けるタイミング、撮像部１４０から出力される信号Ｓ５のタイミングであって撮像画像が出力されるタイミング、入力端子１８２が撮像画像を受け取るタイミング、出力端子１８１から出力される信号Ｓ６のタイミングであって撮像画像がヘッドマウントディスプレイ１００から視線検出装置２００に送信されるタイミング、入力端子２１０が撮像画像を受信するタイミング、入力端子２１０から視線検出部２２０に出力される信号Ｓ７のタイミング、画像解析部２２１が信号を受け取るタイミング、画像解析部２２１から出力される信号Ｓ８のタイミング、出力端子２４０から出力される信号Ｓ１のタイミングをそれぞれ示している。
図８や図９に示すように、映像表示システム１においては、各種の処理遅延が発生する。図８の場合で言えば、受付部１１０におけるビデオ信号の形式変換により１ｍｓ程度の遅延（図８の０ｍｓ〜１ｍｓにおける信号Ｓ１と信号Ｓ２とを参照）、表示部１０２における映像データを受け付けてから垂直同期信号を出力するまでに発生する１ｍｓ程度の遅延（図８の１ｍｓ〜２ｍｓにおける信号Ｓ２と信号Ｓ３とを参照）、制御部１２０における０．５ｍｓ程度の処理遅延（図８の１ｍｓ〜２ｍｓにおける信号Ｓ３と信号Ｓ４とを参照）、撮像部１４０による撮像して撮像画像を出力するまでの０．５ｍｓ程度の処理遅延（図８の２ｍｓ前後における信号Ｓ４と信号Ｓ５とを参照）、出力部１８０における処理遅延（図８の２ｍｓ〜３ｍｓにおける信号Ｓ５と信号Ｓ６とを参照）、入力端子２１０から視線検出部２２０（画像解析部２２１）への０．５ｍｓ程度の伝達遅延（図８の３ｍｓ〜４ｍｓにおける信号Ｓ６と信号Ｓ７とを参照）、画像解析部２２１における解析による３ｍｓ程度の処理遅延（図８の３ｍｓ〜７ｍｓにおける信号Ｓ７と２２１とを参照）、画像解析部２２１からの出力処理による０．２ｍｓ程度の処理遅延（図８の６ｍｓ〜７ｍｓにおける２２１と信号Ｓ８とを参照）などの遅延が存在する。これらの遅延の結果、映像生成部２５０に対して注視点の情報が伝達されるのは、図８の例で言えば、７ｍｓの少し前ということになる。
したがって、撮像タイミング制御を行わなかった場合、映像生成部２５０は、図８の７ｍｓ〜１１ｍｓにかけての４ｍｓ程度しか映像データを用意する時間がないことになる。
これに対して、本実施の形態に示したように、また、図９のタイミングチャートに示すように撮像タイミング制御を行ったとする。即ち、制御部１２０（撮像遅延制御部１２４）は、図９の矢印に示すように、撮像の開始タイミングを示す信号（Ｓ４）の出力を早める制御を行ったとする。すると、当然に映像生成部２５０に注視点が伝達されるタイミングも早めることができる。
なお、厳密には、１ｍｓにおける信号をトリガとして、それよりも前の時間の別の信号のトリガとはできないので、実際には、次のフレームの撮像開始タイミングを決定することになる。即ち、撮像遅延制御部１２４は、伝達された垂直同期信号のタイミングに応じて、次のフレームを視聴するユーザの目を撮像する撮像タイミング（図９の９ｍｓにおける信号Ｓ４参照）を決定することになる。この撮像タイミングに基づいて、１１ｍｓにおいて信号Ｓ１に示される映像データを視認するユーザの目が撮像されることとなる。
よって、撮像タイミング制御を行うことにより、図９において、映像生成部２５０に注視点の情報が早めに伝達されることになる。したがって、映像生成部２５０は、３ｍｓ〜１１ｍｓまでの間の８ｍｓもの時間をかけて、次のフレームの映像データを生成することができるようになり、映像生成部２５０の映像データの生成処理に余裕を持たせることができるようになる。
なお、図８、図９に示した各種処理や伝達により発生する遅延量はあくまで一例であり、使用する回路によって異なってくることは言うまでもなく、それぞれの処理による遅延量に応じて撮像タイミング信号で示す撮像の開始タイミングを変更する必要があることに留意されたい。
＜まとめ＞
本実施の形態に係る映像表示システムによれば、表示部１０２が新たなデータを受け付けて、その表示を開始する（垂直同期を行う）タイミングに基づいて、先んじて撮像部１４０によるユーザ３００の目の撮像の開始を指示することができる。したがって、垂直同期を開始してから表示された映像をユーザ３００が実際に視認したタイミングちょうどでユーザの目を撮像することができる。よって、表示部１０２が画像の表示を終了したタイミングから撮像部１４０による撮像を開始するよりも撮像画像の視線検出部２２０への伝達タイミングを早めることができるので、映像生成部２５０による映像データの生成に余裕を持たせることができる。
＜補足＞
上記実施の形態に係る映像表示システムは、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
（１） 上記実施の形態においては、装着具１００と、視線検出装置２００とを、ＵＳＢケーブルにて接続することとしたが、これはその限りではなく、一部または全部（Ｓ１の経路、Ｓ６の経路、出力端子２３０から入力端子１２１への経路の内の一部または全部）が無線通信に置換されてもよい。また、装着具１００と、視線検出装置２００とを接続し、情報を伝達するためのケーブルは、図１に示すような複数のケーブルではなく、一つのケーブルにより実現することとしてもよい。
（２） 上記実施の形態においては、制御部１２０は、視線検出装置２００からユーザの視認タイミングを受け付けて、撮像部１４０及び照射部１３５による照射タイミングを決定していたが、これはその限りではない。照射遅延制御部１２３は、固定の時間だけフィードフォワード（フィードバック）することとしてもよい。同様に、撮像遅延制御部１２４も、固定の時間だけフィードフォワードすることとしてもよい。また、あるいは制御部１２０は、ユーザの属性に応じて、複数の互いに異なる時間長の固定の時間を記憶しておき、例えば、ユーザの属性としてユーザの年齢に応じて固定の時間長を決定してフィードフォワードの時間としてもよい。固定の時間長は、ユーザ３００の年齢が高いほど長くなるように設定されていてもよい。また、映像表示システム１にユーザ登録機能を設けることとしてもよく、この場合、各ユーザの視認タイミングを予め記憶しておくことで、撮像制御部２２３の処理を軽減することもできる。
（３） 上記実施の形態においては、視線検出装置２００と装着具１００とを別の装置として説明したが、上述した通り、視線検出装置２００は、装着具１００に内蔵されてもよい。また、このとき、視線検出装置２００の一部の機能のみが装着具１００に備えられてもよい。
（４） 上記実施の形態において、照射部１３５は、左目用ＬＥＤ１０３ａ、右目用ＬＥＤ１０３ｂを常時点灯することとしてもよい。
（５） 上記実施の形態においては、示していないが、装着具１００は、映像データや、視認タイミング、撮像部１４０が撮像した撮像画像を記憶するための記憶部を備えてもよい。同様に、視線検出装置２００も受信した撮像画像などを記憶するための記憶部を備えてもよい。
（６） 上記実施の形態においては、視線検出装置においてユーザの目を撮像するタイミングを制御する手法として、視線検出装置を構成する各プロセッサが所与の機能を実行することにより実現することとしているが、これは各回路を集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））、ＦＰＧＡ（Field Programmable Gate Array）等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。また、制御部１２０による撮像タイミング制御、照射タイミング制御は、制御部１２０がタイミング制御のためのタイミング制御プログラム（映像表示プログラム）を実行することにより、ソフトウェアにより実現することとしてもよい。
また、上記タイミング制御プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記タイミング制御プログラムは、当該タイミング制御プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記タイミング制御プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
なお、上記タイミング制御プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）、Ｃ＋＋、Ｃ＃、などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
（７）上記実施の形態に示した構成並びに各（補足）を適宜組み合わせることとしてもよい。
１ 映像表示システム、 １００ 装着具（ヘッドマウントディスプレイ）、 １０３ａ 赤外光源（右目用ＬＥＤ）、 １０３ｂ 赤外光源（左目用ＬＥＤ）、 １０４ 入力端子、 １０５ 輝点、 １０６ 出力端子、 １０８ 画像表示素子、 １１１ 入力端子、 １１２ ホットミラー、 １１３ 出力端子、 １１４，１１４ａ，１１４ｂ 凸レンズ、 １１６ カメラ、 １１６ａ 右目撮像カメラ、 １１６ｂ 左目撮像カメラ、 １２０ 制御部、 １２１ 入力端子、 １２２ 入力端子、 １２３ 照射遅延制御部、 １２４ 撮像遅延制御部、 １２５ 出力端子、 １２６ 出力端子、 １３０ 画像表示系、 １３５ 照射部、 １４０ 撮像部、 １５０ 筐体、 １５２ａ，１５２ｂ レンズ保持部、 １６０ 装着具、 １７０ ヘッドフォン、１８０ 出力部、 １８１ 出力端子、 １８２ 入力端子、 ２００ 視線検出装置、 ２１０ 入力端子、 ２２０ 視線検出部、 ２２１ 画像解析部、 ２２２ 検出部、 ２２３ 撮像制御部、 ２３０ 出力端子、 ２４０ 出力端子、 ２５０ 映像生成部。

Claims (6)

  1. 映像を受け付ける受付部と、
    前記受付部が受け付けた映像を表示する表示部と、
    ユーザの目に近赤外光を照射する照射部と、
    前記表示部に表示された映像を視認する前記ユーザの目を、前記近赤外光に基づいて撮像する撮像部と、を備える前記ユーザが装置して映像を視聴する装着具と、
    前記撮像部が撮像した撮像画像に基づいて、前記ユーザの注視点を検出する視線検出部と、
    前記視線検出部が検出した注視点に基づいて、前記装着具に表示すべき映像を生成する映像生成部と、を備え、
    前記装着具は、
    前記表示部に表示される映像の各フレームが表示されるごとに、当該フレームを前記ユーザが視認していると推定されるタイミングで前記撮像部による撮像が実行できるように前記撮像部に対して撮像の開始タイミングを指示する制御部とを備える映像表示システム。
  2. 前記受付部は、受け付けた映像の映像データを、前記表示部に表示するための形式に変換し、
    前記表示部は、前記受付部が変換した映像データの表示の開始を示す同期信号を出力し、
    前記制御部は、前記同期信号に基づいて前記撮像部に前記開始タイミングを指示する指示信号を前記撮像部に出力する
    ことを特徴とする請求項１に記載の映像表示システム。
  3. 前記制御部は、前記ユーザが前記表示部に前記フレームの表示が開始されてから視認するまでの時間に応じて、前記指示信号を出力する
    ことを特徴とする請求項２に記載の映像表示システム。
  4. 前記制御部は、更に、前記照射部が前記近赤外光を前記ユーザの目に照射するタイミングを制御する
    ことを特徴とする請求項１〜３のいずれか一項に記載の映像表示システム。
  5. 映像を受け付ける受付ステップと、
    前記受付ステップにおいて受け付けた映像を表示する表示ステップと、
    ユーザの目に近赤外光を照射する照射ステップと、
    前記表示ステップにおいて表示される映像のフレームが表示されるごとに、当該フレームを前記ユーザが視認していると推定されるタイミングで撮像が実行できるように撮像の開始タイミングを指示する制御ステップと、
    前記表示ステップにおいて表示された映像を視認する前記ユーザの目を、前記指示された開始タイミングに従って、前記近赤外光に基づいて撮像する撮像ステップと、
    前記撮像ステップにおいて撮像した撮像画像に基づいて、前記ユーザの注視点を検出する視線検出ステップと、
    前記視線検出ステップにおいて検出した注視点に基づいて、表示すべき映像を生成する映像生成ステップとを含む映像表示方法。
  6. コンピュータに、
    映像を受け付ける受付機能と、
    前記受付機能が受け付けた映像を表示する表示機能と、
    ユーザの目に近赤外光を照射する照射機能と、
    前記表示機能が表示される映像のフレームが表示されるごとに、当該フレームを前記ユーザが視認していると推定されるタイミングで撮像が実行できるように撮像の開始タイミングを指示する制御機能と、
    前記表示機能が表示された映像を視認する前記ユーザの目を、前記指示された開始タイミングに従って、前記近赤外光に基づいて撮像する撮像機能と、
    前記撮像機能が撮像した撮像画像に基づいて、前記ユーザの注視点を検出する視線検出機能と、
    前記視線検出機能が検出した注視点に基づいて、表示すべき映像を生成する映像生成機能とを実現させる映像表示プログラム。
JP2017166923A 2017-08-31 2017-08-31 映像表示システム、映像表示方法及び映像表示プログラム Pending JP2019047250A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017166923A JP2019047250A (ja) 2017-08-31 2017-08-31 映像表示システム、映像表示方法及び映像表示プログラム
CN201810745800.4A CN109429061A (zh) 2017-08-31 2018-07-09 影像显示系统、影像显示方法及影像显示程序
US16/038,293 US10708652B2 (en) 2017-08-31 2018-07-18 Video display system, video display method, and video display program
TW107127049A TW201921028A (zh) 2017-08-31 2018-08-03 影像顯示系統、影像顯示方法及影像顯示程式
KR1020180092749A KR20190024691A (ko) 2017-08-31 2018-08-09 영상 표시 시스템, 영상 표시 방법 및 영상 표시 프로그램
US16/888,298 US20200296459A1 (en) 2017-08-31 2020-05-29 Video display system, video display method, and video display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017166923A JP2019047250A (ja) 2017-08-31 2017-08-31 映像表示システム、映像表示方法及び映像表示プログラム

Publications (1)

Publication Number Publication Date
JP2019047250A true JP2019047250A (ja) 2019-03-22

Family

ID=65434280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017166923A Pending JP2019047250A (ja) 2017-08-31 2017-08-31 映像表示システム、映像表示方法及び映像表示プログラム

Country Status (5)

Country Link
US (2) US10708652B2 (ja)
JP (1) JP2019047250A (ja)
KR (1) KR20190024691A (ja)
CN (1) CN109429061A (ja)
TW (1) TW201921028A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043368A (ja) * 2019-09-12 2021-03-18 キヤノン株式会社 電子機器およびその制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902627B2 (en) * 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
US11881151B2 (en) * 2019-06-07 2024-01-23 Stereyo Bv Method for producing an image by a display and recording said image by a camera
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置和计算机可读存储介质
CN114035323B (zh) * 2021-10-29 2022-09-23 歌尔光学科技有限公司 一种用于眼球追踪的显示面板及智能眼镜
US12119330B2 (en) 2022-12-19 2024-10-15 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12080224B2 (en) 2022-12-19 2024-09-03 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display
US12112695B2 (en) 2022-12-19 2024-10-08 Stereyo Bv Display systems and methods with multiple and/or adaptive primary colors
US12100363B2 (en) 2022-12-19 2024-09-24 Stereyo Bv Configurations, methods, and devices for improved visual performance of a light-emitting element display and/or a camera recording an image from the display

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
JP2015090569A (ja) 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043368A (ja) * 2019-09-12 2021-03-18 キヤノン株式会社 電子機器およびその制御方法
JP7358130B2 (ja) 2019-09-12 2023-10-10 キヤノン株式会社 電子機器およびその制御方法

Also Published As

Publication number Publication date
US10708652B2 (en) 2020-07-07
US20190064923A1 (en) 2019-02-28
TW201921028A (zh) 2019-06-01
CN109429061A (zh) 2019-03-05
US20200296459A1 (en) 2020-09-17
KR20190024691A (ko) 2019-03-08

Similar Documents

Publication Publication Date Title
US10708652B2 (en) Video display system, video display method, and video display program
US12008151B2 (en) Tracking and drift correction
US20180004289A1 (en) Video display system, video display method, video display program
JP7036879B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
CN109074681B (zh) 信息处理装置、信息处理方法和程序
US20180007258A1 (en) External imaging system, external imaging method, external imaging program
WO2017090203A1 (ja) 視線検出システム、注視点特定方法及び注視点特定プログラム
JP6465672B2 (ja) 情報処理装置および情報処理方法
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
TW201802642A (zh) 視線檢測系統
US20200213467A1 (en) Image display system, image display method, and image display program
US20170371408A1 (en) Video display device system, heartbeat specifying method, heartbeat specifying program
JP2016140017A (ja) 情報処理装置、表示装置、および情報処理方法
US20200082626A1 (en) Methods and devices for user interaction in augmented reality
US20240031551A1 (en) Image capturing apparatus for capturing a plurality of eyeball images, image capturing method for image capturing apparatus, and storage medium
TW201823802A (zh) 信息處理系統、操作方法及操作程序
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180809

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180906

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190131

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200402

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200528