CN107547796A - 外部拍摄系统、外部拍摄方法及外部拍摄程序 - Google Patents

外部拍摄系统、外部拍摄方法及外部拍摄程序 Download PDF

Info

Publication number
CN107547796A
CN107547796A CN201710515651.8A CN201710515651A CN107547796A CN 107547796 A CN107547796 A CN 107547796A CN 201710515651 A CN201710515651 A CN 201710515651A CN 107547796 A CN107547796 A CN 107547796A
Authority
CN
China
Prior art keywords
shooting
mentioned
image
user
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710515651.8A
Other languages
English (en)
Inventor
濑古圭
濑古圭一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fove Ltd By Share Ltd
Fove Inc
Original Assignee
Fove Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fove Ltd By Share Ltd filed Critical Fove Ltd By Share Ltd
Publication of CN107547796A publication Critical patent/CN107547796A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供通过简单地操作外部拍摄用摄像头来进行拍摄的外部拍摄系统。外部拍摄系统包括头戴式显示器及视线检测装置，头戴式显示器包括：拍摄部，借助不可见光来对包含被不可见光发射的用户眼睛在内的图像进行拍摄；第一发送部，发送被拍摄的拍摄图像和用于表示拍摄时间的拍摄时间信息；第一接收部，接收与用户的视线方向有关的信息；显示部，对基于被拍摄的影像的图像进行显示；控制部，用于控制外部拍摄用摄像头，视线检测装置包括：视线检测部，从拍摄图像和拍摄时间信息检测用户的视线方向；第二发送部，用于将与检测到的视线方向有关的信息和拍摄时间建立关联来发送，控制部根据与用户的凝视位置有关的凝视时间来控制外部拍摄用摄像头。

Description

外部拍摄系统、外部拍摄方法及外部拍摄程序
技术领域
本发明涉及外部拍摄系统、其外部拍摄方法以及外部拍摄程序，尤其，涉及利用头戴式显示器的影像显示技术。
背景技术
从以往就开始开发利用如头戴式显示器等通过装戴于头部来使用的穿戴式终端的外部拍摄系统。
作为这种头戴式显示器的一例，专利文献1还开发了如下的技术，即，在头戴式显示装置中，借助齿轮马达来以可向上下左右方向旋转的方式装戴摄像头，从而可根据用户的视线方向变更摄像头的拍摄方向(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本公开专利公报2002-32212号
发明内容
但是，在上述专利文献1中，虽然可根据视线方向变更摄像头的拍摄方向，但存在其拍摄单一的问题。
本发明考虑到上述问题而提出，本发明的目的在于，提供在头戴式显示器上安装用于拍摄外部的摄像头，从而具有丰富的可用性的外部拍摄系统、外部拍摄方法及外部拍摄程序。
本发明一实施方式的外部拍摄系统包括头戴式显示器及视线检测装置，上述头戴式显示器包括：发射部，用于向用户的眼睛发射不可见光；拍摄部，借助不可见光来对包含被发射部发射的用户的眼睛在内的图像进行拍摄；第一发送部，用于向视线检测装置发送由拍摄部拍摄的拍摄图像和用于表示拍摄拍摄图像的拍摄时间的拍摄时间信息；第一接收部，用于从视线检测装置接收与用户的视线方向有关的信息；连接部，与外部拍摄用摄像头相连接；显示部，用于对基于由外部拍摄用摄像头拍摄的影像的图像进行显示；以及控制部，用于控制外部拍摄用摄像头，视线检测装置包括：第二接收部，用于接收拍摄图像和拍摄时间信息；视线检测部，通过分析拍摄图像来检测用户的视线方向；以及第二发送部，用于将与检测到的视线方向有关的信息和用于检测视线方向的拍摄图像的拍摄时间建立关联来向头戴式显示器发送，控制部根据多个与视线方向有关的信息及从与视线方向关联的拍摄时间计算出的用户的凝视时间，来进行基于外部拍摄用摄像头的拍摄的控制。
并且，在上述外部拍摄系统中，控制部在检测出对显示于显示部的特定对象凝视规定时间(t1)以上的情况下，能够控制外部拍摄用摄像头使得对焦于特定对象。
并且，在上述外部拍摄系统中，控制部在检测出对显示于显示部的特定对象凝视规定时间(t2)以上的情况下，能够控制外部拍摄用摄像头使得放大上述特定对象。
并且，在上述外部拍摄系统中，外部拍摄系统还可包括录像部，上述录像部在检测出对显示于显示部的特定对象凝视规定时间(t3)以上的情况下，对由外部拍摄用摄像头拍摄的影像进行录像。
并且，在上述外部拍摄系统中，控制部在通过与视线方向有关的信息来表示的视线方向表示从特定对象变远的情况下，能够控制外部拍摄用摄像头使得缩小特定对象。
并且，在上述外部拍摄系统中，外部拍摄系统还可包括生成部，上述生成部在从由拍摄部拍摄的影像中检测出用户在规定时间内合上2次眼皮的情况下，根据由外部拍摄用摄像头拍摄的影像来生成静止图像。
并且，本发明一实施方式的外部拍摄方法通过外部拍摄系统来拍摄外部影像，上述外部拍摄系统包括：头戴式显示器，以能够装拆的方式与用于拍摄外部的外部拍摄用摄像头相连接；以及视线检测装置，上述外部拍摄方法包括：显示步骤，在显示部显示基于由外部拍摄用摄像头拍摄的影像的图像；发射步骤，头戴式显示器向用户的眼睛发射不可见光；拍摄步骤，头戴式显示器借助不可见光来对包含被不可见光发射的用户的眼睛在内的图像进行拍摄；第一发送步骤，头戴式显示器向视线检测装置发送所拍摄的拍摄图像和用于表示拍摄拍摄图像的拍摄时间的拍摄时间信息；第一接收步骤，视线检测装置接收拍摄图像和拍摄时间信息；视线检测步骤，视线检测装置通过分析拍摄图像来检测用户的视线方向；第二发送步骤，视线检测装置将与检测到的视线方向有关的信息和用于检测视线方向的拍摄图像的拍摄时间建立关联来向头戴式显示器发送；以及控制步骤，头戴式显示器根据多个与上述视线方向有关的信息及从与视线方向关联的拍摄时间计算出的用户的凝视时间，来控制由外部拍摄用摄像头的拍摄。
并且，本发明一实施方式的外部拍摄程序用于使外部拍摄系统的头戴式显示器拍摄外部影像，上述外部拍摄系统包括：头戴式显示器，以能够装拆的方式与用于拍摄外部的外部拍摄用摄像头相连接；以及视线检测装置，外部拍摄程序在头戴式显示器的计算机上实现如下功能：显示功能，在显示部显示基于由外部拍摄用摄像头拍摄的影像的图像；发射功能，使头戴式显示器向用户的眼睛发射不可见光；拍摄功能，借助不可见光来对包含被不可见光发射的用户的眼睛在内的图像进行拍摄；发送功能，向视线检测装置发送所拍摄的拍摄图像和用于表示拍摄拍摄图像的拍摄时间的拍摄时间信息；接收功能，从视线检测装置接收由视线检测装置根据拍摄图像检测出的与视线方向有关的信息以及对用于检测的图像进行拍摄的拍摄时间；以及控制功能，根据多个与视线方向有关的信息及从与视线方向关联的拍摄时间计算出的用户的凝视时间，来进行基于外部拍摄用摄像头的拍摄的控制。
根据本发明，外部拍摄系统可根据装戴有头戴式显示器的用户的视线方向来控制与头戴式显示器相连接的外部拍摄用摄像头，从而进行多种拍摄。
附图说明
图1为示出用户装戴实施方式的头戴式显示器的状态的外观图。
图2为示意性示出实施方式的头戴式显示器的图像显示系统的大致外观的立体图。
图3为示意性示出实施方式的头戴式显示器的图像显示系统的光学结构的图。
图4为示出实施方式的外部拍摄系统的结构的框图。
图5为说明用于实施方式的视线方向的检测的校准的示意图。
图6为说明用户的眼角膜的位置坐标的示意图。
图7为示出实施方式的外部拍摄系统的动作的流程图。
图8为示出外部拍摄系统的电路结构的框图。
1 外部拍摄系统
100：头戴式显示器
103a：红外线光源(第二红外线发射部)
103b：红外线光源(第一红外线发射部)
105：亮点
108：图像显示组件
112：热反射镜
114、114a、114b：凸透镜
116：摄像头
118：第一通信部
121：显示部
122：红外线发射部
123：图像处理部
124：拍摄部
125：连接部
126：控制部
130：图像显示系统
150：框体
152a、152b：透镜支持部
160：装戴件
170：头戴式耳机
200：视线检测装置
220：第二通信部
221：视线检测部
222：影像生成部
223：存储部
具体实施方式
实施方式
<结构>
图1为示意性示出实施方式的外部拍摄系统1的大致外观的图。实施方式的外部拍摄系统1包括头戴式显示器100及视线检测装置200。如图1所示，头戴式显示器100通过装戴在用户300的头部来使用。
视线检测装置200用于检测装戴了头戴式显示器100的用户的右眼及左眼中的至少一侧的视线方向，并且特定用户的焦点，即，显示在头戴式显示器的三维图像中的用户所凝视的位置。并且，视线检测装置200还起到生成头戴式显示器100所显示的影像的影像生成装置的功能。虽然没有限制，但举例而言，视线检测装置200为桌上型的游戏机、便携式游戏机、PC、平板电脑、智能手机、平板手机、视频播放器、电视机等能够播放影像的装置。视线检测装置200以无线或有线的方法与头戴式显示器100相连接。在图1所示的例子中，视线检测装置200以无线的方式与头戴式显示器100相连接。视线检测装置200与头戴式显示器100之间的无线连接可利用例如已知的Wi-Fi(注册商标)或蓝牙(Bluetooth，注册商标)等无线通信技术实现。虽然没有限制，但举例而言，头戴式显示器100与视线检测装置200之间的影像的传输根据Miracast(商标)或WiGig(商标)、WHDI(商标)等标准执行。
此外，图1示出了头戴式显示器100与视线检测装置200为不同装置的情况时的例。然而，视线检测装置200可内置于头戴式显示器100。
头戴式显示器100包括框体150、装戴件160、头戴式耳机170及外部拍摄用摄像头190。框体150用于收容图像显示组件等用于提供给用户300影像的图像显示系统或未图示的Wi-Fi模块或蓝牙(Bluetooth，注册商标)模块等无线传输模块。装戴件160用于将头戴式显示器100装戴在用户300的头部。装戴件160例如由带子、有伸缩性的带等实现。若用户300利用装戴件160装戴头戴式显示器100，框体150则配置于覆盖用户300的眼睛的位置。因此，若用户300装戴头戴式显示器100，则用户300的视界被框体150遮挡。外部拍摄用摄像头190通过装戴在头戴式显示器100来对装戴头戴式显示器100的用户无法直接看到的外部状态进行拍摄。外部拍摄用摄像头190能够以可装卸的方式装戴于头戴式显示器100。若外部拍摄用摄像头190装戴于头戴式显示器100，则与头戴式显示器100的控制系统电连接，从而可向头戴式显示器100传输利用外部拍摄用摄像头190拍摄的影像，同时受到头戴式显示器100的控制。
头戴式耳机170用于输出视线检测装置200所播放的影像的声音。头戴式耳机170可以不固定于头戴式显示器100。即使在用户300利用装戴件160装戴了头戴式显示器100的状态下，也能够自由装卸头戴式耳机170。
图2为示意性地示出实施方式的头戴式显示器100的图像显示系统130的大致外观的立体图。更为具体地，图2为表示在实施方式的框体150之中的与装戴了头戴式显示器100时的用户300的眼角膜302相向的区域的图。
如图2所示，当用户300装戴了头戴式显示器100时，左眼用凸透镜114a将处于与用户300的左眼的眼角膜302a相向的位置。同样，当用户300装戴了头戴式显示器100时，右眼用凸透镜114b将处于与用户300的右眼的眼角膜302b相向的位置。左眼用凸透镜114a和右眼用凸透镜114b分别由左眼用透镜支持部152a和右眼用透镜支持部152b夹持。
以下说明书中，除了要特别区分左眼用凸透镜114a和右眼用凸透镜114b的情况之外，皆简单地表示成“凸透镜114”。同样，除了要特别区分用户300的左眼的眼角膜302a和用户300的右眼的眼角膜302b的情况之外，皆简单地表示成“眼角膜302”。左眼用透镜支持部152a和右眼用透镜支持部152b也是一样地，除了要特别区分的情况之外，皆表示成“透镜支持部152”。
在透镜支持部152设有多个红外线光源103。为了避免说明复杂，在图2中，将对用户300的左眼的眼角膜302a发射红外线的红外线光源统称为红外线光源103a，将对用户300的右眼的眼角膜302b发射红外线的红外线光源统称为红外线光源103b。下面，除了要特别区分红外线光源103a和红外线光源103b的情况之外，皆简单地表示成“红外线光源103”。在图2所示的例子中，左眼用透镜支持部152a具有6个红外线光源103a。同样，右眼用透镜支持部152b也具有6个红外线光源103b。像这样，通过将红外线光源103配置于用于夹持凸透镜114的透镜支持部152，而不是直接配置于凸透镜114，更容易装戴红外线光源103。由于透镜支持部152通常由树脂等构成，因而比由玻璃等构成的凸透镜114更容易进行用于装戴红外线光源103的加工。
如上所述，透镜支持部152是一种用于夹持凸透镜114的部件。因此，设在透镜支持部152的红外线光源103配置于凸透镜114的周围。此外，在这里说明的是对每只眼睛发射红外线的红外线光源103为6个，但并不仅限于此数目，只要有至少一个对应于各眼睛的红外线光源即可，设置两个以上会更好。
图3为示意性地示出实施方式的框体150所收纳的图像显示系统130的光学结构，是从左眼侧的侧面所看到的图2中示出的框体150的情况的图。图像显示系统130包括红外线光源103、图像显示组件108、热反射镜112、凸透镜114、摄影机116及第一通信部118。
红外线光源103可发射近红外(700nm～2500nm程度)的波长谱带的光的光源。一般而言，近红外线为用户300的肉眼无法察觉的不可见光的波长谱带的光。
图像显示组件108显示用于提供给用户300的图像。图像显示组件108所显示的图像由视线检测装置200内的影像生成部222生成。关于影像生成部222将在下文中进行说明。图像显示组件108，例如可由已知的液晶显示器(LCD，Liquid Crystal Display)或有机电致发光显示器(Organic Electro Luminescence Display)来实现。
当用户300装戴了头戴式显示器100时，热反射镜112配置于图像显示组件108与用户300的眼角膜302之间。热反射镜112具有穿过图像显示组件108所生成的可见光而将近红外线则反射的性质。
相对于热反射镜112，凸透镜114配置于图像显示组件108的相反侧。换言之，当用户300装戴了头戴式显示器100时，凸透镜114配置于热反射镜112与用户300的眼角膜302之间。即，当用户300装戴了头戴式显示器100时，凸透镜114配置于与用户300的眼角膜302相向的位置。
凸透镜114汇聚穿过热反射镜112的图像显示光。为此，凸透镜114具有当作将图像显示组件108所生成的图像放大后提供给用户300的图像放大部的功能。此外，为了方便说明，在图2中仅示出了一个凸透镜114，但凸透镜114也可以是结合各种透镜所组成的透镜组，或者，也可以是一面为曲面、而另一面为平面的单凸透镜。
多个红外线光源103配置于凸透镜114的周围。红外线光源103向用户300的眼角膜302发射红外线。
虽然未图示，实施方式的头戴式显示器100的图像显示系统130具有两个图像显示组件108，而能够独立地生成用于提供给用户300的右眼的图像和用于提供给左眼的图像。因此，实施方式的头戴式显示器100能够分别提供右眼用视差图像和左眼用视差图像给用户300的右眼和左眼。由此，实施方式的头戴式显示器100能够对用户300提示具有层次感的立体影像。
如上所述，热反射镜112可让可见光穿过，而将近红外线加以反射。因此，图像显示组件108所发射的图像光穿过热反射镜112而到达至用户300的眼角膜302。并且，由红外线光源103所发射而在凸透镜114的内部的反射区域被反射的红外线到达至用户300的眼角膜302。
到达用户300的眼角膜302的红外线被用户300的眼角膜302反射而再度射向凸透镜114的方向。此红外线穿过凸透镜114，而被热反射镜112反射。摄影机116具有用以滤除可见光的滤光片，而拍摄被热反射镜112反射的近红外线。即，摄影机116为近红外摄影机，其对由红外线光源103所发射而在用户300的眼睛处被眼角膜反射的近红外线进行拍摄。
此外，虽然未图示，实施方式的头戴式显示器100的图像显示系统130可具有两个摄影机116，即，用于拍摄包含被右眼反射的红外线的图像的第一拍摄部和用于拍摄包含被左眼反射的红外线的图像的第二拍摄部。由此，用于检测出用户300的右眼和左眼双眼的视线方向的图像。
第一通信部118将摄影机116拍摄的图像输出到用于检测用户300的视线方向的视线检测装置200。具体地，第一通信部118将摄影机116拍摄的图像传输给视线检测装置200。至于具有当作视线方向检测部的功能的视线检测部221，将在下文中进行详细说明，可通过视线检测装置200的中央处理器(CPU，Central Processing Unit)所运行的外部拍摄程序实现。此外，头戴式显示器100具有中央处理器或存储器等计算资源的情况下，头戴式显示器100的中央处理器也可运行用于实现视线方向检测部的程序。
虽然以下将详细说明，在由摄影机116拍摄到的图像中，由在用户300的眼角膜302处被反射的近红外线而来的亮点以及包含以近红外线的波长谱带所观测到的用户300的眼角膜302的眼睛的影像将被拍到。
如上所述，在实施方式的图像显示系统130之中，虽然主要就用以提供给用户300的左眼的影像的结构加以说明，但用以提供给用户300的右眼的影像的结构也与上述相同。
图4为根据视线检测系统1的头戴式显示器100及视线检测装置200之间的框图。如图4所示，并且，如上所述，视线检测系统1包括相互进行通信的头戴式显示器100及视线检测装置200。
如图4所示，头戴式显示器100包括第一通信部118、显示部121、红外线发射部122、图像处理部123、拍摄部124、连接部125及控制部126。
第一通信部118为具有与视线检测装置200的第二通信部220进行通信的功能的通信界面。如上所述，第一通信部118通过有线通信或无线通信来与第二通信部220进行通信。可使用的通信标准的例为如上所述。第一通信部118将从拍摄部124或图像处理部123传输的用于视线检测的图像数据发送给第二通信部220。并且，第一通信部118将从视线检测装置200发送的三维图像数据或标记图像传输给显示部121。作为图像数据的一例为基于由外部拍摄用摄像头190拍摄的影像的图像。并且，图像数据也可以为由用于显示三维图像的右眼用视差图像和左眼用视差图像形成的视差图像对。并且，第一通信部118向控制部126传递从视线检测装置200发送的有关视线方向的时间信息和相关联的拍摄时间信息。并且，第一通信部118向视线检测装置200传递借助从连接部125传递的由外部拍摄用摄像头190拍摄的外部影像。
显示部121具有将从第一通信部118传递的图像数据显示于图像显示组件108的功能。显示部121将基于由外部拍摄用摄像头190拍摄的影像的图像作为图像数据来显示。上述图像数据可以为由外部拍摄用摄像头190拍摄的影像本身的图像，也可以为在相应影像中追加某种图像处理的图像。并且，显示部121将从影像生成部222输出的标记图像显示于图像显示组件108的指定的坐标。
红外线发射部122控制红外线光源103，向用户的右眼或左眼发射红外线。
图像处理部123根据需要对拍摄部124拍摄的图像进行图像处理并传输给第一通信部118。
拍摄部124利用摄影机116拍摄包含被各只眼睛反射的近红外线的图像。即，摄像头116借助不可见光进行拍摄。并且，拍摄部124拍摄包含凝视图像显示组件108中所显示的标记图像的用户的眼睛的图像。拍摄部124将拍摄到的图像以与进行拍摄的拍摄时间相关联地传输给第一通信部118或图像处理部123。
连接部125为具有连接外部拍摄用摄像头190功能的界面。连接部125若检测出已连接外部拍摄用摄像头190，则向控制部126传递连接有外部拍摄用摄像头190的情况。并且，连接部125向第一通信部118或显示部121传递由外部拍摄用摄像头190拍摄的影像。并且，连接部125向外部拍摄用摄像头190传递从控制部126发送的控制信号。
控制部126根据与从第一通信部118传递的视线方向有关的信息和相关联的拍摄时间，生成用于进行基于外部拍摄用摄像头190的拍摄的控制的控制信号，并向连接部125传递。与视线方向有关的信息和相关联的拍摄时间依次被控制部126传递。
具体地，控制部126根据多个与连续的视线方向有关的信息和与其相关联的拍摄时间来检测凝视时间，从而检测基于与连续的视线方向有关的信息的用户的凝视点是否与在相关联的拍摄时间内显示于显示部121的特定对象的显示位置相重叠。
并且，控制部126在检测出对特定对象凝视t1(例如，1秒)时间以上的情况下，生成用于对焦于上述特定对象的控制信号，并向连接部125传递。
并且，控制部126在检测出对特定对象凝视t2(例如，3秒)时间以上的情况下，生成用于以慢慢放大上述特定对象的方式控制外部拍摄用摄像头190的控制信号，并向连接部125传递。
并且，控制部126在检测出对特定对象凝视t3(例如，5秒)时间以上的情况下，将基于显示在显示部121的三维(3D)视频的二维(2D)视频录像于头戴式显示器100的存储器(未图示)。
其中，t1、t2、t3时间只要是互不相同的时间即可，其时间长度不存在上下关系。即，能够以t1时间为4秒、t2时间为2秒等方式设定。但是，凝视时间越长，则越表示用户对特定对象的兴趣度高，因而凝视时间越长，越优选以使用户可进一步理解特定对象的方式控制拍摄。并且，在本实施方式中，满足t3＞t2＞t1。
并且，控制部126在检测出用户对特定对象凝视规定时间以上的情况之后，当检测出凝视点从上述特定对象分离(根据与视线方向有关的信息来特定的凝视点和特定对象的显示位置不重复)的情况时，生成以慢慢缩小的方式控制外部拍摄用摄像头190的控制信号，并向连接部125传递。此时，控制部126在进行特定对象的录像的情况下，则凝视上述录像。
并且，控制部126根据从拍摄部124传递的拍摄图像来对用户的眼睛的移动进行识别。具体地，在根据拍摄图像来检测出用户在规定时间内(例如，1秒之内)合上眼皮规定次数(例如，2次)的情况下，控制部126将由显示部121显示中的三维影像作为二维图像来记录于头戴式显示器100的存储器(未图示)。三维影像由右眼用图像和左眼用图像形成，因而控制部126仅将右眼用图像和左眼用图像中的一侧作为二维图像来记录。
以上为对头戴式显示器100的结构的说明。
如图4所示，视线检测装置200包括第二通信部220、视线检测部221、影像生成部222及存储部223。
第二通信部220为具有与头戴式显示器100的第一通信部118进行通信的功能的通信界面。如上所述，第二通信部220通过有线通信或无线通信来与第一通信部118进行通信。第二通信部220向头戴式显示器100发送用于显示从影像生成部222传递的虚拟空间图像的图像数据或为了校准而利用的标记图像等。并且，向视线检测部221传递包括对从头戴式显示器100传递的由拍摄部124拍摄的标记图像进行凝视的用户眼睛在内的图像或对凝视根据由影像生成部222输出的图像数据来显示的图像的用户眼睛进行拍摄的图像。并且，第二通信部220向影像生成部222传递由外部拍摄用摄像头190拍摄的影像。
视线检测部221从第二通信部220接收用户的右眼的视线检测用图像数据，对用户的右眼的视线方向进行检测。视线检测部221利用后述的方法，计算出表示用户的右眼的视线方向的右眼视线向量。同样，通过从第二通信部220接收用户左眼的视线检测用图像数据来计算出表示用户300的左眼的视线方向的左眼视线向量。并且，利用计算出的视线向量，特定用户所凝视的图像显示组件108中显示的图像的位置。并且，视线检测部221将计算出的视线向量作为与视线方向有关的信息，并与用于计算出上述视线向量的拍摄图像相关联的拍摄时间信息一同，通过第二通信部220向头戴式显示器100发送。并且，与视线方向有关的信息也可以为由视线检测部221特定的凝视点的信息。
影像生成部222生成显示于头戴式显示器100的显示部121的图像数据，并向第二通信部220传递。影像生成部222生成用于显示例如虚拟空间图像的图像数据。或者影像生成部222通过对从第二通信部220传递的由外部拍摄用摄像头190拍摄的外部影像进行加工来生成图像数据。并且，影像生成部222通过生成用于视线检测的校准的标记图像来与其显示坐标位置一同向第二通信部220传递，并向头戴式显示器100发送。
存储部223为对视线检测装置200在进行动作的过程中所需的各种程序或数据进行记录的记录介质。存储部223可通过例如硬盘驱动器(HDD，Hard Disc Drive)、固态硬盘(SSD，Solid State Drive)等来实现。
然后，对实施方式中的视线方向的检测进行说明。
图5为说明用于实施方式的视线方向的检测的校准的示意图。用户300的视线方向通过视线检测装置200内的视线检测部221对摄影机116拍摄且从第一通信部118向各视线检测装置200输出的影像进行分析来实现。
影像生成部222生成如图5所示的点Q1至点Q9的9个点(标记图像)，并显示于头戴式显示器100的图像显示组件108。视线检测装置200依照点Q1至点Q9的顺序让用户300凝视各点。此时，用户300被要求保持脖子不动而尽可能地仅借助眼球的移动去凝视各点。摄影机116对包含用户300凝视着点Q1至点Q9这9个点时的用户300的眼角膜302的图像进行拍摄。
图6为说明用户300的眼角膜302的位置坐标的示意图。视线检测装置200内的视线检测部221分析摄影机116拍摄的图像来检测出源于红外线的亮点。当用户300仅借助眼球的移动而凝视着各点时，则即使用户凝视着任一点的情况时，亮点105的位置被认为并不会变动。如此一来，视线检测部221会以检测出的亮点105为基准在摄影机116拍摄的图像中设定出二维坐标系306。
视线检测部221再通过分析摄影机116拍摄的图像来检测出用户300的眼角膜302的中心P。这可通过例如霍夫变换、边缘抽取处理等已知的图像处理技术而得以实现。由此，视线检测部221能够取得所设定的二维坐标系306中的用户300的眼角膜302的中心P的坐标。
在图5中，图像显示组件108所显示的显示画面之中设定的二维坐标系中的点Q1至点Q9的坐标分别显示为Q1(x1、y1)T、Q2(x2、y2)T……，Q9(x9、y9)T。各坐标是以例如位在各点的中心的像素为编号。此外，将用户300凝视着点Q1至点Q9时的用户300眼角膜302的中心P分别显示为点P1至点P9。此时，分别将二维坐标系306之中的点P1至点P9的坐标显示为P1(X1、Y1)T、P2(X2、Y2)T、……、P9(X9、Y9)T。此外，T表示向量或矩阵的转置。
现在，将大小为2×2的矩阵M定义成以下的公式(1)
[公式1]
此时，如果矩阵M满足以下公式(2)，则矩阵M为用户300的视线方向投影到图像显示组件108所显示的图像面的矩阵。
PN＝MQN(N＝1，……，9) (2)。
如果详细地写出上述公式(2)，将如以下公式(3)。
[公式2]
如果改变公式(3)的型态的话，则可得到以下的公式(4)。
[公式3]
在此，如果进行以下的替换，
[公式4]
则可得到以下公式(5)。
y＝Ax (5)
公式(5)中，因为向量y的元素是视线检测部221使图像显示组件108所显示点Q1至点Q9的坐标，故为已知。并且，因为矩阵A的元素是用户300的眼角膜302的顶点P的坐标，因此也能够取得。由此，视线检测部221能够取得向量y及矩阵A。此外，将转换矩阵M的元素排列而成的向量的向量x为未知。因此，在向量y与矩阵A为已知时，推算矩阵M的问题为求出未知的向量x的问题。
如果公式的数目(即，视线检测部221在校准时提供给用户300的点Q的数目)比未知数的数目(即向量x的元素数4)多的话，则公式(5)成为超定(overdetermined)问题。在公式(5)所示的例子中，因为公式的数目为9个，因而属于超定问题。
将向量y和向量Ax的误差向量作为向量e。即，e＝y-Ax。此时，代表向量e的元素的平方和为最小的意义的最佳的向量Xopt可由以下公式(6)求得。
Xopt＝(ATA)-1ATy (6)
其中，“-1”表示反矩阵。
视线检测部221利用所求得的向量Xopt的元素来构成公式(1)的矩阵M。由此，视线检测部221利用用户300的眼角膜302的顶点P的坐标的矩阵M，并根据公式(2)来可推算出用户300的右眼凝视图像显示组件108所显示的动态图像上的何处。其中，视线检测部221还从头戴式显示器100接收用户的眼睛与图像显示组件108之间的距离信息，并根据上述距离信息对推算出的用户所凝视的坐标值进行修改。并且，基于用户的眼睛与图像显示组件108之间的距离的凝视位置的推定不一致属于误差的范围，可以无视。由此，视线检测部221能够计算出链接图像显示组件108上的右眼的凝视点和用户的右眼的眼角膜的顶点的右眼视线向量。同样地，视线检测部221能够计算出链接图像显示组件108上的左眼的凝视点和用户的左眼的眼角膜的顶点的左眼视线向量。并且，可以仅通过一只眼睛的视线向量来确认二维平面上的用户的凝视点，可通过获得两只眼睛的视线向量来计算出用户的凝视点的深度方向信息。由此，视线检测装置200可特定用户的凝视点。并且，在此表示的凝视点特定方法为一例，也可利用本实施方式所表示的方法之外的其他方法来特定用户的凝视点。
<动作>
以下，对本实施方式的外部拍摄系统1的动作进行说明。图7为示出外部拍摄系统1的动作的流程图，示出借助与头戴式显示器100相连接的外部拍摄用摄像头190来进行的拍摄控制的处理的流程图。
头戴式显示器100及时(例如，每0.1秒)向视线检测装置200发送对用于检测用户的视线方向的用户的眼睛进行拍摄的拍摄图像，视线检测装置200根据接收到的拍摄图像检测视线方向，并向头戴式显示器100发送上述信息。
头戴式显示器100的显示部121对由视线检测装置200的影像生成部222生成，且基于由外部拍摄用摄像头190拍摄的影像的图像进行显示(步骤S701)。
控制部126根据与从第一通信部118传递的视线方向有关的信息，对显示于用户的显示部121的图像的凝视点进行特定(步骤S702)。
控制部126根据与连续传递的视线方向有关的信息，对用户所凝视的坐标进行特定。并且，控制部126根据与有关视线方向的信息相关联的拍摄时间信息，判断用户是否对特定对象凝视规定时间t1以上(步骤S703)。在未对特定对象凝视规定时间t1以上的情况下(步骤S703的“否”)，则执行步骤S711。
在判断为用户对特定对象凝视规定时间t1以上的情况下(步骤S703的“是”)，控制部126生成用于使外部拍摄用摄像头190聚焦于特定对象的控制信号，即，用于对焦的控制信号，并向连接部125传递。由此，借助与连接部125相连接的外部拍摄用摄像头190的拍摄成为对焦于上述特定对象的拍摄(步骤S703)。
控制部126判断用户是否凝视特定对象并经过规定时间t2(步骤S705)。在判断为用户未对特定对象凝视规定时间t2以上的情况下(步骤S705的“否”)，则执行步骤S709。
另一方面，在判断为用户对特定对象凝视规定时间t2以上的情况下(步骤S705的“是”)，则控制部126生成用于放大用户所凝视的特定对象的控制信号，并向连接部125传递。由此，借助与连接部125相连接的外部拍摄用摄像头190以慢慢放大特定对象的方式进行拍摄(步骤S706)。
然后，控制部126判断用户是否对特定对象凝视规定时间t3以上(步骤S707)。在判断为用户未对特定对象凝视规定时间t3以上的情况下(步骤S707)，则执行步骤S709。
在判断未用户对特定对象凝视规定时间t3以上的情况下(步骤S707的“是”)，控制部126将显示于显示部121的三维视频作为二维视频来开始进行录像处理(步骤S708)。
然后，控制部126对用户的凝视点是否从特定对象变远进行判断(步骤S709)。在判断为用户的凝视点从特定对象变远的情况下(步骤S709的“是”)，当录像二维视频时，控制部126在结束录像的同时生成用于使借助外部拍摄用摄像头190进行慢慢从特定对象缩小的拍摄的控制信号，并向连接部125传递(步骤S710)。由此，外部拍摄用摄像头190以慢慢从特定对象缩小的方式进行拍摄。并且，执行步骤S713。
在步骤S703中，在判断为用户未对特定对象凝视规定时间t1以上的情况下(步骤S703的“否”)，控制部126根据由拍摄部124拍摄的图像来判断用户是否在规定时间内合上2次眼皮(步骤S711)。在判断为未在规定时间内合上2次眼皮的情况下(步骤S711的“否”)，执行步骤S713的处理。
在判断为未在规定时间内合上2次眼皮的情况下(步骤S711的“是”)，控制部126基于显示在显示部121的三维视频生成二维静止图像，并存储于存储器。
控制部126判断用户是否进行向头戴式显示器100的显示部121的结束显示的输入(步骤S713)。在未收到结束显示的输入的情况下(步骤S713的“否”)，返回步骤S701，在收到结束显示的输入的情况下(步骤S713的“是”)，结束处理。
由此，外部拍摄系统1可根据用户的视线，通过控制外部拍摄用摄像头190来进行拍摄。
<总结>如上所述，本发明的外部拍摄系统1可根据用户的视线方向和凝视时间来对与头戴式显示器100相连接的外部拍摄用摄像头190的拍摄进行控制。例如，在用于对特定对象凝视规定时间以上的情况下，可进行自动聚焦于其对象的控制。因此，用户可以仅通过视线对拍摄进行控制，从而可提高使用头戴式显示器100来操作的自由度。
<补充>
本发明的外部拍摄系统并不局限于上述实施方式，当然也可通过用于实现其发明的其他方法来实现。以下，除上述之外，对可包含于本发明思想的实施例进行说明。
(1)在上述实施方式中所描述的外部拍摄用摄像头190的控制方法为一例，只要控制部126根据用户的视线方向以及其凝视时间来进行基于外部拍摄用摄像头190的拍摄的控制，就还可进行除此之外的控制。
(2)虽然未在上述实施方式中特别记载，外部拍摄系统1还可追加装戴可使用户进行操作的控制器，从而与用户的视线方向进行组合来对外部拍摄用摄像头190进行更加细致的控制。
(3)上述实施方式中的视线检测方法为一例，通过上述头戴式显示器100及视线检测装置200进行的视线检测方法并不局限于此。
首先，在上述实施方式中，描述设置有多个作为不可见光来发射近红外线的红外线光源的例，但向用户的眼睛发射近红外线的方法并不局限于此。例如，对于构成头戴式显示器100的图像显示组件108的像素，也可设置具有发出近红外线的子像素的像素，并使发出这种近红外线的子像素选择性发光，从而向用户的眼睛发射近红外线。并且，或者代替图像显示组件108，在头戴式显示器100设置视网膜投影显示器的同时显示于视网膜投影显示器，从而使投影于用户的视网膜的图像内包含发出近红外线的像素，由此发射近红外线。无论在图像显示组件108的情况下或在视网膜投影显示器的情况下，发出近红外线的子像素可以定期变更。并且，在作为子像素来在图像显示组件108设置发出近红外线的子像素的情况下或使视网膜投影显示器包含近红外线的像素的情况下，无需上述实施方式中的热反射镜112。
并且，在上述实施方式中表示的视线检测的算法也并不局限于在上述实施方式中所表示的方法，只要可进行视线检测，就可利用其它算法。
(4)在上述实施方式中，在步骤S708中录像的二维视频或在步骤S710中拍摄的静止图像可向视线检测装置200发送，并记录在视线检测装置200的存储部223。
(5)在上述实施方式中，外部拍摄用摄像头190可借助齿轮马达以可向上下左右方向转动的方式装戴于头戴式显示器100。并且，控制部126可根据用户的视线方向对外部拍摄用摄像头190的拍摄方向进行控制。
(6)并且，在上述实施方式中，头戴式显示器100及视线检测装置200的处理器通过运行外部拍摄程序来对与头戴式显示器100相连接的外部拍摄用摄像头进行控制，但这也可以由视线检测装置200借助形成于集成电路(IC；Integrated Circuit)芯片、大规模集成电路(LSI，Large Scale Integration)等的逻辑电路(hardware)或专用电路来实现。并且，这些电路可由一个或多个集成电路实现，也可由一个集成电路实现上述实施方式中示出的多个功能部的功能。LSI根据集成度的不同而可分别称为VLSI、超级LSI、特级LSI等。即，如图8所示，头戴式显示器100可包括第一通信电路118a、第一显示电路121a、红外线发射电路122a、图像处理电路123a、拍摄电路124a、连接电路125a及控制电路126a，各自的功能与在上述实施方式中示出的名称相同的各个部分相同。并且，视线检测装置200可以包括第二通信电路220a、视线检测电路221a、影像生成电路222a及记录电路223a，各自的功能与在上述实施方式中示出的名称相同的各个部分相同。
并且，上述外部拍摄程序可被记录在处理器可读取的记录介质，作为记录介质，可利用“非暂时性的有形的介质”，例如磁带、磁盘、半导体存储器、可程序化的逻辑电路等。并且，上述外部拍摄程序可经由能够传输上述外部拍摄程序的任意的传输介质(通信网络或播放信号等)向上述处理器供给。在本发明中，上述外部拍摄程序还可由电子格式的传送来体现的载波所包含的数据信号的方式得以实现。
并且，上述视线检测程序可以利用例如ActionScript、JavaScript(注册商标)、Python、Ruby等脚本语言、C语言、C++、C#、Objective-C、Java(注册商标)等编译语言来进行安装。
(7)可以对在上述实施方式中所描述的结构及各种(补充)进行适当的组合。
产业上的可利用性
本发明可利用于头戴式显示器。

Claims (8)

1.一种外部拍摄系统，包括头戴式显示器及视线检测装置，其特征在于，
上述头戴式显示器包括：
发射部，用于向用户的眼睛发射不可见光；
拍摄部，借助不可见光来对包含被上述发射部发射的用户的眼睛在内的图像进行拍摄；
第一发送部，用于向上述视线检测装置发送由上述拍摄部拍摄的拍摄图像和用于表示拍摄上述拍摄图像的拍摄时间的拍摄时间信息；
第一接收部，用于从上述视线检测装置接收与用户的视线方向有关的信息；
连接部，与外部拍摄用摄像头相连接；
显示部，用于对基于由上述外部拍摄用摄像头拍摄的影像的图像进行显示；以及
控制部，用于控制上述外部拍摄用摄像头，
上述视线检测装置包括：
第二接收部，用于接收上述拍摄图像和上述拍摄时间信息；
视线检测部，通过分析上述拍摄图像来检测上述用户的视线方向；以及
第二发送部，用于将与检测到的视线方向有关的信息和用于检测上述视线方向的拍摄图像的拍摄时间建立关联来向上述头戴式显示器发送，
上述控制部根据多个与上述视线方向有关的信息及从与上述视线方向关联的拍摄时间计算出的用户的凝视时间，来进行基于上述外部拍摄用摄像头的拍摄的控制。
2.根据权利要求1所述的外部拍摄系统，其特征在于，上述控制部在检测出对显示于上述显示部的特定对象凝视规定时间(t1)以上的情况下，控制上述外部拍摄用摄像头使得对焦于上述特定对象。
3.根据权利要求1或2所述的外部拍摄系统，其特征在于，上述控制部在检测出对显示于上述显示部的特定对象凝视规定时间(t2)以上的情况下，控制上述外部拍摄用摄像头使得放大上述特定对象。
4.根据权利要求1至3中任一项所述的外部拍摄系统，其特征在于，上述外部拍摄系统还包括录像部，上述录像部在检测出对显示于上述显示部的特定对象凝视规定时间(t3)以上的情况下，对由上述外部拍摄用摄像头拍摄的影像进行录像。
5.根据权利要求2至4中任一项所述的外部拍摄系统，其特征在于，上述控制部在通过与上述视线方向有关的信息来表示的视线方向表示从上述特定对象变远的情况下，控制上述外部拍摄用摄像头使得缩小上述特定对象。
6.根据权利要求1至5中任一项所述的外部拍摄系统，其特征在于，上述外部拍摄系统还包括生成部，上述生成部在从由上述拍摄部拍摄的影像中检测出用户在规定时间内合上2次眼皮的情况下，根据由上述外部拍摄用摄像头拍摄的影像来生成静止图像。
7.一种外部拍摄方法，通过外部拍摄系统来拍摄外部影像，
上述外部拍摄系统包括：
头戴式显示器，以能够装拆的方式与用于拍摄外部的外部拍摄用摄像头相连接；以及
视线检测装置，
上述外部拍摄方法的特征在于，包括：
显示步骤，在显示部显示基于由上述外部拍摄用摄像头拍摄的影像的图像；
发射步骤，上述头戴式显示器向用户的眼睛发射不可见光；
拍摄步骤，上述头戴式显示器借助不可见光来对包含被上述不可见光发射的用户的眼睛在内的图像进行拍摄；
第一发送步骤，上述头戴式显示器向上述视线检测装置发送所拍摄的拍摄图像和用于表示拍摄上述拍摄图像的拍摄时间的拍摄时间信息；
第一接收步骤，上述视线检测装置接收上述拍摄图像和上述拍摄时间信息；
视线检测步骤，上述视线检测装置通过分析上述拍摄图像来检测上述用户的视线方向；
第二发送步骤，上述视线检测装置将与检测到的视线方向有关的信息和用于检测上述视线方向的拍摄图像的拍摄时间建立关联来向上述头戴式显示器发送；以及
控制步骤，上述头戴式显示器根据多个与上述视线方向有关的信息及从与上述视线方向关联的拍摄时间计算出的用户的凝视时间，进行基于上述外部拍摄用摄像头的拍摄的控制。
8.一种外部拍摄程序，用于使外部拍摄系统的头戴式显示器拍摄外部影像，
上述外部拍摄系统包括：
头戴式显示器，以能够装拆的方式与用于拍摄外部的外部拍摄用摄像头相连接；以及
视线检测装置，
上述外部拍摄程序的特征在于，在上述头戴式显示器的计算机上实现如下功能：
显示功能，在显示部显示基于由上述外部拍摄用摄像头拍摄的影像的图像；
发射功能，使上述头戴式显示器向用户的眼睛发射不可见光；
拍摄功能，借助不可见光来对包含被上述不可见光发射的用户的眼睛在内的图像进行拍摄；
发送功能，向上述视线检测装置发送所拍摄的拍摄图像和用于表示拍摄上述拍摄图像的拍摄时间的拍摄时间信息；
接收功能，从上述视线检测装置接收由上述视线检测装置根据拍摄图像检测出的与视线方向有关的信息以及对用于上述检测的图像进行拍摄的拍摄时间；以及
控制功能，根据多个与上述视线方向有关的信息及从与上述视线方向关联的拍摄时间计算出的用户的凝视时间，进行基于上述外部拍摄用摄像头的拍摄的控制。
CN201710515651.8A 2016-06-29 2017-06-29 外部拍摄系统、外部拍摄方法及外部拍摄程序 Pending CN107547796A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016129177A JP2018006914A (ja) 2016-06-29 2016-06-29 外部撮像システム、外部撮像方法、外部撮像プログラム
JP2016-129177 2016-06-29

Publications (1)

Publication Number Publication Date
CN107547796A true CN107547796A (zh) 2018-01-05

Family

ID=60808026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710515651.8A Pending CN107547796A (zh) 2016-06-29 2017-06-29 外部拍摄系统、外部拍摄方法及外部拍摄程序

Country Status (5)

Country Link
US (1) US20180007258A1 (zh)
JP (1) JP2018006914A (zh)
KR (1) KR20180002534A (zh)
CN (1) CN107547796A (zh)
TW (1) TW201812432A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164555A (zh) * 2018-09-30 2019-01-08 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180074180A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 가상현실 영상에 대한 정보를 제공하는 장치 및 방법
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US10679306B2 (en) * 2017-11-21 2020-06-09 International Business Machines Corporation Focus-object-determined communities for augmented reality users
US10841533B2 (en) * 2018-03-23 2020-11-17 Raja Singh Tuli Telepresence system with virtual reality
US10616565B2 (en) 2018-08-21 2020-04-07 The Boeing Company System and method for foveated simulation
KR102293291B1 (ko) * 2018-12-31 2021-08-24 주식회사 도구공간 Hmd 장비를 이용한 로봇 제어 방법
JP7286469B2 (ja) * 2019-08-09 2023-06-05 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法、プログラム、記憶媒体
CN110381261B (zh) * 2019-08-29 2020-11-03 重庆紫光华山智安科技有限公司 聚焦方法、装置、计算机可读存储介质及电子设备
US11792531B2 (en) * 2019-09-27 2023-10-17 Apple Inc. Gaze-based exposure
KR20220019963A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
KR20220099827A (ko) * 2021-01-07 2022-07-14 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2022114600A (ja) * 2021-01-27 2022-08-08 キヤノン株式会社 撮像システム、表示装置、端末装置および撮像システムの制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6133944A (en) * 1995-12-18 2000-10-17 Telcordia Technologies, Inc. Head mounted displays linked to networked electronic panning cameras
US6090051A (en) * 1999-03-03 2000-07-18 Marshall; Sandra P. Method and apparatus for eye tracking and monitoring pupil dilation to evaluate cognitive activity
WO2013066334A1 (en) * 2011-11-03 2013-05-10 Intel Corporation Eye gaze based image capture
CN105229516A (zh) * 2013-05-02 2016-01-06 索尼公司 隐形眼镜和记录介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164555A (zh) * 2018-09-30 2019-01-08 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
CN109164555B (zh) * 2018-09-30 2021-11-12 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质

Also Published As

Publication number Publication date
KR20180002534A (ko) 2018-01-08
JP2018006914A (ja) 2018-01-11
US20180007258A1 (en) 2018-01-04
TW201812432A (zh) 2018-04-01

Similar Documents

Publication Publication Date Title
CN107547796A (zh) 外部拍摄系统、外部拍摄方法及外部拍摄程序
CN107665040A (zh) 视线检测系统、偏移检测方法、偏移检测程序
KR102349716B1 (ko) 영상 공유 방법 및 이를 수행하는 전자 장치
CN107562184A (zh) 影像显示系统、影像显示方法、影像显示程序
CN107450720A (zh) 视线检测系统
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
CN107850937A (zh) 视线检测系统、头戴式显示器、视线检测方法
US11665334B2 (en) Rolling shutter camera pipeline exposure timestamp error determination
CN108604291A (zh) 表情辨识系统、表情辨识方法及表情辨识程序
US10191285B2 (en) Head mounted display and gaze detection system
WO2013028586A1 (en) Location based skins for mixed reality displays
JP6397698B2 (ja) 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
TW201802642A (zh) 視線檢測系統
JP6485819B2 (ja) 視線検出システム、ずれ検出方法、ずれ検出プログラム
US11575874B2 (en) Sensor misalignment compensation
CN109429061A (zh) 影像显示系统、影像显示方法及影像显示程序
US20200213467A1 (en) Image display system, image display method, and image display program
JP2018000308A (ja) 映像表示装置システム、心拍特定方法、心拍特定プログラム
CN108259886A (zh) 推定系统、推定方法及推定程序
CN107665041A (zh) 信息处理系统、操作方法及操作程序
US20230217007A1 (en) Hyper-connected and synchronized ar glasses
CN116941239A (zh) 三维环境内的图像显示

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180105

WD01 Invention patent application deemed withdrawn after publication