CN106210699B - 信息处理装置、信息处理装置的控制方法及图像处理系统 - Google Patents

信息处理装置、信息处理装置的控制方法及图像处理系统 Download PDF

Info

Publication number
CN106210699B
CN106210699B CN201610373472.0A CN201610373472A CN106210699B CN 106210699 B CN106210699 B CN 106210699B CN 201610373472 A CN201610373472 A CN 201610373472A CN 106210699 B CN106210699 B CN 106210699B
Authority
CN
China
Prior art keywords
image
unit
luminance
external environment
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610373472.0A
Other languages
English (en)
Other versions
CN106210699A (zh
Inventor
山口弘市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106210699A publication Critical patent/CN106210699A/zh
Application granted granted Critical
Publication of CN106210699B publication Critical patent/CN106210699B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Cameras In General (AREA)

Abstract

本发明提供一种信息处理装置、信息处理装置的控制方法及图像处理系统。信息处理装置包括：被构造为获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值的单元，其中，所述第一拍摄图像和所述第二拍摄图像分别由第一摄像单元和第二摄像单元拍摄；被构造为获得分别用于所述第一摄像单元和所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数和第二追踪参数的单元；以及被构造为基于所述第一辉度值和所获得的第一追踪参数设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数设置用于所述第二摄像单元的第二摄像参数的单元。

Description

信息处理装置、信息处理装置的控制方法及图像处理系统
技术领域
本发明涉及信息处理装置、信息处理装置的控制方法以及图像处理系统，尤其涉及使用头戴型显示装置(即HMD(Head Mounted Display，头戴显示器))的图像处理技术。
背景技术
近年来，作为用于将现实世界与虚拟世界实时进行无缝融合的技术，已知所谓的混合现实(MR)技术。一种已知的MR技术涉及使用视频透视HMD(头戴显示器)，通过使用视频摄像机等拍摄与从HMD用户的瞳孔位置观察到的被摄体大致相匹配的被摄体，并且HMD用户观察通过将CG(计算机图形)叠加到拍摄图像上而获得的显示图像。
视频透视HMD具有如下的构造：用于使用诸如CCD等的电荷耦合元件拍摄被摄体，获取被摄体的数字图像数据，并且经由诸如液晶显示器或有机EL显示器等的显示设备向其佩戴者，显示通过将CG图像叠加到数字图像上而获得的MR图像(混合现实图像)。
图15是当由HMD用户佩戴时的HMD 2501的图。存在除HMD 2501之外的外部装置(未示出)，并且由HMD 2501拍摄的拍摄图像从HMD 2501被发送到外部装置。外部装置由从HMD接收到的拍摄图像，计算HMD 2501的位置和姿势，基于计算结果，将CG图像叠加到拍摄图像上，并且将图像发送到HMD。HMD 2501显示从外部装置接收到的叠加后的图像。HMD用户能够通过使用HMD 2501来体验MR空间。
还存在如下的HMD，该HMD除了配备有用于拍摄现实世界并叠加CG图像以体验MR空间的图像传感器之外，还配备有用于获得HMD 2501的位置和姿势的图像传感器。将用于体验MR的图像传感器与用于获得位置和姿势的图像传感器分立的一个原因是：通过加宽用于获得位置和姿势的图像传感器的视角，从而加宽摄像范围以拍摄大量的用于获得位置和姿势的特征点，能够获得更精确的位置和姿势。
一般而言，摄像单元具有称为自动曝光的功能。这是通过控制快门速度、增益等，使从摄像单元输出的图像的亮度恒定的功能(参见日本特开2006-295506号公报)。
在此，图16中的附图标记16001表示当由摄像单元拍摄时的桌子的图像。通过计算置于桌子上的标记的特征，能够获得HMD的位置和姿势。附图标记16002表示当现实世界变得更亮时，作为使用摄像单元进行图像拍摄的结果而获得的图像，并且所拍摄的物体由于现实世界已变得更亮而被曝光过度。现实世界的亮度，根据例如进入窗口的阳光的强度而改变。附图标记16003表示，由于在图像16002之后，摄像单元的自动曝光功能进行操作，因此在被摄像单元拍摄之后的拍摄图像类似于图像16001。
在日本特开2006-295506号公报中描述的自动曝光功能中，用于体验MR的摄像和用于获得位置和姿势的摄像，在彼此之间不区分地进行。因此，存在例如从图像16001至图像16002以及从图像16002至图像16003那样发生改变的可能性。即，当外部环境的亮度改变时(在图像16002的时候)，拍摄图像被曝光过度，因此存在如下问题，并非必然能够以高精确度获得HMD的位置和姿势。
发明内容
鉴于上述问题，提出了本发明。本发明提供如下的技术，即，在存在多个摄像单元的情况下，即使外部环境的亮度改变，也以高精确度进行使用各个摄像单元的图像拍摄。
根据本发明的一个方面，提供一种用于获得头戴式显示装置的位置和姿势的信息处理装置，所述信息处理装置包括：辉度值获得单元，其被构造为获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄以获得头戴式显示装置的位置和姿势，并且所述第二拍摄图像由第二摄像单元拍摄以拍摄将计算机图形图像叠加在其上的外部环境的图像；参数获得单元，其被构造为获得用于所述第一摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第二追踪参数；以及设定单元，其被构造为基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。
根据本发明的一个方面，提供一种用于获得头戴式显示装置的位置和姿势的图像处理系统，所述图像处理系统包括信息处理装置和有线连接或无线连接到所述信息处理装置的图像处理装置，所述信息处理装置包括：辉度值获得单元，其被构造为获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄以获得头戴式显示装置的位置和姿势，并且所述第二拍摄图像由第二摄像单元拍摄以拍摄将计算机图形图像叠加在其上的外部环境的图像；参数获得单元，其被构造为获得用于所述第一摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第二追踪参数；以及设定单元，其被构造为基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。
根据本发明的一个方面，提供一种用于获得头戴式显示装置的位置和姿势的信息处理装置的控制方法，所述控制方法包括以下步骤：获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄以获得头戴式显示装置的位置和姿势，并且所述第二拍摄图像由第二摄像单元拍摄以拍摄将计算机图形图像叠加在其上的外部环境的图像；获得用于所述第一摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第二追踪参数；以及基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出第一实施例的图像处理系统的构造示例的图。
图2是根据第一实施例的功能框图。
图3是根据第一实施例的拍摄图像处理单元的详细框图。
图4A至图4C是示出根据第一实施例的、用于获得位置和姿势的摄像单元的姿势与测光方法(photometric method)之间的关系的图。
图5A和图5B是根据第一实施例的用于确定追踪时间的表。
图6是示出根据第一实施例的自动曝光控制的示例的图。
图7是示出根据第一实施例的自动曝光控制的示例的图。
图8是根据第一实施例的整体自动曝光控制的流程图。
图9是根据第一实施例的自动曝光控制的流程图。
图10A至图10C是示出根据第二实施例的用于获得位置和姿势的摄像单元的姿势的图。
图11是根据第二实施例的功能框图。
图12是根据第二实施例的拍摄图像处理单元的详细框图。
图13是根据第二实施例的整体自动曝光控制的流程图。
图14A和图14B是根据第二实施例的自动曝光控制的流程图。
图15是示出用户佩戴HMD的状态的图。
图16是示出当外部环境的亮度改变时的物体的状态的图。
具体实施方式
现在，将参照附图详细描述本发明的示例性实施例。应当指出的是，在这些实施例中阐述的组件的相对布置、数值表达以及数值不限制本发明的范围，除非另有具体声明。
第一实施例
在本实施例中，将描述分立控制作为信息处理装置的头戴显示装置(在下文中被称为HMD)的用于体验MR的摄像单元的Auto Exposure(也称为自动曝光)功能、与用于获得位置和姿势的摄像单元的自动曝光功能，以及如下的示例，在该示例中，进行控制，使得用于获得位置和姿势的摄像单元的自动曝光功能对外部环境的亮度的改变快速地响应。
图1是示出根据本实施例的图像处理系统的构造示例的图。在图1中，图像处理系统配设有HMD 1101、控制器1102以及具有显示单元1103的图像处理装置1104。
HMD 1101配设有图像显示单元11010、与控制器1102进行通信的通信单元11011以及控制这些单元的控制单元11012，HMD 1101被用户佩戴在他或她的头上。图像显示单元11010显示由图像处理装置1104生成的图像。图像显示单元11010在用户的各个眼睛的前方，附装有包括光学系统的构造。
HMD 1101与构成小规模网络(例如WLAN(无线局域网)或WPAN(无线个人局域网))的控制器1102进行通信。在HMD 1101与控制器1102之间，通信不限于无线通信系统，并且可以使用有线通信系统。此外，HMD 1101配备有摄像单元1105。摄像单元1105拍摄外部环境，以获得HMD 1101的位置和姿势。
有线连接到控制器1102的图像处理装置1104，具有用于再现图像的再现单元和用于存储要再现的图像的存储单元。图像处理装置1104经由控制器1102与HMD 1101进行通信。另外，图像处理装置1104配设有用于输入数据、指令等的键盘等，并且输入的数据、指令的结果等被显示在显示单元1103上。
注意，在图1的例示中，图像处理装置1104和控制器1102具有分立的硬件构造。然而，也能够在图像处理装置1104中实现控制器1102的所有功能并且集成这些硬件构造，或者能够集合图像处理装置1104的功能和控制器1102的功能并且构成专用的图像处理装置。
图2是根据本实施例的、具有HMD和图像处理装置的图像处理系统的功能框图。HMD1201配设有用于获得位置和姿势的摄像单元1202(第一摄像单元)、用于体验MR的摄像单元1203(第二摄像单元)、显示单元1204、控制单元1205、拍摄图像处理单元1206、图像处理装置I/F通信单元1207以及其他功能单元(未示出)。HMD 1201对应于HMD 1101。
用于获得位置和姿势的摄像单元1202拍摄外部环境并获得HMD的位置和姿势。用于体验MR的摄像单元1203拍摄外部环境并且以体验混合现实。显示单元1204显示图像。控制单元1205控制HMD 1201。拍摄图像处理单元1206对由用于体验MR的摄像单元1203以及用于获得位置和姿势的摄像单元1202拍摄的图像进行图像处理。图像处理装置I/F通信单元1207发送/接收图像以及控制信号。
另一方面，由与HMD 1201不同的外部装置，诸如PC(个人计算机)或WS(工作站)等，构成图像处理装置1210。图像处理装置1210配设有HMD I/F通信单元1211、位置和姿势获得单元1212、内容数据库(DB)1213、CG渲染单元1214以及其他功能单元(未示出)。图像处理装置1210对应于图像处理装置1104。
HMD I/F通信单元1211发送/接收图像，控制信号等。位置和姿势获得单元1212根据从HMD 1201接收到的用于获得位置和姿势的拍摄图像，获得HMD 1201的位置和姿势。内容数据库(DB)1213存储虚拟图像的CG内容。CG渲染单元1214将存储在内容DB 1213中的CG图像，叠加在由用于体验MR的摄像单元1203拍摄的拍摄图像上。
注意，在本实施例中，拍摄图像被从HMD 1201发送到图像处理装置1210，图像处理装置1210获得位置和姿势并将虚拟图像的CG叠加到拍摄图像上，但是构造不限于该示例。例如，可以采用如下的构造，即，将位置和姿势获得单元1212安装到HMD 1201，并且将HMD1201的位置和姿势信息发送到图像处理装置1210。在这种构造中，接下来，仅虚拟图像的CG图像被从图像处理装置1210发送到HMD 1201，并且在HMD 1201中叠加拍摄图像与CG图像。
利用上述的构造，由用于体验MR的摄像单元1203以及用于获得HMD 1201的位置和姿势的摄像单元1202所拍摄的外部环境的图像，通过拍摄图像处理单元1206来处理。拍摄图像处理单元1206的处理内容包括拍摄图像的色调校正、用于自动曝光的处理等。然后，处理后的拍摄图像经由图像处理装置I/F通信单元1207，被发送到图像处理装置1210。
图像处理装置1210的位置和姿势获得单元1212基于接收到的用于获得位置和姿势的拍摄图像，获得HMD 1201的位置和姿势。CG渲染单元1214基于由位置和姿势获得单元1212获得的HMD 1201的位置和姿势来绘制CG，并且将该CG叠加在由用于体验MR的摄像单元1203所拍摄的拍摄图像上。然后，叠加后的图像经由HMD I/F通信单元1211，被发送到HMD1201。HMD 1201在显示单元1204上，显示从图像处理装置1210接收到的图像。上述构造使得用户能够通过佩戴HMD 1201，来观察通过将由图像处理装置1210绘制的CG叠加在拍摄图像上而获得的叠加后的图像。
接下来，图3是HMD 1201的拍摄图像处理单元1206的详细框图，并且特别地，是用于实现自动曝光功能的功能框图。拍摄图像处理单元1206配设有辉度转换单元1301、辉度积分值获得单元1302、测光方法确定单元1303、参数设定单元1304(设定单元)以及追踪参数确定单元1305。
由用于体验MR的摄像单元1203或用于获得位置和姿势的摄像单元1202拍摄的物理空间的拍摄图像，被发送到辉度转换单元1301。辉度转换单元1301针对各个像素，将拍摄图像从红色(R)、绿色(G)和蓝色(B)转换成辉度值(获得辉度值)。使用下面的一般表达式等，进行从R、G和B至辉度(Y)的转换。
Y＝0.299×R+0.587×G+0.114×B (1)
由辉度转换单元1301转换成辉度值的数据，被发送到辉度积分值获得单元1302。辉度积分值获得单元1302基于从辉度转换单元1301发送的辉度值和从测光方法确定单元1303发送的测光方法，获得针对各个区域加权的辉度积分值，并且将辉度积分值发送到参数设定单元1304。
在此，将描述由测光方法确定单元1303确定的测光方法。当确定测光方法时，将拍摄图像分割成3×3区域、5×5区域等，并且确定要主要使用哪个区域的辉度值。图4A至图4C各自示出了当将拍摄图像分割成4×4区域时的测光方法的示例。
图4A中的附图标记1701表示要体验MR的人，并且附图标记1702表示用于获得位置和姿势的摄像单元。图4A中的用于获得位置和姿势的摄像单元1702，被安装为与MR体验人1701的视线大致面向相同的方向。在这种情况下，关于拍摄图像的中心的区域1703的辉度积分值的权重增大。
另一方面，图4B中的用于获得位置和姿势的摄像单元1702面向略微向上的方向。在这种情况下，可能需要去除附装到天花板的照明，因此与图4A的情况相比，要加权的位置改变为区域1704。类似地，在图4C的情况下，用于获得位置和姿势的摄像单元面向略微向下的方向。在这种情况下，可能需要消除在地板上映出的阴影，因此要加权的位置类似地改变为区域1705。
依据用于体验MR的位置，改变用于获得位置和姿势的摄像单元1702的姿势，以面向最佳方向。例如，在地板上存在用于获得位置和姿势的大量信息的情况下，以如图4C所示的方式，使用用于获得位置和姿势的摄像单元1702。
追踪参数确定单元1305将当外部环境的亮度改变时的时间、与当进行自动曝光控制时的时间之间的时间差的程度，确定为追踪参数，并且将该信息发送到参数设定单元1304。
在此，将描述由追踪参数确定单元1305确定的追踪参数。追踪参数表示当外部环境的亮度改变时的时间、与当自动曝光控制追踪该改变时的时间之间的时间差。图5A和图5B示出了示出相对于外部环境的亮度的改变、进行自动曝光控制的追踪的时间差的程度的示例。图5A示出了用于获得位置和姿势的摄像的追踪参数的示例，并且图5B示出了用于体验MR的摄像的追踪参数的示例。
在图5A和图5B的示例中，进行控制，使得来自用于获得位置和姿势的摄像单元1202的输出图像，例如在1fps内达到目标辉度，或在5fps内达到目标辉度。另一方面，图5B示出了用于体验MR的摄像单元1203的追踪参数的示例，并且进行控制以便以1秒达到目标辉度，或以5秒达到目标辉度。因此，用于获得位置和姿势的追踪参数，是比用于体验MR的追踪参数更早达到目标辉度的参数。
基于从辉度积分值获得单元1302接收到的针对各个区域的辉度积分值，以及从追踪参数确定单元1305接收到的追踪参数，参数设定单元1304推导诸如快门速度和增益等的摄像参数，所述摄像参数为用于体验MR的摄像单元1203和用于获得位置和姿势的摄像单元1202而设置，使得拍摄图像的亮度恒定，并且参数设定单元1304将摄像参数发送到用于体验MR的摄像单元1203和用于获得位置和姿势的摄像单元1202。
注意，在本实施例中，将描述控制快门速度和增益中的至少一个以改变拍摄图像的辉度的方法，但本发明不限于此。
接下来，将描述由参数设定单元1304进行的用于改变快门速度的方法。图6中的附图标记601至605表示示出外部环境的亮度的改变、基于该改变的各种控制定时、以及通过这种控制输出的拍摄图像的辉度的图。图601是示出外部环境的亮度的改变的图。纵轴表示亮度，横轴表示时间，并且亮度被示出为从时刻t1至时刻t2增加而从时刻t3至时刻t4减少。
图602示出了在外部环境的亮度如图601中所示改变的情况下，用于体验MR的摄像单元1203的自动曝光控制的开/关控制。在从时刻t1起经过了一定量的时间时的时刻t5开始自动曝光控制，并且在从时刻t2起历过了一定量的时间时的时刻t6结束控制。类似地，在从时刻t3起历过了一定量的时间时的时刻t7开始自动曝光控制，并且在从时刻t4起历过了一定量的时间时的时刻t8结束控制。
图603示出了在进行图602中所示的开/关控制的情况下，从用于体验MR的摄像单元1203输出的拍摄图像的辉度信息。所述控制以小的延迟追踪外部环境的亮度的改变，并且通常保持拍摄图像的亮度恒定。快速响应于外部环境的亮度的改变，对MR体验人而言感觉不自然，因此，所述控制以小的延迟追踪外部环境的亮度的改变。
图604示出了用于获得位置和姿势的摄像单元1202的自动曝光控制的开/关控制。控制在时刻t9开始，时刻t9是比用于体验MR的摄像单元1203的开/关控制的开始时刻t5更早的定时，而控制在时刻t10结束，这意味着，控制在比当用于体验MR的摄像单元1203的开/关控制结束时的时刻t6更早的定时结束。
图605示出了当进行图604中所示的开/关控制时，从用于获得位置和姿势的摄像单元输出的拍摄图像的辉度信息。如图605中所示，控制没有延迟地追踪外部环境的亮度的改变，以便保持亮度恒定。
注意，替代图601至图605中所示的控制，可以进行图7中的图701至图705所示的控制。图701是示出外部环境的亮度的改变的图，并且类似于图601。在图601至图605与图701至图705当中，图602与图702是不同的。具体而言，用于体验MR的摄像单元1203的自动曝光控制开(ON)的开始时刻不同。图702中的开始时刻t5在时刻t1与时刻t2之间，但是它比图602中的开始时刻t5更早。类似地，图702中的开开始时刻t7在时刻t3与时刻t4之间，但它比图602中的开始时刻t7更早。
控制用于体验MR的摄像单元1203的自动曝光控制的开始和结束，使得从用于体验MR的摄像单元1203输出的拍摄图像的辉度信息，以小的延迟对外部环境的亮度的改变进行追踪即可，并且可以使用除图6和图7中所示的控制方法之外的方法。即使当外部环境的亮度如在图16中所示的情况下改变时，通过进行如图6等中所示的、用于获得位置和姿势的摄像单元1202的自动曝光控制，来自用于获得位置和姿势的摄像单元1202的输出图像，不是以图16中的16001至16002的方式，而是以图16中的16001至16003的方式改变。
图8是示出根据本实施例的由拍摄图像处理单元1206进行的自动曝光控制的处理过程的流程图。在步骤S1801中，辉度转换单元1301确定拍摄图像是用于获得位置和姿势的拍摄图像，还是用于体验MR的拍摄图像。在用于获得位置和姿势的拍摄图像的情况下，操作前进到步骤S1802。另一方面，在用于体验MR的拍摄图像的情况下，操作前进到步骤S1805。
在步骤S1802中，测光方法确定单元1303检测用于获得位置和姿势的摄像单元1202的姿势。注意，关于用于获得位置和姿势的摄像单元1202的姿势，可以将用于获得位置和姿势的摄像单元1202的姿势预先存储在安装到HMD 1201的ROM中。作为选择，可以从图像处理装置1210接收数据，或者通过HMD 1201拍摄特定图表，HMD 1201可以获得用于获得位置和姿势的摄像单元1202的姿势。
在步骤S1803中，测光方法确定单元1303基于用于获得位置和姿势的摄像单元1202的姿势，确定测光方法。如参照图4A至图4C所描述的，基于用于获得位置和姿势的摄像单元1202的姿势，来确定测光方法。在步骤S1804中，追踪参数确定单元1305确定用于追踪外部环境的亮度的改变的参数。追踪参数的确定可以由图像处理装置1210来进行，或者可以在HMD 1201与图像处理装置1210之间的连接序列中确定。
在步骤S1805中，测光方法确定单元1303确定测光方法。例如，主要使用中央区域的方法，被确定为关于用于体验MR的拍摄图像的测光方法。在步骤S1806中，追踪参数确定单元1305确定关于用于体验MR的拍摄图像的、用于追踪外部环境的亮度的改变的参数。在步骤S1807中，拍摄图像处理单元1206进行自动曝光控制(稍后将参照图9详细描述)，并且图8的流程图的处理结束。
下面，将参照图9中的流程图详细描述步骤S1807的处理。在步骤S1901中，辉度转换单元1301对获得的拍摄图像进行转换，转换成辉度值。如上所述进行从红色、绿色和蓝色至辉度值的转换。在步骤S1902中，辉度积分值获得单元1302基于从辉度转换单元1301发送的针对各个像素的辉度值，以及由测光方法确定单元1303确定的测光方法，获得针对各个区域的辉度积分值。
在步骤S1903中，追踪参数确定单元1305获得在步骤S1804或步骤S1806中确定的追踪参数。在步骤S1904中，参数设定单元1304确定自外部环境的亮度改变以来，是否经过了与在步骤S1903中获得的追踪参数相对应的预定时间。在经过了预定时间的情况下，操作前进到步骤S1905。另一方面，在未经过预定时间的情况下，操作结束。
在步骤S1905中，参数设定单元1304根据由辉度积分值获得单元1302获得的针对各个区域的辉度积分值，确定要为各个摄像单元(用于获得位置和姿势的摄像单元1202和用于体验MR的摄像单元1203)设置的摄像参数(快门速度、增益等)。在步骤S1906中，参数设定单元1304为各个摄像单元设置在步骤S1905中确定的摄像参数。然后，图9中的流程图的处理结束。
如上所述，在本实施例中，在用于体验MR的摄像单元以及用于获得位置和姿势的摄像单元中的各个被最优化之后，进行对用于体验MR的摄像单元的自动曝光控制，以及对用于获得位置和姿势的摄像单元的自动曝光控制，因此，即使在外部环境的亮度改变的情况下，也能够获得更精确的位置和姿势。
第二实施例
在第一实施例中，使用一个用于获得位置和姿势的摄像单元，但在本实施例中，将描述在存在多个用于获得位置和姿势的摄像单元的情况下的处理。
图10A示出了在第一实施例中使用的、并配备有一个用于获得位置和姿势的摄像单元2001的HMD 1101。与此相反，图10B示出了在本实施例中使用的、并配备有两个用于获得位置和姿势的摄像单元2002和2003的HMD 2010。在图10B中，将用于获得位置和姿势的摄像单元2002和2003连接到HMD，以便面对相同的方向，但是可以采用如下的构造，即，如图10C中所示，将用于获得位置和姿势的摄像单元2005连接到HMD，以便面对向上的方向，而将用于获得位置和姿势的摄像单元2004连接到HMD，以便面对向下的方向。
图11是根据本实施例的具有HMD和图像处理装置的图像处理系统的功能框图。不同于图2，安装有用于获得位置和姿势的摄像单元(B)2101，并且拍摄图像处理单元2102被构成为能够处理三个摄像机。在本实施例中，将描述存在两个用于获得位置和姿势的摄像单元的示例，但是用于获得位置和姿势的摄像单元的数量为两个或更多个即可，并且不特别地限于两个。
图12是HMD 1201的拍摄图像处理单元2102的详细框图，并且尤其是用于实现自动曝光功能的功能框图。不同于图3，能够由拍摄图像处理单元2102，来接收由用于获得位置和姿势的摄像单元2101所拍摄的拍摄图像。用于处理接收到的拍摄图像的处理单元的构造，与图3中的类似。
接下来，图13是示出根据本实施例的由拍摄图像处理单元2102进行的自动曝光控制的处理过程的流程图。下面将着重于与第一实施例的图8中的流程图的各个处理的差异，来给出描述。
在步骤S1801中，辉度转换单元1301确定拍摄图像是用于获得位置和姿势的拍摄图像，还是用于体验MR的拍摄图像。在用于获得位置和姿势的拍摄图像的情况下，代替步骤S1802，操作前进到步骤S2301。然而，在用于体验MR的拍摄图像的情况下，类似于第一实施例，操作前进到步骤S1805。
在步骤S2301中，测光方法确定单元1303对用于获得位置和姿势的摄像单元的方向以及用于获得位置和姿势的摄像单元之间的关系进行检测。类似于第一实施例，对摄像单元的方向进行检测以确定测光方法。
下面，将描述摄像单元之间的关系。如在图10B和图10C中，检测用于获得位置和姿势的摄像单元的姿势的关系。在图10B的示例的情况下，用于获得位置和姿势的摄像单元2002和2003面向相同的方向，但是在图10C的示例的情况下，用于获得位置和姿势的摄像单元2005面向上，而用于获得位置和姿势的摄像单元2004面向下。在如图10C所示，用于获得位置和姿势的摄像单元面向的方向不同的情况下，优选分立地控制自动曝光控制，而不是同步自动曝光控制。这是因为在大多数情况下，由面向上的摄像单元拍摄的照明环境的改变，与由面向下的摄像单元拍摄的照明环境的改变并不相同。
然而，在如图10B所示的安装位置的情况下，用于获得位置和姿势的摄像单元2002与用于获得位置和姿势的摄像单元2003二者面向相同的方向，因此，由用于获得位置和姿势的摄像单元2002拍摄的照明环境的改变、与由用于获得位置和姿势的摄像单元2003拍摄的照明环境的改变大致相同。因此，优选同步自动曝光控制。
关于用于检测安装摄像单元的姿势的关系的方法，可以采用如下的构造，即，将摄像单元之间的关系预先存储在安装到HMD 1201的ROM中，然后读出。作为选择，可以从图像处理装置1210接收数据，或者可以根据由HMD 1201拍摄的图像的辉度分布来估计所述关系。例如，使用获得针对画面的各个区域的辉度积分值的事实，在针对各个区域的辉度积分值在摄像单元之间差大于或等于阈值的量的情况下，可以估计出各摄像单元面向的方向不同。然而，如果差小于或等于阈值，则可以估计出各摄像单元面向的方向相同。
图13中的其他处理类似于第一实施例中的，但是步骤S2302的自动曝光控制的处理内容与第一实施例中的不同。
下面，将参照图14A至图14B中的流程图，着重于与图9中的流程图的处理的差异，来详细描述步骤S2302的处理。在步骤S2401中，辉度转换单元1301确定接收到的拍摄图像是用于获得位置和姿势的拍摄图像，还是用于体验MR的拍摄图像。在用于获得位置和姿势的拍摄图像的情况下，操作前进到步骤S2402。另一方面，在用于体验MR的拍摄图像的情况下，操作前进到步骤S1901。
在步骤S2402中，辉度转换单元1301使用在步骤S2301中检测到的用于获得位置和姿势的摄像单元的姿势，确定用于获得位置和姿势的摄像单元的姿势是否相同。在各摄像单元面向的方向相同的情况下，操作前进到步骤S2403。然而，在各摄像单元面向的方向不同的情况下，操作前进到步骤S1901。
在步骤S2403中，辉度转换单元1301将用于获得位置和姿势的摄像单元的所有图像，转换成辉度值。在步骤S2404中，辉度积分值获得单元1302基于从辉度转换单元1301发送的辉度值和由测光方法确定单元1303确定的测光方法，获得与用于获得位置和姿势的摄像单元中的各个有关的、针对各个区域的辉度积分值。
在步骤S2405中，辉度积分值获得单元1302基于在步骤S2404中获得的、用于获得位置和姿势的摄像单元中的各个的辉度积分值，获得平均辉度积分值。在步骤S2406中，追踪参数确定单元1305确定用于追踪外部环境的亮度的改变的参数。在步骤S2407中，参数设定单元1304确定自外部环境的亮度改变以来，是否历过了与在步骤S2406中获得的追踪参数相对应的预定时间。在历过了预定时间的情况下，操作前进到步骤S2408。另一方面，在未历过预定时间的情况下，操作结束。
在步骤S2408中，参数设定单元1304基于由辉度积分值获得单元1302获得的针对各个区域的辉度积分值，确定要为各个摄像单元设置的摄像参数(快门速度、增益等)。在步骤S2409中，参数设定单元1304设置在步骤S2408中确定的、要为摄像单元设置的参数，并且为各个摄像单元设置所述参数。
另一方面，当在步骤S2401中确定拍摄图像不是用于获得位置和姿势的拍摄图像，或者在步骤S2402中确定用于获得位置和姿势的摄像单元面向不同方向的情况下，操作前进到步骤S1903至步骤1906的处理。然后进行与存在一个摄像单元的情况下的自动曝光控制相同的控制。
在本实施例中，描述了存在两个用于获得位置和姿势的摄像单元的示例，但是可以存在三个或更多个用于获得位置和姿势的摄像单元。在这种情况下，针对面向相同方向的用于获得位置和姿势的摄像单元中的各个，进行自动曝光控制即可。
如上所述，根据本实施例，在存在多个用于获得位置和姿势的摄像单元的情况下，即使外部环境的亮度改变，也能够更精确地获得位置和姿势。
根据本发明，在存在多个摄像单元的情况下，即使外部环境的亮度改变，也能够以高精确度进行各个摄像单元的图像拍摄。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分立的计算机或分立的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (10)

1.一种用于获得头戴式显示装置的位置和姿势的信息处理装置，所述信息处理装置包括：
辉度值获得单元，其被构造为获得外部环境的第一拍摄图像的第一辉度值以及外部环境的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄以获得头戴式显示装置的位置和姿势，并且所述第二拍摄图像由第二摄像单元拍摄以拍摄将计算机图形图像叠加在其上的外部环境的图像；
参数获得单元，其被构造为获得用于所述第一摄像单元的、与外部环境的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与外部环境的亮度的改变相对应的自动曝光控制的第二追踪参数，其中，第一追踪参数表示从当外部环境的亮度改变时直到当第一摄像单元化开始自动曝光控制以追踪外部环境的亮度的改变时的第一时间差，第二追踪参数表示从当外部环境的亮度改变时直到当第一摄像单元化开始自动曝光控制以追踪外部环境的亮度的改变时的第二时间差，所述第一时间差比第二时间差短；以及
设定单元，其被构造为基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。
2.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
检测单元，其被构造为检测所述第一摄像单元的姿势；
确定单元，其被构造为基于所述第一摄像单元的姿势，确定测光方法；以及
获得单元，其被构造为基于所述第一摄像单元的拍摄图像的辉度值和所述测光方法，获得所述辉度值的积分值，
其中，所述设定单元基于所述辉度值的积分值和所述第一追踪参数，设置用于所述第一摄像单元的所述第一摄像参数。
3.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：
确定单元，其被构造为确定测光方法；以及
获得单元，其被构造为基于所述第二摄像单元的拍摄图像的辉度值和所述测光方法，获得所述辉度值的积分值，
其中，所述设定单元基于所述辉度值的积分值和所述第二追踪参数，设置用于所述第二摄像单元的所述第二摄像参数。
4.根据权利要求1所述的信息处理装置，
其中，所述设定单元在经过了与所述第一追踪参数相对应的预定时间之后，设置所述第一摄像参数，并且在历过了与所述第二追踪参数相对应的预定时间之后，设置所述第二摄像参数。
5.根据权利要求1所述的信息处理装置，
其中，所述第一摄像参数和所述第二摄像参数中的至少一者，是快门速度和增益中的至少一者。
6.根据权利要求2所述的信息处理装置，
其中，所述检测单元还检测与所述第一摄像单元不同的第三摄像单元的姿势，并且
所述信息处理装置还包括控制单元，该控制单元被构造为基于所述第一摄像单元的姿势和所述第三摄像单元的姿势，切换到对所述第一摄像单元和所述第三摄像单元的同步控制，或者对所述第一摄像单元和所述第三摄像单元的分立控制。
7.根据权利要求6所述的信息处理装置，
其中，
所述第三摄像单元是用于获得所述头戴式显示装置的位置和姿势的摄像单元。
8.根据权利要求1所述的信息处理装置，
其中，所述信息处理装置是头戴型显示装置。
9.一种用于获得头戴式显示装置的位置和姿势的图像处理系统，所述图像处理系统包括信息处理装置和有线连接或无线连接到所述信息处理装置的图像处理装置，所述信息处理装置包括：
辉度值获得单元，其被构造为获得外部环境的第一拍摄图像的第一辉度值以及外部环境的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄以获得头戴式显示装置的位置和姿势，并且所述第二拍摄图像由第二摄像单元拍摄以拍摄将计算机图形图像叠加在其上的外部环境的图像；
参数获得单元，其被构造为获得用于所述第一摄像单元的、与外部环境的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与外部环境的亮度的改变相对应的自动曝光控制的第二追踪参数，其中，第一追踪参数表示从当外部环境的亮度改变时直到当第一摄像单元化开始自动曝光控制以追踪外部环境的亮度的改变时的第一时间差，第二追踪参数表示从当外部环境的亮度改变时直到当第一摄像单元化开始自动曝光控制以追踪外部环境的亮度的改变时的第二时间差，所述第一时间差比第二时间差短；以及
设定单元，其被构造为基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。
10.一种用于获得头戴式显示装置的位置和姿势的信息处理装置的控制方法，所述控制方法包括：
辉度值获得步骤，获得外部环境的第一拍摄图像的第一辉度值以及外部环境的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄以获得头戴式显示装置的位置和姿势，并且所述第二拍摄图像由第二摄像单元拍摄以拍摄将计算机图形图像叠加在其上的外部环境的图像；
参数获得步骤，获得用于所述第一摄像单元的、与外部环境的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与外部环境的亮度的改变相对应的自动曝光控制的第二追踪参数，其中，第一追踪参数表示从当外部环境的亮度改变时直到当第一摄像单元化开始自动曝光控制以追踪外部环境的亮度的改变时的第一时间差，第二追踪参数表示从当外部环境的亮度改变时直到当第一摄像单元化开始自动曝光控制以追踪外部环境的亮度的改变时的第二时间差，所述第一时间差比第二时间差短；以及
设定步骤，基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。
CN201610373472.0A 2015-06-01 2016-05-31 信息处理装置、信息处理装置的控制方法及图像处理系统 Active CN106210699B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015111680A JP6525740B2 (ja) 2015-06-01 2015-06-01 情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラム
JPJP2015-111680 2015-06-01

Publications (2)

Publication Number Publication Date
CN106210699A CN106210699A (zh) 2016-12-07
CN106210699B true CN106210699B (zh) 2019-01-22

Family

ID=56410623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610373472.0A Active CN106210699B (zh) 2015-06-01 2016-05-31 信息处理装置、信息处理装置的控制方法及图像处理系统

Country Status (5)

Country Link
US (1) US10198868B2 (zh)
JP (1) JP6525740B2 (zh)
CN (1) CN106210699B (zh)
DE (1) DE102016006242B4 (zh)
GB (1) GB2541073B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016221123A1 (de) 2016-10-26 2018-04-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
JP2019125986A (ja) * 2018-01-19 2019-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10827164B2 (en) * 2018-03-01 2020-11-03 Google Llc Active LCD shutters for virtual and augmented reality low persistence
US11238662B2 (en) 2019-09-25 2022-02-01 Apple Inc. Optimal luminance mapping for augmented reality devices
US11030817B2 (en) * 2019-11-05 2021-06-08 Varjo Technologies Oy Display system and method of using environment map to generate extended-reality images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295206A (zh) * 2007-04-25 2008-10-29 佳能株式会社 用于立体观察的系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209221A (ja) * 2001-01-11 2002-07-26 Minolta Co Ltd デジタル撮像装置および記録媒体
JP2005148262A (ja) * 2003-11-13 2005-06-09 Nec Saitama Ltd 携帯機器および測光制御方法
JP4522307B2 (ja) * 2005-04-08 2010-08-11 キヤノン株式会社 画像撮像装置、画像撮像方法
JP2006345255A (ja) * 2005-06-09 2006-12-21 Canon Inc 撮像装置
JP2007004714A (ja) * 2005-06-27 2007-01-11 Canon Inc 情報処理方法、情報処理装置
JP5058686B2 (ja) * 2007-06-14 2012-10-24 キヤノン株式会社 情報処理方法及び情報処理装置
CN110798586A (zh) * 2010-02-19 2020-02-14 株式会社尼康 电子设备
JP5495841B2 (ja) * 2010-02-22 2014-05-21 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
EP2590396B1 (en) * 2010-07-02 2018-08-08 Sony Interactive Entertainment Inc. Information processing system and information processing method
EP2815568B1 (en) * 2012-02-13 2018-04-04 Nokia Technologies Oy Method and apparatus for enhanced automatic adjustment of focus in digital photography
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9977492B2 (en) 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
TWI486630B (zh) * 2013-03-27 2015-06-01 聚晶半導體股份有限公司 適應性調整頭戴式顯示器的方法與頭戴式顯示器
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295206A (zh) * 2007-04-25 2008-10-29 佳能株式会社 用于立体观察的系统

Also Published As

Publication number Publication date
GB201609331D0 (en) 2016-07-13
JP2016225885A (ja) 2016-12-28
JP6525740B2 (ja) 2019-06-05
DE102016006242A1 (de) 2016-12-01
CN106210699A (zh) 2016-12-07
DE102016006242B4 (de) 2021-04-01
GB2541073A (en) 2017-02-08
GB2541073B (en) 2019-06-19
US10198868B2 (en) 2019-02-05
US20160350976A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
US10699473B2 (en) System and method for generating a virtual viewpoint apparatus
CN106210699B (zh) 信息处理装置、信息处理装置的控制方法及图像处理系统
US11190714B2 (en) Electronic device, head-mounted display, gaze point detector, and pixel data readout method
US10293252B2 (en) Image processing device, system and method based on position detection
US10771761B2 (en) Information processing apparatus, information processing method and storing unit
US20130215149A1 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
CN109453517B (zh) 虚拟角色控制方法和装置、存储介质、移动终端
JP6103948B2 (ja) 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム
JP2008219874A (ja) 撮像装置、画像処理装置、制御方法およびプログラム
US9979898B2 (en) Imaging apparatus equipped with a flicker detection function, flicker detection method, and non-transitory computer-readable storage medium
US11477433B2 (en) Information processor, information processing method, and program
US9014475B2 (en) Image pickup apparatus and photographing method of image pickup apparatus
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
US10917566B2 (en) Optimum situation determination imaging method and device for performing the method
WO2015141185A1 (ja) 撮像制御装置、撮像制御方法および記録媒体
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
US20240251154A1 (en) Image capture apparatus, image processing apparatus, and method
US12069398B2 (en) Image processing apparatus, method, and non-transitory computer-readable storage medium for superimposing images
US20240173602A1 (en) Image processing system, control method, and storage medium
US20210044738A1 (en) Control apparatus, control method, and recording medium
US9936158B2 (en) Image processing apparatus, method and program
US10116877B2 (en) Image processing apparatus and image processing method
WO2019193807A1 (ja) 画像処理装置、画像処理方法及び記録媒体
JP2023074369A (ja) 画像処理装置、撮像装置、制御方法及びプログラム
CN117998211A (zh) 超延时视频生成方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant