CN116266864A - 信息处理设备及其控制方法、介质和头戴式显示器 - Google Patents

信息处理设备及其控制方法、介质和头戴式显示器 Download PDF

Info

Publication number
CN116266864A
CN116266864A CN202211626089.3A CN202211626089A CN116266864A CN 116266864 A CN116266864 A CN 116266864A CN 202211626089 A CN202211626089 A CN 202211626089A CN 116266864 A CN116266864 A CN 116266864A
Authority
CN
China
Prior art keywords
image
noise
virtual space
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211626089.3A
Other languages
English (en)
Inventor
穗积靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116266864A publication Critical patent/CN116266864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供信息处理设备及其控制方法、介质和头戴式显示器。根据本发明的信息处理设备包括：生成单元，其被配置为生成叠加在由摄像单元拍摄的现实空间的图像上的虚拟空间的图像；以及添加单元，其被配置为向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，并且所述添加单元基于在所述遮光区域中获取的图像向所述虚拟空间的图像添加噪声。

Description

信息处理设备及其控制方法、介质和头戴式显示器
技术领域
本发明涉及用于混合现实的信息处理设备、信息处理设备的控制方法以及计算机可读介质。
背景技术
作为涉及旨在无缝地混合现实空间和虚拟空间的混合现实(MR)的技术，已知使用视频透视型头戴式显示器(HMD)的MR系统。在该系统中，将根据摄像设备的位置姿势生成的计算机图形(CG)图像叠加在由诸如摄像机等的摄像设备拍摄的现实空间图像上，并且经由诸如HMD的显示器等的显示装置观看该图像。
在使用视频透视型HMD的MR系统中，如果现实空间图像和CG图像在不修改的情况下叠加显示，则图像在视觉上趋于不自然。这是因为与图像质量相关的特性(例如，灰度特性、白平衡、噪声感、分辨率)在现实空间图像和CG图像之间是不同的。
例如，假设具有不同噪声感的现实空间图像和CG图像(例如，具有噪声的现实空间图像和不具有噪声的CG图像)在不修改的情况下叠加显示。在这种情况下，如图9所示，由于CG图像和CG图像周围的现实空间图像之间的噪声感不同，因此显示具有不自然的噪声感的图像。在日本特开2014-203326中公开了减少这样的不自然感(当现实空间图像和CG图像叠加显示时的不自然噪声感)的技术。
然而，在现有技术中，诸如在日本特开2014-203326中公开的技术，以预定的固定标准将噪声添加到虚拟空间图像(虚拟空间中的图像：CG图像)。因此，在现有技术中，生成噪声感与现实空间图像(现实空间中的图像)的噪声感不同的虚拟空间图像，并且在一些情况下，可能获取具有不自然噪声感的图像作为当虚拟空间图像叠加在现实空间图像上时创建的图像。
发明内容
本发明提供了一种技术，用于生成具有与现实空间的图像匹配的噪声感的虚拟空间的图像，并且获取不具有不自然噪声感的图像作为当虚拟空间的图像叠加在现实空间的图像上时创建的图像。
本发明在其第一方面提供一种信息处理设备，包括：生成单元，其被配置为生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及添加单元，其被配置为向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及所述添加单元基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。
本发明在其第二方面中提供一种信息处理设备的控制方法，包括：生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及向所述虚拟空间的图像添加噪声，其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。
本发明在其第三方面提供一种头戴式显示器，包括：所述信息处理设备；以及显示单元，其被配置为将由所述添加单元添加了噪声的虚拟空间的图像叠加在现实空间的图像上并进行显示。
本发明在其第四方面中提供一种计算机可读介质，其存储有程序，所述程序使计算机用作信息处理设备的各个单元。
通过参考附图对实施例的以下说明，本发明的更多特征将变得明显。
附图说明
图1是描绘根据实施例1的MR系统的配置示例的图；
图2是描绘根据实施例1的摄像单元的配置示例的图；
图3是描绘根据实施例1的标记的示例的图；
图4是描绘根据实施例1和实施例2的CG图像校正单元的配置示例的图；
图5是描绘根据实施例1和实施例2的噪声特性评价单元的操作示例的流程图；
图6A和图6B是描绘根据实施例1的像素值和噪声添加量之间的相关关系的示例的图；
图7是描绘根据实施例2的MR系统的配置示例的图；
图8是描绘根据实施例2的摄像单元的配置示例的图；以及
图9是描绘具有不自然感的混合现实图像的示例的图。
具体实施方式
将参考附图详细描述本发明的实施例。下面描述的本发明的各个实施例可以单独实现，或者在必要时或者在单个实施例中来自各个实施例的要素或特征的组合是有益的情况下作为多个实施例或其特征的组合来实现。
在虚拟空间图像(虚拟空间的图像)直接叠加在具有不同噪声感的现实空间图像(现实空间的图像)上的情况下，获取具有不自然噪声感的图像。作为减少这样的不自然感的技术，已经提出了以预定的固定标准向虚拟空间图像添加噪声的技术。
然而，拍摄现实空间图像的摄像单元的噪声特性具有个体差异，因此现实空间图像的噪声感(噪声特性)在多个图像设备之间变化。此外，可以通过对现实空间图像进行图像处理来改变现实空间图像的噪声感，但是对现实空间图像进行的图像处理在多个摄像设备中并不总是相同的。也由于这个原因，现实空间图像的噪声感在多个摄像设备之间是变化的。因此，在现有技术中，可能生成具有与现实空间图像(现实空间的图像)的噪声感不同的噪声感的虚拟空间图像，并且当虚拟空间图像叠加在现实空间图像上时，可能获取具有不自然的噪声感的图像。
考虑到上述情况，在以下实施例中，在考虑到摄像单元特有的噪声特性和对现实空间图像进行的摄像处理等的情况下，将噪声添加到虚拟空间图像。由此，可以生成具有与现实空间的图像的噪声感匹配的噪声感的虚拟空间的图像，并且作为结果，当虚拟空间的图像叠加在现实空间的图像上时，可以获取不具有不自然的噪声感的图像。
实施例1
将描述本发明的实施例1。图1是描绘作为根据实施例1的信息处理系统的混合现实系统(MR)的配置示例的框图。图1所示的MR系统是使用视频透视型头戴式显示器(HMD)的MR系统。图1中的MR系统通过将作为根据摄像设备(例如，摄像机)的位置/姿势生成的虚拟空间图像的计算机图形(CG)图像叠加在由摄像设备拍摄的现实空间图像上来生成混合现实图像，并且在HMD上显示该混合现实图像，以向用户提供该混合现实图像。混合现实图像的显示是现实空间图像和CG图像的叠加显示。
如图1所示，实施例1的MR系统包括信息处理设备100和HMD 110。图1中表示的配置是示例，并且例如，信息处理设备100的部分或全部功能可以包括在HMD 110中。
HMD 110是视频透视型HMD，并且包括摄像单元111和显示单元112。摄像单元111对现实空间进行摄像，获取现实空间图像，并将该现实空间图像发送到信息处理设备100。现实空间图像可以经由线缆通信或经由无线通信从摄像单元111发送到信息处理设备100。显示单元112是用于显示图像的显示器等，并且例如显示从信息处理设备100接收的显示图像。
图2是描绘摄像单元111的配置示例的框图。
光学系统201是包括多个透镜和光圈机构的光学系统，并且具体地包括用于聚焦的调焦透镜、用于变焦的变焦透镜和光圈机构。
摄像元件202是诸如CCD和CMOS等的图像传感器，并且包括将模拟信号转换为数字信号的A/D转换器。在摄像元件202的表面上，例如形成拜耳阵列的RGB滤色器，使得可以拍摄彩色图像。当在摄像元件202的摄像面上形成被摄体图像时，摄像元件202生成图像数据(图像信号)并输出图像数据。从摄像元件202输出的图像数据存储在存储器203中。
在实施例1中，摄像元件202的摄像面包括用于拍摄现实空间图像的区域(图像区域：形成上述被摄体图像的区域)和被光学屏蔽的区域(遮光区域：光学黑(OB)区域)。从摄像元件202输出图像区域的图像数据(现实空间图像的数据)和OB区域的图像数据。OB区域的图像数据是黑色图像的数据，并且被输出为表示具有最低亮度的像素值的图像数据。
OB区域的图像数据混合具有摄像单元111特有的特性的噪声(例如，在摄像元件202或其外围电路中生成的噪声)。因此，OB区域的图像数据实际上不表示最低亮度的像素值(固定值)，而是表示根据噪声而变化的像素值。此外，被设置为OB区域的至少一部分的预定区域的所有像素之间的像素值的变化(例如，标准偏差)可以被测量为现实空间图像的帧图像的噪声量(即，暗噪声量)。
因此，在实施例1中，基于OB区域的摄像结果来估计具有摄像单元111特有的特性的噪声(现实空间图像的各个帧图像的噪声)，并且将基于该估计结果的噪声添加到CG图像。具体地，测量OB区域(噪声测量区域)的噪声量，并且将基于噪声量测量结果(噪声量的测量结果)的噪声添加到CG图像。由此，可以将具有基于摄像单元111特有的特性的特性的、与现实空间图像的噪声同等的噪声添加到CG图像。可以恒定地测量噪声量(例如，针对现实空间图像的各个帧)，或者可以周期性地测量噪声量(例如，针对现实空间图像的每多个帧)。
存储器203可以存储从摄像元件202输出的图像数据、摄像单元111进行一般处理所需的数据等。存储器203还可以保持上述噪声量测量结果和后面提到的图像处理设置信息。
图像处理电路204对保持在存储器203中的图像数据(现实空间图像)进行预定的图像处理(例如像素插值处理、颜色转换处理)。图像处理电路204还可以使用拍摄图像数据进行预定的运算处理，基于获取的运算结果确定摄像条件，并将确定的摄像条件通知给系统控制单元205。图像处理电路204可以进行图像的分析、滤波处理、降噪处理、边缘增强处理、对比度调整处理和合成处理等。例如，在从存储器203读取OB区域的噪声量的测量结果之后，图像处理电路204基于噪声量测量结果进行与现实空间图像的噪声特性匹配的降噪处理。
用户可以选择要由图像处理电路204进行的图像处理及其强度，并且可以获取具有期望图像质量的现实空间图像。如上所述，现实空间图像的噪声特性根据由图像处理电路204进行的图像处理而变化。
因此，在实施例1中，使用基于由图像处理电路204进行的图像处理的特性将噪声添加到CG图像。基于图像处理的特性是基于诸如降噪设置、边缘增强设置和对比度调整设置等的图像处理设置的特性。由此，可以将与图像处理之后的现实空间图像的噪声同等的噪声添加到CG图像。
图像处理电路204可以进行数字变焦。与用于控制光学系统201的变焦透镜的光学变焦不同，数字变焦是在不控制变焦透镜的情况下获取变焦图像的图像处理，并且是例如使用双三次(bi-cubic)方法和图像裁切等的放大处理。因此，噪声粒子的大小根据数字变焦倍率(数字变焦的倍率)而变化。也可以通过选择功能来适当地改变数字变焦倍率。
在实施例1中，考虑到数字变焦倍率而生成噪声，并将其添加到CG图像。例如，噪声以与数字变焦倍率相同的倍率被放大，并且被添加到CG图像。
系统控制单元205总体控制摄像单元111。系统控制单元205输出用于控制快门速度、光圈机构、调焦透镜和变焦透镜的指示，以在由图像处理电路204确定的摄像条件下拍摄图像。具体地，系统控制单元205将指示输出到曝光量控制单元206、调焦透镜控制单元207和焦点距离控制单元208。
系统控制单元205还可以从存储器203读取OB区域的图像数据，测量OB区域的噪声量，并将噪声量测量结果存储在存储器203中。此外，系统控制单元205可以基于用户操作来改变图像处理电路204的图像处理设置(包括数字变焦倍率设置)。此外，系统控制单元205可以从存储器203读取噪声量测量结果，从图像处理电路204读取图像处理设置信息(与图像处理设置相关的信息)，并将这些类型的信息通知给CG图像校正单元106(稍后描述)。
曝光量控制单元206调整光学系统201的光圈机构、摄像元件202的曝光时间和摄像感光度(即，ISO感光度)，并进行适当的曝光量控制。
调焦透镜控制单元207控制光学系统201的调焦透镜。
焦点距离控制单元208通过根据来自系统控制单元205的指示控制光学系统201的变焦透镜来改变焦点距离。
操作构件209是按钮和触摸面板等，并且接收诸如摄像指示和图像处理设置改变指示等的用户操作。根据从操作构件209接收的用户操作，系统控制单元205确定或改变摄像单元111的操作。触摸面板可以与显示单元112集成。
在图1中，信息处理设备100包括拍摄图像获取单元101、标记检测单元102、位置/姿势估计单元103、CG数据存储单元104、CG图像生成单元105、CG图像校正单元106和显示图像生成单元107。
拍摄图像获取单元101获取由HMD 110的摄像单元111拍摄的现实空间图像，并将所获取的现实空间图像发送到标记检测单元102和显示图像生成单元107。
标记检测单元102在所获取的现实空间图像中指定对用于估计HMD110(摄像设备)的位置/姿势的标记(二维码)进行摄像的部位。如图3中的301所示，标记是写在白色背景上的黑色码。标记检测单元102将与检测到的标记301的位置和姿势等有关的信息(标记部位信息)与现实空间图像一起发送到位置/姿势估计单元103。
位置/姿势估计单元103基于由标记检测单元102检测到的标记部位信息和现实空间图像来确定HMD 110的位置/姿势。已经发布了与用于估计位置/姿势的方法有关的各种研究报告，并且可以使用这些方法中的任意一个。为了提高位置/姿势信息的精度，还可以使用磁型传感器或光学型传感器等。位置/姿势估计单元103将所确定的位置/姿势信息发送到CG图像生成单元105。
CG图像生成单元105从CG数据存储单元104获取CG数据，进行诸如移动、旋转和放大/缩小等的处理，并生成CG图像，该CG图像是要叠加在现实空间图像上的图像，并且是从HMD 110观看的虚拟空间的图像。此外，在CG图像生成处理中，CG图像生成单元105不仅从存储器203读取从位置/姿势估计单元103获取的位置/姿势信息，而且经由摄像单元111的系统控制单元205读取预先存储的主点位置和焦点距离信息等。CG图像生成单元105将所生成的CG图像发送到CG图像校正单元106。
CG图像校正单元106基于摄像单元111的系统控制单元205所通知的与现实空间图像的噪声相关的信息来生成噪声，并将噪声添加到CG图像。与噪声相关的信息包括OB区域的噪声量的测量结果、以及与基于用户操作(用户指示)的图像处理设置有关的信息。
根据实施例1的MR系统通过CG图像校正单元106向CG图像添加噪声以使CG图像与现实空间图像匹配，来减少当现实空间图像和CG图像(虚拟空间图像)叠加显示时生成的不自然感。CG图像校正单元106将校正后的CG图像发送到显示图像生成单元107。
显示图像生成单元107将从CG图像校正单元106获取的CG图像(添加噪声之后的CG图像)叠加到从拍摄图像获取单元101获取的现实空间图像，由此生成由现实空间图像和CG图像构成的混合现实图像作为显示图像。显示图像生成单元107将所生成的混合现实图像发送到HMD 110的显示单元112。
图4是描绘CG图像校正单元106的配置示例的框图。CG图像校正单元106包括噪声特性评价单元401、噪声添加量计算单元402和噪声添加处理单元403。
噪声特性评价单元401从摄像单元111的系统控制单元205获取与噪声相关的信息，并基于该信息确定CG图像的像素值和附加到像素值的噪声量之间的相关关系(对应关系)。图5是描绘噪声特性评价单元401的操作(用于确定相关关系的操作)的示例的流程图。
在图5的S501中，噪声特性评价单元401经由系统控制单元205从存储器203获取与在摄像元件202中设置的摄像感光度(ISO感光度)有关的信息。ISO感光度信息也是与噪声相关的一个信息。通常，随着ISO感光度的数值增大，摄像元件202的光接收灵敏度提高并且可以检测到弱光，但是叠加在拍摄图像数据上的噪声量增大(恶化)。
在S502中，噪声特性评价单元401经由系统控制单元205从图像处理电路204获取与图像处理电路204中的当前图像处理设置有关的信息。例如，图像处理设置信息包括与降噪水平(强/弱)有关的设置信息。图像处理设置信息是与噪声特性相关的信息，并且例如可以包括与边缘增强和对比度调整的水平(强/弱)有关的设置信息。图像处理设置信息可以仅包括一种信息，或者可以包括多种信息。图像处理设置信息可以包括数字变焦倍率的设置信息。图像处理设置信息可以包括除了表示图像处理设置的信息之外的信息。根据由图像处理电路204进行的图像处理，摄像单元111的温度(摄像元件202的温度)改变，并且摄像单元111特有的噪声特性(摄像元件202的噪声特性)也改变。因此，图像处理设置信息可以包括摄像单元111的温度信息。如果使用摄像单元111的温度信息，则例如可以根据过去测量的OB区域的噪声量来估计当前噪声量。
在S503中，噪声特性评价单元401经由系统控制单元205从存储器203获取OB区域的噪声量的测量结果。
在S504中，噪声特性评价单元401基于在S501至S503中获取的三种信息来确定CG图像的像素值与添加到该像素值的噪声量(噪声添加量)之间的相关关系。
在实施例1中，基于上述三种信息来确定像素值和噪声添加量之间的相关关系，但是本发明不限于此。例如，可以在不使用在S502中获取的图像处理设置信息和在S503中获取的噪声量测量结果其中之一的情况下确定相关关系。当在预定ISO感光度范围内摄像元件202的噪声特性的个体差异小的情况下，可以仅获取图像处理设置信息以确定相关关系。此外，在ISO感光度设置和图像处理设置是预定设置(例如，ISO感光度设置和图像处理设置是固定的(不能改变))的情况下，可以仅获取噪声量测量结果以确定相关关系。
图6A和图6B表示在S504中确定的相关关系的示例。图6A是表示在ISO感光度为“X”并且降噪设置为“弱”的情况下CG图像的像素值与CG图像的噪声添加量之间的相关关系的相关关系曲线图。图6B是表示在ISO感光度为“X”并且降噪设置为“强”的情况下CG图像的像素值与CG图像的噪声添加量之间的相关关系的相关关系曲线图。在图6A和图6B中，实线表示在“噪声量测量结果1”的情况下的相关关系，并且虚线表示在“噪声量测量结果2”的情况下的相关关系。
例如，当在摄像场景中执行图5中的操作时，假设在S501中获取ISO感光度“X”的信息，在S502中获取降噪设置“弱”的信息，并且在S503中获取“噪声量测量结果1”的信息。在这种情况下，在S504中，确定由图6A的实线表示的相关关系，并且将该相关关系的信息发送到噪声添加量计算单元402。
在实施例1中，关于与ISO感光度、图像处理设置信息和噪声量测量结果的多个组合相对应的多个相关关系的信息被存储在噪声特性评价单元401的存储器(未示出)中。这里，假设相关关系的信息是以表格格式表示相关关系的信息(表)。可以基于预定图表图像等中表示的摄像结果来生成相关关系的信息。在S504中，噪声特性评价单元401从存储在存储器中的多个相关关系的信息中选择并获取与在S501至S503中获取的三种信息的组合相对应的相关关系的信息。
代替确定相关关系，可以使用函数f(N,ISO,X,Y)来计算噪声添加量。函数f(N,ISO,X,Y)是预定函数，其输入是“N”、“ISO”、“X”和“Y”，并且输出是噪声添加量。可以从输入中消除“N”、“ISO”和“X”中的一个或两个。例如，函数f(N,ISO,X,Y)表示如下。
f(N,ISO,X,Y)＝a(N)×b(ISO)×c(X)×f0(Y)
N：噪声量测量结果
ISO：ISO感光度
X：图像处理设置信息(与图像处理相关的参数)
Y：CG图像的像素值
f0(Y)：用于计算噪声添加量的参考函数
a(N)：用于计算根据噪声量测量结果的权重(针对f0(Y)的加权系数)的函数b(ISO)：用于计算根据ISO感光度的权重(针对f0(Y)的加权系数)的函数c(X)：用于计算根据图像处理设置信息的权重(针对f0(Y)的加权系数)的函数
参考函数f0(Y)表示与预定ISO感光度(例如ISO 100)、预定图像处理设置信息(例如降噪设置“弱”)和预定噪声量(例如公共摄像元件的OB区域的噪声量)的组合相对应的相关关系。函数a(N)、b(ISO)和c(X)都被确定为使得在噪声量增大的情况下获取大的权重，并且在噪声量减小的情况下获取小的权重。
如果可以使用函数f(N,ISO,X,Y)，则不必预先将多个对应关系的表存储在噪声特性评价单元401的存储器中。因此，可以减小噪声特性评价单元401的存储器使用，并且可以预期减少硬件负荷的效果。通过将在图5中的S501至S503中获取的信息输入到函数f(N,ISO,X,Y)，唯一地确定表示CG图像的像素值与噪声添加量之间的相关关系的函数。
图4中的噪声添加量计算单元402根据由噪声特性评价单元401确定的相关关系，确定要添加到CG图像的各个帧图像的各个像素的噪声量(噪声添加量)。噪声量随时间变化。在实施例1中，假设由图6A和图6B中的曲线图的纵坐标表示的噪声量是针对由曲线图的横坐标表示的各个像素值Y确定的，并且该噪声测量是随时间变化的噪声量的标准偏差σ(Y)。例如，通过上述函数f(N,ISO,X,Y)计算的噪声添加量也是标准偏差σ(Y)。对于从CG图像生成单元105输出的CG图像的各个像素，噪声添加量计算单元402使用以下表达式1根据与CG图像的像素值Y相对应的噪声量σ(Y)和随机函数RAND来计算噪声量σ‘(Y)。随机函数RAND是用于根据正态分布来随机确定值的函数。通过使用表达式1，可以针对CG图像的各个像素确定反映由噪声特性评价单元401确定的相关关系的随机噪声量。随机函数RAND可以是用于根据与正态分布不同的分布来随机确定值的函数。优选地，考虑现实空间图像的噪声特性来确定要用作随机函数RAND的函数。
σ’(Y)＝σ(Y)×RAND---(表达式1)
噪声添加处理单元403使用下面的表达式2将噪声添加量计算单元402所确定的噪声量σ’(Y)添加到从CG图像生成单元105输出的CG图像的各个像素的像素值Y，并且获取添加噪声之后的CG图像的各个像素的像素值Y’。
Y’＝Y+σ’(Y)＝Y+σ(Y)×RAND---(表达式2)
如上所述，可以基于与从摄像单元111的系统控制单元205通知的现实空间图像的噪声相关的各种信息，将与现实空间图像的噪声同等的噪声添加到CG图像。然后，在添加噪声之后，CG图像可以从CG图像校正单元106被发送到显示图像生成单元107，由此可以使用已经添加了与现实空间图像的噪声同等的噪声的CG图像来生成混合现实图像，并且将混合现实图像显示在HMD 110的显示单元112上。
接下来将描述在图5的S502中获取的图像处理设置信息包括数字变焦倍率设置信息的情况。噪声添加量计算单元402生成由随机噪声σ‘(Y)构成的噪声图像，并且以数字变焦倍率对该噪声图像进行放大处理。然后，噪声添加量计算单元402对放大的噪声图像进行裁切处理，使得其大小与CG图像的图像大小匹配，并且将裁切后的噪声图像发送到噪声添加处理单元403。噪声添加处理单元403基于来自噪声添加量计算单元402的噪声图像将噪声添加到来自CG图像生成单元105的CG图像，以生成添加了放大的噪声的CG图像。由此，外观与通过数字变焦放大的现实空间图像的噪声同等的噪声可以被添加到叠加在现实空间图像上的CG图像，并且作为结果，即使在使用数字变焦时，也可以获取不具有不自然感的混合现实图像。
上述CG图像校正处理(向CG图像添加噪声的处理系列)需要预定的处理时间，并且还需要诸如足够的存储器容量等的硬件资源来实现该处理，因此结果增加了设备成本。为了减少该缺点(设备成本的增加)，CG图像校正单元106可以基于在S503中获取的OB区域的噪声量的测量结果来判断是否执行CG图像校正处理。在摄像单元111以低感光度拍摄图像的情况下，由摄像单元111拍摄的现实空间图像在视觉上不具有噪声，因此即使不具有噪声的CG图像直接叠加在其上，也可以获取几乎不会引起不自然感的混合现实图像。因此，在S503中获取的OB区域的噪声量小于预定阈值的情况下，CG图像校正单元106在不进行CG图像校正处理的情况下获取通过将CG图像直接与现实空间图像进行合成而生成的图像作为混合现实图像。另一方面，在OB区域的噪声量大于预定阈值的情况下，CG图像校正单元106进行CG图像校正处理，然后获取混合现实图像。因此，可以使上述缺点(设备成本的增加)最小化。在OB区域的噪声量等于预定阈值的情况下，可以进行或可以不进行CG图像校正处理。
实施例2
将描述本发明的实施例2。图7是描绘作为根据实施例2的信息处理系统的MR系统的配置示例的框图。根据实施例2的MR系统不包括实施例1的显示图像生成单元107。此外，与实施例1不同，摄像单元111通过将CG图像叠加在现实空间图像上来生成混合现实图像，并且将混合现实图像发送到显示单元112。用与实施例1相同的附图标记表示的各个其他模块以与实施例1相同的方式操作。
图8是示出根据实施例2的摄像单元111的配置示例的框图。与实施例1不同，实施例2的摄像单元111包括通过将CG图像叠加在现实空间图像上来生成混合现实图像的混合图像生成单元210。此外，在实施例2中，由混合图像生成单元210生成的混合现实图像经由图像处理电路204发送到系统控制单元205，然后发送到显示单元112。用与实施例1相同的附图标记表示的各个其他模块以与实施例1相同的方式操作。
将描述根据实施例2的MR系统的操作示例。
首先，摄像元件202拍摄图像。由此，由摄像元件202经由光学系统201获取的现实空间图像的图像数据和OB区域的图像数据被保持在存储器203中。然后，系统控制单元205根据OB区域的图像数据测量OB区域的噪声量，并将该测量结果(噪声量测量结果)也存储在存储器203中。然后，系统控制单元205在不使用图像处理电路204的情况下，或者在图像处理电路204不进行图像处理的情况下，将现实空间图像的图像数据、ISO感光度信息和噪声量测量结果发送到信息处理设备100。由于不进行利用图像处理电路204的图像处理，因此不将图像处理设置信息发送到信息处理设备100。
正如实施例1那样，信息处理设备100执行各个模型的操作，并且从CG图像校正单元106输出添加噪声之后的CG图像。这里，添加噪声之后的CG图像从CG图像校正单元106被发送到摄像单元111。此外，在信息处理设备100中，在不考虑摄像单元111的图像处理设置信息的情况下将噪声添加到CG图像。添加到CG图像的噪声是具有摄像单元111特有的特性的噪声，并且是与在图像处理电路204进行图像处理之前的现实空间图像匹配的噪声。
从信息处理设备100发送到摄像单元111的CG图像(添加噪声后的CG图像)被发送到摄像单元111的混合图像生成单元210。混合图像生成单元210将该CG图像叠加在存储器203中所保持的现实空间图像上，以生成混合现实图像。这里，通过在进行利用图像处理电路204的图像处理之前的状态下将CG图像叠加在现实空间图像上来生成混合现实图像。
由混合图像生成单元210生成的混合现实图像的图像数据被发送到进行基于用户指示的图像处理的图像处理电路204。然后，系统控制单元205将图像处理之后的图像数据发送到显示单元112，并且在显示单元112上显示混合现实图像。
如上所述，根据实施例2，在图像处理之前，使用添加了与现实空间图像的噪声同等的噪声的CG图像来生成混合现实图像，然后对该混合现实图像进行图像处理。由此，即使在将噪声添加到CG图像时不使用图像处理设置信息，也可以获取不具有不自然感的混合现实图像。
上述实施例(包括其变形例)仅仅是示例，并且通过在本发明的精神范围内适当地修改或改变上述配置而获取的配置也包括在本发明中。此外，通过适当地组合上述配置而获得的配置也包括在本发明中。
根据本公开，可以获取具有与现实空间的图像的噪声感匹配的噪声感的虚拟空间的图像，并且当虚拟空间的图像叠加在现实空间的图像上时，可以获取不具有不自然的噪声感的图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例。所附权利要求书的范围应被赋予最广泛的解释，以便涵盖所有这些修改和等效结构和功能。

Claims (12)

1.一种信息处理设备，包括：
生成单元，其被配置为生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及
添加单元，其被配置为向所述虚拟空间的图像添加噪声，
其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及
所述添加单元基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。
2.根据权利要求1所述的信息处理设备，其中，
所述添加单元基于在所述遮光区域中获取的图像和对所述现实空间的图像进行的图像处理，向所述虚拟空间的图像添加噪声。
3.根据权利要求2所述的信息处理设备，其中，
所述图像处理是降噪、边缘增强和对比度调整其中至少之一。
4.根据权利要求1所述的信息处理设备，其中，
所述添加单元基于在所述遮光区域中获取的图像和所述摄像单元的温度，向所述虚拟空间的图像添加噪声。
5.根据权利要求1所述的信息处理设备，还包括：
确定单元，其被配置为基于在所述遮光区域中获取的图像，确定所述虚拟空间的图像的像素值和要添加到所述像素值的噪声量之间的对应关系，
其中，所述添加单元根据所述对应关系来向所述虚拟空间的图像添加噪声。
6.根据权利要求5所述的信息处理设备，其中，
所述像素值和所述噪声量之间的多个对应关系被预先确定，以及
所述确定单元基于在所述遮光区域中获取的图像来选择所述多个对应关系中的任一个。
7.根据权利要求1所述的信息处理设备，还包括：
计算单元，其被配置为使用预定函数以及根据在所述遮光区域中获取的图像而确定的噪声量来计算要添加到所述虚拟空间的图像的噪声量，所述预定函数的输入是所述虚拟空间的图像的像素值并且输出是要添加到所述像素值的噪声量。
8.根据权利要求1所述的信息处理设备，其中，
在对所述现实空间的图像进行放大处理的情况下，所述添加单元以与用于放大处理的倍率相同的倍率增大噪声，并将该噪声添加到所述虚拟空间的图像。
9.根据权利要求1所述的信息处理设备，其中，
在根据在所述遮光区域中获取的图像而确定的噪声量小于阈值的情况下，所述添加单元不向所述虚拟空间的图像添加噪声，以及
在根据在所述遮光区域中获取的图像而确定的噪声量大于阈值的情况下，所述添加单元向所述虚拟空间的图像添加噪声。
10.一种信息处理设备的控制方法，包括：
生成在摄像单元所拍摄的现实空间的图像上叠加的虚拟空间的图像；以及
向所述虚拟空间的图像添加噪声，
其中，所述摄像单元包括用于拍摄所述现实空间的图像的区域和遮光区域，以及
基于在所述遮光区域中获取的图像，向所述虚拟空间的图像添加噪声。
11.一种存储程序的计算机可读介质，所述程序在计算机上被执行时使所述计算机用作根据权利要求1至9中任一项所述的信息处理设备的各个单元。
12.一种头戴式显示器，包括：
根据权利要求1至9中任一项所述的信息处理设备；以及
显示单元，其被配置为将由所述添加单元添加了噪声的虚拟空间的图像叠加在现实空间的图像上并进行显示。
CN202211626089.3A 2021-12-16 2022-12-15 信息处理设备及其控制方法、介质和头戴式显示器 Pending CN116266864A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021204056A JP2023089521A (ja) 2021-12-16 2021-12-16 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP2021-204056 2021-12-16

Publications (1)

Publication Number Publication Date
CN116266864A true CN116266864A (zh) 2023-06-20

Family

ID=84840073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211626089.3A Pending CN116266864A (zh) 2021-12-16 2022-12-15 信息处理设备及其控制方法、介质和头戴式显示器

Country Status (4)

Country Link
JP (1) JP2023089521A (zh)
CN (1) CN116266864A (zh)
DE (1) DE102022133422A1 (zh)
GB (1) GB2614945B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010060A (ja) * 2000-06-20 2002-01-11 Mitsubishi Electric Corp 画像融合装置及び画像融合方法
GB2473263B (en) * 2009-09-07 2012-06-06 Sony Comp Entertainment Europe Image processing apparatus, system, and method
JP6082642B2 (ja) * 2013-04-08 2017-02-15 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN111612915B (zh) * 2019-02-25 2023-09-15 苹果公司 渲染对象以匹配相机噪声
US11062525B1 (en) * 2020-01-28 2021-07-13 United States Of America, As Represented By The Secretary Of The Army Method for generating an augmented set of images

Also Published As

Publication number Publication date
GB202217128D0 (en) 2022-12-28
JP2023089521A (ja) 2023-06-28
US20230196517A1 (en) 2023-06-22
GB2614945B (en) 2024-05-29
GB2614945A (en) 2023-07-26
DE102022133422A1 (de) 2023-06-22

Similar Documents

Publication Publication Date Title
CN109005364B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
EP3836534B1 (en) Imaging control method, electronic device, and computer-readable storage medium
CN109068058B (zh) 超级夜景模式下的拍摄控制方法、装置和电子设备
JP5767485B2 (ja) 画像処理装置及び制御方法
EP2169963A1 (en) Image pickup device and image pickup method
CN108683863B (zh) 成像控制方法、装置、电子设备以及可读存储介质
JP5882789B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN104221364B (zh) 成像装置和图像处理方法
JP2013031154A (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
JP7297406B2 (ja) 制御装置、撮像装置、制御方法およびプログラム
JP6040042B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7057079B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP6800806B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5455728B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
JP2007104249A (ja) 画像補正装置、画像補正方法、プログラム、及び記録媒体
CN116266864A (zh) 信息处理设备及其控制方法、介质和头戴式显示器
US12125177B2 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium for use in mixed reality
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP2008219230A (ja) 撮像装置及び画像処理方法
JP2015023514A (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP7134766B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111479074A (zh) 图像采集方法、装置、计算机设备和存储介质
JP4043499B2 (ja) 画像補正装置及び画像補正方法
JP2008252227A (ja) 画像処理装置、撮像装置、および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination