CN111971953B - 图像处理设备、图像处理方法和记录介质 - Google Patents

图像处理设备、图像处理方法和记录介质 Download PDF

Info

Publication number
CN111971953B
CN111971953B CN201980023796.3A CN201980023796A CN111971953B CN 111971953 B CN111971953 B CN 111971953B CN 201980023796 A CN201980023796 A CN 201980023796A CN 111971953 B CN111971953 B CN 111971953B
Authority
CN
China
Prior art keywords
variable
image processing
respective pixels
processing apparatus
luminance values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980023796.3A
Other languages
English (en)
Other versions
CN111971953A (zh
Inventor
增田徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111971953A publication Critical patent/CN111971953A/zh
Application granted granted Critical
Publication of CN111971953B publication Critical patent/CN111971953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/94—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Abstract

一种图像处理设备(100)包括：变量确定单元(134)，其针对以第一动态范围记录的第一视频数据，确定用于在第一动态范围被转换成第二动态范围时计算各个像素的亮度的变量，该确定是基于指定区域中包括的像素的亮度分布而执行的，该指定区域是根据关于用户操作的信息来确定的；以及转换单元(135)，其基于由变量确定单元确定的变量，将第一视频数据转换成以第二动态范围显示的第二视频数据。

Description

图像处理设备、图像处理方法和记录介质
技术领域
本公开内容涉及图像处理设备、图像处理方法和记录介质。具体地，本公开内容涉及视频数据的动态范围的转换。
背景技术
随着虚拟现实(VR)技术的发展，能够360度全方位成像的全天球摄像机(spherical camera)被广泛地使用。此外，诸如头戴式显示器(HMD)的装置已经开始作为全天球内容(spherical content)(诸如全天球图像和由全天球摄像机拍摄的全天球电影)的观看环境而发展。
在此，存在如下已知的技术：该技术根据用户的视线方向动态地调节图像的亮度以在成像期间人为地增加动态范围，以便改善在HMD上观看全天球内容时的可见性。
引用列表
专利文献
专利文献1：JP 2017-22665 A
发明内容
技术问题
然而，使用上述传统技术并不总是能够实现图像的高清晰度的明/暗表达。例如，现有技术计算视频数据的预定范围中的像素亮度的平均值，然后将所计算的亮度的平均值调节到某一亮度范围。然而，统一地调节图像的亮度仅改变整个图像的亮度，这导致无法在图像内实现高清晰度的明/暗表达。例如，统一地调节图像的亮度有时可能导致无法防止在转换后的图像中的破坏的阴影(crushed shadows)或曝光过度的高光(blown-outhighlights)。
同时，上述问题也可能在除了在HMD上观看全天球内容的情况之外的情况下发生。例如，当在用户的观看环境中难以再现原始动态范围的内容时，在转换后的动态范围内再现该内容。从记录内容的时候起，在再现内容时对动态范围进行转换的情况下，可能无法实现转换后的图像的高清晰度的明/暗表达。
鉴于此，本公开内容提出了能够实现图像的高清晰度的明/暗表达的图像处理设备、图像处理方法和记录介质。
问题的解决方案
根据本公开内容，一种图像处理设备包括：变量确定单元，其基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在第一动态范围被转换成第二动态范围时计算各个像素的亮度值；以及转换器，其基于由变量确定单元确定的变量，将第一视频数据转换成以第二动态范围显示的第二视频数据。
(操作)本公开内容的图像处理设备总体上通过选择性地使用根据用户的运动而确定的预定区域中所包括的像素，而不是通过整体第一视频数据的像素信息，来执行图像处理。具体地，本公开内容的图像处理设备基于预定区域中包括的各个像素的亮度值的分布，动态地确定用于转换视频数据的变量。以这种方式，根据本公开内容的图像处理设备使用根据用户的运动而选择的像素信息，以根据用户的运动交互式地改变视频数据的转换处理。
本发明的有益效果
使用根据本公开内容的图像处理设备、图像处理方法和记录介质，可以实现图像的高清晰度的明/暗表达。应当注意的是，本文描述的效果不一定是限制性的，并且可以是本公开内容中描述的任何效果。
附图说明
图1是示出根据本公开内容的第一实施方式的图像处理系统的示例的图。
图2是示出图像中包含的像素的亮度值的分布的直方图。
图3是示出根据本公开内容的第一实施方式的图像处理的示例的图。
图4是示出根据本公开内容的第一实施方式的图像处理的示例的图(1)。
图5是示出根据本公开内容的第一实施方式的图像处理的示例的图(2)。
图6是示出根据本公开内容的第一实施方式的处理流程示例的流程图。
图7是示出根据本公开内容的第一实施方式的修改的图像处理的示例的图。
图8是示出根据本公开内容的第二实施方式的图像处理系统的示例的图。
图9是示出根据本公开内容的第二实施方式的图像处理的示例的图。
图10是示出根据本公开内容的第二实施方式的图像处理的示例的图。
图11是示出根据本公开内容的第二实施方式的处理流程的流程图。
图12是示出根据本公开内容的第三实施方式的图像处理系统的示例的图。
图13是示出实现图像处理设备的功能的计算机的示例的硬件配置图。
具体实施方式
下面将参照附图详细描述本公开内容的实施方式。在以下每一个实施方式中，相同的部分由相同的附图标记表示，并且将省略其重复描述。
将以以下项顺序描述本公开内容。
1.第一实施方式
1-1.根据第一实施方式的图像处理系统的配置
1-2.根据第一实施方式的图像处理的示例
1-3.根据第一实施方式的图像处理过程
2.第一实施方式的修改
3.第二实施方式
3-1.根据第二实施方式的图像处理系统的配置
3-2.根据第二实施方式的图像处理的示例
3-3.根据第二实施方式的图像处理过程
4.第三实施方式
4-1.根据第三实施方式的图像处理系统的配置
5.其他实施方式
6.硬件配置
(1.第一实施方式)
[1-1.根据第一实施方式的图像处理系统的配置]
图1是示出根据本公开内容的第一实施方式的图像处理系统1的示例的图。如图1所示，图像处理系统1包括HMD 10和图像处理设备100。
HMD 10是安装在用户的头部上的显示装置，并且也称为可穿戴计算机。HMD 10根据用户身体的方向和移动、移动速度等实现显示处理。
图像处理设备100是执行根据本公开内容的图像处理的信息处理装置。例如，图像处理设备100响应于从HMD 10发送的请求，将设备中保存的内容发送到HMD 10。
图像处理设备100将例如全天球内容作为内容进行发送，该全天球内容由能够360度全方位成像的全天球摄像机拍摄。通常，与诸如HMD 10的显示装置一次可以显示的信息量(图像大小)相比，全天球内容具有更大的信息量。也就是说，由于HMD 10不能在同一时间显示全天球内容的整个区域，所以HMD 10仅显示根据显示装置的显示尺寸(换言之，用户的视角)而切出的部分区域。
在此，由于360度全方位成像所产生的全天球内容的特性，难以避免同时将亮的位置和暗的位置拍摄到一个图像中。由于这个原因，期望以比具有有限成像范围的普通内容(例如，在使用可调节曝光的环境下创建的内容)更宽的动态范围来记录全天球内容。例如，全天球内容被优选地以高动态范围(HDR)等来记录，该高动态范围比作为普通动态范围的标准动态范围(SDR)更宽。
然而，全天球内容的观看环境(诸如HMD10)并不总是支持以HDR记录的内容的再现。在这种情况下，以HDR记录的全天球内容根据观看环境(诸如HMD10)而在再现时被转换成较低的动态范围，诸如SDR。此时，对于全天球内容的整个区域统一地执行转换到SDR意味着在具有明/暗表达的混合的区域上应用转换处理，导致不能获得清晰的图像。具体地，在全天球内容的整个区域上统一地执行转换到SDR将导致出现曝光过度的高光或破坏的阴影，或者导致包括明/暗表达的混合的区域的非自然表达，从而导致转换成不自然的图像。
为了处理这些问题，根据本公开内容的图像处理系统1从全天球内容提取与HMD10的用户的视角对应的区域，并且根据所提取的区域中包括的像素的亮度值的分布来执行交互式转换处理。通过这些处理，根据本公开内容的图像处理系统1向用户提供转换后的图像，在转换后的图像中，根据用户的视觉特性适当地实现明/暗表达。下文中，将参照图1描述根据本公开内容的图像处理系统1中包括的每个装置。
首先，将描述HMD 10。如图1所示，HMD 10包括处理单元，诸如检测器15、发送单元16、接收单元17和显示控制单元18。每个处理单元是通过使用随机存取存储器(RAM)等作为工作区域，由中央处理单元(CPU)、微处理单元(MPU)等执行存储在HMD 10中的程序来实现的。此外，每个处理单元可以由集成电路，诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)来实现。
检测器15控制HMD 10中包括的传感器15A，以检测关于用户的运动的各种类型的信息，诸如用户的身体方位、倾斜度、移动和移动速度。具体地，检测器15检测关于用户的头部和姿势、用户的头部和身体的移动(加速度和角速度)、视野的方向、视点移动的速度等的信息，作为关于用户的运动的信息。例如，检测器15控制作为传感器15A的各种运动传感器(诸如三轴加速度传感器、陀螺仪传感器和速度传感器)，以便检测关于用户的运动的信息。注意，传感器15A不需要设置在HMD 10内部，并且可以是例如使用有线或无线连接而连接到HMD 10的外部传感器。
发送单元16经由有线或无线网络等发送各种类型的信息。例如，发送单元16将由检测器15检测到的关于用户的运动的信息发送到图像处理设备100。此外，发送单元16向图像处理设备100发送将全天球内容发送到HMD 10的请求。
接收单元17经由有线或无线网络接收各种类型的信息。例如，接收单元17接收由显示控制单元18显示的图像(更具体地，被显示为图像的诸如像素信息的数据)。具体地，接收单元17接收全天球内容中的、具有由图像处理设备100转换成SDR的部分区域的图像。
显示控制单元18控制接收单元17所接收的图像的显示过程。具体地，显示控制单元18控制用于显示全天球内容中的、具有由图像处理设备100转换成SDR的部分区域的图像的过程。具体地，显示控制单元18控制将转换成SDR的图像显示在显示器18A上的过程。显示器18A例如由有机电致发光(EL)显示器或液晶显示器实现。
尽管在图1中没有示出，但是HMD 10可以包括：用于接收来自用户的操作的输入单元、存储接收到的全天球内容的存储单元、具有语音输出功能的输出单元等。
接下来，将描述图像处理设备100。如图1所示，图像处理设备100包括处理单元，诸如被称为内容存储单元121的存储单元、获取单元131、区域确定单元132、分析单元133、变量确定单元134、转换器135和发送单元136。
内容存储单元121由半导体存储器元件(诸如随机存取存储器(RAM)和闪存)实现，或者由存储装置(诸如硬盘或光盘)实现。内容存储单元121存储例如以HDR记录的全天球内容。全天球内容包括视频内容，诸如通过使用全天球摄像机成像或拼接多个图像而创建的静止图像和电影。
通过使用RAM等作为工作区域，由CPU、MPU等执行存储在图像处理设备100中的程序(例如，记录在根据本公开内容的记录介质中的图像处理程序)，来实现每个处理单元(诸如获取单元131)。此外，每个处理单元可以由集成电路(诸如ASIC或FPGA)来实现。
获取单元131经由有线或无线网络等获取各种类型的信息。例如，获取单元131获取从HMD 10发送的关于用户的运动的信息。此外，获取单元131接收从HMD 10发送的请求，该请求包含向HMD 10发送全天球内容的请求。
基于由获取单元131获取的关于用户的运动的信息，区域确定单元132在要发送到HMD10的全天球内容中确定显示在HMD10的显示控制单元18上的预定区域(下文中，为了区分被称为“处理区域”)。
例如，区域确定单元132基于佩戴HMD 10的用户的头部姿势的信息，指定用户想要观看的全天球内容中的区域。具体地，区域确定单元132基于HMD 10中包括的传感器15A所检测到的信息，指定与用户的视野对应的全天球内容中的区域(下文中，为了区分被称为“显示区域”)。注意，各种已知的技术可以适当地用于这样的显示区域指定过程。此外，关于用户的运动的信息不仅可以是从HMD 10发送的信息(例如，根据用户的头部和姿势估计的视野方向，或者用户的运动速度)，还可以是基于从HMD 10发送的信息而计算或估计的信息。例如，区域确定单元132可以基于从HMD 10发送的信息来计算用于从全天球内容中指定显示区域的坐标信息。在这种情况下，关于用户的运动的信息也可以被重新表述为用于指定显示区域的坐标信息。
随后，区域确定单元132根据在全天球内容上指定的显示区域确定与实际观看环境对应的处理区域。例如，区域确定单元132将在形成全天球内容的图像(例如，等矩柱状投影图像、立方体贴图图像或鱼眼镜头图像)上指定的显示区域转换成适合于HMD 10的视角的透视投影图像。随后，区域确定单元132将通过转换获得的透视投影图像确定为HMD 10上的处理区域。换言之，区域确定单元132对以下显示区域执行投影转换以便生成投影后转换图像：该显示区域作为基于关于用户运动的信息而指定的全天球内容的一部分。随后，区域确定单元132将与通过投影转换而生成的投影后转换图像对应的区域确定为处理区域。
分析单元133分析关于区域确定单元132所确定的处理区域中包括的各个像素的信息(也就是，在显示区域的投影转换之后获得的图像)。具体地，分析单元133计算处理区域中包括的像素的总数目。分析单元133还获取处理区域中包括的各个像素的亮度值。
在此，在将图像从HDR转换到SDR时执行的处理被称为色调映射，该色调映射基于预定的亮度值对HDR的像素的亮度值进行加权和舍入。下文中，将逐步描述色调映射处理。
首先，分析单元133分析处理区域内的像素，以计算要用作色调映射的参照的亮度值(下文中，被称为“参照亮度”)。在目前用于色调映射的各种传统技术中，使用非线性转换函数的方法通常被认为更接近人类视觉特性，该非线性转换函数将大量信息分配给低亮度，并增强高亮度的压缩。与这样的视觉特性对应的色调映射的转换公式的已知示例是公式(1)。
在公式(1)中，Lω(x，y)表示处理区域中包括的任意像素ω(x，y)处的亮度值。N表示处理区域内的像素的总数目。此外，δ是例如当图像中存在黑色像素时用于避免奇点(singular point)的任意常数。如公式(1)所示，是处理区域中所有像素的亮度值的对数平均值，并且该亮度值/>被定义为用于处理区域中色调映射的参照亮度。
通过使用由公式(1)计算的参照亮度缩放以HDR记录的各个像素的亮度值，来执行色调映射。例如，使用公式(2)执行缩放。
在公式(2)中，L(x，y)表示任意像素ω(x，y)的经缩放的亮度。也就是说，通过公式(2)的处理，以HDR记录的像素的亮度值Lω被缩放到以SDR显示的像素的亮度值L。
公式(2)中的值“a”表示通常称为键值(key value)的变量，该变量是确定整个图像的亮度的变量。常规设置的键值的示例包括“0.045”、“0.09”、“0.18”、“0.36”或“0.72”。键值越大，处理区域中显示的图像的亮度值越高，使得能够显示具有更高亮度的图像。注意，在本公开内容的图像处理中，如下面将详细描述的，公式(2)中的键值a没有被设置为常规值，而是由变量确定单元134基于处理区域中包括的各个像素的亮度值的分布来确定。
使用公式(2)缩放的亮度值被进一步约束，以增强对高亮度值的压缩。例如，公式(3)被进一步应用于经缩放的亮度值L(x，y)。
在公式(3)中，Ld(x，y)表示SDR转换后的像素ω(x，y)的亮度值。在本公开内容中，使用诸如浮点的表示方法，在HDR和SDR中，由0到1范围内的任意数值来表示亮度值。
以这种方式，分析单元133基于关于用户的运动的信息来指定显示区域，并且进一步根据通过显示区域的透视投影而获得的处理区域中所包括的各个像素来确定用于色调映射的参照亮度
变量确定单元134基于以第一动态范围记录的第一视频数据中的、处理区域中所包括的各个像素的亮度值的分布，来确定变量，该变量用于计算在第一动态范围的转换时各个像素的亮度值。在本公开内容中，第一动态范围表示HDR。此外，第一视频数据表示全天球内容。
也就是说，变量确定单元134基于处理区域中包括的各个像素的亮度值的分布来确定用于在HDR被转换成SDR时计算各个像素的亮度值的变量。在本公开内容中，由变量确定单元134确定的变量是公式(2)中所示的键值a。
例如，变量确定单元134基于处理区域中包括的各个像素的分布来指定处理区域中的亮度值的众数(mode)。随后，变量确定单元134确定键值a，使得该众数的亮度附近的像素在转换后的图像中被以更高的精度表达。换言之，变量确定单元134确定键值a，使得在转换后的图像中该众数附近的明/暗表达被以更高精度的对比度来表示。
作为示例，变量确定单元134动态地确定键值a，使得与该众数对应的像素的转换后亮度值Ld被设置为“0.5”。这是因为将Ld(x，y)设置为“0.5”增加了用于表达众数附近的亮度值的比特分配(信息量)。
这将参照图2和图3进行描述。图2是示出图像中包括的像素的亮度值的分布的直方图。图2概念性地示出了图像(处理区域)中包括的像素的亮度值的分布。在图2所示的直方图中，纵轴与像素的数目对应，而横轴与亮度值对应。如图2所示，在典型情况下，处理区域中包括的所有像素中相对大数目的像素通常分布在亮度值的众数Lm附近。
随后，在图2中所示的各个像素的变量被动态地确定以使得与众数Lm对应的像素的转换后的值(也就是，公式(3)的Ld(x，y))被设置为“0.5”的情况下，公式(3)被绘制成图3中所示的曲线图。图3是示出根据本公开内容的第一实施方式的图像处理的示例的图。在图3的曲线图中，纵轴对应于由公式(3)计算的最终像素亮度值Ld，而横轴对应于紧接在通过公式(2)进行缩放后的像素亮度值L。如图3所示，当假设在众数Lm下公式(3)的左侧为“0.5”时，相对大量的信息被分配在众数Lm的附近。
例如，在图3所示的示例中，通过公式(3)转换之前的亮度值的范围E01和范围E02指示相同的亮度值范围(宽度)。相反，与范围E01对应的转换后的亮度值范围F01包括比与范围E02对应的转换后的亮度值范围F02更宽的亮度值范围。这意味着具有众数Lm附近的亮度值的像素在SDR转换中被分配给更精细的灰度，导致转换后的图像中的高清晰度的明/暗表达。
如上所述，假设公式(3)中的Ld(x，y)为“0.5”，键值a根据公式(2)和(3)表示如下。
在公式(4)中，“Lm”指示处理区域中包括的每个图像的亮度值的众数。以这种方式，变量确定单元134可以基于处理区域中包括的各个像素的亮度值的分布来动态地确定键值a，该键值a是确定转换后的图像的亮度的变量。具体地，变量确定单元134将通过以下方式而计算的值确定为键值a：将各个像素的亮度值的对数平均值(参照亮度)除以处理区域中包括的各个像素的亮度值的众数Lm。
尽管公式(4)示出了在假设众数Lm的转换后亮度值Ld(x，y)为“0.5”的情况下计算键值a的方法，但是Ld(x，y)不一定必须为“0.5”。例如，为了适当地调节转换目标处理区域中包括的各个像素的分布以及转换后整个图像的亮度，变量确定单元134可以将众数Lm的转换后亮度值Ld(x，y)设置成不同于“0.5”的值。
此外，在关于用户的运动的信息满足预定条件的情况下，变量确定单元134可以确定键值a。在关于用户的运动的信息不满足预定条件的情况下，变量确定单元134可以跳过重新确定键值a的处理。
关于用户的运动的信息包括例如由关于用户的头部姿势和用户的运动速度的信息所表示的用于确定处理区域的信息。此外，预定条件例如是用户的运动速度等应该满足的条件。
例如，作为满足预定条件的情况，在用户的运动速度是预定阈值或更小的情况下，变量确定单元134可以做出重新确定键值a的确定。具体地，在用户的运动速度是预定阈值或更小的情况下，变量确定单元134基于处理区域中包括的各个像素的亮度值的分布来确定键值a，其中该处理区域是根据关于用户的运动的信息而确定的。用户的运动速度可以是各种值，诸如HMD 10的运动速度或用户头部的角速度。例如，用户的运动速度可以是估计用户正在注视全天球内容的某个区域的任意速度。也就是说，当用户的运动速度超过预定阈值时，假设用户不能决定观看全天球内容的哪个区域。相反，当用户的运动速度是预定阈值或更低时，假设用户正在注视视线所指向的全天球内容的区域。随后，变量确定单元134在以下状态下执行确定键值a的处理：能够确定在某种程度上判定了用户正在注视的区域。
相反，假设当用户的运动速度超过预定阈值时，没有判定用户正在注视的区域，因此变量确定单元134不需要重新确定键值a。在跳过重新确定键值a的处理的情况下，下面描述的转换器135使用基于满足预定条件的处理区域中所包括的各个像素的亮度值的分布而确定的现有键值a来执行转换处理。例如，转换器135使用之前刚刚确定的键值a或者已经预先设置的预定值(初始值等)来执行转换处理。换言之，转换器135通过使用在上述预定条件的确定时间点之前所确定的现有键值a来执行转换处理。
这是因为观察到超过预定阈值的速度的情况指示了用户正在主动地四处移动或正在四处查看全天球内容的各种项目的假设情况。不管这样的情况而允许图像处理设备100根据用户的视线重新计算键值a并实时地继续转换处理，可能导致在HMD 10上显示的图像中出现闪烁。为此原因，在用户的运动速度超过预定阈值的情况下，变量确定单元134不会重新确定键值a来抑制色调映射处理的切换，从而实现防止闪烁。注意，运动速度的阈值不一定是恒定值，并且可以根据在全天球内容中再现的场景或内容的细节而适当地变化。
此外，变量确定单元134可以确定是否在除了用户的运动速度以外的条件下重新确定键值a。例如，在处理区域中包括的各个像素的像素信息满足预定条件的情况下，变量确定单元134可以重新确定键值a。具体地，作为满足预定条件的情况，在预定时间内处理区域中包括的各个像素的像素信息的变化量为预定阈值或更小的情况下，变量确定单元134可以基于处理区域中包括的各个像素的亮度值的分布来确定键值a。在处理区域中包括的各个像素的像素信息不满足预定条件的情况下，变量确定单元134可以跳过重新确定键值a的处理。在跳过键值a的确定处理的情况下，下面描述的转换器135使用在关于处理区域中包括的各个像素的像素信息的预定条件的确定时间点之前所确定的现有键值a来执行转换处理。
例如，在全天球内容是电影的情况下，假设处理区域中各个像素的像素信息(亮度或颜色信息)在预定时间(例如，几秒钟)内频繁地变化。在这样的情况下频繁地更新键值a和参照亮度可能导致出现与以上情况类似的闪烁。为了解决这个问题，例如，变量确定单元134可以确定在预定时间期间处理区域中包括的各个像素的像素信息的变化量是否是预定阈值或更小，并且可以在变化量是预定阈值或更小的情况下重新确定键值a。
转换器135基于由变量确定单元134确定的变量，将第一视频数据转换成以第二动态范围显示的第二视频数据。在本公开内容中，例如，第二动态范围表示SDR。此外，第二视频数据表示与处理区域对应的图像，该图像是在HMD 10等上的以SDR显示的图像。
具体地，转换器135基于由分析单元133确定的参照亮度并且基于由变量确定单元134确定的键值a，将以HDR记录的全天球内容转换成以SDR显示的图像。
如上所述，对于根据用户的运动确定的每个处理区域，动态地确定参照亮度和键值a。因此，例如，在相对明亮的主题被拍摄的区域(总亮度值高的区域)与视角匹配的情况下，参照亮度/>变高，并且因此在色调映射的执行中，比特分配被移位到高亮度侧。在这种情况下，转换器135可以将以HDR记录的图像转换成曝光过度的高光被抑制的SDR图像。
相反，在暗的主题被拍摄的区域(整体亮度值低的区域)与视角匹配的情况下，参照亮度变低，并且因此在色调映射的执行中，比特分配被移位到低亮度侧。在这种情况下，转换器135可以将以HDR记录的图像转换成破坏的阴影被抑制的SDR图像。
发送单元136将由转换器135转换成SDR的全天球内容发送到HMD 10。例如，发送单元136向HMD 10发送全天球内容中的、与根据用户的运动而确定的处理区域对应的部分的图像数据。
[1-2.根据第一实施方式的图像处理的示例]
将参照图4具体地描述由图1所示的图像处理系统1执行的图像处理。图4是示出根据本公开内容的第一实施方式的图像处理的示例的图(1)。图4中所示的等矩柱状投影图像50是以HDR记录的全天球内容中包括的图像的示例。
首先，HMD 10检测佩戴HMD 10的用户的运动。随后，HMD 10向图像处理设备100发送关于检测到的用户的运动的信息。图像处理设备100基于从HMD 10获取的关于用户的运动的信息来指定显示区域51(步骤S11)。
图像处理设备100在与显示区域51对应的图像上执行透视投影转换，以确定与显示区域51对应的处理区域(步骤S12)。在图4的示例中，图像处理设备100将处理区域52确定为与显示区域51对应的显示区域。处理区域52指示HMD 10中的以下区域：该区域与用户实际观看图像时用户的视角相对应。
此外，图像处理设备100基于处理区域52中包括的各个像素的分布，将处理区域52的图像转换成SDR(步骤S13)。也就是，图像处理设备100通过使用与投影转换后的图像对应的处理区域52中包括的各个像素的信息来执行转换处理，而不是使用从等矩柱状投影图像50切出的显示区域51。以这种方式，图像处理设备100使用用户在HMD 10上实际观看的区域(处理区域)中所包括的像素信息来执行转换处理，使得能够向用户提供转换后的图像作为更自然的表达。具体地，图像处理设备100通过使用用户实际观看的区域中所包括的像素信息来动态地确定键值a，并且使用所确定的键值a来执行转换，使得能够提供以下图像：该图像实现了匹配人类的视觉特性的明/暗表达。
在此，在图4的示例中，与整个等矩柱状投影图像50中包括的像素的亮度值的对数平均值或众数相比，处理区域52中包括的像素的亮度值的对数平均值或众数被假设成更高的值。换言之，与整个等矩柱状投影图像50相比，处理区域52是更亮的图像。图像处理设备100使用基于处理区域52中包括的各个像素的对数平均亮度值或众数而确定的键值a来执行色调映射，以便执行转换到SDR。作为结果，如图4所示，图像处理设备100可以生成已经被转换的转换后图像53，以提高在处理区域52中具有曝光过度的高光的像素的明/暗表达的可视性。
随后，当用户移动视场以观看除显示区域51之外的区域时，HMD 10检测用户的视场的移动。随后，HMD 10向图像处理设备100发送关于佩戴HMD 10的用户的运动的信息。图像处理设备100基于从HMD 10获取的关于用户的运动的信息来指定显示区域61(步骤S21)。
类似于显示区域51中的处理，图像处理设备100在与显示区域61对应的图像上执行透视投影转换，以确定与显示区域61对应的处理区域(步骤S22)。在图4的示例中，图像处理设备100将处理区域62确定为与显示区域61对应的处理区域。
此外，图像处理设备100基于处理区域62中包括的各个像素的分布，将与处理区域62对应的图像转换成SDR(步骤S23)。在图4的示例中，与整个等矩柱状投影图像50中包括的像素的亮度值的对数平均值或众数相比，处理区域62中包括的像素的亮度值的对数平均值或众数被假设为较低的值。换言之，与整个等矩柱状投影图像50相比，处理区域62是更暗的图像。图像处理设备100使用基于处理区域62中包括的各个像素的对数平均亮度值或众数而确定的键值a来执行色调映射，以便执行转换到SDR。作为结果，如图4中所示，图像处理设备100可以生成已经被转换的转换后图像63，以提高处理区域62中具有破坏的阴影的像素的明/暗表达的可视性。
将参照图5详细描述以上处理。图5是示出根据本公开内容的第一实施方式的图像处理的示例的图(2)。在根据图4的步骤S13中，例如，与公式(3)对应的曲线图由图5中的曲线54示出。此外，在根据图4的步骤S23中，例如，与公式(3)对应的曲线图由图5中的曲线64示出。在图4的示例中，在处理区域52与处理区域62的比较中，假设处理区域62总体上具有较低的亮度分布。因此，处理区域62中亮度值的众数Lm1低于处理区域52中亮度值的众数Lm2。如图3中所描述的，由于众数Lm1和众数Lm2具有值“0.5”作为转换后的亮度值，所以与图5中所示的曲线54相比，曲线64在亮度值L的相对低的范围内具有更高的增加率(斜率)。
这意味着与步骤S13的转换处理相比，在步骤S23的转换处理中，更大量的信息(比特)被分配给相对低的亮度值范围。也就是说，图像处理设备100在处理区域62中具有暗显示水平(低亮度值)的部分上执行更大权重的转换处理。这使得图像处理设备100能够生成转换后图像63，在该转换后图像63中，处理区域62的具有暗显示水平的部分被以高清晰度的明/暗表达来显示。另一方面，与步骤S23的转换处理相比，在步骤S13的转换处理中，更大量的信息被分配给相对高的亮度值的范围。也就是说，图像处理设备100在处理区域52中具有明亮显示水平(高亮度值)的部分上执行更大权重的转换处理。这使得图像处理设备100能够生成转换后图像53，在该转换后图像53中，处理区域52的具有明亮显示水平的部分(例如，具有亮度值的部分，该亮度值具有曝光过度的高光的可能性)被以高清晰度的明/暗表达来显示。
[1-3.根据第一实施方式的图像处理的过程]
接下来，将参照图6描述根据第一实施方式的图像处理过程。图6是示出根据本公开内容的第一实施方式的处理流程的流程图。
如图6中所示，图像处理设备100从HMD 10获取关于用户的运动的信息(步骤S101)。随后，图像处理设备100基于关于用户的运动的信息，在全天球内容的一个图像内指定与用户的运动(例如，用户的视野方向)对应的区域(步骤S102)。在步骤S102中指定的区域是例如图4中所示的显示区域51或显示区域61。
随后，图像处理设备100从内容存储单元121读出以HDR记录的全天球内容(步骤S103)。此外，图像处理设备100在步骤S102中指定的区域上执行投影转换，以确定与该区域对应的处理区域(步骤S104)。例如，在步骤S104中确定的处理区域与图4中所示的处理区域52或处理区域62对应。
此后，图像处理设备100基于在步骤S101中获取的关于用户的运动的信息来确定(步骤S105)用户的运动速度是否是预定阈值或更小。在用户的运动速度是预定阈值或更小的情况下(步骤S105：是)，图像处理设备100分析处理区域中的各个像素的像素信息(步骤S106)。随后，图像处理设备100基于各个像素的分析结果来确定用于色调映射的变量(键值a)(步骤S107)。
相反，在用户的运动速度超过预定阈值的情况下(步骤S105：否)，图像处理设备100读出已经确定的参照亮度和变量(步骤S108)。换言之，图像处理设备100跳过重新确定(计算)参照亮度或变量的过程。在这种情况下，图像处理设备100使用在前一过程中确定的参照亮度和变量，或者使用预设规定值的参照亮度和变量。也就是，图像处理设备100使用在确定是否执行变量确定的时间点(在图6的示例中，步骤S105)之前已经确定的现有变量。
图像处理设备100基于在步骤S107或步骤S108中确定的参照亮度和变量，将处理区域中的图像从HDR转换(步骤S109)到SDR。随后，图像处理设备100将转换后的图像发送到HMD 10(步骤S110)。
以这种方式，根据第一实施方式的图像处理设备100执行如下图像处理：该图像处理选择性地使用根据用户的运动所确定的处理区域中包括的像素，而不是使用整个全天球内容的像素信息。具体地，根据第一实施方式的图像处理设备100基于处理区域中包括的各个像素的亮度值的分布，动态地确定用于转换视频数据的键值a和参照亮度。利用该过程，根据第一实施方式的图像处理设备100可以执行适合于用户想要观看的图像的转换处理，导致生成以下转换后图像：该转换后图像实现了图像的高清晰度的明/暗表达。此外，根据第一实施方式的图像处理设备100在用户的运动速度是阈值或更小的情况下执行重新确定变量的处理，使得能够防止闪烁等的发生。
(2.第一实施方式的修改例)
第一实施方式是如下示例：在该示例中，图像处理设备100在用户的运动速度下降到预定阈值或更低的情况下，基于关于用户的运动的信息来执行确定处理区域中的参照亮度和键值a的处理。在此，当运动速度下降到阈值或更低时，图像处理设备100可以执行将前一确定的参照亮度和键值a逐渐地改变成新的参照亮度和键值a的处理，而不是立即确定新的参照亮度和键值a。也就是说，图像处理设备100随着时间执行转换处理，以便逐渐过渡到转换后的图像，而不是立即转换处理区域。因此，图像处理设备100可以执行模拟当人类从明亮的地方移动到黑暗的地方等时发生的人类视觉适应(暗适应或明适应)的转换处理，使得可以向用户提供更真实和自然的图像。
也就是说，根据第一实施方式的修改例的变量确定单元134确定第一变量(基于改变前的处理区域的键值a)，并且此后确定第二变量(基于改变后的处理区域)。在这些处理中，变量确定单元134确定实现从第一变量到第二变量的逐步过渡的值。此外，根据第一实施方式的修改的转换器135通过顺序地使用由变量确定单元134确定的、实现从第一变量到第二变量的逐步过渡的值来转换第一视频数据。
将参照图7描述以上处理。图7是示出根据本公开内容的第一实施方式的修改例的图像处理的示例的图。图7示出了如下示例，在该示例中，图像处理设备100将前一确定的参照亮度和键值a逐渐地改变为新的参照亮度和键值a，以便根据时间的推移执行色调映射。
类似于图4所示的示例，图7中的图像处理设备100基于由HMD 10检测到的关于用户的运动的信息来指定显示区域51(步骤S31)。
图像处理设备100在与显示区域51对应的图像上执行透视投影转换，以确定与显示区域51对应的处理区域52(步骤S32)。
随后，与图4类似，图像处理设备100确定处理区域52中的参照亮度和键值a。此时，图像处理设备100例如通过使用公式(5)和(6)动态地确定根据时间推移而定义的参照亮度和键值a。
在公式(5)中，表示在前一确定过程中确定的对数平均亮度值，即前一参照亮度。此外，公式(5)中的t指示时间。此外，在公式(5)中，ΔL(t)是指示随时间变化的亮度值的函数。此外，在公式(6)中，/>指示与基于当前用户的运动的信息而确定的处理区域52对应的对数平均亮度值，即当前时间点的参照亮度。此外，公式(6)中的T是用于确定时间方向上的变化量的任意常数。/>
如公式(5)所示，根据修改例的参照亮度是基于之前刚确定的参照亮度/>以及随时间的变化量ΔL(t)来确定的。随后，图像处理设备100使用公式(5)中的参照亮度/>来转换处理区域52的图像(步骤S33)。利用该处理，在参照亮度被确定的情况下，处理区域52中的图像经过图7所示的中间图像57和中间图像58而被转换成图像53，而不是立即转换成转换后的图像53。在这种情况下，如以上公式(4)所示，键值a也根据参照亮度的变化而变化。
以这种方式，在第一实施方式的修改例中，图像处理设备100使用随时间变化的参照亮度和键值a来执行色调映射。利用这种配置，图像处理设备100可以通过模拟人类视觉中的明适应和暗适应特性的自然表达来执行从HDR到SDR的转换处理。
附加地，已知在人类视觉中暗适应所需的时间比明适应所需的时间长。因此，图像处理设备100可以根据与/>之间的关系来改变公式(6)中T的值。具体地，图像处理设备100可以在建立了/>的关系的情况下，即当模拟暗适应时，将T的值设置得相对较大。在这种情况下，图像处理设备100还可以为公式(5)中所示的值/>最终收敛到值/>之前所花费的时间设置相对长的时间。此外，在建立了/>的关系的情况下，即当模拟明适应时，图像处理设备100可以将值T设置为比模拟暗适应时采用的值小的值。在这种情况下，图像处理设备100还可以将公式(5)中示出的值/>最终收敛到值/>之前所花费的时间设置为比模拟暗适应时所采用的值小的值(即，设置该值以便在更短的时间内收敛到值/>)。
此外，公式(6)中的ΔL(t)被简单地由线性时间方向上的变化函数来表示。然而，取决于人类视觉特性以及在内容中再现的各种情况，ΔL(t)可以由非线性时间方向上的变化函数来表示。
如上所述，在键值a被重新确定的情况下，图像处理设备100基于以下值来执行转换处理：该值被包括在重新确定的键值a和确定键值a之前已经确定的现有键值a之间，其是根据时间的推移而确定的。
如上所述根据时间的推移执行的转换处理可以由各种情况触发。例如，图像处理设备100可以在用户的运动速度下降到预定阈值或更低的情况下执行以上变量确定处理和转换处理。此外，图像处理设备100可以根据显示的场景的转变来执行变量确定处理和转换处理，而不管用户的运动。例如，当全天球内容是电影时，即使当佩戴HMD 10的用户的运动没有改变时，HMD 10上显示的图像的像素信息在某些情况下可能由于场景转变(图像改变)而改变。在这种情况下，图像处理设备100根据场景的转变重新计算键值a和参照亮度，并执行如上所述的表示明适应或暗适应的转换处理，使得能够向用户提供更自然的图像。例如，图像处理设备100可以基于前一图像中包括的像素信息的变化超过预定阈值来确定场景是否具有转变(换言之，是否执行根据修改例的转换处理)。也就是说，图像处理设备100可以基于在预定时间内处理区域中包括的各个像素的像素信息的超过预定阈值的巨大变化量来执行以上转换处理。
以这种方式，在关于用户的运动的信息满足预定条件或者处理区域中包括的各个像素的像素信息的变化量满足预定条件的情况下，根据图像处理设备100的变量确定单元134重新确定键值a。随后，在重新确定键值a的情况下，变量确定单元134确定随着时间的推移实现逐步变化并且收敛于重新确定的键值a的值。例如，通过将由公式(5)计算的参照亮度分配到公式(4)来计算该值。具体地，变量确定单元134是以下值：该值被包括在键值a与确定新键值a之前已经确定的现有键值a之间，其是根据时间的推移而确定的。随后，图像处理设备100的转换器135基于收敛到重新确定的键值a的值来转换与处理区域对应的图像。
这使得根据第一实施方式的修改的图像处理设备100能够在将以HDR记录的图像转换到SDR并且以SDR显示图像时，执行接近人类视觉的明适应和暗适应特性的自然转换处理。
(3.第二实施方式)
[3-1.根据第二实施方式的图像处理系统的配置]
接下来，将描述第二实施方式。在第二实施方式中，将描述当在HMD 10的显示器18A上显示除全天球内容之外的虚拟对象时所执行的图像处理。
首先，将描述根据第二实施方式的图像处理系统2。图8是示出根据本公开内容的第二实施方式的图像处理系统2的示例的图。如图8所示，与第一实施方式相比，图像处理系统2还包括控制器20。根据第二实施方式的图像处理设备200还包括分析单元233、变量确定单元234和绘制单元235。注意，将省略与根据第一实施方式的图像处理设备100相同的配置的描述。
控制器20是经由有线或无线网络而连接到图像处理设备200和HMD 10的信息装置。控制器20是由佩戴HMD 10的用户持有和操作的信息装置，以便检测用户的手的移动以及由用户输入到控制器20的信息。具体地，与控制器20相关的检测器21控制传感器21A(例如，诸如三轴加速度传感器、陀螺仪传感器或速度传感器的各种运动传感器)，以检测控制器20的三维位置和速度。随后，检测器21将检测到的三维位置、速度等传送到图像处理设备200。检测器21可以传送由外部传感器(诸如外部摄像机)检测到的装置自身的三维位置。
图像处理设备200的绘制单元235基于由控制器20的检测器21检测到的信息来绘制虚拟对象，以便叠加在HMD 10上所显示的图像上。例如，绘制单元235根据用户的实际运动(例如，手移动)来绘制模拟用户的手的虚拟对象。此外，在HMD 10上所显示的内容是游戏的情况下，绘制单元235可以绘制模拟游戏中所使用的工具等的虚拟对象。注意，各种公知技术可以适当地用于这样的虚拟对象绘制处理。
在虚拟对象被包括在处理区域中的情况下，根据第二实施方式的分析单元233和变量确定单元234使用针对虚拟对象设置的亮度值来执行分析和变量确定。具体地，在原始图像中的像素被处理区域中的虚拟对象隐藏(叠加)的情况下，分析单元233或变量确定单元234使用虚拟对象的像素信息(诸如亮度值)来执行处理。
例如，变量确定单元234基于处理区域中包括的各个像素的亮度值以及基于处理区域中包括的虚拟对象的亮度值的分布来计算键值a。变量确定单元234使用预先针对形成虚拟对象的像素的亮度值而设置的预定亮度值。此外，变量确定单元234可以基于其上叠加有虚拟对象的全天球内容的整个图像的亮度值来确定形成虚拟对象的像素的亮度值。这使得变量确定单元234能够在全天球内容总体较亮时调节要以亮水平绘制的虚拟对象，或者在全天球内容总体较暗时调节要以暗水平绘制的虚拟对象。
此外，允许具有如下配置：在该配置中，当虚拟对象的行为满足预定条件时，变量确定单元234计算键值a，并且当虚拟对象的行为不满足预定条件时，变量确定单元234不会重新计算键值a。具体地，在通过用户以超过预定阈值的速度在控制器20上的操作而以超过预定速度的速度绘制虚拟对象的情况下，变量确定单元234可以省略键值a的计算过程，以便防止屏幕上出现闪烁等。相反，在以预定速度或更低速度绘制虚拟对象的情况下，变量确定单元234可以重新确定键值a，使得可以使用新的键值a来执行色调映射。
[3-2.根据第二实施方式的图像处理的示例]
将参照图9具体描述由图8所示的图像处理系统2执行的图像处理。图9是示出根据本公开内容的第二实施方式的图像处理的示例的图。利用图9，将使用以下示例性情况来描述根据第二实施方式的图像处理：虚拟对象后来被叠加在曾经从HDR转换到SDR的图像上。图9所示的等矩柱状投影图像50与图4所示的图像相同。
与图4所示的示例类似，图像处理设备200基于由HMD 10检测到的关于用户的运动的信息来指定显示区域71(步骤S41)。
图像处理设备200执行与显示区域71对应的图像的透视投影转换，以确定与显示区域71对应的处理区域72(步骤S42)。
此外，图像处理设备200基于处理区域72中包括的各个像素的分布，将与处理区域72对应的图像转换成SDR(步骤S43)。图9所示的处理区域72在上部中央部分中具有曝光过度的高光，但是在其他部分中具有相对低的亮度值，导致整体上的暗图像。相反，在SDR转换之后的转换后图像73中，具有低亮度值和低对比度水平的部分(诸如下部中央部分)已经被改变为具有稍微增加的亮度和更好的清晰度。
在此，假设用户经由控制器20执行以下操作：将作为虚拟对象的手叠加在转换后图像73上。图像处理设备200基于由控制器20检测的信息得出虚拟对象80要被叠加在转换后图像73上的位置。
随后，图像处理设备200分析作为处理目标的、包括转换后图像73和形成虚拟对象80的像素的图像。具体地，图像处理设备200基于形成虚拟对象80的各个像素的亮度值和转换后图像73中包括的各个像素的亮度值来计算用于色调映射的参照亮度。此外，图像处理设备200基于形成虚拟对象80的各个像素的亮度值和转换后图像73中包括的各个像素的亮度值的分布(亮度值的众数等)来确定用于色调映射的键值a。
随后，图像处理设备200绘制虚拟对象80以便叠加到转换后图像73上，同时对于包括虚拟对象80的情况，图像处理设备200基于各个像素的亮度信息执行色调映射(步骤S44)。利用该处理，图像处理设备200可以在HMD 10上显示转换后图像74，并且显示叠加在转换后图像74上的虚拟对象80。
在图9所示的转换后图像74中，由于具有曝光过度的高光的转换后图像73的上部中央部分被虚拟对象80隐藏，因此整个图像的亮度值的分布被平滑，导致除虚拟对象80之外的部分的显示中有更清晰的对比度。也就是说，转换后图像74被认为是在屏幕上模拟如下情况的图像：在该情况下，通过在现实世界中用手遮挡光，来提高在由于光的影响而导致可见度恶化的位置处的可见度。
在图9所示的示例中，出于解释的目的，虚拟对象80被绘制成白色，但是实际上，形成虚拟对象80的像素的亮度值不需要具有以白色表示的高亮度值。例如，当确定键值a时，根据第二实施方式的变量确定单元234可以基于等矩柱状投影图像50中包括的各个像素的亮度值来计算设置给形成虚拟对象80的各个像素的亮度值。例如，形成虚拟对象80的像素的亮度值可以是等矩柱状投影图像50中包括的像素的亮度值的平均值、中值或对数平均亮度值等。这使得图像处理设备200能够将形成虚拟对象80的像素的亮度值适当地设置成与作为处理目标的全天球内容对应的值，使得能够防止由于虚拟对象80的叠加而导致执行不自然的转换处理。注意，形成虚拟对象80的像素的亮度值不一定是相同的亮度值，而可以是彼此不同的亮度值。
将参照图10概念性地描述图9所示的处理。图10是示出根据本公开内容的第二实施方式的图像处理的示例的图。与图2所示的直方图类似，图10示出了处理区域中包括的像素的数目以及亮度值的分布。
例如，图10所示的曲线81示出了图9所示的转换后图像73中的像素的数目以及亮度值的分布。如图9所示，转换后图像73在上部中央部分包括相对较大数目的具有高亮度值的像素(图9中以白色表示的部分)。因此，曲线81具有指示相对较大数目的像素分布在高亮度值范围内的形状。
在此，如图9所示，假设用户操作控制器20以将虚拟对象80叠加到转换后图像73的上部中央部分上(步骤S51)。在这种情况下，在转换后图像73中包括的像素中的叠加在虚拟对象80上的像素被替换成虚拟对象80的像素的亮度值。
例如，图10所示的曲线82表示当虚拟对象80被叠加在图9所示的转换后图像73上时像素的数目和亮度值的分布。如曲线82所示，与曲线81相比，在叠加虚拟对象80之后，具有高亮度值的像素的数目减少。此外，作为虚拟对象80的叠加的效果，在曲线81上的亮度值中，亮度值的众数从众数Lm3变成众数Lm4。
在这种情况下，图像处理设备200基于虚拟对象80被叠加之后的各个像素的亮度值的分布来计算参照亮度和键值a，并且重新确定参照亮度和键值a。随后，图像处理设备200基于重新确定的参照亮度和键值a，在转换后图像73上执行色调映射，以便生成转换后图像74。
[3-3.根据第二实施方式的图像处理的过程]
接下来，将参照图11描述根据第二实施方式的图像处理过程。图11是示出根据本公开内容的第二实施方式的处理流程的流程图。
如图11所示，图像处理设备200从HMD 10获取关于用户的运动的信息，以及从控制器20获取控制器操作信息(步骤S201)。步骤S202至S204的处理与图6所示的步骤S102至S104类似，因此将省略描述。在步骤S204之后，图像处理设备200基于控制器操作信息来确定处理区域中虚拟对象的显示位置(步骤S205)。随后，与图6所示的步骤S105类似，图像处理设备200确定用户的运动速度是否是预定阈值或更小(步骤S206)。
在步骤S206中，当用户的运动速度是预定阈值或更小时(步骤S206；是)，图像处理设备200进一步确定虚拟对象的运动速度是否是预定阈值或更小(步骤S207)。在虚拟对象的运动速度是预定阈值或更小的情况下(步骤S207；是)，图像处理设备200分析包括虚拟对象的处理区域中的像素信息(步骤S208)。
相反，在虚拟对象的运动速度超过预定阈值的情况下(步骤S207；否)，图像处理设备200分析不包括虚拟对象的处理区域中的像素信息(步骤S209)。
随后，图像处理设备200基于处理区域中的各个像素的分析结果来确定用于色调映射的变量(步骤S210)。在步骤S206中用户的运动速度超过预定阈值的情况下(步骤S206；否)，图像处理设备200读出已经确定的参照亮度和变量(步骤S211)。
此后，图像处理设备200基于虚拟对象的三维位置等绘制虚拟对象，以便叠加在处理区域的图像上(步骤S212)。此外，图像处理设备200基于在步骤S210或步骤S211中确定的参照亮度和变量，将处理区域的图像从HDR转换(步骤S213)到SDR。随后，图像处理设备200将转换后的图像传送到HMD 10(步骤S214)。
以这种方式，根据第二实施方式的图像处理设备200基于图像中包括的各个像素的分布以及形成虚拟对象的各个像素的分布，在叠加有虚拟对象的图像上执行根据本公开内容的图像处理。利用这种配置，根据第二实施方式的图像处理设备200可以执行更真实和自然的图像转换，该图像转换反映了当阳光被手遮挡时明/暗表达的变化。
(4.第三实施方式)
[4-1.根据第三实施方式的图像处理系统的配置]
接下来，将描述第三实施方式。在第三实施方式中，根据本公开内容的图像处理是在诸如HMD 30的显示装置侧执行的，而不是在诸如图像处理设备100的服务器侧执行。
将参照图12描述根据第三实施方式的图像处理系统3。图12是示出根据本公开内容的第三实施方式的图像处理系统3的示例的图。如图12所示，图像处理系统3包括：HMD30，其包括根据第一实施方式的图像处理设备100和根据第二实施方式的图像处理设备200中所包括的各个处理单元；以及具有内容存储单元321的存储服务器300。
HMD 30是以下信息装置：其包括显示各种类型的内容(诸如电影和静止图像)的显示器18A，并且对显示器18A上显示的SDR图像执行转换处理。例如，HMD 30可以是通过将智能手机等插入护目镜形状的外壳中而实现的智能手机VR护目镜。
获取单元31对应于第一实施方式中描述的检测器15和获取单元131，并且获取关于用户在HMD 30上的动作的信息。区域确定单元32对应于第一实施方式中描述的区域确定单元132。分析单元33对应于第一实施方式中描述的分析单元133。分析单元33获取存储服务器300中存储的全天球内容，并且分析全天球内容中的、由区域确定单元32确定的处理区域中的各个像素的信息。
变量确定单元34对应于第一实施方式中描述的变量确定单元134。转换器35对应于第一实施方式中描述的转换器135。显示控制单元36控制在显示器18A上显示由转换器35转换的图像的过程。
以这种方式，根据第三实施方式的HMD 30用作执行根据本公开内容的图像处理的图像处理设备。也就是说，HMD 30可以作为独立装置来执行根据本公开内容的图像处理，而不依赖于服务器装置等。此外，作为独立操作，HMD 30使得能够实现包括显示控制处理(诸如在显示器18A上显示通过根据本公开内容的图像处理转换成SDR的图像)的处理。利用该系统，根据第三实施方式的HMD 30可以使用简单的系统配置来实现根据本公开内容的图像处理。另外，虽然第三实施方式是全天球内容被保存在存储服务器300中的示例，但是HMD30可以在其自己的装置中保存全天球内容。
(5.其他实施方式)
根据上述每个实施方式的处理可以以除了上述每个实施方式之外的各种不同的形式(修改例)来执行。
例如，在上述每一个实施方式中，全天球内容被示为内容的示例。然而，根据本公开内容的图像处理可以应用于除全天球内容之外的内容。例如，根据本公开内容的图像处理可以应用于全景图像或全景电影，其具有比显示装置的可显示区域更宽的区域。此外，还可以应用于在180度范围内形成的VR图像和VR电影。全天球内容不限于静止的图像和电影，而是可以是例如以计算机图形(CG)创建的游戏内容。
此外，上述每一个实施方式都是如下示例：在该示例中，以HDR记录的第一视频数据被转换成以SDR显示的第二视频数据。然而，根据本公开内容的图像处理不限于将HDR转换成SDR的处理。例如，根据本公开内容的图像处理可以应用于将以相对高的动态范围记录的图像转换成相对低的动态范围的各种类型的处理。
此外，上述每一个实施方式都是如下示例：在该示例中，基于与显示区域的透视投影转换之后的图像相对应的处理区域中所包括的各个像素的信息来执行根据本公开内容的图像处理。然而，根据本公开内容的图像处理不仅可以通过使用处理区域中包括的各个像素的信息来执行，还可以通过使用以下区域的各个像素的信息来执行：该区域包括距处理区域几个像素或几十个像素的宽范围。
此外，例如，根据本公开内容的图像处理不仅可以在与处理区域对应的图像上执行转换处理，还可以在与以下区域对应的图像上执行转换处理：该区域包括距处理区域几个像素或几十个像素的宽范围。也就是说，作为图像处理目标的预定区域不一定指示投影转换之后的原始图像的区域，而是可以包括通过对与投影转换之后的图像对应的区域扩展一些像素而获得的区域。
此外，上述每个实施方式是基于公式(1)至(3)等执行从HDR到SDR的色调映射的示例。然而，用于将亮度值从HDR转换到SDR的色调映射的转换函数不限于公式(1)至(3)。例如，用于色调映射的各种函数，诸如熟知的对数函数、幂函数和希尔函数(Hill function)，可以用作色调映射的转换函数。在任一函数中，根据本公开内容的图像处理是通过基于投影转换之后的处理区域中包括的各个像素确定参照亮度来实现的，或者是通过基于处理区域中包括的各个像素的分布确定键值来实现的。
此外，上述每一个实施方式都是如下示例：在该示例中，使用处理区域中包括的各个像素的亮度值的众数，基于公式(4)来计算键值a。然而，键值a不一定必须使用众数来计算。例如，可以使用各种统计上有意义的数值，诸如处理区域中包括的像素的亮度值的中值、平均值和标准偏差，来计算键值a。
此外，根据本公开内容的图像处理已经被描述为基于佩戴HMD 10的用户的运动的信息(关于头部姿势的倾斜或视线方向的信息)等来指定显示区域的处理。然而，关于用户的运动的信息不限于以上。例如，在将全天球内容显示在智能手机、平板终端等上的情况下，用户通过屏幕上的触摸操作或在某些情况下使用输入装置(鼠标、触控板等)来选择显示区域。在这种情况下，关于用户的运动的信息包括与触摸操作对应的信息以及经由输入装置输入的信息。此外，用户的运动速度包括诸如以下的信息：与触摸操作对应的手指移动速度(换言之，平板终端中指示器的移动速度)、经由输入装置的指示器的移动速度等。此外，关于用户的运动的信息包括当用户移动或倾斜平板终端时由平板终端中包括的传感器检测到的信息。此外，由传感器检测的信息可以例如包括诸如以下的信息：平板终端上的屏幕(换言之，处理区域)的滚动速度。
此外，在上述实施方式中描述的每个处理中，被描述为自动执行的所有或一部分处理可以手动执行，或者被描述为手动执行的处理可以通过已知的方法而自动执行。此外，除非另有说明，否则以上文件或图纸中示出的处理过程、具体名称以及包括各种数据和参数的信息可以被任意地改变。例如，每个附图中所示的各种信息不限于所示的信息。
此外，每个装置的每个部件都是作为功能性和概念性说明而提供的，因此不一定需要如所示的进行物理配置。也就是说，每个装置的分布/集成的具体形式不限于附图中所示出的，并且其全部或一部分可以根据各种负载和使用条件而被功能性地或物理性地分布或集成到任意单元中。例如，图1中所示的分析单元133和变量确定单元134可以被集成。
此外，在没有处理的矛盾的情况下，上述实施方式和修改例可以在可实现的范围内被适当地组合。
本说明书中描述的效果仅是示例，因此可能存在其他效果，不限于示例性的效果。
(6.硬件配置)
根据上述每个实施方式的信息装置(诸如图像处理设备、HMD和控制器)由例如具有如图13所示的配置的计算机1000来实现。在下文中，根据第一实施方式的图像处理设备100将作为示例被描述。图13是示出实现图像处理设备100的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的每个部件通过总线1050互连。
CPU 1100基于ROM 1300或HDD 1400中存储的程序进行操作，以便控制每个部件。例如，CPU 1100将ROM 1300或HDD 1400中存储的程序开发到RAM 1200中，并执行与各种程序对应的处理。
ROM 1300存储启动程序，诸如当计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS)、取决于计算机1000的硬件的程序等。
HDD 1400是记录由CPU 1100执行的程序、被程序使用的数据等的非暂时性计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的图像处理程序(作为程序数据1450的示例)的记录介质。
通信接口1500是用于将计算机1000连接到外部网络1550(例如，互联网)的接口。例如，CPU 1100经由通信接口1500从其他装置接收数据或者将由CPU 1100生成的数据传送到其他装置。
输入/输出接口1600是用于在输入/输出装置1650与计算机1000之间连接的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。此外，CPU1100经由输入/输出接口1600将数据传送到输出装置，诸如显示器、扬声器或打印机。此外，输入/输出接口1600可以用作读取预定记录介质上记录的程序等的介质接口。介质的示例包括：光学记录介质，诸如数字多功能盘(DVD)或相变可重写盘(PD)；磁光记录介质，诸如磁光盘(MO)，磁带介质，磁记录介质和半导体存储器。
例如，当计算机1000用作根据第一实施方式的图像处理设备100时，计算机1000的CPU 1100执行RAM 1200上加载的图像处理程序，以实现获取单元131等的功能。此外，HDD1400将根据本公开内容的图像处理程序或数据存储在内容存储单元121中。作为另一示例，当CPU 1100执行从HDD 1400读取的程序数据1450时，CPU 1100可以经由外部网络1550从另一装置获取这些程序。
注意，本技术也可以具有以下配置。
(1)
一种图像处理设备，包括：
变量确定单元，其基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在所述第一动态范围被转换成第二动态范围时计算所述各个像素的亮度值；以及
转换器，其基于由所述变量确定单元确定的所述变量，将所述第一视频数据转换成以所述第二动态范围显示的第二视频数据。
(2)
根据(1)所述的图像处理设备，
其中，在关于用户的运动的信息满足预定条件的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
(3)
根据(2)所述的图像处理设备，
其中，作为关于用户的运动的信息满足所述预定条件的情形，在所述用户的运动速度是预定阈值或更小的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
(4)
根据(2)或(3)所述的图像处理设备，
其中，在关于用户的运动的信息不满足所述预定条件的情况下，所述转换器基于在确定所述预定条件的时间点之前所确定的现有变量，将所述第一视频数据转换成所述第二视频数据。
(5)
根据(1)至(4)中任一项所述的图像处理设备，
其中，在所述预定区域中包括的各个像素的像素信息满足预定条件的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
(6)
根据(5)所述的图像处理设备，
其中，作为所述预定区域中包括的各个像素的像素信息满足所述预定条件的情形，在预定时间内所述预定区域中包括的各个像素的像素信息的变化量是预定阈值或更小的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
(7)
根据(5)或(6)所述的图像处理设备，
其中，在所述预定区域中包括的各个像素的像素信息不满足所述预定条件的情况下，所述转换器基于在确定所述预定条件的时间点之前所确定的现有变量，将所述第一视频数据转换成所述第二视频数据。
(8)
根据(1)至(7)中任一项所述的图像处理设备，
其中，在所述变量确定单元在确定第一变量之后已经确定了第二变量的情况下，所述变量确定单元确定实现从所述第一变量到所述第二变量的逐步过渡的值，并且
所述转换器通过顺序地使用由所述变量确定单元确定的、实现从所述第一变量到所述第二变量的逐步过渡的值，将所述第一视频数据转换成所述第二视频数据。
(9)
根据(1)至(8)中任一项所述的图像处理设备，
其中，所述变量确定单元基于通过将所述预定区域中包括的各个像素的亮度值的对数平均值除以所述预定区域中包括的各个像素的亮度值的众数而获得的值，来确定所述变量。
(10)
根据(1)至(9)中任一项所述的图像处理设备，
其中，所述变量确定单元基于叠加在所述预定区域上的虚拟对象中所包括的各个像素的亮度值的分布以及在所述预定区域中没有叠加在所述虚拟对象上的各个像素的亮度值的分布来确定所述变量。
(11)
根据(10)所述的图像处理设备，
其中，所述变量确定单元基于所述第一视频数据中包括的各个像素的亮度值，计算要对形成所述虚拟对象的各个像素设置的亮度值。
(12)
根据(10)或(11)所述的图像处理设备，
其中，在所述虚拟对象的行为满足预定条件的情况下，所述变量确定单元基于叠加在所述预定区域上的虚拟对象中所包括的各个像素的亮度值的分布以及在所述预定区域中没有叠加在所述虚拟对象上的各个像素的亮度值的分布来确定所述变量，并且
在所述虚拟对象的行为不满足预定条件的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量，而不管所述虚拟对象的叠加是否被执行。
(13)
根据(1)至(12)中任一项所述的图像处理设备，
其中，所述第一视频数据是全天球内容，并且所述图像处理设备还包括：
区域确定单元，其在基于所述用户的运动而指定的全天球内容的部分区域上执行投影转换，并且将与投影转换后的图像对应的区域确定为所述预定区域。
(14)
根据(1)至(13)中任一项所述的图像处理设备，还包括
显示控制单元，其控制由所述转换器通过转换而获得的所述第二视频数据的显示。
(15)
一种由计算机实现的图像处理方法，所述方法包括：
基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在所述第一动态范围被转换成第二动态范围时计算所述各个像素的亮度值；以及
基于所确定的变量，将所述第一视频数据转换成以所述第二动态范围显示的第二视频数据。
(16)
一种记录图像处理程序的非暂时性计算机可读记录介质，所述图像处理程序用于使计算机用作为：
变量确定单元，其基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在所述第一动态范围被转换成第二动态范围时计算所述各个像素的亮度值；以及
转换器，其基于由所述变量确定单元确定的变量，将所述第一视频数据转换成以所述第二动态范围显示的第二视频数据。
附图标记列表
1，2，3 图像处理系统
10，30 HMD
20 控制器
100，200 图像处理设备
300 存储服务器
15，21 检测器
16 发送单元
17 接收单元
18，36 显示控制单元
121，321 内容存储单元
31，131 获取单元
32，132 区域确定单元
33，133，233 分析单元
34，134，234 变量确定单元
35，135 转换器
136 发送单元
235 绘制单元

Claims (14)

1.一种图像处理设备，包括：
变量确定单元，其基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在所述第一动态范围被转换成第二动态范围时计算所述各个像素的亮度值；以及
转换器，其基于由所述变量确定单元确定的所述变量，将所述第一视频数据转换成以所述第二动态范围显示的第二视频数据，
其中，在所述用户的运动速度是预定阈值或更小的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
2.根据权利要求1所述的图像处理设备，
其中，在所述用户的运动速度大于所述预定阈值的情况下，所述转换器基于在确定预定条件的时间点之前所确定的现有变量，将所述第一视频数据转换成所述第二视频数据。
3.根据权利要求1所述的图像处理设备，
其中，在所述预定区域中包括的各个像素的像素信息满足预定条件的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
4.根据权利要求3所述的图像处理设备，
其中，作为所述预定区域中包括的各个像素的像素信息满足所述预定条件的情形，在预定时间内所述预定区域中包括的各个像素的像素信息的变化量是预定阈值或更小的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
5.根据权利要求3所述的图像处理设备，
其中，在所述预定区域中包括的各个像素的像素信息不满足所述预定条件的情况下，所述转换器基于在确定所述预定条件的时间点之前所确定的现有变量，将所述第一视频数据转换成所述第二视频数据。
6.根据权利要求1所述的图像处理设备，
其中，在所述变量确定单元在确定第一变量之后已经确定了第二变量的情况下，所述变量确定单元确定实现从所述第一变量到所述第二变量的逐步过渡的值，并且
所述转换器通过顺序地使用由所述变量确定单元确定的、实现从所述第一变量到所述第二变量的逐步过渡的值，将所述第一视频数据转换成所述第二视频数据。
7.根据权利要求1所述的图像处理设备，
其中，所述变量确定单元基于通过将所述预定区域中包括的各个像素的亮度值的对数平均值除以所述预定区域中包括的各个像素的亮度值的众数而获得的值，来确定所述变量。
8.根据权利要求1所述的图像处理设备，
其中，所述变量确定单元基于叠加在所述预定区域上的虚拟对象中所包括的各个像素的亮度值的分布以及在所述预定区域中没有叠加在所述虚拟对象上的各个像素的亮度值的分布来确定所述变量。
9.根据权利要求8所述的图像处理设备，
其中，所述变量确定单元基于所述第一视频数据中包括的各个像素的亮度值，计算要对形成所述虚拟对象的各个像素设置的亮度值。
10.根据权利要求8所述的图像处理设备，
其中，在所述虚拟对象的行为满足预定条件的情况下，所述变量确定单元基于叠加在所述预定区域上的虚拟对象中所包括的各个像素的亮度值的分布以及在所述预定区域中没有叠加在所述虚拟对象上的各个像素的亮度值的分布来确定所述变量，并且
在所述虚拟对象的行为不满足预定条件的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量，而不管所述虚拟对象的叠加是否被执行。
11.根据权利要求1所述的图像处理设备，
其中，所述第一视频数据是全天球内容，并且所述图像处理设备还包括：
区域确定单元，其在基于所述用户的运动而指定的全天球内容的部分区域上执行投影转换，并且将与投影转换后的图像对应的区域确定为所述预定区域。
12.根据权利要求1所述的图像处理设备，还包括：
显示控制单元，其控制由所述转换器通过转换而获得的所述第二视频数据的显示。
13.一种由计算机实现的图像处理方法，所述方法包括：
基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在所述第一动态范围被转换成第二动态范围时计算所述各个像素的亮度值；以及
基于所确定的变量，将所述第一视频数据转换成以所述第二动态范围显示的第二视频数据，
其中，在所述用户的运动速度是预定阈值或更小的情况下，基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
14.一种记录图像处理程序的非暂时性计算机可读记录介质，所述图像处理程序用于使计算机用作为：
变量确定单元，其基于以第一动态范围记录的第一视频数据中根据关于用户的运动的信息而确定的预定区域中所包括的各个像素的亮度值的分布来执行变量的确定，所述变量用于在所述第一动态范围被转换成第二动态范围时计算所述各个像素的亮度值；以及
转换器，其基于由所述变量确定单元确定的变量，将所述第一视频数据转换成以所述第二动态范围显示的第二视频数据，
其中，在所述用户的运动速度是预定阈值或更小的情况下，所述变量确定单元基于所述预定区域中包括的各个像素的亮度值的分布来确定所述变量。
CN201980023796.3A 2018-04-06 2019-01-15 图像处理设备、图像处理方法和记录介质 Active CN111971953B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-073580 2018-04-06
JP2018073580 2018-04-06
PCT/JP2019/000959 WO2019193807A1 (ja) 2018-04-06 2019-01-15 画像処理装置、画像処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
CN111971953A CN111971953A (zh) 2020-11-20
CN111971953B true CN111971953B (zh) 2023-07-18

Family

ID=68100419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980023796.3A Active CN111971953B (zh) 2018-04-06 2019-01-15 图像处理设备、图像处理方法和记录介质

Country Status (4)

Country Link
US (1) US11354790B2 (zh)
JP (1) JP7188440B2 (zh)
CN (1) CN111971953B (zh)
WO (1) WO2019193807A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1722844A (zh) * 1997-11-05 2006-01-18 索尼公司 数字信号转换方法
JP2017069914A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 画像処理装置
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397059B2 (ja) * 2009-07-17 2014-01-22 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2013106333A (ja) * 2011-11-17 2013-05-30 Sony Corp 画像処理装置および方法
JP6326997B2 (ja) * 2014-06-13 2018-05-23 大日本印刷株式会社 画像処理装置および輝度調整方法
JP2016109828A (ja) * 2014-12-04 2016-06-20 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6344723B2 (ja) 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
US10192297B2 (en) * 2016-02-12 2019-01-29 Samsung Electronics Co., Ltd. Method and apparatus for creating, streaming, and rendering HDR images
KR102488954B1 (ko) * 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
WO2018076038A1 (en) * 2016-10-31 2018-05-03 Victoria Link Limited A rendering process and system
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10244164B1 (en) * 2017-09-11 2019-03-26 Qualcomm Incorporated Systems and methods for image stitching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1722844A (zh) * 1997-11-05 2006-01-18 索尼公司 数字信号转换方法
JP2017069914A (ja) * 2015-10-02 2017-04-06 キヤノン株式会社 画像処理装置
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering

Also Published As

Publication number Publication date
JP7188440B2 (ja) 2022-12-13
US11354790B2 (en) 2022-06-07
JPWO2019193807A1 (ja) 2021-04-30
CN111971953A (zh) 2020-11-20
US20210073958A1 (en) 2021-03-11
WO2019193807A1 (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
US10692197B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
TWI619088B (zh) 圖像資料處理系統和相關方法以及相關圖像融合方法
JP6388673B2 (ja) 携帯端末及びその撮像方法
CN110650368A (zh) 视频处理方法、装置和电子设备
KR20190021138A (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US20150213586A1 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus
CN109729274B (zh) 图像处理方法、装置、电子设备及存储介质
JP2002251634A (ja) 画像処理装置及びその方法並びにプログラムコード、記憶媒体
US10706512B2 (en) Preserving color in image brightness adjustment for exposure fusion
KR20210061258A (ko) 기준 이미지 프레임의 동적 선택을 위한 시스템 및 방법
KR102336997B1 (ko) 서버, 디스플레이장치 및 그 제어방법
WO2015156149A1 (ja) 画像処理装置および画像処理方法
KR102273331B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
BR112019027824A2 (pt) aparelho e método para gerar uma imagem, e produto de programa de computador
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
CN107065164B (zh) 图像展示方法及装置
CN111971953B (zh) 图像处理设备、图像处理方法和记录介质
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
CN111696034A (zh) 图像处理方法、装置及电子设备
JP2016109828A (ja) 画像処理装置、画像処理方法及びプログラム
CN111145088A (zh) 适用于观演空间的投影风格渲染方法及渲染系统
KR102179810B1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램
JP2019148654A (ja) 制御装置、画像投影装置、制御方法、およびプログラム
US11615767B2 (en) Information processing apparatus, information processing method, and recording medium
US11948257B2 (en) Systems and methods for augmented reality video generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant