CN109479111A - 图像处理装置、再生装置、图像处理方法以及再生方法 - Google Patents

图像处理装置、再生装置、图像处理方法以及再生方法 Download PDF

Info

Publication number
CN109479111A
CN109479111A CN201780046042.0A CN201780046042A CN109479111A CN 109479111 A CN109479111 A CN 109479111A CN 201780046042 A CN201780046042 A CN 201780046042A CN 109479111 A CN109479111 A CN 109479111A
Authority
CN
China
Prior art keywords
image data
hdr
still image
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780046042.0A
Other languages
English (en)
Other versions
CN109479111B (zh
Inventor
上坂靖
小塚雅之
森美裕
福岛俊之
甲野和彦
柏木吉郎
柏木吉一郎
阪上茂生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority claimed from PCT/JP2017/026748 external-priority patent/WO2018021261A1/ja
Publication of CN109479111A publication Critical patent/CN109479111A/zh
Application granted granted Critical
Publication of CN109479111B publication Critical patent/CN109479111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H04N9/7925—Processing of colour television signals in connection with recording for more than one processing mode for more than one standard

Abstract

本发明提供一种能够得到便利性较高的静止图像数据的图像处理装置。图像处理装置具备：获取部，获取通过拍摄而得到的静止图像数据；生成部，使用由获取部获取的静止图像数据，生成包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和输出部，输出由生成部生成的数据单位。

Description

图像处理装置、再生装置、图像处理方法以及再生方法
技术领域
本公开涉及图像处理装置、再生装置、图像处理方法以及再生方法。
背景技术
专利文献1公开了一种通过合成曝光不同的多个图像，来记录动态范围较广的HDR(High Dynamic Range：高动态范围)静止图像的摄像装置。
但是，在专利文献1中公开的技术中，难以得到便利性较高的静止图像数据。
在先技术文献
专利文献
专利文献1：JP特开2015-056807号公报
发明内容
本公开提供一种能够得到便利性较高的静止图像数据的图像处理装置、再生装置、图像处理方法以及再生方法。
本公开中的图像处理装置具备：获取部，获取通过拍摄而得到的静止图像数据；生成部，使用由所述获取部获取的所述静止图像数据，生成包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和输出部，输出由所述生成部生成的所述数据单位。
此外，本公开中的再生装置具备：获取部，获取包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和生成部，生成由所述获取部获取的所述数据单位中包含的所述第1静止图像数据以及所述第2静止图像数据之中的一方。
另外，这些整体或者具体的方式可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
本公开中的图像处理装置能够得到便利性较高的静止图像数据。
附图说明
图1是用于对影像技术的进化进行说明的图。
图2是用于对HDR显示技术进行说明的图。
图3A是用于对PQ(Perceptual Quantization，感知量化)方式进行说明的图。
图3B是用于对HLG(Hybrid Log Gamma，混合对数伽马)方式进行说明的图。
图4是对HDR所对应的HDR图像的一个例子与SDR所对应的SDR图像的一个例子进行比较并表示的图。
图5是用于对HDR或者SDR所对应的摄像装置、通过摄像装置来得到的图像数据的文件格式、显示图像数据的显示装置或者打印图像数据的打印装置进行说明的图。
图6是用于对通过将2个图像合成来得到放大了动态范围的图像的HDR摄影模式进行说明的图。
图7是用于对通过将2个图像合成来得到放大了动态范围的图像的HDR摄影模式进行说明的图。
图8是用于对被拍摄为HDR显示用的HDR图像进行说明的图。
图9是用于对动态图像的颜色空间与静止图像的颜色空间的不同进行说明的图。
图10是对Ultra HD Blu-ray(注册商标，以下相同)与Blu-ray进行比较来表示的图。
图11是用于对生成亮度的范围(range)较广的HDR图像的HDR摄像装置进行说明的图。
图12是用于对HDR静止图像文件格式进行说明的图。
图13是用于对多图片格式进行说明的图。
图14是用于对将JPEG数据与HDR扩展用的差分数据建立关联地进行处理的JPEGXT方式进行说明的图。
图15是示意性地表示实施方式1中的图像处理装置的结构的一个例子的框图。
图16是示意性地表示构成为具备逻辑上一个数据单位包含两种静止图像数据的一个文件的情况的一个例子的图。
图17是示意性地表示管理数据中包含的信息的一个例子的图。
图18是将构成第1静止图像数据的静止图像的各像素的亮度值与各亮度值的像素的数量的关系的一个例子表示为直方图的图。
图19是将构成第1静止图像数据的静止图像的各像素的亮度值与各亮度值的像素的数量的关系的另一个例子表示为直方图的图。
图20是示意性地表示逻辑上一个数据单位构成为具备2个文件的情况的一个例子的图。
图21是示意性地表示逻辑上一个数据单位构成为具备2个文件的情况的另一个例子的图。
图22是示意性地表示实施方式1中的生成部的结构的一个例子的框图。
图23是示意性地表示实施方式1中的生成部的结构的一个例子的框图。
图24是表示实施方式1中的图像处理装置的图像处理所涉及的动作的一个例子的流程图。
图25是表示基于实施方式1中的生成部的生成处理的一个例子的流程图。
图26是表示基于实施方式1中的生成部的生成处理的一个例子的流程图。
图27是用于对实施方式1中的实施例1进行说明的图。
图28是用于对实施方式1中的实施例2进行说明的图。
图29是用于对实施方式1中的实施例3进行说明的图。
图30是用于对实施方式1中的实施例4进行说明的图。
图31是用于对实施方式1中的实施例5进行说明的图。
图32是示意性地表示实施方式1中的再生装置的结构的一个例子的框图。
图33是表示实施方式1中的再生装置的再生处理所涉及的动作的一个例子的流程图。
图34是用于对实施方式1中的辅助信息的具体一个例子进行说明的图。
具体实施方式
(本公开的目的)
本公开用于使用HDR(High Dynamic Range：高动态范围)显示技术和HDR摄像技术这2个技术，来提供HDR静止图像这一新的用户价值和新的照片文化。所谓上述的新的用户价值，是指生成提高临场感并且减少白色失调(明亮区域的灰度被损坏的状态)以及黑色失调(阴暗区域的灰度被损坏的状态)等的静止图像数据。此外，所谓上述的新的照片文化，是指将通过HDR静止图像的摄像所对应的照相机来拍摄而得到的HDR静止图像显示于HDR显示所对应的显示装置(以下，称为“HDR显示装置”)来进行观看。另外，HDR静止图像也称为HDR照片。
本公开提供一种能够生成在对应于SDR显示但不对应于HDR显示的显示装置(以下，称为“SDR显示装置”)以及对应于SDR静止图像的打印但不对应于HDR静止图像的打印的打印装置(以下，称为“SDR打印装置”)也能够进行显示或者打印的静止图像数据的图像处理装置以及图像处理方法。换句话说，本公开提供一种如下的图像处理装置以及图像处理方法：通过不仅对应于HDR静止图像的图像处理的装置，还对对应于SDR静止图像的图像处理但不对应于HDR静止图像的图像处理的装置提供能够进行HDR静止图像的再生的静止图像数据，从而能够提高HDR静止图像数据的便利性。另外，在本公开中，HDR静止图像的再生包含HDR静止图像的显示、以及基于对HDR静止图像进行图像处理的打印。换句话说，在本公开中，再生包含显示以及打印。
在决定这种HDR静止图像的静止图像数据的数据格式的情况下，需要确定是否维持与对应于SDR静止图像的现有的SDR显示装置或者SDR打印装置的兼容性。通常，在导入新的数据格式时，重视与现有的设备的兼容性。
为了维持与现有的装置的兼容性，考虑例如针对新的HDR静止图像数据，扩展其属性等，保存为现有的标准的数据格式即JPEG(Joint Photographic Experts Group)。但是，由于JPEG中存在灰度为8比特的制约，因此难以将灰度为10比特以上的HDR静止图像数据保存为JPEG。
为了对应JPEG的制约并且维持与现有的装置的兼容性，考虑将SDR静止图像数据即JPEG数据与新的HDR静止图像数据这2个数据保存于一个文件，对该文件赋予能够实现兼容性的JPG的扩展名。
但是，若通过这种对应来实现与现有的装置的兼容性，则在通过编辑软件或显示软件来显示或者编辑该JPEG文件时，由于JPEG文件形式中的制约，保存为该JPEG文件的HDR照片数据可能被消除。由此，考虑放弃与现有的装置的兼容性，最好采用对HDR最佳的格式。另一方面，在该情况下，在现行的打印装置、显示装置或者照相机等中，最好尽量减少为了对应于HDR所需的修正/变更等(也称为安装负担)。
例如通过智能电话等高功能的移动终端的普及，使用这种移动终端的用户通过在该移动终端上实现的HDR合成，能够得到HDR静止图像数据。因此，用户本身分别独立地生成并管理SDR摄影文件(现有的JPEG文件)和HDR摄影文件比以往更加容易。换句话说，在通过照相机等摄像装置来生成HDR静止图像数据时，也能够在该摄像装置设置不是同时生成现有的JPEG文件并将HDR静止图像数据和SDR静止图像数据这2个数据保存于一个文件、而是能够独立地对其进行管理的选项。
在对电视机、带动态图像记录功能的照相机设置HDR用的新的数据格式功能的情况下，例如，若这些设备中搭载有HEVC的编码器，则能够使用基于HEVC压缩的静止图像的数据格式。但是，为了得到基于HEVC压缩的静止图像的数据格式，在未对应于动态图像记录功能的照相机搭载动态图像压缩用的HEVC的编码器是不现实的。此外，在这种照相机中，也需要研究能够保存非压缩的数据的、对基于TIFF(Tagged Image File Format，标签图像文件格式)的HDR静止图像数据的对应。
在假定通过SDR打印装置来打印HDR静止图像数据的情况下，在该装置中，作为数据格式的候选之一，也假定使用HLG(Hybrid Log Gamma)那样的具有与现有的装置的兼容性的HDR技术。
通过本公开，能够实现能够应对与现有的装置的兼容性的有无、现有的装置中的安装负担的有无等对HDR静止图像数据格式的各种各样的要求的图像处理装置以及再生装置。
(HDR显示技术的背景)
图1是用于对影像技术的进化进行说明的图。
到此为止，作为影像的高画质化，主要着眼于显示像素数的放大。并且，取代现有的720×480像素的标准清晰度(SD：Standard Definition)影像，普及1920×1080像素的高清晰度(HD：High Definition)影像。
近年来，为了进一步的高画质化，提出了3840×2160像素的超高清晰度(UHD：Ultra High Definition)影像、或者像素数更多的4096×2160像素的影像(所谓的4K影像)。此外，与4K影像共同地，也研究动态范围的扩展、色域的放大、帧率的追加等。
关于动态范围，作为用于维持暗部灰度、并且将现行的电视信号中的表现较难的镜面反射光等明亮的光表现为更接近于现实的亮度的方式，提出了HDR(High DynamicRange：高动态范围)。到此为止的电视信号被称为SDR(Standard Dynamic Range：标准动态范围)，最高亮度为100nit。另一方面，在HDR中，假定将最高亮度放大到1000nit以上。并且，在SMPTE(Society of Motion Picture and Television Engineers)、ITU-R(International Telecommunication Union-Radiocommunication Sector)等中，母盘制作显示器用的标准的标准化也在进行中。作为HDR的具体的应用对象，与HD、UHD同样地，存在广播、封装介质(Blu-rayDisc等)、互联网发布等。
(HDR显示技术)
图2是用于对HDR显示技术进行说明的图。
HDR并不仅仅是用于实现非常明亮的电视机的方式。所谓HDR，是指如下方式：将影像的亮度的范围(range)从SDR的一个例子即bt.709(Broadcasting Service(Television)709)的标准所规定的0.1nit-100nit扩展为0-10,000nit(ST2084的情况)，从而能够表现现有不能表现的明亮的太阳、天空、光线的反射等，或者能够同时记录明亮的部分和阴暗的部分。另外，这里所谓的亮度，是指光学的亮度，是表示光源的明亮度的物理量。对于HDR，存在如下2个方式：适合于在拍摄后进行分级处理(调整影像的颜色、音调的处理)的影像(被封装的影像)以及被IP(Internet Protocol)发布的影像等的SMPTE ST2084方式、和适合于现场直播的影像以及由用户拍摄的影像等的混合对数伽马(HLG)。
HDR的显示技术中，存在能够实现SDR与HDR的兼容性的HLG方式、和不存在SDR与HDR的单纯的显示兼容性的PQ方式。
图3A是用于对PQ方式进行说明的图。图3B是用于对HLG方式进行说明的图。
如图3A所示，SMPTE ST2084(PQ)是不存在SDR与HDR的兼容性的方式。在该方式的情况下，SDR与HDR被分别分级并分别传输。此外，在该方式的情况下，在将以Ultra HD Blu-ray再生的影像显示于SDRTV(对应于SDR但不对应于HDR的电视机)的情况下，需要进行将HDR的影像数据转换为SDR的影像数据的SDR转换。
如图3B所示，ITU-R 2100混合对数伽马(HLG)是具有SDR与HDR的兼容性的方式。在该方式的情况下，进行HLG用的分级，仅传输HLG用流。HLG用流存在针对SDR的兼容性。因此，在将HDR的影像数据显示于SDRTV的情况下，不需要将HDR的影像数据转换为SDR的影像数据的SDR转换。
图4是将对应于HDR的HDR图像的一个例子与对应于SDR的SDR图像的一个例子进行比较来表示的图。图4中，通过HDR图像和SDR图像来表示室内的比较阴暗的景色与窗外的比较明亮的景色混合存在的明暗差相对较大的1张图像。
HDR图像是通过再生HDR静止图像数据或者HDR动态图像数据而得到的图像。SDR图像是通过再生SDR静止图像数据或者SDR动态图像数据而得到的图像。如图4中示例那样，在HDR图像中，窗外的比较明亮的景色与室内的比较阴暗的景色都能够以适当的明亮度来表现。另一方面，在SDR图像中，由于曝光被调整为可表现窗外的比较明亮的景色，因此室内的比较阴暗的景色变得过暗并且在一部分产生黑色失调，难以看到。假设在曝光被调整为可适当地表现室内的景色的情况下，窗外的景色变得过亮并且在一部分产生白色失调，难以看到(未图示)。这样，HDR图像在SDR图像中难以实现的、比较明亮的景色与比较阴暗的景色混合存在的、明暗差相对较大的1张图像中，能够实现减少了白色失调和黑色失调这两者的灰度性较高的图像。
图5是用于对对应于HDR或者SDR的摄像装置、通过摄像装置而得到的图像数据的文件格式、显示图像数据的显示装置或者打印图像数据的打印装置进行说明的图。
图5所示的HDR摄像装置10对应于HDR中的拍摄。HDR摄像装置10具备：HDR摄像部11、SDR摄像部14、转换部12和JPEG压缩部13。HDR摄像装置10构成为能够对应在HDR摄像部11中以HDR摄影模式而被拍摄得到的图像数据通过SDR显示装置40而被显示或者通过SDR打印装置50而被打印。具体而言，在HDR摄像装置10中，HDR摄像部11中以HDR摄影模式而被拍摄得到的HDR图像的HDR静止图像数据在转换部12中被转换为SDR静止图像数据。并且，在HDR摄像装置10中，通过转换部12中的转换而被得到的SDR静止图像数据在JPEG压缩部13中被JPEG压缩，输出通过该压缩而得到的JPEG格式的SDR静止图像数据。此外，在HDR摄像装置10中，SDR摄像部14中以现有的摄影模式(SDR摄影模式)而被拍摄得到的SDR图像的SDR静止图像数据也通过JPEG压缩部13而被JPEG压缩，输出通过压缩而得到的JPEG格式的SDR静止图像数据。
SDR摄像装置20具备SDR摄像部21和JPEG压缩部22。在SDR摄像装置20中，与HDR摄像装置10中以现有的摄影模式(SDR摄影模式)进行拍摄的情况同样地，通过以SDR摄像部21的拍摄而得到的SDR图像的SDR静止图像数据通过JPEG压缩部22而被JPEG压缩，输出通过该压缩而得到的JPEG格式的SDR静止图像数据。
因此，在HDR显示装置30、SDR显示装置40以及SDR打印装置50中，获取基于HDR拍摄的HDR静止图像数据被SDR转换而得到的SDR静止图像数据、或者基于SDR拍摄的SDR静止图像数据，从而再生(显示或者打印)基于该SDR静止图像数据的SDR图像。
接下来，使用图6以及图7来对HDR摄影模式进行说明。
图6以及图7是用于对通过将2个图像合成从而得到放大了动态范围的图像的HDR摄影模式进行说明的图。
智能电话以及数字照相机等中，存在具有能够拍摄亮度的范围(range)较广的影像的HDR摄影模式的装置。在HDR摄影模式中，如图6以及图7的(a)所示，为了得到亮度的范围(range)较广的HDR图像数据，通过2重曝光(将同一被摄体以相互不同的曝光状态拍摄多次的手法)等而得到的2个SDR图像被合成为收敛于以SDR而定的亮度的范围。由此，如图6以及图7的(b)所示，能够通过SDR显示装置来显示HDR图像。
接下来，使用图8，对被拍摄为HDR显示用的HDR图像进行说明。
图8是用于对被拍摄为HDR显示用的HDR图像进行说明的图。
如图8所示，HDR显示用的HDR图像以作为拍摄的对象的场景的明亮度比SDR摄影模式广的亮度的范围(range)而被拍摄。通过该拍摄而得到的图像数据被分级并生成HDR显示用的HDR图像，该HDR图像被传输并再生于各装置。由于HDR图像的亮度的范围(range)比SDR图像广，因此不能直接通过SDR显示装置来显示。为了通过SDR显示装置来显示HDR图像，需要从HDR图像向SDR图像的转换。
另一方面，在使用图6以及图7来说明的HDR摄影模式中，由于合成后的图像生成为被收敛于以SDR而定的亮度的范围，因此能够通过HDR显示装置30和SDR显示装置40(或者SDR打印装置50)这两者来进行再生。
接下来，使用图9，对动态图像的颜色空间与静止图像的颜色空间的不同进行说明。
图9是用于对动态图像的颜色空间与静止图像的颜色空间的不同进行说明的图。
作为与动态图像的颜色空间有关的标准的bt.709与作为与静止图像的颜色空间有关的标准的sRGB(standard RGB)表示名称不同但相互相同的颜色空间。此外，也定义了比以bt.709或者sRGB而定义的颜色空间更扩展的颜色空间。
为了ULTRA HD而被标准化的bt.2020是比DCI(Digital Cinema Initiatives)P3或者AdobeRGB广的颜色空间。因此，能够由bt.2020覆盖DCI P3以及AdobeRGB的颜色空间。另外，DCI P3的颜色空间与AdobeRGB的颜色空间的面积是相互相同的程度，但区域相互不同。
图10是对Ultra HD Blu-ray与Blu-ray进行比较来表示的图。
如图10所示，Ultra HD Blu-ray在分辨率、颜色空间、HDR(最大亮度)、压缩技术以及传输速率的全部的项目超过Blu-ray。
返回到图5来继续说明。近年来，提出了能够不将用于显示HDR图像的HDR图像数据进行SDR转换地进行显示的、HDRTV等的HDR显示装置。
另一方面，在具有HDR摄影模式(HDR拍摄功能)的照相机中，与HDRTV不同地，主要以逆光修正等为目的而使用HDR技术。并且，通过该照相机使用HDR技术而拍摄的静止图像主要通过SDR显示装置或者SDR打印装置而被再生。因此，该照相机具备能够生成影像用的HDR图像数据的摄像元件，与能够进行使用了HDR技术的拍摄无关地，将通过HDR摄影模式而拍摄的HDR图像进行SDR转换，并输出SDR静止图像数据。这样，在具有HDR拍摄功能的照相机中，与能够生成实现HDRTV的显示能力的亮度的范围(range)较广的HDR图像数据无关地，一般不生成HDR图像数据。
图11是用于对生成亮度的范围(range)较广的HDR图像的HDR摄像装置10A进行说明的图。
为了实现HDRTV(例如，HDR显示装置30)的HDR显示功能，在生成HDR显示用的HDR图像数据时，不将HDR图像数据转换为SDR图像数据，通过HDRTV来直接显示HDR图像数据即可。
图11所示的HDR摄像装置10A具备：HDR摄像部11、SDR摄像部14、转换部12、JPEG压缩部13、HDR图像修正部15、HDMI(注册商标，以下相同)(High-Definition MultimediaInterface)输出部16。HDR摄像装置10A为了生成HDR图像数据，在HDR图像修正部15中进行HDR图像修正。
在HDR图像修正部15中，例如，使用PQ曲线等的HDR-EOTF(HDR-Electro-OpticalTransfer Function)，将通过利用HDR摄像部11来进行拍摄而得到的RAW数据转换为HDRTV(例如，与HDR10标准对应的HDR显示装置30)中能够显示的10比特图像。并且，HDR摄像装置10A将通过HDR图像修正部15而得到的HDR图像数据从HDMI输出部16输出到HDRTV(例如，HDR显示装置30)。由此，在接收到该HDR图像数据的HDRTV(例如，HDR显示装置30)中，显示与该HDR图像数据相应的HDR图像。
但是，在该情况下，HDR摄像装置10A与HDR显示装置30需要通过与HDMI2.0标准对应的HDMI电缆来相互连接。即，HDR摄像装置10A不能针对不与HDMI2.0标准对应的装置，直接发送该HDR图像数据。为了对应该问题，需要对不与HDMI2.0标准对应的装置也能够发送HDR图像数据的HDR静止图像文件格式。换言之，为了对应该问题，需要用于保持HDR形式地进行保存以及数据交换的HDR静止图像文件格式，以使得通过SDR静止图像文件格式，能够在HDR摄像装置10A与HDR显示装置30、SDR显示装置40以及SDR打印装置50之间进行数据交换。但是，HDR静止图像文件格式中存在如下所示的问题。
图12是用于对HDR静止图像文件格式进行说明的图。
图12所示的HDR摄像装置10B具备：HDR摄像部11、SDR摄像部14、转换部12、JPEG压缩部13、HDR图像修正部15和JPEG压缩部13A。
HDR静止图像文件格式中不存在如作为SDR静止图像文件格式之一的JPEG那样的广泛普及的文件格式。
保存HDR图像数据的文件格式中，需要将颜色空间扩展到bt.2020的区域并覆盖较广的亮度范围。此外，HDR图像中，为了抑制在静止图像的情况下容易显眼的条纹等，期望最低能够显示10比特，最好能够显示12比特以上的灰度。另一方面，JPEG文件格式被限制为SDR并且被限制为以sRGB定义的颜色空间，进一步地，灰度被限制为8比特。
作为保存HDR静止图像数据的文件格式，在使用基于JPEG的文件格式的情况下，将JPEG文件格式设为以bt.2020定义的颜色空间，扩展为HDR并压缩即可。这样，将HDR静止图像数据保存为基于JPEG的文件格式在技术上是可能的。另外，图12中，在HDR摄像装置10B的JPEG压缩部13A中，表示了作为保存HDR静止图像数据的文件格式，使用基于JPEG的文件格式的例子。但是，基于JPEG的文件格式中，关于图像的品质，存在灰度显示能力的不足所导致的条纹等的问题。因此，使用基于JPEG的文件格式来作为保存HDR静止图像数据的文件格式并未被实用化。
这样，为了保存HDR静止图像数据而使用JPEG文件格式中存在上述问题。并且，现状中，不存在有力的HDR静止图像文件格式。因此，在HDR显示装置30中，并不支持HDR静止图像文件格式。
这里，考虑对SDR静止图像数据和HDR静止图像数据这两种数据进行保存的文件格式。
图13是用于对多图片格式进行说明的图。
作为能够将多个照片数据保存于一个文件的格式，存在多图片格式。在多图片格式中，例如，能够将主图像(HDR静止图像数据)与设为适合于将主图像显示于电视机等的监视器的尺寸(SDR静止图像数据)的静止图像(以下，也称为监视器显示用图像)相互建立关联地进行记录。此外，在多图片格式中，能够将多视点(立体视觉)图像等作为单独的文件的多个静止图像数据相互建立关联地记录于一个文件。
多图片格式中，存在图13的(a)所示的基线MP(Baseline MP)文件和图13的(b)所示的扩展MP(Extended MP)文件这2个方式。
图13的(a)所示的基线MP文件能够将主图像(HDR静止图像数据)与监视器显示用图像(SDR静止图像数据)相互建立关联地记录于一个文件。基线MP文件的扩展名是“.JPG”。若使用基线MP文件，则能够通过现有设备或者现有的软件，再生与主图像对应的监视器显示用图像，也能够将主图像(HDR静止图像数据)直接显示于HDR显示装置。基线MP文件的优点是，通过现有的显示装置以及打印装置，能够再生为了兼容性而保存的与主图像对应的监视器显示用图像(换句话说SDR静止图像数据)。另一方面，图像编辑软件可能将基线MP文件误解为通常的JPEG文件，并删除第2个图像数据(HDR静止图像数据)。这是由于，虽然在基线MP文件中，在一个文件内保存2个数据，但是使用了在一个文件内保存一个数据的JPEG文件的扩展名“.JPG”。不过，在能够编辑多图片格式的图像编辑软件的情况下，不产生上述的问题。
图13的(b)所示的扩展MP文件能够将例如立体视觉等中使用的2个多视角图像(多视角图像1和多视角图像2)等相互建立关联地记录于一个文件。扩展MP文件被定义为具有新的扩展名的文件形式，以使得使用现有设备或者现有的软件来进行再生或者保存等时一个图像不会消失。扩展MP文件的优点是，虽然在依照JPEG文件的一个文件内保存2个数据，但不使用JPEG文件的扩展名“.JPG”。因此，在多图片格式对应的图像编辑软件以外的图像编辑软件中，不能编辑该文件。因此，在扩展MP文件的情况下，如基线MP文件那样，图像编辑软件误解为通常的JPEG文件，删除第2个图像数据的可能性较少。扩展MP文件的问题是，由于扩展名与JPEG不同，因此不能通过现有的显示装置以及打印装置来再生。
图14是用于对将JPEG数据与HDR扩展用的差分数据建立关联地进行处理的JPEGXT方式进行说明的图。
图14所示的HDR摄像装置10C具备：HDR摄像部11、SDR摄像部14、转换部12、JPEG压缩部13、HDR图像修正部15和JPEG XT压缩部13B。
作为HDR静止图像用的标准，存在JPEG XT(ISO18477)。该标准规定了用于将保存SDR静止图像数据的JPEG数据与HDR扩展用的差分数据相互建立关联地处理的方式。在依照该标准的HDR摄像装置10C中，JPEG XT压缩部13B对通过HDR图像修正部15而被实施了HDR图像修正的HDR图像数据，进行JPEG XT压缩处理。由此，在HDR摄像装置10C中，可得到SDR图像的再生中使用的SDR静止图像数据(JPEG)与HDR静止图像生成用的差分数据。
JPEG XT的优点是，能够通过可再生现有的JPEG数据的装置，利用SDR静止图像数据。即，通过JPEG XT，能够利用可再生现有的JPEG数据的装置来再生SDR静止图像数据。
另一方面，在再生基于JPEG XT的HDR静止图像的情况下，在显示装置或者打印装置中，必须将HDR静止图像生成用的差分数据与SDR静止图像数据组合来再生。为此，在显示装置或者打印装置中需要与通常的HDR显示功能不同的JPEG XT的HDR静止图像文件格式所对应的特殊的处理。即，JPEG XT的问题点是，在现有的HDRTV(例如，图14所示的HDR显示装置30等)中，不能再生包含JPEG XT的HDR静止图像生成用的差分数据的数据。即，在现有的显示装置或者打印装置中，仅能够再生JPEG XT中包含的SDR静止图像文件。这样，JPEG XT的HDR静止图像仅能够通过JPEG XT的HDR静止图像文件格式的再生所对应的显示装置(即，能够进行用于再生与通常的HDR显示功能不同的JPEG XT的HDR静止图像文件格式的特殊处理的显示装置，例如，图14所示的HDR显示装置60等)来进行再生(显示)。此外，为了生成JPEG XT，在摄像装置(例如，HDR摄像装置10C)中，也需要执行JPEG XT压缩处理那样的特殊处理的功能(例如，JPEG XT压缩部13B)。此外，在通过图像编辑软件等来编辑JPEG XT中包含的对于现有的显示装置以及打印装置具有兼容性的SDR静止图像数据(JPEG数据)的情况下，HDR静止图像生成用的差分数据可能消失。进一步地，由于JPEG XT中包含的HDR静止图像生成用的差分数据是差分形式的数据，难以进行作为HDR照片的编辑。进一步地，若通过图像编辑软件等来编辑JPEG XT中包含的SDR静止图像数据，则在对应JPEG XT的HDR静止图像文件格式的再生的显示装置(例如，图14所示的HDR显示装置60等)中，可能不能将HDR静止图像生成用的差分数据与SDR静止图像数据组合来进行再生。
如以上那样，JPEG XT的要解决的问题较多，在HDR摄像装置以及HDR显示装置中几乎不被使用。
由于这些，需要用于容易地处理SDR静止图像数据以及HDR静止图像数据这两种静止图像数据的数据格式。
以下说明的图像处理装置用于生成这种数据格式。
以下，适当地参照附图，来对实施方式详细地进行说明。其中，可能省略非必要的详细说明。例如，可能省略已知事项的详细说明以及针对实质相同的结构的重复说明等。这是为了避免以下的说明不必要地变得冗长，使本领域技术人员容易理解。
另外，附图以及以下的说明是为了本领域技术人员充分理解本公开而提供的，并不意图通过这些来限定权利要求书中所述的主题。
此外，各图未必严格地进行图示，是为了容易理解地表示本公开而适当地进行了省略等的示意图。此外，各图中，可能针对实质相同的结构要素赋予相同的符号并省略或者简单化说明。
(1.实施方式1)
图15是示意性地表示实施方式1中的图像处理装置100的结构的一个例子的框图。
图像处理装置100具备获取部110、生成部120、输出部130。图像处理装置100可以被设置于摄像装置，也可以被实现为单独的装置。
获取部110对通过利用图像传感器等摄像部(未图示)来进行拍摄从而得到的静止图像数据进行获取。此时，通过进行拍摄以使得包含从阴暗的亮度到明亮的亮度的较广的范围(range)的明亮度，从而静止图像数据被生成为包含例如从0到10,000nit的亮度的HDR图像的数据。获取部110例如也可以通过执行规定的程序(被生成为执行上述各处理的程序)的处理器以及保存规定的程序的存储器来实现。此外，获取部110也可以通过执行上述各处理的专用电路来实现。
生成部120使用由获取部110获取的静止图像数据，生成逻辑上的一个数据单位。在本实施方式中，所谓逻辑上的一个数据单位，是指构成为包含亮度的动态范围相互不同并且能够相互独立地再生的第1静止图像数据以及第2静止图像数据的一个数据。
这里，使用图16～图19来对逻辑上的一个数据单位的具体例进行说明。
图16是示意性地表示逻辑上的一个数据单位D10构成为具备包含两种静止图像数据(第1静止图像数据D12以及第2静止图像数据D13)的一个文件F10的情况下的一个例子的图。
图17是示意性地表示管理数据D11中包含的信息的一个例子的图。
图18是将构成第1静止图像数据D12的静止图像的各像素的亮度值与各亮度值的像素的数量的关系的一个例子表示为直方图的图。
图19是将构成第1静止图像数据D12的静止图像的各像素的亮度值与各亮度值的像素的数量的关系的另一个例子表示为直方图的图。
另外，在图18、图19中，横轴表示亮度值，纵轴表示像素的数量。
图20是示意性地表示逻辑上的一个数据单位D20构成为具备2个文件(第1静止图像文件F21以及第2静止图像文件F22)的情况下的一个例子的图。在图20所示的例子中，第1静止图像文件F21包含第1静止图像数据D22，第2静止图像文件F22包含第2静止图像数据D24。
图21是示意性地表示逻辑上的一个数据单位D30构成为具备2个文件(第1静止图像文件F32以及第2静止图像文件F33)的情况下的另一个例子的图。在图21所示的例子中，第1静止图像文件F32包含第1静止图像数据D32，第2静止图像文件F33包含第2静止图像数据D33。
生成部120生成逻辑上的一个数据单位。生成部120例如也可以如图16示例那样，将包含第1静止图像数据D12以及第2静止图像数据D13的一个文件F10生成为数据单位D10。在该情况下，由生成部120生成的数据单位D10由一个文件F10构成。文件F10包含管理数据D11、第1静止图像数据D12以及第2静止图像数据D13。第1静止图像数据D12例如是HDR的图像数据，第2静止图像数据D13例如是SDR的图像数据。文件F10的文件名例如是“DSC0001.HDR”。此外，生成部120也可以对图16所示的数据单位D10进一步附加辅助信息(参照图17)。辅助信息也可以包含表示通过再生第1静止图像数据D12从而能够再生比再生第2静止图像数据D13的情况更高品质的图像的信息。
管理数据D11是对第1静止图像数据D12以及第2静止图像数据D13进行管理的数据。管理数据D11如图17中示例那样，包含日期信息、尺寸信息、第1保存地址、第2保存地址以及辅助信息。
日期信息是表示作为第1静止图像数据D12的原始的静止图像以及作为第2静止图像数据D13的原始的静止图像被拍摄的日期的信息。尺寸信息是表示基于第1静止图像数据D12的静止图像的尺寸(分辨率)以及基于第2静止图像数据D13的静止图像的尺寸(分辨率)的信息。第1保存地址是表示文件F10中第1静止图像数据D12被保存的地址的信息。第2保存地址是表示文件F10中第2静止图像数据D13被保存的地址的信息。
这里，使用图18以及图19来对辅助信息进行说明。
辅助信息也可以包含表示基于第1静止图像数据D12的静止图像的亮度是否优先高亮度区域的亮度区域信息。例如，如图18所示，在亮度值较多分布于高亮度区域的HDR静止图像的情况下，生成部120也可以生成将表示亮度值较多分布于高亮度区域的亮度区域信息包含为辅助信息的管理数据D11。
此外，辅助信息也可以包含表示基于第1静止图像数据D12的静止图像的亮度是否优先低亮度区域的亮度区域信息。例如，如图19所示，在亮度值较多分布于低亮度区域的HDR静止图像的情况下，生成部120也可以生成将表示亮度值较多分布于低亮度区域的亮度区域信息包含为辅助信息的管理数据D11。
另外，高亮度区域是亮度比低亮度区域高的区域。高亮度区域与低亮度区域可以被设定为不相互重复，也可以被设定为包含相互重复的区域。高亮度区域例如也可以被设定为亮度比SDR的最高亮度值高的区域。低亮度区域例如也可以被设定为亮度为SDR的最高亮度值以下的区域。
生成部120也可以通过解析第1静止图像数据D12，针对基于第1静止图像数据D12的静止图像，确定相对于构成该静止图像的全部像素数、从亮度值较高的一方(或者亮度值较低的一方)起占据规定的比例以上的像素数的亮度区域，并生成将表示该亮度区域的亮度区域信息包含为辅助信息的管理数据D11。此外，亮度区域信息也可以是由用户设定的信息。
此外，生成部120也可以如图20中示例那样，将由一个第1静止图像文件F21和第2静止图像文件F22构成的对象生成为数据单位D20，该第1静止图像文件F21包含第1静止图像数据D22，该第2静止图像文件F22包含第2静止图像数据D24并且文件名的主体(除扩展名以外的文件名)与第1静止图像文件F21相同。在该情况下，由生成部120生成的数据单位D20构成为包含第1静止图像文件F21以及第2静止图像文件F22这2个文件。
第1静止图像文件F21包含第1管理数据D21以及第1静止图像数据D22。此外，第1静止图像文件F21的文件名例如是“DSC0002.HDR”。第2静止图像文件F22包含第2管理数据D23以及第2静止图像数据D24。此外，第2静止图像文件F22的文件名例如是“DSC0002.JPG”。这样，第1静止图像文件F21的文件名的主体(除扩展名以外的文件名)与第2静止图像文件F22的文件名的主体(除扩展名以外的文件名)都为“DSC0002”并且相互相同。
另外，第1静止图像数据D22与第1静止图像数据D12同样地，是HDR的图像数据。第2静止图像数据D24与第2静止图像数据D13同样地，是SDR的图像数据。
第1管理数据D21由从图17所示的管理数据D11去除了第2保存地址之后的信息构成。第2管理数据D23由从图17所示的管理数据D11去除了第1保存地址之后的信息构成。
另外，在图20中，说明了第1静止图像文件F21中包含第1管理数据D21、第2静止图像文件F22中包含第2管理数据D23的结构例，但本公开并不限定于该结构例。例如，生成部120也可以如图21中示例那样，将由一个第1静止图像文件F32、第2静止图像文件F33和管理文件F31构成的对象生成为数据单位D30，该第1静止图像文件F32包含第1静止图像数据D32，该第2静止图像文件F33包含第2静止图像数据D33并且文件名的主体(除扩展名以外的文件名)与第1静止图像文件F32相同，该管理文件F31包含管理数据D31并且文件名的主体(除扩展名以外的文件名)与第1静止图像文件F32相同。在该情况下，由生成部120生成的数据单位D30构成为包含管理文件F31、第1静止图像文件F32以及第2静止图像文件F33这3个文件。
管理文件F31包含管理数据D31。管理文件F31的文件名例如是“DSC0003.INFO”。第1静止图像文件F32包含第1静止图像数据D32。第1静止图像文件F32的文件名例如是“DSC0003.HDR”。第2静止图像文件F33包含第2静止图像数据D33。第2静止图像文件F33的文件名例如是“DSC0003.JPG”。这样，管理文件F31的文件名的主体(除扩展名以外的文件名)、第1静止图像文件F32的文件名的主体(除扩展名以外的文件名)、第2静止图像文件F33的文件名的主体(除扩展名以外的文件名)都是“DSC0003”并且相互相同。
管理数据D31与图17所示的管理数据D11实质相同。此外，第1静止图像数据D32与第1静止图像数据D12同样地，是HDR的图像数据。第2静止图像数据D33与第2静止图像数据D13同样地，是SDR的图像数据。
图15所示的输出部130输出由生成部120生成的数据单位。
图22是示意性地表示实施方式1中的生成部120的结构的一个例子的框图。
生成部120具有HDR图像处理部121、转换部123、格式部125。生成部120如图22中虚线所示，也可以还具有HDR图像压缩部122以及SDR图像压缩部124的至少一方。换言之，生成部120也可以是不具有HDR图像压缩部122以及SDR图像压缩部124的至少一方的结构。
HDR图像处理部121通过针对由获取部110获取的静止图像数据(例如，RAW数据)使用HDR-EOTF来进行向10比特图像的转换(HDR图像处理)，从而将该静止图像数据转换为具有HDR显示用的动态范围的HDR静止图像数据。HDR图像处理部121输出非压缩的HDR静止图像数据。
HDR图像压缩部122对从HDR图像处理部121输出的非压缩的HDR静止图像数据进行压缩，生成被压缩的HDR静止图像数据。HDR图像压缩部122将被压缩的HDR静止图像数据输出到格式部125。
转换部123对非压缩的HDR静止图像数据进行SDR转换，生成非压缩的SDR静止图像数据。
SDR图像压缩部124对从转换部123输出的非压缩的SDR静止图像数据进行压缩，生成被压缩的SDR静止图像数据。SDR图像压缩部124将被压缩的SDR静止图像数据输出到格式部125。
格式部125生成包含被HDR图像压缩部122压缩的HDR静止图像数据和被SDR图像压缩部124压缩的SDR静止图像数据的逻辑上的一个数据单位，将生成的数据单位输出到输出部130。
另外，静止图像数据中，也可以包含与作为该静止图像数据的原始的图像被拍摄时的拍摄有关的信息(以下，称为拍摄信息)。拍摄信息例如包含表示作为摄像装置的照相机的光圈值、快门速度、ISO(International Organization for Standardization)灵敏度、图像控制等的信息。生成部120也可以使用拍摄信息，进行基于构成生成部120的功能模块的各处理。
另外，图22中，表示了生成部120具有转换部123的结构例，但本公开并不限定于该结构例。图像处理装置100例如也可以取代生成部120而具备生成部120A。生成部120A在取代转换部123而具有SDR图像处理部123A这方面，与生成部120不同。
图23是示意性地表示实施方式1中的生成部120A的结构的一个例子的框图。
另外，生成部120A与生成部120相比，仅SDR图像处理部123A的结构不同。因此，以下，仅进行SDR图像处理部123A的说明。
SDR图像处理部123A通过针对由获取部110获取的静止图像数据(例如，RAW数据)使用SDR-EOTF(SDR-Electro-Optical Transfer Function)来进行向8比特图像的转换(SDR图像处理)，从而将该静止图像数据转换为具有SDR显示用的动态范围的SDR静止图像数据。SDR图像处理部123A输出非压缩的HDR静止图像数据。
SDR图像压缩部124对从SDR图像处理部123A输出的非压缩的SDR静止图像数据进行压缩，生成被压缩的SDR静止图像数据。
生成部120A也与生成部120同样地，也可以使用拍摄信息，进行基于构成生成部120A的功能模块的各处理。
图24是表示实施方式1中的图像处理装置100的图像处理所涉及的动作的一个例子的流程图。
图像处理装置100的获取部110获取静止图像数据(步骤S101)。
生成部120使用步骤S101中由获取部110获取的静止图像数据，生成逻辑上的一个数据单位(步骤S102)。逻辑上的一个数据单位包含亮度的动态范围相互不同并且可相互独立地再生的HDR静止图像数据和SDR静止图像数据。
输出部130对步骤S102中由生成部120生成的逻辑上的一个数据单位进行输出(步骤S103)。
另外，关于步骤S102的生成处理，图22所示的生成部120中进行的处理与图23所示的生成部120A中进行的处理存在差异。以下，使用流程图来对该差异进行说明。
图25是表示基于实施方式1中的生成部120的生成处理的一个例子的流程图。
HDR图像处理部121通过针对步骤S101中获取的静止图像数据进行规定的图像处理，从而将该静止图像数据转换为HDR静止图像数据(步骤S111)。HDR图像处理部121输出该HDR静止图像数据(非压缩的HDR静止图像数据)。
HDR图像压缩部122对步骤S111中从HDR图像处理部121输出的非压缩的HDR静止图像数据进行压缩(步骤S112)。另外，步骤S112的处理也可以不进行。因此，在图25中，通过虚线来表示步骤S112。
转换部123对步骤S111中从HDR图像处理部121输出的非压缩的HDR静止图像数据进行SDR转换(步骤S113)。转换部123输出通过SDR转换而得到的非压缩的SDR静止图像数据。
SDR图像压缩部124对步骤S113中从转换部123输出的非压缩的SDR静止图像数据进行压缩(步骤S114)。另外，步骤S114的处理也可以不进行。因此，在图25中，通过虚线来表示步骤S114。
格式部125生成包含HDR静止图像数据和SDR静止图像数据的逻辑上的一个数据单位(步骤S115)，该HDR静止图像数据是在步骤S112中由HDR图像压缩部122生成并压缩的HDR静止图像数据(或者，在步骤S111中从HDR图像处理部121输出的非压缩的HDR静止图像数据)，该SDR静止图像数据是在步骤S114中由SDR图像压缩部124生成并压缩的SDR静止图像数据(或者，在步骤S113中从转换部123输出的非压缩的SDR静止图像数据)。
另外，如上所述，在由生成部120执行的图25所示的流程图中，也可以不进行步骤S112的处理以及步骤S114的处理的至少一方。
图26是表示基于实施方式1中的生成部120A的生成处理的一个例子的流程图。
另外，图26的流程图所示的生成处理与图25的流程图所示的生成处理相比，仅在取代步骤S113而进行步骤S113A这方面不同。因此，以下，仅对步骤S113A进行说明。
生成部120A的SDR图像处理部123A通过针对步骤S101中获取的静止图像数据进行规定的图像处理，从而将该静止图像数据转换为SDR静止图像数据(步骤S113A)。SDR图像处理部123A输出该SDR静止图像数据(非压缩的SDR静止图像数据)。
步骤S113A之后，与图25所示的流程图同样地，进行步骤S114或者步骤S115。
接下来，对基于包含图像处理装置100的HDR摄像装置的动作的具体例进行说明。另外，以下，针对已经说明的结构要素赋予与该结构要素相同的符号并省略该结构要素的说明。
(1-1-1.实施例1)
图27是用于对实施方式1中的实施例1进行说明的图。实施例1中，表示使用多图片格式方式，生成包含HDR静止图像数据和SDR静止图像数据的一个文件的结构例。
实施例1中的HDR摄像装置10D也可以使用多图片格式方式，生成包含HDR静止图像数据和SDR静止图像数据的一个文件。如图27所示，HDR摄像装置10D具备：HDR摄像部11、转换部12、JPEG压缩部13、多图片格式生成部13C、SDR摄像部14以及HDR图像修正部15。HDR摄像装置10D所具备的各结构要素之中，转换部12、JPEG压缩部13、多图片格式生成部13C以及HDR图像修正部15对应于使用图15以及图22来说明的图像处理装置100的生成部120以及输出部130。
HDR摄像部11通过利用HDR摄影模式来进行拍摄，从而生成HDR图像(HDR静止图像)。HDR摄像部11例如通过透镜、图像传感器、处理器、存储器等来实现。
转换部12是与图像处理装置100的生成部120的转换部123(参照图22)对应的处理部。转换部12通过对从HDR摄像部11输出的非压缩的HDR静止图像数据进行SDR转换，从而生成非压缩的SDR静止图像数据。转换部12将生成的非压缩的SDR静止图像数据输出到JPEG压缩部13。转换部12例如通过处理器、存储器等来实现。
JPEG压缩部13是与图像处理装置100的生成部120的SDR图像压缩部124(参照图22)对应的处理部。JPEG压缩部13通过对输入的非压缩的SDR静止图像数据进行JPEG压缩，从而生成被压缩的SDR静止图像数据。JPEG压缩部13例如通过处理器、存储器等来实现。
HDR图像修正部15是与图像处理装置100的生成部120的HDR图像处理部121(参照图22)对应的处理部。HDR图像修正部15根据从HDR摄像部11获取的RAW数据，生成通过HDR显示装置30以及HDR显示装置61等HDRTV可显示的非压缩的HDR静止图像数据。HDR图像修正部15例如通过处理器、存储器等来实现。
多图片格式生成部13C是与图像处理装置100的生成部120的格式部125(参照图22)以及输出部130(参照图15)对应的处理部。多图片格式生成部13C通过多图片格式方式，将非压缩的HDR静止图像数据和被JPEG压缩的SDR静止图像数据保存于一个文件，生成HDR静止图像文件格式的HDR静止图像文件(JPEG MPF)F100。并且，多图片格式生成部13C输出所生成的HDR静止图像文件F100。在多图片格式生成部13C中，在生成HDR静止图像文件F100时，可以使用对从转换部12输出的SDR静止图像数据进行使用并通过JPEG压缩部13而生成并压缩的SDR静止图像数据，或者也可以使用对SDR摄像部14中进行拍摄而得到的SDR静止图像数据进行使用并通过JPEG压缩部13而生成并压缩的SDR静止图像数据。
由多图片格式生成部13C生成的HDR静止图像文件F100的结构例如与图16所示的数据单位D10的文件F10的结构对应。多图片格式生成部13C例如通过处理器、存储器等来实现。
SDR摄像部14通过利用现有的摄影模式(SDR摄影模式)来进行拍摄，从而生成SDR图像(SDR静止图像)。SDR摄像部14例如通过透镜、图像传感器、处理器、存储器等来实现。
另外，上述的各处理部也可以取代处理器以及存储器而通过执行上述各处理的专用电路来实现。
在HDR静止图像文件F100中，保存SDR静止图像数据(SDR互换用的JPEG数据)和HDR静止图像数据这2个数据。该HDR静止图像数据与图16所示的第1静止图像数据D12对应，该SDR静止图像数据与图16所示的第2静止图像数据D13对应。并且，HDR静止图像文件F100的扩展名是“.JPG”。因此，HDR静止图像文件F100不仅在对应多图片格式的HDR显示装置61中，而且在不对应多图片格式的HDR显示装置30、SDR显示装置40以及SDR打印装置50中也能够再生(显示或者打印)。
这样，实施例1的优点在于，在能够再生现有的JPEG文件的装置(例如，SDR显示装置40以及SDR打印装置50等)中，能够进行SDR-JPEG(由JPEG压缩部13生成并压缩的SDR静止图像数据)的再生。此外，实施例1的优点在于，能够在现有的HDRTV(例如，HDR显示装置30以及HDR显示装置61)比较容易地安装用于显示HDR静止图像文件F100的功能。此外，实施例1的优点在于，在摄像装置中HDR专用处理的实现也比较容易。
另外，在实施例1中，说明了将HDR静止图像文件F100的扩展名设为“.JPG”的结构例，但本公开并不限定于该结构例。例如，也可以生成具有新的扩展名的多图片格式方式的文件。如上所述，可能从具有“.JPG”的扩展名并且通过能够编辑JPEG文件的图像编辑软件可编辑的文件，通过该图像编辑软件来删除HDR静止图像数据。但是，具有新的扩展名的文件由于针对被保存于该文件内的HDR静止图像数据以及SDR静止图像数据这2个数据，仅能够通过能够编辑具有该扩展名的文件的专用的图像编辑软件来进行编辑，因此HDR静止图像数据被删除的可能性减少。具有新的扩展名的多图片格式方式的文件具有这种优点。但是，具有新的扩展名的多图片格式方式的文件难以通过现有的装置(例如，SDR显示装置40以及SDR打印装置50，等)来再生。
(1-1-2.实施例2)
图28是用于对实施方式1中的实施例2进行说明的图。实施例2中，表示使用HEVC(High Efficiency Video coding)动态图像文件方式，生成包含HDR静止图像数据和SDR静止图像数据的一个数据单位的结构例。
实施例2中的HDR摄像装置10E也可以生成包含HEVC动态图像文件形式的HDR静止图像数据和SDR静止图像数据的一个数据单位。如图28所示，HDR摄像装置10E具备：HDR摄像部11、转换部12、JPEG压缩部13、HEVC压缩部13D、SDR摄像部14、HDR图像修正部15A以及数据单位生成部17。HDR摄像装置10E所具备的各结构要素之中，转换部12、JPEG压缩部13、HEVC压缩部13D、HDR图像修正部15以及数据单位生成部17对应于使用图15以及图22来说明的图像处理装置100的生成部120以及输出部130。另外，图28所示的HDR摄像部11、转换部12、JPEG压缩部13以及SDR摄像部14是与图27所示的同名的结构要素实质相同的结构，因此省略说明。
HDR图像修正部15A是与图像处理装置100的生成部120的HDR图像处理部121(参照图22)对应的处理部。HDR图像修正部15A通过将从HDR摄像部11获取的RAW数据转换为使用HDR-EOTF通过HDR显示装置30等HDRTV可显示的HDR图像数据，从而生成非压缩的HDR图像数据。HDR图像修正部15A例如通过处理器、存储器等来实现。
HEVC压缩部13D是与图像处理装置100的生成部120的HDR图像压缩部122(参照图22)对应的处理部。HEVC压缩部13D将非压缩的HDR图像数据压缩为HEVC形式的动态图像。HEVC压缩部13D例如通过处理器、存储器等来实现。
数据单位生成部17是与图像处理装置100的生成部120的格式部125(参照图22)以及输出部130(参照图15)对应的处理部。数据单位生成部17构成为包含HDR静止图像文件F110和SDR静止图像文件F120，该HDR静止图像文件F110包含被压缩为HEVC动态图像形式的HDR静止图像数据，该SDR静止图像文件F120包含被JPEG压缩的SDR静止图像数据，并且将各个文件名的主体(除扩展名以外的文件名)相互共用的对象生成为数据单位D200。并且，数据单位生成部17对生成的数据单位D200进行输出。
另外，在数据单位生成部17中，数据单位D200的生成中，可以使用对从转换部12输出的SDR静止图像数据进行使用并通过JPEG压缩部13来生成并压缩的SDR静止图像数据，或者也可以使用对SDR摄像部14中进行拍摄而得到的SDR静止图像数据进行使用并通过JPEG压缩部13而生成并压缩的SDR静止图像数据。
由数据单位生成部17生成的数据单位D200的结构例如与图20所示的数据单位D20的结构对应。数据单位生成部17例如通过处理器、存储器等来实现。
另外，上述的各处理部也可以取代处理器以及存储器而通过执行上述的各处理的专用电路来实现。
实施例2的优点在于，由于HDR静止图像数据为HEVC动态图像形式的文件，因此能够通过现有的装置(例如，HDR显示装置30等)来显示。此外，摄像装置若具有基于HEVC动态图像形式的记录功能，则能够比较容易地实现实施例2所示的结构。
(1-1-3.实施例3)
图29是用于对实施方式1中的实施例3进行说明的图。实施例3中，表示使用TIFF(Tagged Image File Format)形式，生成包含HDR静止图像数据和SDR静止图像数据的一个数据单位的结构例。
实施例3中的HDR摄像装置10F也可以生成包含非压缩的TIFF形式的HDR静止图像数据和非压缩的TIFF形式的SDR静止图像数据的一个数据单位。如图29所示，HDR摄像装置10F具备：HDR摄像部11、转换部12、JPEG压缩部13、SDR摄像部14、HDR图像修正部15B以及TIFF输出部17A。HDR摄像装置10F所具备的各结构要素之中，转换部12、HDR图像修正部15B以及TIFF输出部17A与使用图15以及图22来说明的图像处理装置100的生成部120以及输出部130对应。另外，图29所示的HDR摄像部11、转换部12、JPEG压缩部13以及SDR摄像部14由于是与图27所示的同名的结构要素实质相同的结构因此省略说明。
HDR图像修正部15B是与图像处理装置100的生成部120的HDR图像处理部121(参照图22)对应的处理部。HDR图像修正部15B将从HDR摄像部11获取的RAW数据转换为可由HDR显示装置62等HDRTV(HLG(HybridLog-Gamma)对应的显示装置)显示的HDR-OETF(HLG)的16/12比特图像(HDR静止图像数据)。由此，若是可再生TIFF形式的数据的再生装置(例如，HDR显示装置62)，则HLG数据具有SDR互换，因此能够直接再生该HDR静止图像数据。HDR图像修正部15B例如通过处理器、存储器等来实现。
TIFF输出部17A是与图像处理装置100的生成部120的格式部125(参照图22)以及输出部130(参照图15)对应的处理部。TIFF输出部17A将包含HDR静止图像数据的TIFF静止图像文件F210和包含SDR静止图像数据的TIFF静止图像文件F220以TIFF文件形式生成为一个数据单位D300，并输出生成的数据单位D300。
另外，TIFF输出部17A也可以在将HDR静止图像数据和SDR静止图像数据这2个数据分别保存于TIFF文件时，作为TIFF的标签，将附上HDR标签(识别SDR、HDR(HLG(SystemGamma1.2))、HDR(PQ)的标签)以及颜色空间标签(识别sRGB、AdobeRGB、bt.2020的标签)的格式使用为文件格式。TIFF输出部17A在数据单位D300的生成中，可以使用从转换部12输出的SDR静止图像数据，或者也可以使用SDR摄像部14中通过进行拍摄而得到的SDR静止图像数据。
由TIFF输出部17A生成的数据单位D300的结构例如与图20所示的数据单位D20的结构对应。TIFF输出部17A例如通过处理器、存储器等来实现。
另外，在现有的装置(例如，SDR显示装置40、SDR打印装置50或者现有的HDR显示装置30等)中，不能处理实施例3所示的格式的数据。因此，在HDR摄像装置10F中，在转换部12中HDR静止图像数据被SDR转换，通过该转换而得到的SDR静止图像数据也可以通过JPEG压缩部13而被JPEG压缩并生成的被压缩的SDR静止图像数据作为另一文件而被同时生成(记录)。
使用TIFF形式的优点在于，仅通过在HDR显示装置侧安装TIFF显示功能就能够对应TIFF文件，容易实现。此外，摄像装置附加用于生成以TIFF形式的文件格式的数据单位D300的生成功能即可，因此比较容易实现实施例3所示的结构。此外，在对应这种新文件格式的装置(例如，HDR显示装置62或者SDR打印装置63等)中，能够再生数据单位D300中的TIFF静止图像文件F210或者TIFF静止图像文件F220的任意文件。此外，TIFF对应的HDRTV(例如，HDR显示装置62等)能够显示HLG的HDR静止图像数据和以bt.2020定义的广色域的SDR静止图像数据的任意数据。
另外，上述的各处理部也可以取代处理器以及存储器而通过执行上述各处理的专用电路来实现。
(1-1-4.实施例4)
图30是用于对实施方式1中的实施例4进行说明的图。实施例4中，表示使用生成HEVC的I图片的方式(I图片的压缩方式)，生成包含HDR静止图像数据和SDR静止图像数据的一个数据单位的结构例。
实施例4中的HDR摄像装置10G也可以使用HEVC的I图片的压缩方式，生成包含HDR静止图像数据和SDR静止图像数据的一个数据单位。如图30所示，HDR摄像装置10G具备：HDR摄像部11、转换部12、JPEG压缩部13、SDR摄像部14、HDR图像修正部15B以及HEVC压缩部17B。HDR摄像装置10G所具备的各结构要素之中，转换部12、HDR图像修正部15B以及HEVC压缩部17B对应于使用图15以及图22来说明的图像处理装置100的生成部120以及输出部130。另外，图30所示的HDR摄像部11、转换部12、JPEG压缩部13、SDR摄像部14以及HDR图像修正部15B是与图29所示的同名的结构要素实质相同的结构因此省略说明。
HEVC压缩部17B是与图像处理装置100的生成部120的HDR图像压缩部122、SDR图像压缩部124、格式部125(参照图22)以及输出部130(参照图15)对应的处理部。HEVC压缩部17B将从HDR图像修正部15B输出的HDR静止图像数据压缩为HEVC的I图片。此外，HEVC压缩部17B将从转换部12输出的SDR静止图像数据压缩为HEVC的I图片。此外，HEVC压缩部17B构成为包含HEVC-I静止图像文件F310和HEVC-I静止图像文件F320，该HEVC-I静止图像文件F310包含作为通过压缩而得到的HEVC的I图片的HDR静止图像数据，该HEVC-I静止图像文件F320包含作为HEVC的I图片的SDR静止图像数据，并且将各个文件名的主体(除扩展名以外的文件名)相互共用的对象生成为数据单位D400。并且，HEVC压缩部17B输出生成的数据单位D400。
另外，HEVC压缩部17B在将HDR静止图像数据和SDR静止图像数据这2个数据分别保存于HEVC-I文件时，也可以将附上HDR标签(SDR，HDR(识别HLG(SystemGamma 1.2))、HDR(PQ)的标签)和颜色空间标签(识别sRGB、AdobeRGB、bt.2020的标签)的数据使用为文件格式。HEVC压缩部17B在数据单位D400的生成中，可以使用从转换部12输出的SDR静止图像数据，或者也可以使用在SDR摄像部14中通过进行拍摄而得到的SDR静止图像数据。
通过HEVC压缩部17B而生成的数据单位D400的结构例如对应于图20所示的数据单位D20的结构。HEVC压缩部17B例如通过处理器、存储器等来实现。
另外，在现有的装置(例如，SDR显示装置40、SDR打印装置50或者现有的HDR显示装置30等)中，不能处理实施例4所示的格式的数据。因此，在HDR摄像装置10G中，也可以在转换部12中HDR静止图像数据被进行SDR转换，通过该转换而得到的SDR静止图像数据通过JPEG压缩部13而被JPEG压缩并生成的被压缩的SDR静止图像数据作为另一文件而被同时生成(记录)。
此外，HEVC压缩部17B也可以通过多图片格式方式，生成将HDR静止图像数据和SDR静止图像数据保存于一个文件的HDR静止图像文件格式的HDR静止图像文件(JPEG MPF)。换句话说，HEVC压缩部17B也可以生成与图16所示的数据单位D10相同的结构的HDR静止图像文件。
此外，HEVC压缩部17B也可以生成与多图片格式方式不同的、将HDR静止图像数据和SDR静止图像数据保存于一个文件的HDR静止图像文件格式的HDR静止图像文件。
使用HEVC的I图片的压缩方式的优点在于，由于在现有的HDR显示装置搭载有HEVC解码功能，因此能够比较容易地安装HEVC的I图片的显示或者再生。此外，由于与4K动态图像的拍摄对应的摄像装置搭载HEVC压缩功能的情况较多，因此能够比较容易实现将HDR静止图像数据以及SDR静止图像数据压缩为HEVC的I图片的功能的安装。此外，在能够再生HEVC的I图片的打印装置(例如，SDR打印装置63等)中，能够打印HDR的HEVC-I静止图像文件F310或者SDR的HEVC-I静止图像文件F320的任意文件。此外，可显示HEVC的I图片的HDRTV(例如，HDR显示装置62等)能够显示HLG的HDR静止图像和以bt.2020定义的广色域的SDR静止图像的任意图像。
另外，上述的各处理部也可以取代处理器以及存储器而通过执行上述各处理的专用电路来实现。
(1-1-5.实施例5)
图31是用于对实施方式1中的实施例5进行说明的图。实施例5中，表示使用通过JPEG2000来压缩的方式，生成包含HDR静止图像数据和SDR静止图像数据的一个数据单位的结构例。
实施例5中的HDR摄像装置10H也可以使用JPEG2000的压缩方式，生成包含HDR静止图像数据和SDR静止图像数据的一个数据单位。如图31所示，HDR摄像装置10H具备：HDR摄像部11、转换部12、JPEG压缩部13、SDR摄像部14、HDR图像修正部15B以及JPEG2000压缩部17C。HDR摄像装置10H所具备的各结构要素之中，转换部12、HDR图像修正部15B以及JPEG2000压缩部17C对应于使用图15以及图22来说明的图像处理装置100的生成部120以及输出部130。另外，图31所示的HDR摄像部11、转换部12、JPEG压缩部13、SDR摄像部14以及HDR图像修正部15B是与图29所示的同名的结构要素实质相同的结构因此省略说明。
JPEG2000压缩部17C是与图像处理装置100的生成部120的HDR图像压缩部122、SDR图像压缩部124、格式部125(参照图22)以及输出部130(参照图15)对应的处理部。JPEG2000压缩部17C将从HDR图像修正部15B输出的HDR静止图像数据以JPEG2000的方式进行压缩。此外，JPEG2000压缩部17C将从转换部12输出的SDR静止图像数据以JPEG2000的方式进行压缩。此外，JPEG2000压缩部17C构成为包含JPEG2000静止图像文件F410和JPEG2000静止图像文件F420，该JPEG2000静止图像文件F410包含通过压缩而得到的JPEG2000形式的HDR静止图像数据，该JPEG2000静止图像文件F420包含JPEG2000形式的SDR静止图像数据，并且将各个文件名的主体(除扩展名以外的文件名)相互共用的对象生成为数据单位D500。并且，JPEG2000压缩部17C输出生成的数据单位D500。
另外，JPEG2000压缩部17C也可以在将HDR静止图像数据和SDR静止图像数据这2个数据分别保存为JPEG2000文件时，将附上HDR标签(识别SDR、HDR(HLG(System Gamma1.2))、HDR(PQ)的标签)和颜色空间标签(识别sRGB、AdobeRGB、bt.2020的标签)的数据使用为文件格式。JPEG2000压缩部17C在数据单位D500的生成中，可以使用从转换部12输出的SDR静止图像数据，或者也可以使用SDR摄像部14中进行拍摄而得到的SDR静止图像数据。
通过JPEG2000压缩部17C来生成的数据单位D500的结构例如对应于图20所示的数据单位D20的结构。JPEG2000压缩部17C例如通过处理器、存储器等来实现。
另外，在现有的装置(例如，SDR显示装置40、SDR打印装置50或者现有的HDR显示装置30等)中，不能处理实施例5所示的格式的数据。因此，在HDR摄像装置10H中，也可以在转换部12中HDR静止图像数据被进行SDR转换，通过该转换而得到的SDR静止图像数据通过JPEG压缩部13而被JPEG压缩并生成的被压缩的SDR静止图像数据作为另一文件而被同时生成(记录)。
此外，JPEG2000压缩部17C也可以通过多图片格式方式，生成将HDR静止图像数据和SDR静止图像数据保存于一个文件的HDR静止图像文件格式的HDR静止图像文件(JPEGMPF)。换句话说，JPEG2000压缩部17C也可以生成与图16所示的数据单位D10相同的结构的HDR静止图像文件。
此外，JPEG2000压缩部17C也可以生成与多图片格式方式不同的、将HDR静止图像数据和SDR静止图像数据保存于一个文件的HDR静止图像文件格式的HDR静止图像文件。
使用JPEG2000的压缩方式的优点在于，在现有的HDR显示装置中能够比较容易安装与JPEG2000对应的功能。此外，在JPEG2000对应的HDRTV(例如，HDR显示装置62等)中，能够再生HDR的JPEG2000静止图像文件F410或者SDR的JPEG2000静止图像文件F420的任意文件。此外，在JPEG2000对应的HDRTV(例如，HDR显示装置62等)中，能够显示HLG的HDR静止图像和以bt.2020定义的广色域的SDR静止图像的任意图像。
另外，上述的各处理部也可以取代处理器以及存储器而通过执行上述各处理的专用电路来实现。
(1-1-6.实施例6)
图32是示意性地表示实施方式1中的再生装置的结构的一个例子的框图。
如图32所示，再生装置200具备获取部210和再生部220。再生装置200也可以还具有显示部(未图示)，被实现为将再生的结果显示于显示部的显示装置。此外，再生装置200也可以还具有打印部，被实现为将再生的结果打印于纸等打印介质的打印装置。
获取部210获取逻辑上的一个数据单位。逻辑上的一个数据单位包含亮度的动态范围相互不同并且能够相互独立地再生的HDR静止图像数据以及SDR静止图像数据。
再生部220对由获取部210获取的数据单位中包含的HDR静止图像数据以及SDR静止图像数据之中的一个进行再生。再生部220也可以根据被附加于数据单位的辅助信息，选择并再生HDR静止图像数据。此外，再生部220也可以在辅助信息中包含亮度区域信息的情况下，进行该HDR静止图像数据的亮度调整，以使得包含HDR静止图像数据的亮度区域之中的根据亮度区域信息而表示优先的全部亮度区域，并再生进行了亮度调整的图像数据。例如，再生部220也可以在对亮度区域信息表示优先高亮度区域的HDR静止图像数据(例如，图18所示的HDR静止图像数据)进行再生的情况下，将该HDR静止图像数据转换为进行了亮度调整以使得包含全部表示优先的高亮度区域的图像数据，并对转换后的图像数据进行再生。或者，再生部220也可以在对亮度区域信息表示优先低亮度区域的HDR静止图像数据(例如，图19所示的HDR静止图像数据)进行再生的情况下，将该HDR静止图像数据转换为进行了亮度调整以使得包含全部表示优先的低亮度区域的图像数据，并生成转换后的图像数据。
接下来，使用流程图来对再生装置200的再生处理所涉及的动作进行说明。
图33是表示实施方式1中的再生装置200的再生处理所涉及的动作的一个例子的流程图。
再生装置200的获取部210获取数据单位(步骤S201)。
再生部220对步骤S201中通过获取部210而获取的数据单位中包含的HDR静止图像数据以及SDR静止图像数据之中的一方进行再生(步骤S202)。
另外，获取部210以及再生部220例如可以通过执行规定的程序(被生成为执行上述各处理的程序)的处理器以及保存规定的程序的存储器来实现，或者也可以取代处理器以及存储器，通过执行上述各处理的专用电路来实现。
(1-1-7.实施例7)
接下来，对再生装置200的动作的具体例进行说明。
图34是用于对实施方式1中的辅助信息的具体的一个例子进行说明的图。
如上所述，图像处理装置100(参照图15)也可以在数据单位的生成时，附加辅助信息。换句话说，图像处理装置100也可以生成附加了辅助信息的数据单位，输出被附加了辅助信息的数据单位。
在该结构的情况下，辅助信息中也可以包含表示能够再生高品质的图像的信息。例如，在再生装置200是与新静止图像格式对应的SDR再生装置的情况下，在该SDR再生装置再生SDR静止图像数据时，用于判断显示JPEG形式的SDR图像(图34所示的B的路径)还是显示对HDR图像(HLG)进行了SDR转换的SDR图像(图34所示的A的路径)的信息也可以被包含于辅助信息。例如，辅助信息中，包含表示若SDR再生装置对HDR图像(HLG)进行SDR转换并显示，则能够再生高品质的图像的信息。
此外，辅助信息中，也可以包含表示基于HDR静止图像数据的静止图像的亮度是否优先高亮度区域的亮度区域信息、或者表示是否优先低亮度区域的亮度区域信息。换句话说，辅助信息中，也可以包含是否为HDR图像生成时优先高亮度区域的静止图像的标志、或者是否为HDR图像生成时优先低亮度区域的静止图像的标志。此外，该情况下的辅助信息中也可以包含规定该静止图像生成时被优先的高亮度区域或者低亮度区域的阈值。
此外，辅助信息中，也可以包含表示在SDR显示装置显示SDR图像时、不是将HDR图像转换为SDR图像、而是直接显示JPEG形式的SDR图像这一拍摄者的指示的指示用标志(转换禁止标志)。
这些HDR静止图像数据、SDR静止图像数据以及管理信息也可以被保存于一个文件。这些HDR静止图像数据、SDR静止图像数据以及管理信息也可以被生成我文件名的主体(除扩展名以外的文件名)相互共用化且作为DCF(Design rule for Camera File System)对象的复数文件而相互建立关联的逻辑上的一个数据单位。
(1-2.效果等)
如以上那样，在本实施方式中，图像处理装置具备：获取部，获取通过拍摄而得到的静止图像数据；生成部，使用由获取部获取的静止图像数据，生成包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和输出部，输出由生成部生成的数据单位。
此外，在本实施方式中，再生装置具备：获取部，获取包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和再生部，再生由获取部获取的数据单位中包含的第1静止图像数据以及第2静止图像数据之中的一方。
此外，在本实施方式中，图像处理方法获取通过拍摄而得到的静止图像数据，使用获取到的静止图像数据，生成包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位，输出生成的数据单位。
此外，在本实施方式中，再生方法获取包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位，再生获取到的数据单位中包含的第1静止图像数据以及第2静止图像数据之中的一方。
另外，图像处理装置100是图像处理装置的一个例子。获取部110是图像处理装置所具备的获取部的一个例子。生成部120以及生成部120A分别是生成部的一个例子。输出部130是输出部的一个例子。另外，多图片格式生成部13C、数据单位生成部17、TIFF输出部17A、HEVC压缩部17B、JPEG2000压缩部17C分别对应于输出部130。HDR静止图像数据是第1静止图像数据的一个例子。SDR静止图像数据是第2静止图像数据的一个例子。再生装置200是再生装置的一个例子。获取部210是再生装置所具备的获取部的一个例子。数据单位D10、数据单位D20、数据单位D30、数据单位D200、数据单位D300、数据单位D400以及数据单位D500分别是通过图像处理装置的生成部而生成的数据单位的一个例子，是通过再生装置的获取部而获取的数据单位的一个例子。再生部220是再生部的一个例子。
例如，在实施方式1所示的例子中，图像处理装置100具备获取部110、生成部120、输出部130。获取部110获取静止图像数据。生成部120使用由获取部110获取的静止图像数据，生成包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据(HDR静止图像数据)以及第2静止图像数据(SDR静止图像数据)的逻辑上的一个数据单位。输出部130输出由生成部120生成的数据单位(例如，数据单位D10等)。
此外，在实施方式1所示的例子中，再生装置200具备：获取部210，获取包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据(HDR静止图像数据)以及第2静止图像数据(SDR静止图像数据)的逻辑上的一个数据单位(例如，数据单位D10等)；和再生部220，再生由获取部210获取的数据单位(例如，数据单位D10等)中包含的第1静止图像数据(HDR静止图像数据)以及第2静止图像数据(SDR静止图像数据)之中的一方。
这样构成的图像处理装置100能够输出包含亮度的动态范围相互不同并且可相互独立地再生的HDR静止图像数据以及SDR静止图像数据的逻辑上的一个数据单位。此外，再生装置200能够获取该数据单位并进行再生。因此，图像处理装置100能够输出该数据单位，通过再生装置(例如，再生装置200)来再生该数据单位中包含的HDR静止图像数据或者SDR静止图像数据的任意数据。因此，图像处理装置100能够提供对于用户来讲便利性较高的静止图像数据。
在图像处理装置中，生成部也可以将包含第1静止图像数据以及第2静止图像数据的一个文件生成为数据单位。
另外，第1静止图像数据D12是第1静止图像数据的一个例子。第2静止图像数据D13是第2静止图像数据的一个例子。文件F10是包含第1静止图像数据以及第2静止图像数据的一个文件的一个例子。数据单位D10是生成部所生成的数据单位的一个例子。另外，HDR静止图像文件F100对应于文件F10。
例如，在实施方式1所示的例子中，在图像处理装置100中，生成部120将包含第1静止图像数据D12(HDR静止图像数据)以及第2静止图像数据D13(SDR静止图像数据)的一个文件F10生成为数据单位D10。
在这样构成的图像处理装置100中，可防止分别管理HDR静止图像数据以及SDR静止图像数据的情况。
在图像处理装置中，生成部也可以将构成为包含一个第1静止图像文件和第2静止图像文件的对象生成为数据单位，该第1静止图像文件包含第1静止图像数据，该第2静止图像文件包含第2静止图像数据并且文件名的主体与第1静止图像文件相同。
另外，第1静止图像数据D22以及第1静止图像数据D32分别是第1静止图像数据的一个例子。第2静止图像数据D24以及第2静止图像数据D33分别是第2静止图像数据的一个例子。第1静止图像文件F21以及第1静止图像文件F32分别是第1静止图像文件的一个例子。第2静止图像文件F22以及第2静止图像文件F33分别是第2静止图像文件的一个例子。DSC0002以及DSC0003分别是文件名的主体(除扩展名以外的文件名)的一个例子。数据单位D20以及数据单位D30分别是生成部所生成的数据单位的一个例子。另外，HDR静止图像文件F110、TIFF静止图像文件F210、HEVC-I静止图像文件F310以及JPEG2000静止图像文件F410分别对应于第1静止图像文件F21(或者第1静止图像文件F32)。SDR静止图像文件F120、TIFF静止图像文件F220、HEVC-I静止图像文件F320以及JPEG2000静止图像文件F420分别对应于第2静止图像文件F22(或者第2静止图像文件F33)。数据单位D200、数据单位D300、数据单位D400以及数据单位D500分别对应于数据单位D20(或者数据单位D30)。
例如，在实施方式1所示的例子中，在图像处理装置100中，生成部120也可以将构成为包含一个HDR静止图像文件(例如，第1静止图像文件F21)和SDR静止图像文件(例如，第2静止图像文件F22)的对象生成为数据单位(例如，数据单位D20)，该HDR静止图像文件包含HDR静止图像数据(例如，第1静止图像数据D22)，该SDR静止图像文件包含SDR静止图像数据(例如，第2静止图像数据D24)，并且文件名的主体(例如，DSC0002)与HDR静止图像文件(例如，第1静止图像文件F21)的文件名的主体(例如，DSC0002)相同。
通过这样构成的图像处理装置100，在再生装置(例如，再生装置200)中，若该再生装置对应于HDR静止图像文件或者SDR静止图像文件的再生，则能够使用对应的文件，再生图像。
在图像处理装置中，生成部也可以将表示通过再生第1静止图像数据、能够再生比基于第2静止图像数据的再生的图像更高品质的图像的辅助信息进一步附加于数据单位。
另外，管理数据D11中包含的辅助信息是辅助信息的一个例子。
例如，在实施方式1所示的例子中，在图像处理装置100中，生成部120将表示通过再生HDR静止图像数据(例如，第1静止图像数据D12)、能够再生比基于SDR静止图像数据(例如，第2静止图像数据D13)的再生的图像更高品质的图像的辅助信息附加于数据单位(例如，数据单位D10)。
通过这样构成的图像处理装置100，接受该数据单位(例如，数据单位D10)的再生装置(例如，再生装置200)能够根据辅助信息，以将该再生装置的再生能力最大限地实现的品质再生静止图像。
在图像处理装置中，生成部也可以将包含表示基于第1静止图像数据的静止图像的亮度是否优先高亮度区域的亮度区域信息、或者表示是否优先低亮度区域的亮度区域信息的辅助信息附加于数据单位。
例如，在实施方式1所示的例子中，在图像处理装置100中，生成部120也可以将包含表示基于HDR静止图像数据(第1静止图像数据)的静止图像的亮度是否优先高亮度区域的亮度区域信息、或者表示是否优先低亮度区域的亮度区域信息的辅助信息附加于数据单位。
通过这样构成的图像处理装置100，接受该数据单位的再生装置(例如，再生装置200)能够根据辅助信息，以将该再生装置的再生能力有效地活用的品质再生静止图像。
在图像处理装置中，第1静止图像数据也可以是HDR的图像数据，第2静止图像数据也可以是SDR的图像数据。
例如，在实施方式1所示的例子中，在图像处理装置100中，第1静止图像数据是HDR的图像数据，第2静止图像数据是SDR的图像数据。
(其他的实施方式)
如以上那样，作为本申请中公开的技术的示例，说明了实施方式1。但是，本公开中的技术并不局限于此，也能够应用于进行了变更、置换、附加、省略等的实施方式。此外，也能够将上述实施方式1的实施例1～7中说明的各结构要素组合并设为新的实施方式。
另外，在上述实施方式中，各结构要素可以由专用的硬件构成，或者也可以通过处理器执行适合于各结构要素的软件程序来实现。各结构要素也可以通过CPU(CentralProcessing Unit)或者处理器等的程序执行部读取并执行记录于硬盘或者半导体存储器等记录介质的软件程序来实现。这里，实现上述实施方式的图像处理方法或者再生方法等的软件是如下程序。
即，该程序使计算机执行如下的图像处理方法：获取通过拍摄而得到的静止图像数据，使用获取的静止图像数据，生成包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位，输出生成的数据单位。
或者，该程序使计算机执行如下的再生方法：获取包含亮度的动态范围相互不同并且可相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位，再生获取的数据单位中包含的第1静止图像数据以及第2静止图像数据之中的一方。
另外，附图以及详细的说明中所述的结构要素之中，不仅包含为了课题解决所必须的结构要素，也能够为了示例上述技术而包含不是为了课题解决所必须的结构要素。因此，这些非必须的结构要素被记载于附图或详细的说明，但不应认定这些非必须的结构要素是必须的。
此外，上述的实施方式是为了示例本公开中的技术，在权利要求书或者其均等的范围内能够进行各种变更、置换、附加、省略等。
产业上的可利用性
本公开是能够得到便利性较高的静止图像数据的图像处理装置、能够再生该静止图像数据的再生装置、图像处理方法以及再生方法。具体而言，本公开能够应用于照相机等摄像装置、电视机等显示装置或者打印装置等。
-符号说明-
10、10A、10B、10C、10D、10E、10F、10G、10H HDR摄像装置
11 HDR摄像部
12 转换部
13、13A JPEG压缩部
13B JPEG XT压缩部
13C 多图片格式生成部
13D HEVC压缩部
14 SDR摄像部
15、15A、15B HDR图像修正部
16 HDMI输出部
17 数据单位生成部
17A TIFF输出部
17B HEVC压缩部
17C JPEG2000压缩部
20 SDR摄像装置
21 SDR摄像部
22 JPEG压缩部
30、60、61、62 HDR显示装置
40 SDR显示装置
50、63 SDR打印装置
100 图像处理装置
110 获取部
120、120A 生成部
121 HDR图像处理部
122 HDR图像压缩部
123 转换部
123A SDR图像处理部
124 SDR图像压缩部
125 格式部
130 输出部
200 再生装置
210 获取部
220 再生部
D10、D20、D30 数据单位
D11、D31 管理数据
D12、D22、D32 第1静止图像数据
D13、D24、D33 第2静止图像数据
D21 第1管理数据
D23 第2管理数据
D200、D300、D400、D500 数据单位
F10 文件
F21、F32 第1静止图像文件
F22、F33 第2静止图像文件
F31 管理文件
F100、F110 HDR静止图像文件
F120 SDR静止图像文件
F210、F220 TIFF静止图像文件
F310、F320 HEVC-I静止图像文件
F410、F420 JPEG2000静止图像文件。

Claims (9)

1.一种图像处理装置，具备：
获取部，获取通过拍摄而得到的静止图像数据；
生成部，使用所述获取部所获取的所述静止图像数据，生成包含亮度的动态范围彼此不同且能够相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和
输出部，输出由所述生成部生成的所述数据单位。
2.根据权利要求1所述的图像处理装置，其中，
所述生成部将包含所述第1静止图像数据以及所述第2静止图像数据的一个文件生成为所述数据单位。
3.根据权利要求1所述的图像处理装置，其中，
所述生成部将构成为包含一个第1静止图像文件和第2静止图像文件的对象生成为所述数据单位，所述第1静止图像文件包含所述第1静止图像数据，所述第2静止图像文件包含所述第2静止图像数据、并且文件名的主体与所述第1静止图像文件相同。
4.根据权利要求1至3的任意一项所述的图像处理装置，其中，
所述生成部将辅助信息进一步附加于所述数据单位，所述辅助信息表示通过再生所述第1静止图像数据，能够再生比基于所述第2静止图像数据的再生的图像更高品质的图像。
5.根据权利要求4所述的图像处理装置，其中，
所述生成部将所述辅助信息附加于所述数据单位，所述辅助信息包含表示基于所述第1静止图像数据的静止图像的亮度是否优先高亮度区域的亮度区域信息、或者表示是否优先低亮度区域的亮度区域信息。
6.根据权利要求1至5的任意一项所述的图像处理装置，其中，
所述第1静止图像数据是高动态范围图像HDR的图像数据，
所述第2静止图像数据是标准动态范围SDR的图像数据。
7.一种再生装置，具备：
获取部，获取包含亮度的动态范围彼此不同且能够相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位；和
再生部，再生由所述获取部获取的所述数据单位中包含的所述第1静止图像数据以及所述第2静止图像数据之中的一方。
8.一种图像处理方法，
获取通过拍摄而得到的静止图像数据，
使用获取的所述静止图像数据，生成包含亮度的动态范围彼此不同且能够相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位，
输出所生成的所述数据单位。
9.一种再生方法，
获取包含亮度的动态范围彼此不同且能够相互独立地再生的第1静止图像数据以及第2静止图像数据的逻辑上的一个数据单位，
再生所获取的所述数据单位中包含的所述第1静止图像数据以及所述第2静止图像数据之中的一方。
CN201780046042.0A 2016-07-27 2017-07-25 图像处理装置、再生装置、图像处理方法以及再生方法 Active CN109479111B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662367425P 2016-07-27 2016-07-27
US62/367425 2016-07-27
JP2017-123170 2017-06-23
JP2017123170 2017-06-23
PCT/JP2017/026748 WO2018021261A1 (ja) 2016-07-27 2017-07-25 画像処理装置、再生装置、画像処理方法、および、再生方法

Publications (2)

Publication Number Publication Date
CN109479111A true CN109479111A (zh) 2019-03-15
CN109479111B CN109479111B (zh) 2021-08-03

Family

ID=65661421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046042.0A Active CN109479111B (zh) 2016-07-27 2017-07-25 图像处理装置、再生装置、图像处理方法以及再生方法

Country Status (4)

Country Link
US (1) US11184596B2 (zh)
EP (1) EP3493532B8 (zh)
JP (1) JPWO2018021261A1 (zh)
CN (1) CN109479111B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726315B2 (en) * 2016-11-17 2020-07-28 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method, and program
US10880491B2 (en) * 2018-09-15 2020-12-29 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including controller for converting dynamic range image data
JP7329932B2 (ja) * 2019-02-27 2023-08-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7431596B2 (ja) * 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11212458B2 (en) * 2020-04-15 2021-12-28 Canon Kabushiki Kaisha Display control apparatus, display control method, and storage medium
US11209656B1 (en) * 2020-10-05 2021-12-28 Facebook Technologies, Llc Methods of driving light sources in a near-eye display
US11587213B1 (en) * 2021-11-05 2023-02-21 GM Cruise Holdings LLC. Preserving dynamic range in images
EP4344201A1 (en) * 2022-09-23 2024-03-27 Dolby Laboratories Licensing Corporation Cross-asset guided chroma reformatting for multi-asset imaging format

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188744A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation High dynamic range image generation and rendering
US20130329087A1 (en) * 2012-06-06 2013-12-12 Apple Inc. High Dynamic Range Image Registration Using Motion Sensor Data
US20140022408A1 (en) * 2012-07-20 2014-01-23 Canon Kabushiki Kaisha Image capture apparatus, method of controlling image capture apparatus, and electronic device
JP2014204175A (ja) * 2013-04-01 2014-10-27 キヤノン株式会社 画像処理装置及びその制御方法
CN104902164A (zh) * 2014-03-05 2015-09-09 索尼公司 图像处理装置、图像处理方法和图像处理系统
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
WO2016039172A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100563670B1 (ko) * 2002-01-28 2006-03-28 엘지전자 주식회사 재기록 가능 고밀도 기록매체의 정지영상 기록방법
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
JP2007074124A (ja) * 2005-09-05 2007-03-22 Murata Mach Ltd ネットワークファクシミリ装置、画像出力システム、及び画像出力方法
JP4569561B2 (ja) * 2006-12-01 2010-10-27 富士フイルム株式会社 画像ファイル作成装置
JP2008204266A (ja) * 2007-02-21 2008-09-04 Canon Inc ファイル管理装置およびその制御方法、プログラム
KR101901910B1 (ko) * 2011-12-23 2018-09-27 삼성전자주식회사 선택 영역을 변화시키는 결과 영상을 생성 또는 저장하는 장치 및 방법
JP6306845B2 (ja) 2013-09-12 2018-04-04 キヤノン株式会社 撮像装置及びその制御方法
JP6472253B2 (ja) * 2014-03-25 2019-02-20 キヤノン株式会社 画像処理装置及びその制御方法
JP6134076B2 (ja) 2014-09-08 2017-05-24 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
TWI683307B (zh) * 2014-09-08 2020-01-21 日商新力股份有限公司 資訊處理裝置，資訊記錄媒體及資訊處理方法以及程式
JP6863271B2 (ja) * 2015-02-16 2021-04-21 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
ES2808177T3 (es) * 2015-12-21 2021-02-25 Koninklijke Philips Nv Optimización de imágenes de alto rango dinámico para pantallas particulares

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188744A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation High dynamic range image generation and rendering
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
US20130329087A1 (en) * 2012-06-06 2013-12-12 Apple Inc. High Dynamic Range Image Registration Using Motion Sensor Data
US20140022408A1 (en) * 2012-07-20 2014-01-23 Canon Kabushiki Kaisha Image capture apparatus, method of controlling image capture apparatus, and electronic device
JP2014204175A (ja) * 2013-04-01 2014-10-27 キヤノン株式会社 画像処理装置及びその制御方法
CN104902164A (zh) * 2014-03-05 2015-09-09 索尼公司 图像处理装置、图像处理方法和图像处理系统
WO2016039172A1 (ja) * 2014-09-12 2016-03-17 ソニー株式会社 再生装置、再生方法、情報処理装置、情報処理方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
JPWO2018021261A1 (ja) 2019-05-16
US11184596B2 (en) 2021-11-23
EP3493532B1 (en) 2021-01-06
US20190246087A1 (en) 2019-08-08
EP3493532A4 (en) 2019-07-17
CN109479111B (zh) 2021-08-03
EP3493532A1 (en) 2019-06-05
EP3493532B8 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
CN109479111A (zh) 图像处理装置、再生装置、图像处理方法以及再生方法
US10595034B2 (en) Decoding device and decoding method, and coding device and coding method
US8837907B2 (en) Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
CN105794216B (zh) 图像处理设备和图像处理方法
JP6349053B2 (ja) Ｈｄｒ画像をエンコードする方法および装置、ｈｄｒ画像を再構成する方法および装置ならびに非一時的記憶媒体
CN105493490B (zh) 变换方法和变换装置
CN106105177B (zh) 变换方法及变换装置
US20190253687A1 (en) Reproduction method, creation method, reproduction device, creation device, and recording medium
JP6719061B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20160052459A (ko) 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법
CN105659609A (zh) 图像处理设备和方法
WO2018021261A1 (ja) 画像処理装置、再生装置、画像処理方法、および、再生方法
EP3080977B1 (en) Image processing system and image processing method
JP2018019122A (ja) 画像データ処理装置および撮像装置
KR20220108063A (ko) 데이터 처리 장치, 데이터 처리 방법, 및 프로그램
JP2021082955A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
Demos The unfolding merger of television and movie technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant