CN115699789A - 动态图像摄像装置、动态图像摄像方法及动态图像摄像程序 - Google Patents

动态图像摄像装置、动态图像摄像方法及动态图像摄像程序 Download PDF

Info

Publication number
CN115699789A
CN115699789A CN202180043131.6A CN202180043131A CN115699789A CN 115699789 A CN115699789 A CN 115699789A CN 202180043131 A CN202180043131 A CN 202180043131A CN 115699789 A CN115699789 A CN 115699789A
Authority
CN
China
Prior art keywords
metadata
frame data
imaging
moving image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043131.6A
Other languages
English (en)
Inventor
高桥宏辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115699789A publication Critical patent/CN115699789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种能够抑制元数据的输出的延迟对显影处理的影响的动态图像摄像装置、动态图像摄像方法及动态图像摄像程序。摄像部(119)以在时间上连续的多个帧数据的形式生成动态图像的图像数据。摄像控制部(104)以与摄像部(119)的拍摄条件被变更时的帧数据建立对应关系的方式生成表示该拍摄条件的元数据。输出控制部(110)及外部输出I/F(111)将元数据附加于帧数据,作为去马赛克前的动态图像数据而输出。并且,在与帧数据建立有对应关系的元数据的数据量超过可附加的数据量的情况下,输出控制部(110)及外部输出I/F(111)将与该帧数据建立有对应关系的元数据中根据优先度选择的元数据附加于该帧数据。

Description

动态图像摄像装置、动态图像摄像方法及动态图像摄像程序
技术领域
本发明涉及一种动态图像摄像装置、动态图像摄像方法及动态图像摄像程序。
背景技术
专利文献1中记载了如下内容:在将从摄像单元输出的RAW动态图像数据及图像校正数据输入到记录单元或外部记录装置中进行记录的结构中,在图像校正数据的数据尺寸超过1帧能够发送的数据尺寸的情况下,将图像校正数据以分割成任意尺寸的方式分为多帧进行发送。
专利文献2中记载了如下内容:根据RAW动态图像数据以帧单位生成播放(显影)RAW动态图像数据时需要的显影参数(动态图像用显影参数),并将RAW动态图像数据和针对构成RAW动态图像数据的RAW图像帧的显影参数记录到记录介质中。
以往技术文献
专利文献
专利文献1:日本特开2017-163307号公报
专利文献2:日本特开2011-244423号公报
发明内容
本发明的技术所涉及的一个实施方式提供一种能够抑制显影参数等元数据的输出的延迟对显影处理的影响的动态图像摄像装置、动态图像摄像方法及动态图像摄像程序。
用于解决技术课题的手段
本发明的技术所涉及的一个实施方式的动态图像摄像装置具备:摄像部,以在时间上连续的多个帧数据的形式生成动态图像的图像数据;元数据生成部,以与上述摄像部的拍摄条件被变更时的上述帧数据建立对应关系的方式生成表示上述拍摄条件的元数据;及输出部,将上述元数据附加于上述帧数据,作为去马赛克前的动态图像数据而输出,在与上述帧数据建立有对应关系的上述元数据的数据量超过可附加的数据量的情况下,上述输出部将与上述帧数据建立有对应关系的上述元数据中根据优先度选择的元数据附加于上述帧数据。
本发明的技术所涉及的一个实施方式的动态图像摄像方法由具备以在时间上连续的多个帧数据的形式生成动态图像的图像数据的摄像部的动态图像摄像装置进行,该动态图像摄像方法包括如下步骤:以与上述摄像部的拍摄条件被变更时的上述帧数据建立对应关系的方式生成表示上述拍摄条件的元数据;及将上述元数据附加于上述帧数据,作为去马赛克前的动态图像数据而输出,在与上述帧数据建立有对应关系的上述元数据的数据量超过可附加的数据量的情况下,将与上述帧数据建立有对应关系的上述元数据中根据优先度选择的元数据附加于上述帧数据。
本发明的技术所涉及的一个实施方式的动态图像摄像程序为具备以在时间上连续的多个帧数据的形式生成动态图像的图像数据的摄像部的动态图像摄像装置的动态图像摄像程序,用于使上述动态图像摄像装置的处理器执行如下处理:以与上述摄像部的拍摄条件被变更时的上述帧数据建立对应关系的方式生成表示上述拍摄条件的元数据;及将上述元数据附加于上述帧数据,作为去马赛克前的动态图像数据而输出,在与上述帧数据建立有对应关系的上述元数据的数据量超过可附加的数据量的情况下,将与上述帧数据建立有对应关系的上述元数据中根据优先度选择的元数据附加于上述帧数据。
发明效果
根据本发明的技术所涉及的一个实施方式,能够提供一种能够抑制元数据的输出的延迟对显影处理的影响的动态图像摄像装置、动态图像摄像方法及动态图像摄像程序。
附图说明
图1是表示第1实施方式所涉及的摄像装置100的一例的图。
图2是表示由摄像控制部104生成的元数据的类别的具体例的图。
图3是表示通过第1实施方式所涉及的摄像控制部104生成元数据的一例的图。
图4是表示由第1实施方式所涉及的输出控制部110进行的输出控制的一例的图。
图5是表示由第1实施方式所涉及的摄像装置100进行的处理的一例的流程图。
图6是表示第2实施方式所涉及的元数据的即时输出标记的一例的图。
图7是表示通过第2实施方式所涉及的摄像控制部104生成元数据的一例的图。
图8是表示由第2实施方式所涉及的输出控制部110进行的输出控制的一例的图。
图9是表示由第2实施方式所涉及的摄像装置100进行的处理的一例的流程图。
图10是表示通过第3实施方式所涉及的摄像控制部104生成元数据的一例的图。
图11是表示由第3实施方式所涉及的输出控制部110进行的输出控制的一例的图。
图12是表示由第3实施方式所涉及的摄像装置100进行的处理的一例的流程图。
图13是表示由第4实施方式所涉及的输出控制部110进行的输出控制的一例的图。
图14是表示由第4实施方式所涉及的摄像装置100进行的处理的一例的流程图。
图15是表示通过第5实施方式所涉及的摄像控制部104生成元数据的一例的图。
图16是表示由第5实施方式所涉及的输出控制部110进行的输出控制的一例的图。
图17是表示第6实施方式所涉及的摄像装置100的一例的图。
具体实施方式
以下,参考附图对本发明的实施方式进行说明。
(第1实施方式)
<第1实施方式所涉及的摄像装置100>
图1是表示第1实施方式所涉及的摄像装置100的一例的图。摄像装置100为能够通过进行连续拍摄来生成动态图像的动态图像摄像装置。但是,除生成动态图像的功能以外,摄像装置100还可以具有生成静态图像的功能。
外部记录装置120设置于摄像装置100的外部,记录从摄像装置100输出的后述的RAW动态图像数据及元数据。摄像装置100的数据输出端子例如经由HDMI(High-DefinitionMultimedia Interface:高清晰度多媒体接口)等通信接口与外部记录装置120的输入端子连接。另外,HDMI为注册商标。来自摄像装置100的数据输出并不限于HDMI,也可以使用无线通信(例如,UWB(Ult ra Wide Band(超宽带))或无线HDMI-SDI(High-DefinitionMultimedia Interface-Serial Digital Interface(高清晰度多媒体接口-串行数字接口))来输出。
摄像装置100具备摄像部119、摄像控制部104、RAW校正部105、临时存储部106、去马赛克处理部107、图像校正部108、监视器109、输出控制部110及外部输出I/F111。
摄像部119通过进行连续拍摄以在时间上连续的多个帧数据的形式生成动态图像的图像数据。具体而言,摄像部119具有成像透镜系统101、成像元件102及ADC(Analog/Digital Converter(模数转换器))103。ADC103也可以内置于成像元件102。
成像透镜系统101包括用于使来自被摄体的光透射并成像于成像元件102上的透镜。并且,成像透镜系统101可以包括光圈、ND(Neutral Density(中性密度))滤波器、聚焦透镜、变焦透镜、移位透镜等。这些成像透镜系统101的可动部由摄像控制部104控制。
成像元件102将由成像透镜系统101形成的光学像转换为模拟图像信号,并向ADC103输出转换后的模拟图像信号。成像元件102例如由CMOS(Complem entary Metal-Oxide-Semiconductor(互补金属氧化物半导体))型图像传感器或CCD(Charge-CoupledDevice(电荷耦合器件))型图像传感器等成像元件构成。
并且,成像元件102具备作为用于调整曝光时间的快门的电子快门。由成像元件102进行的拍摄由摄像控制部104控制。例如,成像元件102在拍摄动态图像时在摄像控制部104的控制下在时间上连续进行拍摄,并向ADC103依次输出由此而得的模拟图像信号。
ADC103将来自成像元件102的模拟图像信号转换为数字帧数据,并向RAW校正部105输出转换后的帧数据。从ADC103连续输出的帧数据为去马赛克前的RAW动态图像数据。
摄像控制部104通过控制成像透镜系统101及成像元件102来控制由摄像部119进行的拍摄。例如,摄像控制部104根据来自使用者的指示来控制由摄像部119进行的拍摄的焦点或曝光等。并且,摄像控制部104也可以根据通过后述的去马赛克处理部107得到的去马赛克图像来自动控制由摄像部119进行的拍摄的曝光等。
并且,摄像控制部104构成生成元数据的元数据生成部,该元数据表示由成像透镜系统101及成像元件102进行的拍摄的条件。元数据在进行显影处理时使用,该显影处理中,根据RAW动态图像数据来生成去马赛克图像。元数据的具体例待留后述(例如,参考图2)。
例如,摄像控制部104以与开始由摄像部119进行的拍摄之后的最初的帧数据建立对应关系的方式生成表示开始由摄像部119进行的拍摄时的摄像部119的各拍摄条件的元数据。
以与某个帧数据建立对应关系的方式生成元数据例如是指,使后述的输出控制部110能够确定元数据与该帧数据对应。作为一例,摄像控制部104将与元数据对应的帧数据的帧编号附加于该元数据。
并且,在由摄像部119进行的拍摄的拍摄条件被变更的情况下,摄像控制部104以与刚进行该变更后的帧数据建立对应关系的方式生成表示进行该变更后的拍摄条件的元数据。另一方面,在由摄像部119进行的拍摄的拍摄条件未被变更的情况下,摄像控制部104不生成新的元数据。摄像控制部104按元数据的类别进行这种处理。
因此,在开始由摄像部119进行的拍摄时,表示该时点的摄像部119的拍摄条件的各元数据以与最初的帧数据建立对应关系的方式生成。并且,此后,仅在拍摄条件被变更时,以与该时点的帧数据建立对应关系的方式生成表示被变更的拍摄条件的元数据。摄像控制部104向临时存储部106输出生成的元数据。
RAW校正部105对从ADC103输出的帧数据(RAW动态图像数据)进行校正。由RAW校正部105进行的校正为对去马赛克处理前的RAW动态图像数据进行的校正,例如为与成像元件102的特性等对应的像素值校正、缺陷像素校正、阴影校正等。RAW校正部105向临时存储部106输出经校正的帧数据。
临时存储部106临时存储从RAW校正部105输出的帧数据和从摄像控制部104输出的元数据。例如,临时存储部106例如由RAM(Random Access Memor y(随机存取存储器))等存储器(任何种类)来实现。并且,临时存储部106可以由多个存储器来实现。例如,临时存储部106可以由存储帧数据的存储器和存储元数据的存储器来实现。
去马赛克处理部107通过对由临时存储部106存储的帧数据进行去马赛克处理来生成去马赛克动态图像,并向图像校正部108输出生成的去马赛克动态图像。经缺陷像素校正或阴影校正等的帧数据从RAW校正部105输出。该时点的各像素分别仅为各颜色R、G、B中的某一颜色。因此,从周边的像素补充其他两种颜色,使得各像素具有三种颜色的数据。例如,若为仅具有R色的像素,则不存在G和B的数据,因此通过从周边的G像素的数据补充或根据周边的G像素预测来作为该像素的G色的数据。由此,所有像素分别可具有R、G、B这三种颜色。将此称为去马赛克处理。
图像校正部108对从去马赛克处理部107输出的去马赛克动态图像进行各种图像校正,并向监视器109输出经图像校正的去马赛克动态图像。由图像校正部108进行的图像校正为对去马赛克处理后的去马赛克动态图像进行的处理,例如为周边光量衰减校正、色彩校正、轮廓强调、噪声去除、伽马校正、去拜耳处理、压缩等处理。
监视器109向使用者显示从图像校正部108输出的去马赛克动态图像。由此,使用者能够在拍摄动态图像时以实时图像的形式确认正在拍摄的动态图像。
输出控制部110及外部输出I/F111构成本发明的技术所涉及的一个实施方式的输出部。输出控制部110读取存储于临时存储部106中的帧数据及元数据,并将元数据附加于帧数据。然后,输出控制部110从外部输出I/F111向外部记录装置120输出附加有元数据的帧数据作为去马赛克前的RAW动态图像数据。
例如,输出控制部110从外部输出I/F111以影像信号的形式持续输出帧数据,同时在影像信号的消隐期间从外部输出I/F111输出元数据。即,输出控制部110控制外部输出I/F111在帧数据的输出中插入元数据的输出。由此,能够将元数据附加于帧数据中输出。
外部输出I/F111为用于与外部记录装置120进行通信的通信接口。作为一例,外部输出I/F111通过HDMI进行通信。外部输出I/F111在输出控制部110的控制下向外部记录装置120输出帧数据及元数据。
另外,摄像装置100可以具备存储去马赛克动态图像等的内部存储器。并且,摄像装置100可以具备受理来自使用者的各种操作或向使用者输出各种数据的使用者界面。
并且,摄像装置100可以具备将周边的声音转换为电信号的麦克风。在该情况下,通过麦克风得到的电信号可以转换为数字声音数据,与帧数据及元数据一并从外部输出I/F111输出至外部记录装置120,并由外部记录装置120记录。
外部记录装置120具备外部输入I/F121、记录控制部122及记录介质123。外部输入I/F121读入从摄像装置100的外部输出I/F111输出的帧数据及元数据,并向记录控制部122输出读入的帧数据及元数据。
记录控制部122进行将从外部输入I/F121输出的帧数据及元数据记录于记录介质123中的控制。记录介质123为能够进行高速写入以能够实时记录从摄像装置100连续输出的大容量的帧数据的大容量的记录介质。例如,记录介质123可以由存储卡或SSD(SolidState Drive(固态驱动器))等来实现。
并且,尽管省略图示,但外部记录装置120具有向与摄像装置100及外部记录装置120不同的外部的数据处理装置(例如,个人计算机)输出存储于记录介质123中的帧数据及元数据的外部输出I/F。由此,能够在数据处理装置中进行基于存储于记录介质123中的帧数据及元数据的显影处理。
或者,外部记录装置120也可以为具有用于进行显影处理的处理器及存储器的数据处理装置(例如,个人计算机)。在该情况下,外部记录装置120能够进行基于存储于记录介质123中的帧数据及元数据的显影处理。
<摄像装置100的硬件结构>
摄像装置100中的摄像控制部104、RAW校正部105、去马赛克处理部107、图像校正部108及输出控制部110由以与摄像装置100的存储器协作的方式动作的处理器来实现。
该处理器例如为CPU(Central Processing Unit(中央处理单元))、MP U(MicroProcessing Unit(微处理单元))、FPGA(Field Programmable Gate Array(现场可编程门阵列))、PLD(Programmable Logic Device(可编程逻辑器件))或ASIC(ApplicationSpecific Integrated Circuit(专用集成电路))等处理器。该处理器通过读取存储于存储器中的程序来执行而发挥摄像装置100中的上述处理部的功能。更具体而言,上述各种处理器的结构为组合半导体元件等电路元件而成的电路。另外,该处理器可以为相同种类或不同种类的多个处理器的组合。
存储器由RAM、ROM(Read Only Memory(只读存储器))、闪存等来实现。存储器存储由处理器执行的程序或由处理器使用的数据等。另外,该存储器可以为相同种类或不同种类的多个存储器的组合。
<由摄像控制部104生成的元数据的类别的具体例>
图2是表示由摄像控制部104生成的元数据的类别的具体例的图。摄像控制部104例如生成表示与如图2所示的黑色偏移电平、将RAW数值转换为表色系的系数、白平衡参数、透镜校正参数、颜色转换参数、伽马校正参数、噪声校正参数、时间码、拍摄日期和时间、产品名等相关的拍摄条件的元数据。
并且,这些元数据中按类别预先设定有优先度,并存储于摄像装置100的存储器中。优先度表示应优先向外部记录装置120输出的程度。
例如,元数据的每个类别的优先度设定成,元数据对显影处理的结果的影响越大,则越高,即,元数据对显影处理的结果的影响越大,则越优先输出。优先度越高的元数据越优先输出是指,关于优先度以外的条件相同的各元数据,先输出优先度高的元数据。
例如,用于显影处理中越先进行的处理的元数据对通过显影处理得到的去马赛克动态图像的画质的影响越大,因此设定的优先度高。在图2所示的例子中,对用于显影处理的黑色偏移电平设定了最高的优先度。另一方面,对不直接用于显影处理的产品名设定了最低的优先度。
另外,由摄像控制部104生成的元数据的类别并不限于图2所示的例子,可以任意设定。并且,关于优先度,也不限于图2所示的例子,可以任意设定。例如,也可以在RAW校正部105中不进行上述由RAW校正部105进行的像素值校正、缺陷像素校正、阴影校正等校正的至少一部分,而在在显影处理中进行。在该情况下,摄像控制部104生成用于进行像素值校正、缺陷像素校正、阴影校正等校正的元数据,并将其输出至临时存储部106。
<通过第1实施方式所涉及的摄像控制部104生成元数据>
图3是表示通过第1实施方式所涉及的摄像控制部104生成元数据的一例的图。图3的横轴表示时间。帧数据F1~F5为由摄像部119连续进行5次拍摄而得的各帧数据,并且为去马赛克处理前的RAW动态图像数据。
元数据M1~M13为由摄像控制部104生成的元数据。元数据M1~M7为表示开始拍摄时已被设定的各拍摄条件的数据,以与开始拍摄后的最初的帧数据F1建立对应关系的方式生成。
元数据M1为表示与在成像元件102中使用的像素数(分辨率)相关的拍摄条件的元数据。元数据M2为表示与黑色偏移电平(黑电平)相关的拍摄条件的元数据。元数据M3、M4为表示与阴影相关的拍摄条件的元数据。元数据M5、M6为表示与失真相关的拍摄条件的元数据。元数据M7为表示与白平衡(WB:White Balance)相关的拍摄条件的元数据。
在图3所示的例子中,在帧数据F1的拍摄与帧数据F2的拍摄之间未变更拍摄条件。在该情况下,摄像控制部104不生成与帧数据F2建立有对应关系的元数据。
并且,在图3所示的例子中,假设在帧数据F2的拍摄与帧数据F3的拍摄之间变更了与白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F3建立对应关系的方式生成表示与变更后的白平衡相关的拍摄条件的元数据M8(WB)。
并且,在图3所示的例子中,假设在帧数据F3的拍摄与帧数据F4的拍摄之间变更了与阴影、失真及白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F4建立对应关系的方式生成表示与变更后的阴影相关的拍摄条件的元数据M9、M10、表示与变更后的失真相关的拍摄条件的元数据M11、M12及表示与变更后的白平衡相关的拍摄条件的元数据M13。
并且,在图3所示的例子中,在帧数据F4的拍摄与帧数据F5的拍摄之间未变更拍摄条件。在该情况下,摄像控制部104不生成与帧数据F5建立有对应关系的元数据。
<由第1实施方式所涉及的输出控制部110进行的输出控制>
图4是表示由第1实施方式所涉及的输出控制部110进行的输出控制的一例的图。在图3所示的生成元数据的例子中,输出控制部110例如如图4所示输出帧数据及元数据。
在该例子中,将一个元数据的数据量设为28[byte],并将能够附加于一个帧数据而从外部输出I/F111输出的元数据的容量设为28×4[byte]。即,设为能够对一个帧数据附加4个元数据来输出。另外,例如,能够在HDMI中存储元数据的包容器由硬件在消隐期间插入,因此容量的上限是被确定的,与该例子相同地存在28×4[byte]/帧等限制。
与帧数据F1建立有对应关系的元数据的数量为元数据M1~M7这7个,超过能够附加于帧数据F1的元数据的数量(4个)。即,与帧数据F1建立有对应关系的元数据的数据量为28×7[byte],超过能够附加于帧数据F1的数据量(28×4[byte])。
在该情况下,输出控制部110将与帧数据F1建立有对应关系的元数据M1~M7中根据元数据M1~M7的优先度选择的元数据附加于帧数据F1,并从外部输出I/F111输出至外部记录装置120。在该例子中,优先度以分辨率、黑电平、阴影、失真、白平衡的顺序高。在该情况下,输出控制部110将元数据M1~M7中以优先度高的顺序选择的4个元数据M1~M4附加于帧数据F1,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将未附加于帧数据F1的元数据M5~M7附加于帧数据F1的下一个帧数据F2,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将与帧数据F3建立有对应关系的元数据M8附加于帧数据F3,并从外部输出I/F111输出至外部记录装置120。
与帧数据F4建立有对应关系的元数据的数量为元数据M9~M13这5个,超过能够附加于帧数据F4的元数据的数量(4个)。在该情况下,输出控制部110将元数据M9~M13中以优先度高的顺序选择的4个元数据M9~M12附加于帧数据F4,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将未附加于帧数据F4的元数据M13附加于帧数据F4的下一个帧数据F5,并从外部输出I/F111输出至外部记录装置120。
<显影处理的具体例>
对图4所示的例子中的显影处理进行说明。在图4所示的例子中,帧数据F1的与分辨率、黑电平及阴影相关的显影处理使用附加于帧数据F1的元数据M1~M4来进行。另外,由于不存在可适用于帧数据F1的与失真及白平衡相关的元数据,因此例如关于失真及白平衡,使用预先设定的元数据来进行帧数据F1的显影处理。
帧数据F2的与失真及白平衡相关的显影处理使用附加于帧数据F2的元数据M5~M7来进行。并且,帧数据F2的与分辨率、黑电平及阴影相关的显影处理使用元数据M1~M4来进行。
帧数据F3的与白平衡相关的显影处理使用附加于帧数据F3的元数据M8来进行。并且,帧数据F3的与分辨率、黑电平、阴影及失真相关的显影处理使用元数据M1~M6来进行。
帧数据F4的与阴影及失真相关的显影处理使用附加于帧数据F4的元数据M9~M12来进行。并且,帧数据F4的与分辨率、黑电平及白平衡相关的显影处理使用元数据M1、M2、M8来进行。
帧数据F5的与白平衡相关的显影处理使用附加于帧数据F5的元数据M13来进行。并且,帧数据F5的与分辨率、黑电平、阴影及失真相关的显影处理使用元数据M1、M2、M9~M12来进行。
<由第1实施方式所涉及的摄像装置100进行的处理>
图5是表示由第1实施方式所涉及的摄像装置100进行的处理的一例的流程图。第1实施方式所涉及的摄像装置100例如执行图5所示的处理。图5所示的处理例如由实现摄像控制部104或输出控制部110的处理器执行。
首先,摄像装置100控制摄像部119开始动态图像的拍摄(步骤S51)。接着,摄像装置100将n设定为1,待机至由摄像部119进行第n次拍摄(步骤S52)。n表示当前要处理的帧的编号。
接着,摄像装置100以与第n个帧数据建立对应关系的方式生成表示在第n-1次拍摄至第n次拍摄中被变更的拍摄条件的元数据(步骤S53)。但是,在步骤S53中n=1的情况下,摄像装置100针对所有拍摄条件以与第n个帧数据建立对应关系的方式生成元数据。并且,在步骤S53中,在第n-1次拍摄至第n次拍摄中拍摄条件均未被变更的情况下,摄像装置100不生成元数据。
接着,摄像装置100在能够附加于一个帧数据的范围内选择附加于第n个帧数据而输出的元数据(步骤S54)。在步骤S54中,摄像装置100以与第n-1个以前的帧数据建立有对应关系的未输出的元数据(上一帧的未输出的元数据)、与第n个帧数据建立有对应关系的元数据中优先度高的元数据的优先顺序进行选择。
即,若存在与第n-1个以前的帧数据建立有对应关系的未输出的元数据,则摄像装置100选择该元数据,进而,若存在空缺,则摄像装置100选择与第n个帧数据建立有对应关系的元数据中优先度高的元数据。另外,在存在超过能够附加于一个帧数据的范围的与第n-1个以前的帧数据建立有对应关系的未输出的元数据的情况下,摄像装置100从该未输出的元数据中选择优先度高的元数据。另外,还存在拍摄条件未变更的状态持续的情况等在步骤S54中不存在要选择的元数据的情况,在该情况下,摄像装置100不进行元数据的选择。
接着,摄像装置100将通过步骤S54选择的元数据附加于第n个帧数据(步骤S55)。另外,在步骤S54中不存在要选择的元数据的情况下,摄像装置100不进行元数据的附加。
接着,摄像装置100从外部输出I/F111向外部记录装置120输出通过步骤S55附加了元数据的第n个帧数据(步骤S56)。另外,在步骤S55中未进行元数据的附加的情况下,摄像装置100从外部输出I/F111向外部记录装置120输出未附加元数据的状态的第n个帧数据。
接着,摄像装置100对n加1(n=n+1),并待机至由摄像部119进行的第n次拍摄(步骤S57),并返回到步骤S53。
如此,第1实施方式的摄像装置100向外部的外部记录装置120输出去马赛克前的帧数据(RAW动态图像数据)。由此,即使摄像装置100不具有高速且大容量的记录介质,也能够记录数据速率高的RAW动态图像数据。并且,摄像装置100通过与帧数据一并向外部记录装置120还输出元数据,能够轻易地进行基于存储于外部记录装置120中的帧数据及元数据的显影处理。
并且,摄像装置100以与摄像部119的拍摄条件被变更时的帧数据建立对应关系的方式生成表示该拍摄条件的元数据,并将生成的元数据附加于帧数据而输出,作为去马赛克前的动态图像数据。由此,相较于例如即使拍摄条件未变更也针对每个帧数据输出所有元数据的结构,能够减少输出的元数据的数据量。
因此,例如能够以帧数据的消隐期间等的有限的通信容量输出元数据。并且,无需增加消隐期间的通信容量,因此能够抑制帧速率因消隐期间的通信容量的增加而发生变化或无法满足连接兼容规格的问题。
并且,在与帧数据建立有对应关系的元数据的数据量超过能够附加于该帧数据的数据量的情况下,摄像装置100将与该帧数据建立有对应关系的元数据中根据基于元数据的类别的优先度选择的元数据附加于该帧数据。由此,能够优先输出用于显影处理的类别的元数据。因此,即使不针对每个帧数据输出所有元数据,也能够抑制对显影处理的结果的影响。
例如,在开始拍摄时,生成各拍摄条件的元数据。并且,例如,若变更变焦透镜的焦点,则生成大量的新的透镜校正用元数据。在这些情况下,有时会无法以一个帧数据输出生成的元数据,但根据摄像装置100,通过优先输出用于显影处理的类别的元数据,能够抑制对显影处理的结果(例如,去马赛克动态图像的画质)的影响。
并且,摄像装置100将与所输出的第2帧数据建立有对应关系的元数据和未附加于该第2帧数据之前的第1帧数据的元数据中未附加于第1帧数据的元数据优先附加于第2帧数据。由此,能够优先输出输出被延迟的元数据,从而抑制元数据的输出的延迟对显影处理的结果的影响。
(第2实施方式)
关于第2实施方式,对与第1实施方式不同的部分进行说明。
<第2实施方式所涉及的元数据的即时输出标记>
图6是表示第2实施方式所涉及的元数据的即时输出标记的一例的图。如图6所示,各元数据可以按类别设定有即时输出标记。即时输出标记表示应将元数据附加于与该元数据建立有对应关系的帧数据而输出(即,即时输出)。
设定即时输出标记的元数据的类别数量例如被确定为能够将设定有即时输出标记的所有元数据附加于一个帧数据。由此,至少能够将设定有即时输出标记的类别的元数据附加于与该元数据建立有对应关系的帧数据而无延迟地输出。
在图6所示的例子中,即时输出标记仅设定于表示与黑色偏移电平、将RA W数值转换为表色系的系数及白平衡参数相关的拍摄条件的三种元数据。
<通过第2实施方式所涉及的摄像控制部104生成元数据>
图7是表示通过第2实施方式所涉及的摄像控制部104生成元数据的一例的图。在图7中,对与图3所示的部分相同的部分标注相同的符号,并省略说明。
元数据M1~M15为由摄像控制部104生成的元数据。元数据M1~M7为表示开始拍摄时已被设定的各拍摄条件的数据,以与开始拍摄后的最初的帧数据F1建立对应关系的方式生成。
在图7所示的例子中,假设在帧数据F1的拍摄与帧数据F2的拍摄之间变更了与黑色偏移电平及白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F2建立对应关系的方式生成表示与变更后的黑色偏移电平相关的拍摄条件的元数据M8(黑电平)和表示与变更后的白平衡相关的拍摄条件的元数据M9(WB)。
并且,在图7所示的例子中,假设在帧数据F2的拍摄与帧数据F3的拍摄之间变更了与白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F3建立对应关系的方式生成表示与变更后的白平衡相关的拍摄条件的元数据M10(WB)。
并且,在图7所示的例子中,假设在帧数据F3的拍摄与帧数据F4的拍摄之间变更了与阴影及失真相关的拍摄条件。在该情况下,摄像控制部104以帧数据F4建立对应关系的方式生成表示与变更后的阴影相关的拍摄条件的元数据M11、M12和表示与变更后的失真相关的拍摄条件的元数据M13、M14。
并且,在图7所示的例子中,在帧数据F4的拍摄与帧数据F5的拍摄之间未变更拍摄条件。在该情况下,摄像控制部104不生成与帧数据F5建立有对应关系的元数据。
<由第2实施方式所涉及的输出控制部110进行的输出控制>
图8是表示由第2实施方式所涉及的输出控制部110进行的输出控制的一例的图。在图7所示的生成元数据的例子中,输出控制部110例如如图8所示输出帧数据及元数据。在图8中,用粗线圈住的元数据为设定有上述即时输出标记的类别的元数据。
与帧数据F1建立有对应关系的元数据的数量为元数据M1~M7这7个,超过能够附加于帧数据F1的元数据的数量(4个)。在该例子中,摄像装置100首先选择设定有即时输出标记的元数据M2、M7,接着以优先度高的顺序选择元数据M1、M3。即,摄像装置100将元数据M1~M3、M7附加于帧数据F1,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110从与帧数据F1建立有对应关系但未附加于帧数据F1的元数据M4~M6和与帧数据F2建立有对应关系的元数据M8、M9中选择附加于帧数据F2而输出的元数据。此时,输出控制部110首先选择设定有即时输出标记的元数据M8、M9,接着以优先度高的顺序选择元数据M4、M5。即,摄像装置100将元数据M4、M5、M8、M9附加于帧数据F2,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将与帧数据F2建立有对应关系但未附加于帧数据F2的元数据M6和与帧数据F3建立有对应关系的元数据M10附加于帧数据F3,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将与帧数据F4建立有对应关系的元数据M11~M14附加于帧数据F4,并从外部输出I/F111输出至外部记录装置120。并且,输出控制部110不附加元数据而将帧数据F5从外部输出I/F111输出至外部记录装置120。
<由第2实施方式所涉及的摄像装置100进行的处理>
图9是表示由第2实施方式所涉及的摄像装置100进行的处理的一例的流程图。第2实施方式所涉及的摄像装置100例如执行图9所示的处理。图9所示的处理例如由实现摄像控制部104或输出控制部110的处理器执行。
图9所示的步骤S91~S97与图5所示的步骤S51~S57相同。但是,在步骤S94中,摄像装置100以带即时输出标记的元数据、与第n-1个以前的帧数据建立有对应关系的未输出的元数据(上一帧的未输出的元数据)、与第n个帧数据建立有对应关系的元数据中优先度高的元数据的优先顺序进行选择。即,在存在与第n个帧数据建立有对应关系且设定有即时输出标记的元数据的情况下,摄像装置100最优先选择该元数据。
如此,第2实施方式的输出控制部110通过比输出被延迟的元数据先输出设定有即时输出标记的类别的元数据,能够在显影处理中防止重要的元数据的输出被延迟。
(第3实施方式)
关于第3实施方式,对与第1实施方式和第2实施方式不同的部分进行说明。
<通过第3实施方式所涉及的摄像控制部104生成元数据>
图10是表示通过第3实施方式所涉及的摄像控制部104生成元数据的一例的图。在图10中,对与图3所示的部分相同的部分标注相同的符号,并省略说明。
元数据M1~M14为由摄像控制部104生成的元数据。元数据M1~M7为表示开始拍摄时已被设定的各拍摄条件的数据,以与开始拍摄后的最初的帧数据F1建立对应关系的方式生成。
在图10所示的例子中,假设在帧数据F1的拍摄与帧数据F2的拍摄之间变更了与白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F2建立对应关系的方式生成表示与变更后的白平衡相关的拍摄条件的元数据M8(WB)。
并且,在图10所示的例子中,假设在帧数据F2的拍摄与帧数据F3的拍摄之间变更了与白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F3建立对应关系的方式生成表示与变更后的白平衡相关的拍摄条件的元数据M9(WB)。
并且,在图10所示的例子中,假设在帧数据F3的拍摄与帧数据F4的拍摄之间变更了与阴影、失真及白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F4建立对应关系的方式生成表示与变更后的阴影相关的拍摄条件的元数据M10、M11、表示与变更后的失真相关的拍摄条件的元数据M12、M13及表示与变更后的白平衡相关的拍摄条件的元数据M14。
并且,在图10所示的例子中,在帧数据F4的拍摄与帧数据F5的拍摄之间未变更拍摄条件。在该情况下,摄像控制部104不生成与帧数据F5建立有对应关系的元数据。
<由第3实施方式所涉及的输出控制部110进行的输出控制>
图11是表示由第3实施方式所涉及的输出控制部110进行的输出控制的一例的图。在图10所示的生成元数据的例子中,输出控制部110例如如图11所示输出帧数据及元数据。
与帧数据F1建立有对应关系的元数据的数量为元数据M1~M7这7个,超过能够附加于帧数据F1的元数据的数量(4个)。在该情况下,与图4所示的例子相同地,输出控制部110将从元数据M1~M7中以优先度高的顺序选择的4个元数据M1~M4附加于帧数据F1,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将与元数据M7相同的表示与白平衡相关的拍摄条件的元数据M8与帧数据F1的下一个帧数据F2建立了对应关系,因此废弃未附加于帧数据F1的元数据M7。并且,输出控制部110将未附加于帧数据F1的元数据M5、M6和与帧数据F2建立有对应关系的元数据M8附加于帧数据F2,并从外部输出I/F111输出至外部记录装置120。
换言之,与帧数据F1建立有对应关系但未附加于帧数据F1的元数据M7成为附加于帧数据F2而输出的元数据的候选,但在存在与帧数据F2建立有对应关系的相同类别的元数据M8的情况下,将元数据M8覆盖到元数据M7上附加于帧数据F2而输出。
并且,输出控制部110将与帧数据F3建立有对应关系的元数据M9附加于帧数据F3,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将从与帧数据F4建立有对应关系的元数据M10~M14中以优先度高的顺序选择的4个元数据M10~M13附加于帧数据F4,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将未附加于帧数据F4的元数据M14附加于帧数据F4的下一个帧数据F5,并从外部输出I/F111输出至外部记录装置120。
<由第3实施方式所涉及的摄像装置100进行的处理>
图12是表示由第3实施方式所涉及的摄像装置100进行的处理的一例的流程图。第3实施方式所涉及的摄像装置100例如执行图12所示的处理。图12所示的处理例如由实现摄像控制部104或输出控制部110的处理器执行。
图12所示的步骤S121~S123与图5所示的步骤S51~S53相同。紧接着步骤S123,在存在与通过步骤S123生成的元数据相同类别的与第n-1次以前的帧数据建立有对应关系的未输出的元数据(上一帧的未输出的元数据)时,摄像装置100废弃该上一帧的未输出的元数据(步骤S124),并进入步骤S125。
图12所示的步骤S125~S128与图5所示的步骤S54~S57相同。在步骤S125中,通过步骤S124废弃的元数据不成为选择对象。
如此,在与第1帧数据建立有对应关系的元数据中未附加于第1帧数据的元数据所表示的拍摄条件在拍摄第1帧数据之后的第2帧数据时被变更的情况下,第3实施方式的输出控制部110将该变更前后的元数据中表示变更后的拍摄条件的元数据附加于第2帧数据。由此,能够防止输出被延迟的元数据中拍摄条件被变更而不再用于显影的元数据被输出,从而提高输出效率。
(第4实施方式)
关于第4实施方式,对与第1实施方式~第3实施方式不同的部分进行说明。
<由第4实施方式所涉及的输出控制部110进行的输出控制>
图13是表示由第4实施方式所涉及的输出控制部110进行的输出控制的一例的图。在图3所示的生成元数据的例子中,第4实施方式所涉及的输出控制部110例如图13所示输出帧数据及元数据。除将延迟数据附加于延迟输出的元数据这一点以外,图13所示的输出控制的例子与图4所示的输出控制的例子相同。
具体而言,输出控制部110对原本与帧数据F1对应但附加于帧数据F2而输出(即,延迟输出)的元数据M5、M6附加能够确定元数据M5、M6原本所对应的帧数据F1的延迟数据。由此,能够在显影处理中确定元数据M5、M6为应从帧数据F1中适用的数据,因此即使元数据M5、M6的输出被延迟,也能够抑制对显影处理的结果的影响。
在图13所示的例子中,附加于元数据M5、M6的延迟数据为表示附加元数据M5、M6的帧数据F2相对于元数据M5、M6原本所对应的帧数据F1延迟了1帧的数据(延迟1)。由此,能够抑制延迟数据的数据量增加。但是,附加于元数据M5、M6的延迟数据也可以为元数据M5、M6原本所对应的帧数据F1的帧编号等。
同样地,输出控制部110对原本与帧数据F4对应但附加于帧数据F5而输出(即,延迟输出)的元数据M13附加能够确定元数据M13原本所对应的帧数据F4的延迟数据。
由此,能够在显影处理中确定元数据M13为应从帧数据F4中适用的数据,因此即使元数据M13的输出被延迟,也能够抑制对显影处理的结果的影响。
<使用延迟数据的显影处理的例子>
帧数据F1的与失真及白平衡相关的显影处理使用附加于帧数据F2的元数据M5~M7来进行。并且,帧数据F4的与白平衡相关的显影处理使用附加于帧数据F5的元数据M13来进行。其他显影处理与图4所示的输出控制的例子中的显影处理相同。
<由第4实施方式所涉及的摄像装置100进行的处理>
图14是表示由第4实施方式所涉及的摄像装置100进行的处理的一例的流程图。第4实施方式所涉及的摄像装置100例如执行图14所示的处理。图14所示的处理例如由实现摄像控制部104或输出控制部110的处理器执行。
图14所示的步骤S141~S144与图5所示的步骤S51~S54相同。紧接着步骤S144,在通过步骤S144选择的元数据中存在被延迟的元数据(上一帧的未输出的元数据)的情况下,摄像装置100将能够确定该元数据所对应的帧数据的延迟数据附加于该元数据(步骤S145)。图14所示的步骤S146~S148与图5所示的步骤S55~S57相同。
如此,在将与第1帧数据建立有对应关系的元数据中未附加于第1帧数据的元数据附加于第1帧数据之后的第2帧数据时,第4实施方式的输出控制部110将能够确定第1帧数据的数据附加于第2帧数据(例如,附加于第2帧数据的元数据)。由此,即使元数据的输出被延迟,也能够在进行显影处理时追溯到上一个帧数据适用元数据,因此能够抑制对显影处理的结果的影响。另外,在第4实施方式中,在选择附加于帧数据的元数据时,也可以不使用优先度。
(第5实施方式)
关于第5实施方式,对与第1实施方式~第4实施方式不同的部分进行说明。
在第5实施方式中,摄像部119能够仅按多帧变更拍摄的拍摄条件。
<通过第5实施方式所涉及的摄像控制部104生成元数据>
图15是表示通过第5实施方式所涉及的摄像控制部104生成元数据的一例的图。在图15中,对与图3所示的部分相同的部分标注相同的符号,并省略说明。
元数据M1~M13为由摄像控制部104生成的元数据。摄像控制部104根据通过去马赛克处理部107得到的去马赛克图像或来自使用者的指示来变更由摄像部119进行的拍摄的条件,但在图15所示的例子中,能够在第奇数次拍摄中变更拍摄条件,而无法在第偶数次拍摄中变更拍摄条件。例如,即使在帧数据F1与帧数据F2之间受理到变更拍摄条件的操作,摄像控制部104也不会在帧数据F2的拍摄中适用该变更,并从帧数据F3的拍摄开始适用。
因此,新的元数据以仅与第奇数次帧数据建立对应关系的方式生成。在图15所示的例子中,以与帧数据F1、F3、F5建立对应关系的方式生成了元数据,但未生成与帧数据F2、F4建立有对应关系的元数据。
元数据M1~M7为表示开始拍摄时已被设定的各拍摄条件的数据,以与开始拍摄后的最初的帧数据F1建立对应关系的方式生成。
并且,在图15所示的例子中,假设在帧数据F2的拍摄与帧数据F3的拍摄之间变更了与阴影、失真及白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F3建立对应关系的方式生成表示与变更后的阴影相关的拍摄条件的元数据M8、M9、表示与变更后的失真相关的拍摄条件的元数据M10、M11及表示与变更后的白平衡相关的拍摄条件的元数据M12。
并且,在图15所示的例子中,假设在帧数据F4的拍摄与帧数据F5的拍摄之间变更了与白平衡相关的拍摄条件。在该情况下,摄像控制部104以与帧数据F5建立对应关系的方式生成表示与变更后的白平衡相关的拍摄条件的元数据M13。
<通过第5实施方式所涉及的摄像控制部104生成元数据>
图16是表示由第5实施方式所涉及的输出控制部110进行的输出控制的一例的图。在图16中,对与图4所示的部分相同的部分标注相同的符号,并省略说明。
与帧数据F1建立有对应关系的元数据的数量为元数据M1~M7这7个,超过能够附加于帧数据F1的元数据的数量(4个)。在该情况下,与图4所示的例子相同地,输出控制部110将从元数据M1~M7中以优先度高的顺序选择的4个元数据M1~M4附加于帧数据F1,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将未附加于帧数据F1的元数据M5~M7附加于帧数据F1的下一个帧数据F2,并从外部输出I/F111输出至外部记录装置120。
并且,与帧数据F3建立有对应关系的元数据的数量为元数据M8~M12这5个,超过能够附加于帧数据F3的元数据的数量(4个)。在该情况下,输出控制部110将元数据M8~M12中以优先度高的顺序选择的4个元数据M8~M11附加于帧数据F3,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将未附加于帧数据F3的元数据M12附加于帧数据F3的下一个帧数据F4,并从外部输出I/F111输出至外部记录装置120。
并且,输出控制部110将与帧数据F5建立有对应关系的元数据M13附加于帧数据F5,并从外部输出I/F111输出至外部记录装置120。
如此,第5实施方式所涉及的摄像装置100能够仅按多帧变更摄像部119中的拍摄的拍摄条件。由此,元数据的生成频度减少,即使帧数据的消隐期间等的通信容量小,也能够输出元数据。并且,能够进行考虑到拍摄条件在特定的帧数据中不变更的情况的显影处理。因此,能够抑制元数据的输出的延迟对显影处理的结果的影响。
例如,在图16所示的例子中,可知附加于拍摄条件未变更的帧数据F2的元数据M5~M7表示适用于上一个帧数据F1的拍摄条件,因此从帧数据F1的显影处理中适用。并且,可知附加于拍摄条件未变更的帧数据F4的元数据M12表示适用于上一个帧数据F3的拍摄条件,因此从帧数据F3的显影处理中适用。
(第6实施方式)
关于第6实施方式,对与第1实施方式~第5实施方式不同的部分进行说明。对向摄像装置100的外部的外部记录装置120输出存储于摄像装置100的临时存储部106中的帧数据(RAW动态图像数据)及元数据的结构进行了说明,但并不限于这种结构。
<第6实施方式所涉及的摄像装置100>
图17是表示第6实施方式所涉及的摄像装置100的一例的图。在图17中,对与图1所示的部分相同的部分标注相同的符号,并省略说明。
第6实施方式所涉及的摄像装置100代替图1所示的外部输出I/F111而具备内部输出I/F124、内部输入I/F125、记录控制部122及记录介质123。
内部输出I/F124为与图1所示的外部输出I/F111相同的HDMI等接口,但其与外部输出I/F111的不同点在于,与摄像装置100的内部的内部输入I/F125进行通信。内部输入I/F125为与图1所示的外部记录装置120的外部输入I/F121相同的HDMI等接口,但其与外部输入I/F121的不同点在于,设置于摄像装置100的内部。
图17所示的记录控制部122及记录介质123为与图1所示的记录控制部122及记录介质123相同的结构,但设置于摄像装置100的内部。即,图17所示的摄像装置100内置有高速且大容量的记录介质123,并且使用摄像装置100的内部的HDMI等接口向记录介质123输出帧数据(RAW动态图像数据)及元数据。
在这种结构中,也与图1所示的摄像装置100相同地,以与摄像部119的拍摄条件被变更时的帧数据建立对应关系的方式生成表示该拍摄条件的元数据,并将生成的元数据附加于帧数据,作为去马赛克前的动态图像数据而输出。由此,能够减少所输出的元数据的数据量。
因此,例如能够以帧数据的消隐期间等的有限的通信容量输出元数据。并且,无需增加消隐期间的通信容量,因此能够抑制帧速率因消隐期间的通信容量的增加而发生变化或无法满足连接兼容规格的问题。
并且,在与帧数据建立有对应关系的元数据的数据量超过能够附加于该帧数据的数据量的情况下,摄像装置100将与该帧数据建立有对应关系的元数据中根据基于元数据的类别的优先度选择的元数据附加于该帧数据。由此,能够优先输出用于显影处理的类别的元数据。因此,即使不针对每个帧数据输出所有元数据,也能够抑制对显影处理的结果的影响。
(各实施方式的组合)
上述各实施方式也可以通过进行组合来实现。例如,可以在第6实施方式所涉及的摄像装置100的结构中实现与第2实施方式~第5实施方式相同的处理。
(变形例)
在上述各实施方式中,对尽可能在所处时点将元数据附加于各帧数据的处理进行了说明,但并不限于这种处理。例如,在图4所示的例子中,摄像装置100也可以仅将三个元数据M1~M3附加于帧数据F1,并将元数据M4~M7附加于帧数据F2。
如上所述,本说明书中至少记载有以下事项。
(1)一种动态图像摄像装置,其具备:
摄像部,以在时间上连续的多个帧数据的形式生成动态图像的图像数据;
元数据生成部,以与上述摄像部的拍摄条件被变更时的上述帧数据建立对应关系的方式生成表示上述拍摄条件的元数据;及
输出部,将上述元数据附加于上述帧数据,作为去马赛克前的动态图像数据而输出,
在与上述帧数据建立有对应关系的上述元数据的数据量超过可附加的数据量的情况下,上述输出部将与上述帧数据建立有对应关系的上述元数据中根据优先度选择的元数据附加于上述帧数据。
(2)根据(1)所述的动态图像摄像装置,其中,
上述优先度为基于上述元数据的类别的优先度。
(3)根据(1)或(2)所述的动态图像摄像装置,其中,
上述元数据生成部以与开始由上述摄像部进行的拍摄后的最初的上述帧数据建立对应关系的方式生成表示开始上述拍摄时的上述摄像部的拍摄条件的元数据。
(4)根据(1)至(3)中任一项所述的动态图像摄像装置,其中,
上述输出部将与由上述摄像部生成的第1帧数据建立有对应关系的元数据中未附加于上述第1帧数据的元数据附加于上述第1帧数据之后的第2帧数据。
(5)根据(4)所述的动态图像摄像装置,其中,
上述输出部将与上述第2帧数据建立有对应关系的元数据和未附加于上述第1帧数据的元数据中未附加于上述第1帧数据的元数据优先附加于上述第2帧数据。
(6)根据(4)或(5)所述的动态图像摄像装置,其中,
在与上述第1帧数据建立有对应关系的上述元数据中未附加于上述第1帧数据的元数据所表示的上述摄像部的拍摄条件在拍摄上述第2帧数据时被变更的情况下,上述输出部将表示上述变更前后的上述拍摄条件的元数据中表示上述变更后的拍摄条件的元数据附加于上述第2帧数据。
(7)根据(4)至(6)中任一项所述的动态图像摄像装置,其中,
在将与上述第1帧数据建立有对应关系的上述元数据中未附加于上述第1帧数据的元数据附加于上述第2帧数据时,上述输出部将能够确定上述第1帧数据的数据附加于上述第2帧数据。
(8)根据(1)至(7)中任一项所述的动态图像摄像装置,其中,
上述摄像部能够按多帧变更上述拍摄条件。
(9)一种动态图像摄像方法,其由具备以在时间上连续的多个帧数据的形式生成动态图像的图像数据的摄像部的动态图像摄像装置进行,该动态图像摄像方法包括如下步骤:
以与上述摄像部的拍摄条件被变更时的上述帧数据建立对应关系的方式生成表示上述拍摄条件的元数据;及
将上述元数据附加于上述帧数据,作为去马赛克前的动态图像数据而输出,在与上述帧数据建立有对应关系的上述元数据的数据量超过可附加的数据量的情况下,将与上述帧数据建立有对应关系的上述元数据中根据优先度选择的元数据附加于上述帧数据。
(10)根据(9)所述的动态图像摄像方法,其中,
上述优先度为基于上述元数据的类别的优先度。
(11)根据(9)或(10)所述的动态图像摄像方法,其中,
以与开始由上述摄像部进行的拍摄后的最初的上述帧数据建立对应关系的方式生成表示开始上述拍摄时的上述摄像部的拍摄条件的元数据。
(12)根据(9)至(11)中任一项所述的动态图像摄像方法,其中,
将与由上述摄像部生成的第1帧数据建立有对应关系的元数据中未附加于上述第1帧数据的元数据附加于上述第1帧数据之后的第2帧数据。
(13)根据(12)所述的动态图像摄像方法,其中,
将与上述第2帧数据建立有对应关系的元数据和未附加于上述第1帧数据的元数据中未附加于上述第1帧数据的元数据优先附加于上述第2帧数据。
(14)根据(12)或(13)所述的动态图像摄像方法,其中,
在与上述第1帧数据建立有对应关系的上述元数据中未附加于上述第1帧数据的元数据所表示的上述摄像部的拍摄条件在拍摄上述第2帧数据时被变更的情况下,将表示上述变更前后的上述拍摄条件的元数据中表示上述变更后的拍摄条件的元数据附加于上述第2帧数据。
(15)根据(12)至(14)中任一项所述的动态图像摄像方法,其中,
在将与上述第1帧数据建立有对应关系的上述元数据中未附加于上述第1帧数据的元数据附加于上述第2帧数据时,将能够确定上述第1帧数据的数据附加于上述第2帧数据。
(16)根据(9)至(15)中任一项所述的动态图像摄像方法,其中,
上述摄像部能够按多帧变更上述拍摄条件。
(17)一种动态图像摄像程序,其为具备以在时间上连续的多个帧数据的形式生成动态图像的图像数据的摄像部的动态图像摄像装置的动态图像摄像程序,用于使上述动态图像摄像装置的处理器执行如下处理:
以与上述摄像部的拍摄条件被变更时的上述帧数据建立对应关系的方式生成表示上述拍摄条件的元数据;及
将上述元数据附加于上述帧数据,作为去马赛克前的动态图像数据而输出,在与上述帧数据建立有对应关系的上述元数据的数据量超过可附加的数据量的情况下,将与上述帧数据建立有对应关系的上述元数据中根据优先度选择的元数据附加于上述帧数据。
符号说明
100-摄像装置,101-成像透镜系统,102-成像元件,103-ADC,104-摄像控制部,105-RAW校正部,106-临时存储部,107-去马赛克处理部,108-图像校正部,109-监视器,110-输出控制部,111-外部输出I/F,119-摄像部,120-外部记录装置,121-外部输入I/F,122-记录控制部,123-记录介质,124-内部输出I/F,125-内部输入I/F,F1~F5-帧数据,M1~M15-元数据。

Claims (17)

1.一种动态图像摄像装置,其具备:
摄像部,以在时间上连续的多个帧数据的形式生成动态图像的图像数据;
元数据生成部,以与所述摄像部的拍摄条件被变更时的所述帧数据建立对应关系的方式生成表示所述拍摄条件的元数据;及
输出部,将所述元数据附加于所述帧数据,作为去马赛克前的动态图像数据而输出,
在与所述帧数据建立有对应关系的所述元数据的数据量超过可附加的数据量的情况下,所述输出部将与所述帧数据建立有对应关系的所述元数据中根据优先度选择的元数据附加于所述帧数据。
2.根据权利要求1所述的动态图像摄像装置,其中,
所述优先度为基于所述元数据的类别的优先度。
3.根据权利要求1或2所述的动态图像摄像装置,其中,
所述元数据生成部以与开始由所述摄像部进行的拍摄后的最初的所述帧数据建立对应关系的方式生成表示开始所述拍摄时的所述摄像部的拍摄条件的元数据。
4.根据权利要求1至3中任一项所述的动态图像摄像装置,其中,
所述输出部将与由所述摄像部生成的第1帧数据建立有对应关系的元数据中未附加于所述第1帧数据的元数据附加于所述第1帧数据之后的第2帧数据。
5.根据权利要求4所述的动态图像摄像装置,其中,
所述输出部将与所述第2帧数据建立有对应关系的元数据和未附加于所述第1帧数据的元数据中未附加于所述第1帧数据的元数据优先附加于所述第2帧数据。
6.根据权利要求4或5所述的动态图像摄像装置,其中,
在与所述第1帧数据建立有对应关系的所述元数据中未附加于所述第1帧数据的元数据所表示的所述摄像部的拍摄条件在拍摄所述第2帧数据时被变更的情况下,所述输出部将表示所述变更前后的所述拍摄条件的元数据中表示所述变更后的拍摄条件的元数据附加于所述第2帧数据。
7.根据权利要求4至6中任一项所述的动态图像摄像装置,其中,
在将与所述第1帧数据建立有对应关系的所述元数据中未附加于所述第1帧数据的元数据附加于所述第2帧数据时,所述输出部将能够确定所述第1帧数据的数据附加于所述第2帧数据。
8.根据权利要求1至7中任一项所述的动态图像摄像装置,其中,
所述摄像部能够按多帧变更所述拍摄条件。
9.一种动态图像摄像方法,其由具备以在时间上连续的多个帧数据的形式生成动态图像的图像数据的摄像部的动态图像摄像装置进行,所述动态图像摄像方法包括如下步骤:
以与所述摄像部的拍摄条件被变更时的所述帧数据建立对应关系的方式生成表示所述拍摄条件的元数据;及
将所述元数据附加于所述帧数据,作为去马赛克前的动态图像数据而输出,在与所述帧数据建立有对应关系的所述元数据的数据量超过可附加的数据量的情况下,将与所述帧数据建立有对应关系的所述元数据中根据优先度选择的元数据附加于所述帧数据。
10.根据权利要求9所述的动态图像摄像方法,其中,
所述优先度为基于所述元数据的类别的优先度。
11.根据权利要求9或10所述的动态图像摄像方法,其中,
以与开始由所述摄像部进行的拍摄后的最初的所述帧数据建立对应关系的方式生成表示开始所述拍摄时的所述摄像部的拍摄条件的元数据。
12.根据权利要求9至11中任一项所述的动态图像摄像方法,其中,
将与由所述摄像部生成的第1帧数据建立有对应关系的元数据中未附加于所述第1帧数据的元数据附加于所述第1帧数据之后的第2帧数据。
13.根据权利要求12所述的动态图像摄像方法,其中,
将与所述第2帧数据建立有对应关系的元数据和未附加于所述第1帧数据的元数据中未附加于所述第1帧数据的元数据优先附加于所述第2帧数据。
14.根据权利要求12或13所述的动态图像摄像方法,其中,
在与所述第1帧数据建立有对应关系的所述元数据中未附加于所述第1帧数据的元数据所表示的所述摄像部的拍摄条件在拍摄所述第2帧数据时被变更的情况下,将表示所述变更前后的所述拍摄条件的元数据中表示所述变更后的拍摄条件的元数据附加于所述第2帧数据。
15.根据权利要求12至14中任一项所述的动态图像摄像方法,其中,
在将与所述第1帧数据建立有对应关系的所述元数据中未附加于所述第1帧数据的元数据附加于所述第2帧数据时,将能够确定所述第1帧数据的数据附加于所述第2帧数据。
16.根据权利要求9至15中任一项所述的动态图像摄像方法,其中,
所述摄像部能够按多帧变更所述拍摄条件。
17.一种动态图像摄像程序,该动态图像摄像程序是动态图像摄像装置的动态图像摄像程序,所述动态图像摄像装置具备以在时间上连续的多个帧数据的形式生成动态图像的图像数据的摄像部,所述动态图像摄像程序用于使所述动态图像摄像装置的处理器执行如下处理:
以与所述摄像部的拍摄条件被变更时的所述帧数据建立对应关系的方式生成表示所述拍摄条件的元数据;及
将所述元数据附加于所述帧数据,作为去马赛克前的动态图像数据而输出,在与所述帧数据建立有对应关系的所述元数据的数据量超过可附加的数据量的情况下,将与所述帧数据建立有对应关系的所述元数据中根据优先度选择的元数据附加于所述帧数据。
CN202180043131.6A 2020-06-26 2021-05-13 动态图像摄像装置、动态图像摄像方法及动态图像摄像程序 Pending CN115699789A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-110764 2020-06-26
JP2020110764 2020-06-26
PCT/JP2021/018269 WO2021261106A1 (ja) 2020-06-26 2021-05-13 動画撮像装置、動画撮像方法、及び動画撮像プログラム

Publications (1)

Publication Number Publication Date
CN115699789A true CN115699789A (zh) 2023-02-03

Family

ID=79282409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180043131.6A Pending CN115699789A (zh) 2020-06-26 2021-05-13 动态图像摄像装置、动态图像摄像方法及动态图像摄像程序

Country Status (4)

Country Link
US (1) US20230077731A1 (zh)
JP (1) JPWO2021261106A1 (zh)
CN (1) CN115699789A (zh)
WO (1) WO2021261106A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100582628B1 (ko) * 2001-05-31 2006-05-23 캐논 가부시끼가이샤 정보 저장 장치 및 그 방법
JP4332364B2 (ja) * 2003-04-04 2009-09-16 ソニー株式会社 映像記録システム,映像記録方法
JP5241559B2 (ja) * 2008-03-31 2013-07-17 キヤノン株式会社 画像記録再生装置

Also Published As

Publication number Publication date
WO2021261106A1 (ja) 2021-12-30
JPWO2021261106A1 (zh) 2021-12-30
US20230077731A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
US9560256B2 (en) Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
JP2008294689A (ja) 撮像装置、撮像回路、および撮像方法
JP5240194B2 (ja) 信号処理方法および信号処理装置
JP2007180631A (ja) 撮像装置および撮影方法
JP2010074813A (ja) 撮像装置および撮像方法
US8823832B2 (en) Imaging apparatus
JP4433883B2 (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
US10600170B2 (en) Method and device for producing a digital image
KR20120024448A (ko) 촬상 장치, 신호 처리 방법 및 프로그램
JP5800970B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US10397587B2 (en) Image processing apparatus and control method thereof
CN115699789A (zh) 动态图像摄像装置、动态图像摄像方法及动态图像摄像程序
JP5822606B2 (ja) 画像処理装置及び画像処理装置の制御方法
US8368782B2 (en) Multiple exposure image pickup apparatus, multiple exposure image pickup method, program, and recording medium
JP4816129B2 (ja) 画像処理装置及び撮像装置
JP2007019593A (ja) 輪郭強調信号生成回路、画像信号処理装置、撮像装置、輪郭強調信号生成方法、プログラム
JP4220406B2 (ja) 固体撮像装置およびその画像記録方法、ならびにその画像再生方法
WO2021261109A1 (ja) 動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP4635076B2 (ja) 固体撮像装置
WO2014013619A1 (ja) 撮像装置及び電子ズーム方法
JP2001103507A (ja) 撮像装置及び画像処理方法
JP5041935B2 (ja) ビデオカメラ
KR100209712B1 (ko) 디지틀 카메라용 샘플링 주파수 변환장치
EP1981265B1 (en) Imaging apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination