CN118044216A - 图像生成方法、处理器及程序 - Google Patents

Abstract

本发明的图像生成方法包括：摄像工序，获取从摄像元件输出的摄像信号；第1生成工序，使用摄像信号，由第1图像处理来生成第1图像；检测工序，由进行了机器学习的已学习模型，使用第1图像检测第1图像内的被摄体；及第2生成工序，使用摄像信号，由与第1图像处理不同的第2图像处理来生成第2图像。

Description

图像生成方法、处理器及程序

技术领域

本发明的技术涉及一种图像生成方法、处理器及程序。

背景技术

在日本特开2020-123174号公报中，公开了一种图像文件生成装置，其生成具有图像数据、元数据的图像文件，其中，在制作将与图像数据相关的图像作为输入的推理模型时，具有将图像数据作为外部依赖学习用教师数据或保密参考数据的信息作为元数据赋予的文件制作部。

在日本特开2020-166744号公报中，公开了一种学习装置，其具备：第1推理模型制作部，赋予包括与由第1装置获取的图像及上述第1装置的第1推理引擎有关的信息的第1学习依赖数据，通过使用了基于上述图像的教师数据的学习制作在上述第1装置的第1推理引擎中能够利用的第1推理模型；及第2推理模型制作部，赋予包括与第2装置的第2推理引擎有关的信息的第2学习依赖数据，制作将上述第1推理模型适应于上述第2装置的第2推理引擎的第2推理模型。

在日本特开2019-146022号公报中，公开了一种摄像装置，其具备：摄像部，拍摄特定范围来获取图像信号；存储部，在多个种类的对象物存储与其分别对应的多个对象物图像词库；推理引擎，根据由摄像部获取的图像信号和存储于存储部的多个对象物图像词库判别特定对象物的类别，从多个对象物图像词库中选择与该判别的特定对象物的类别对应的对象物图像词库；及摄像控制部，根据由摄像部获取的图像信号和由推理引擎选择的对象物图像词库进行摄像控制。

发明内容

发明要解决的技术课题

本发明的技术所涉及的一个实施方式提供一种能够提高被摄体的检测精度的图像生成方法、摄像装置及程序。

用于解决技术课题的手段

为了达到上述目的，本发明的图像生成方法包括：摄像工序，获取从摄像元件输出的摄像信号；第1生成工序，使用摄像信号，由第1图像处理来生成第1图像；检测工序，由进行了机器学习的已学习模型，使用第1图像检测第1图像内的被摄体；及第2生成工序，使用摄像信号，由与第1图像处理不同的第2图像处理来生成第2图像。

优选为，还包括接受工序，所述接受工序接受来自用户的摄像指示的，在第2生成工序中，在接受工序中接受到摄像指示的情况下，生成第2图像。

优选为，还包括显示工序，所述显示工序使第1图像变化来制作即时预览图像，并将即时预览图像和在检测工序中检测的被摄体的检测结果显示于显示部。

优选为，显示工序中，根据构成第1图像的图像信号生成即时预览图像的显示信号，由此显示即时预览图像。

优选为，第2生成工序中，将第2图像的颜色优选设为与即时预览图像的颜色实际上相同。

优选为，第1图像的彩度或明度比第2图像及即时预览图像高。

优选为，还包括记录工序，所述记录工序将第2图像作为静态图像记录于记录介质。

优选为，第1图像的分辨率比摄像信号或第2图像低。

优选为，在摄像工序中，从摄像元件按每一个帧周期输出摄像信号，在第1生成工序及第2生成工序中，使用相同的帧期间的摄像信号来生成第1图像及第2图像，第1图像的分辨率比摄像信号或第2图像低。

优选为，第2图像的分辨率比摄像信号低。

优选为，在摄像工序中，从摄像元件按每一个帧周期输出摄像信号，第1生成工序使用第1帧期间的摄像信号来生成第1图像，第2生成工序使用与第1帧期间不同的第2帧期间的摄像信号来生成第2图像。

优选为，第2图像为动态图像。

优选为，第1图像的彩度或明度比第2图像高。

优选为，已学习模型为将彩色图像作为教师数据进行了机器学习的模型，第1图像为彩色图像，第2图像为单色图像或深褐色图像。

本发明的处理器，其获取从摄像装置输出的摄像信号，且构成为执行如下处理：第1生成处理，使用摄像信号，由第1图像处理来生成第1图像；检测处理，由进行了机器学习的已学习模型，使用第1图像来检测第1图像内的被摄体；及第2生成处理，使用摄像信号，由与第1图像处理不同的第2图像处理来生成第2图像。

本发明的程序，其用于获取从摄像装置输出的摄像信号的处理器，并且使处理器执行如下处理：第1生成处理，使用摄像信号，由第1图像处理来生成第1图像；检测处理，由进行了机器学习的已学习模型，使用第1图像来检测第1图像内的被摄体；及第2生成处理，使用摄像信号，由与第1图像处理不同的第2图像处理来生成第2图像。

附图说明

图1是表示摄像装置的内部结构的一例的图。

图2是表示处理器的功能结构的一例的框图。

图3是概念性地表示单色模式中的被摄体检测处理及显示处理的一例的图。

图4是表示第2图像处理部所生成的第2图像的一例的图。

图5是表示基于摄像装置的图像生成方法的一例的流程图。

图6是表示动态图像摄像模式中的第1图像及第2图像的生成定时的一例的图。

图7是表示动态图像摄像模式中的图像生成方法的一例的流程图。

图8是表示变形例所涉及的动态图像摄像模式中的第1图像及第2图像的生成定时的一例的图。

图9是表示变形例所涉及的动态图像摄像模式中的图像生成方法的一例的流程图。

图10是表示其他变形例所涉及的动态图像摄像模式中的第1图像及第2图像的生成定时的一例的图。

具体实施方式

根据附图，对本发明的技术所涉及的实施方式的一例进行说明。

首先，对在以下说明中使用的词句进行说明。

在以下的说明中，“IC”为“Integrated Circuit：集成电路”的简称。“CPU”为“Central Processing Unit：中央处理器”的简称。“ROM”为“Read Only Memory：只读存储器”的简称。“RAM”为“Random Access Memory：随机存取存储器”的简称。“CMOS”为“Complementary Metal Oxide Semiconductor：互补金属氧化物半导体”的简称。

“FPGA”为“Field Programmable Gate Array：现场可编程门阵列”的简称。“PLD”为“Programmable Logic Device：可编程逻辑器件”的简称。“ASIC”为“ApplicationSpecific Integrated Circuit：专用集成电路”的简称。“OVF”为“Optical View Finder：光学取景器”的简称。“EVF”为“Electronic View Finder：电子取景器”的简称。“JPEG”为“Joint Photographic Experts Group：联合图像专家组”的简称。

作为摄像装置的一实施方式，举出镜头可换式数码相机，对本发明的技术进行说明。另外，本发明的技术并不限于镜头可换式，也能够适用于镜头一体型的数码相机。

图1是表示摄像装置10的结构的一例。例如，摄像装置10为镜头可换式数码相机。摄像装置10由主体11及在主体11上可更换地安装的摄像透镜12构成。摄像透镜12经由相机侧卡口11A及透镜侧卡口12A而安装在主体11的前表面侧。

在主体11中，设置有包括转盘、释放按钮等的操作部13。作为摄像装置10的动作模式，例如包括静态图像摄像模式、动态图像摄像模式及图像显示模式。操作部13在动作模式的设定时由用户进行操作。并且，操作部13在开始静态图像摄像或动态图像摄像的执行时由用户进行操作。

并且，通过操作部13能够进行图像尺寸、画质模式、记录方式、胶片模拟等色调调整、动态范围、白平衡等设定。胶片模拟是指，根据用户的拍摄意图，以交换胶片的感觉来设定颜色再现性及灰度表现的模式。在胶片模拟中，能够选择再现生动、柔和、古典铬、深褐色、单色等胶片的各种模式，能够调整图像的色调。

并且，在主体11上设置有取景器14。在此，取景器14为混合取景器(注册商标)。所谓混合取景器，例如是指选择性地使用光学取景器(以下，称为“OVF”)及电子取景器(以下，称为“EVF”)的取景器。用户能够经由取景器目镜部(未图示)观察由取景器14映射的被摄体的光学像或即时预览图像。

并且，在主体11的背面侧中，设置有显示器15。在显示器15上显示基于由拍摄得到的图像信号的图像及各种菜单画面等。用户还能够代替取景器14而观察由显示器15映射的即时预览图像。另外，取景器14及显示器15分别为本发明的技术所涉及的“显示部”的一例。

主体11与摄像透镜12通过设置在相机侧卡口11A上的电触点11B与设置在透镜侧卡口12A上的电触点12B接触而电连接。

摄像透镜12包括物镜30、聚焦透镜31、后端透镜32及光圈33。各部件沿摄像透镜12的光轴A，从物镜侧依次排列成物镜30、光圈33、聚焦透镜31、后端透镜32。物镜30、聚焦透镜31及后端透镜32构成摄像光学系统。构成摄像光学系统的透镜的种类、数量及排列顺序不限定于图1所示的例。

并且，摄像透镜12具有透镜驱动控制部34。透镜驱动控制部34例如由CPU、RAM及ROM等构成。透镜驱动控制部34经由电触点12B及电触点11B而与主体11内的处理器40电连接。

透镜驱动控制部34基于从处理器40发送的控制信号来驱动聚焦透镜31及光圈33。为了调节摄像透镜12的对焦位置，透镜驱动控制部34基于从处理器40发送的对焦控制用的控制信号来进行聚焦透镜31的驱动控制。处理器40可以根据由后述的被摄体检测检测到的检测结果R进行对焦控制。

光圈33具有以光轴A为中心开口直径可变的开口。为了调节向摄像传感器20的受光面20A的入射光量，透镜驱动控制部34基于从处理器40发送的光圈调整用的控制信号来进行光圈33的驱动控制。

并且，在主体11的内部中，设置有摄像传感器20、处理器40及存储器42。摄像传感器20、存储器42、操作部13、取景器14及显示器15控制由处理器40的动作。

处理器40例如由CPU、RAM及ROM等构成。在这种情况下，处理器40基于存储在存储器42中的程序43执行各种处理。另外，处理器40可以由多个IC芯片的集合体构成。并且，存储器42中存储有已完成用于进行被摄体检测的机器学习的已学习模型LM。

摄像传感器20例如为CMOS型图像传感器。摄像传感器20配置成光轴A与受光面20A正交且光轴A位于受光面20A的中心。在受光面20A中，入射穿过摄像透镜12的光(被摄体像)。在受光面20A上形成有通过进行光电转换而生成图像信号的多个像素。摄像传感器20通过将入射于各像素的光进行光电转换，生成图像信号并输出。另外，摄像传感器20为本发明的技术所涉及的“摄像元件”的一例。

并且，在摄像传感器20的受光面中，配置有拜耳排列的滤色器阵列，R(红)，G(绿)，B(蓝)中任一个滤色器相对于各像素而对置配置。另外，排列于摄像传感器20的受光面上的多个像素中的一部分可以为用于进行对焦控制的相位差像素。

图2显示处理器40的功能结构的一例。处理器40通过存储在存储器42中的程序43来执行处理，由此实现各种功能部。如图2所示，例如，处理器40中实现主控制部50、摄像控制部51、第1图像处理部52、被摄体检测部53、显示控制部54、第2图像处理部55及图像记录部56。

主控制部50基于从操作部13输入的指示信号，总体控制摄像装置10的动作。摄像控制部51通过控制摄像传感器20，执行使摄像传感器20进行摄像动作的摄像处理。摄像控制部51以静态图像摄像模式或动态图像摄像模式驱动摄像传感器20。摄像传感器20输出由摄像动作生成的摄像信号RD。摄像信号RD为所谓RAW数据。

第1图像处理部52获取从摄像传感器20输出的摄像信号RD，并对摄像信号RD实施包括去马赛克处理等的第1图像处理，从而进行生成第1图像P1的第1生成处理。例如，第1图像P1为各像素由R，G，B的三原色表示的彩色图像。更具体而言，例如，第1图像P1为一个像素中包括的R，G，B的各信号由8比特表示的24比特的彩色图像。

被摄体检测部53通过存储于存储器42的已学习模型LM，使用由第1图像处理部52生成的第1图像P1，进行检测第1图像P1内的被摄体的检测处理。具体而言，被摄体检测部53将第1图像P1输入到已学习模型LM中，并从已学习模型LM获取被摄体的检测结果R。被摄体检测部53将所获取的被摄体的检测结果R输出到显示控制部54。并且，被摄体的检测结果R还利用于通过主控制部50进行的摄像透镜12的焦点调整和被摄体的曝光调整。

通过被摄体检测部53检测的被摄体除了如人或车等的特定物体以外，还包括如天空和海的背景。并且，被摄体检测部53根据进行了检测的被摄体，也可以检测如婚礼或庆典的特定场景。

已学习模型LM例如由神经网络构成，可以预先将包括特定被摄体的多个图像作为教师数据进行机器学习。已学习模型LM从第1图像P1内检测包括特定被摄体的区域，并作为检测结果R输出。已学习模型LM可以将被摄体的种类与包括被摄体的区域一起输出。

显示控制部54进行显示处理，所述显示处理使第1图像P1变化而制作即时预览图像PL，并将所制作的即时预览图像PL和从被摄体检测部53所输入的检测结果R显示于显示器15。具体而言，显示控制部54根据构成第1图像P1的图像信号而生成即时预览图像PL的显示信号，由此将即时预览图像PL显示于显示器15。

显示控制部54例如为进行显示器15的颜色调整的显示驱动器。显示控制部54对根据所选择的模式显示于显示器15的即时预览图像PL的显示信号的颜色进行调整。例如，在选择有胶片模拟中的单色模式的情况下，显示控制部54通过将即时预览图像PL的显示信号的彩度设为零，将单色的即时预览图像PL显示于显示器15。例如，显示控制部54在图像信号以YCbCr形式表示的情况下，通过将色差信号Cr，Cb设为零而将显示信号设为单色。在本发明中，单色是指，包括灰度的实际上无色的颜色。

另外，显示控制部54并不限于显示器15，根据基于用户的操作部13的操作，将即时预览图像PL及检测结果R显示于取景器14。

第2图像处理部55进行第2图像生成处理，所述第2图像生成处理获取从摄像传感器20输出的摄像信号RD，并对摄像信号RD进行包括去马赛克处理等的处理，且通过与第1图像处理不同的第2图像处理来生成第2图像P2。具体而言，第2图像处理部55将第2图像P2的颜色设为与即时预览图像PL的颜色实际上相同。例如，在选择有胶片模拟中的单色模式的情况下，第2图像处理部55通过第2图像处理而生成无彩色的第2图像P2。例如，第2图像P2为一个像素的信号由8比特表示的单色图像。另外，第1图像P1和第2图像P2可以为以时间上不同的定时(即，不同的摄像帧)输出的摄像信号。

主控制部50进行经由操作部13接受来自用户的摄像指示的接受处理。第2图像处理部55在主控制部50接受到来自用户的摄像指示的情况下，进行生成第2图像P2的处理。在摄像指示中包括静态图像摄像指示及动态图像摄像指示。

图像记录部56进行将由第2图像处理部55生成的第2图像P2作为记录图像PR记录于存储器42的记录处理。具体而言，图像记录部56在接受主控制部50所接受到的静态图像摄像指示的情况下，将记录图像PR作为由1张第2图像P2构成的静态图像记录于存储器42。并且，图像记录部56在接受主控制部50所接受到的动态图像摄像指示的情况下，将记录图像PR作为由多个第2图像P2构成的动态图像记录于存储器42。另外，图像记录部56可以将记录图像PR记录于与存储器42不同的记录介质(例如，可装卸于主体11的存储卡)。

图3概念性地表示单色模式中的被摄体检测处理及显示处理的一例。如图3所示，已学习模型LM由具有输入层、中间层及输出层的神经网络构成。中间层由多个神经元构成。中间层的数量及各中间层的神经元数可以适当变更。

已学习模型LM使用包括特定被摄体的彩色图作为教师数据像，以从图像内检测特定被摄体的方式进行机器学习。机器学习的方法中，例如使用误差反向传播学习法。已学习模型LM可以用摄像装置10的外部的计算机进行机器学习。

已学习模型LM主要使用彩色图像进行机器学习，因此对于不包括颜色信息的单色图像，被摄体的检测精度低。因此，单色模式时，若将由图像处理生成的单色图像直接输入到已学习模型LM，则会导致被摄体的检测精度下降。因此，在本发明的技术中，被摄体检测部53即使在将即时预览图像PL及记录图像PR设为单色的单色模式下，通过将作为由第1图像处理部52生成的彩色图像的第1图像P1输入到已学习模型LM来检测被摄体。

例如，如图3所示，鸟为被摄体且在其背后存在树木的情况下，当单色图像时，没有颜色信息且鸟混在树木中不易判别，因此基于已学习模型LM的检测精度下降。即使在这种情况下，通过将彩色图像输入到已学习模型LM，检测精度也提高。

在图3所示的例子中，已学习模型LM从第1图像P1内检测包括作为被摄体的鸟的区域，并将该区域信息作为检测结果R输出到显示控制部54。根据检测结果R，显示控制部54在即时预览图像PL内显示与包括所检测到的被摄体的区域对应的框F。显示控制部54可以在框F的附近等显示被摄体的种类。另外，被摄体的检测结果R并不限定于框F，可以为基于被摄体的名称、多个被摄体的检测结果的场景的名称。

图4表示第2图像处理部55所生成的第2图像P2的一例。第2图像处理部55所生成的第2图像P2的颜色与即时预览图像PL的颜色实际上相同，在单色模式的情况下为单色。

[静态图像摄像模式]

图5是表示基于摄像装置10的图像生成方法的一例的流程图。图5表示在静态图像摄像模式下且选择有胶片模拟的单色模式的情况的例子。

主控制部50判定是否有用户基于操作操作部13的摄像准备开始指示(步骤S10)。在有摄像准备开始指示的情况下(步骤S10：是)，主控制部50通过控制摄像控制部51使摄像传感器20进行摄像动作(步骤S11)。

第1图像处理部52获取通过摄像传感器20进行摄像动作而从摄像传感器20输出的摄像信号RD，对摄像信号RD实施第1图像处理，由此生成作为彩色图像的第1图像P1(步骤S12)。

被摄体检测部53通过将由第1图像处理部52生成的第1图像P1输入到已学习模型LM来检测被摄体(步骤S13)。在步骤S13中，被摄体检测部53将从已学习模型LM输出的被摄体的检测结果R输出到显示控制部54。

显示控制部54使第1图像P1变化并制作作为单色图像的即时预览图像PL，并将所制作的即时预览图像PL和检测结果R显示于显示器15(步骤S14)。

主控制部50判定是否有用户基于操作操作部13的静态图像摄像指示(步骤S15)。在没有静态图像摄像指示的情况下(步骤S15：否)，主控制部50使处理返回到步骤S11，并使摄像传感器20再次进行摄像动作。在步骤S15中，直到由主控制部50判定为有静态图像摄像指示为止，反复执行步骤S11～S14的处理。

在有静态图像摄像指示的情况下(步骤S15：是)，主控制部50在第2图像处理部55生成第2图像P2(步骤S16)。在步骤S16中，第2图像处理部55由与第1图像处理不同的第2图像处理生成作为单色图像的第2图像P2。

图像记录部56将由第2图像处理部55生成的第2图像P2作为记录图像PR记录于存储器42(步骤S17)。

在上述流程图中，步骤S11对应于本发明的技术所涉及的“摄像工序”。步骤S12对应于本发明的技术所涉及的“第1生成工序”。步骤S13对应于本发明的技术所涉及的“检测工序”。步骤S14对应于本发明的技术所涉及的“显示工序”。步骤S15对应于本发明的技术所涉及的“接受工序”。步骤S16对应于本发明的技术所涉及的“第2生成工序”。步骤S17对应于本发明的技术所涉及的“记录工序”。

如上所述，根据本发明的摄像装置10，即使在单色模式时，通过将作为彩色图像的第1图像P1输入到已学习模型LM来检测被摄体，因此提高被摄体的检测精度。

另外，以往，被摄体检测中，主要使用基于AdaBoost的识别器“Viola-Jones法”的算法。在Viola-Jones法中，根据基于图像的亮度差的特征量进行被摄体检测，因此图像的颜色信息并不重要。但是，作为已学习模型LM使用神经网络的情况下，通过基本上使用彩色图像进行机器学习来进行基于亮度信息及颜色信息的特征量的提取。因此，即使在单色模式时，通过生成彩色图像并输入已学习模型LM来提高被摄体的检测精度。

[动态图像摄像模式]

接着，对动态图像摄像模式进行说明。图6表示动态图像摄像模式中的第1图像P1及第2图像P2的生成定时的一例。

如图6所示，在动态图像摄像模式中，摄像传感器20按每一个规定的帧周期(例如，1/60秒)进行摄像动作，每1帧周期输出摄像信号RD。假设，在相同的帧期间第1图像处理部52及第2图像处理部55试图根据相同的摄像信号RD进行第1图像P1及第2图像P2的生成，则由图像处理能力的限制，有时按每一个帧周期不能够生成第1图像P1及第2图像P2。

因此，在本例子中，按每一个1帧周期交替地进行基于第1图像处理部52的第1图像P1的生成和基于第2图像处理部55的第2图像P2的生成。即，第1图像处理部52使用第1帧期间的摄像信号RD来生成第1图像P1，第2图像处理部55使用与第1帧期间不同的第2帧期间的摄像信号RD来生成第2图像P2。其结果，被摄体检测按每一个2帧周期进行。并且，由多个第2图像P2生成的动态图像的帧速率下降至1/2。

图7是表示动态图像摄像模式中的图像生成方法的一例的流程图。图7表示在动态图像摄像模式下且选择有胶片模拟的单色模式的情况下的例子。

主控制部50判定是否有用户基于操作操作部13的动态图像开始指示(步骤S20)。在有动态图像开始指示的情况下(步骤S20：是)，主控制部50通过控制摄像控制部51而使摄像传感器20进行摄像动作(步骤S21)。

第1图像处理部52获取从摄像传感器20输出的摄像信号RD，对摄像信号RD实施第1图像处理，由此生成彩色的第1图像P1(步骤S22)。

被摄体检测部53通过将由第1图像处理部52生成的第1图像P1输入到已学习模型LM来检测被摄体(步骤S23)。在步骤S23中，被摄体检测部53将从已学习模型LM输出的被摄体的检测结果R输出到主控制部50。例如，主控制部50通过根据检测结果R控制透镜驱动控制部34，对被摄体进行对焦控制。

接着，主控制部50通过控制摄像控制部51而使摄像传感器20进行摄像动作(步骤S24)。第2图像处理部55获取从摄像传感器20输出的摄像信号RD，并通过对摄像信号RD实施第2图像处理来生成单色的第2图像P2(步骤S25)。

主控制部50判定是否有用户基于操作操作部13的动态图像摄像的结束指示(步骤S26)。在没有结束指示的情况下(步骤S26：否)，主控制部50使处理返回到步骤S21，并使摄像传感器20再次进行摄像动作。在步骤S26中，直到由主控制部50判定为有结束指示为止，反复执行步骤S21～S25的处理。另外，步骤S21～S23在第1帧期间进行，步骤S24～S25在第2帧期间进行。

在有结束指示的情况下(步骤S26：是)，主控制部50在图像记录部56生成记录图像PR(步骤S27)。在步骤S27中，图像记录部56根据通过反复执行步骤S25而生成的多个第2图像P2生成作为动态图像的记录图像PR。然后，图像记录部56将记录图像PR记录于存储器42(步骤S28)。

如上所述，通过按每一个1帧周期交替地进行第1图像P1的生成和第2图像P2的生成，能够与高精度的被摄体检测一起进行动态图像摄像，而不受图像处理能力的限制。

[变形例]

接着，对动态图像摄像模式的变形例进行说明。图8表示变形例所涉及的动态图像摄像模式中的第1图像P1及第2图像P2的生成定时的一例。

如上所述，通过运算处理能力的限制，有时在相同的帧期间不能生成第1图像P1及第2图像P2，因此在本变形例中，通过使第1图像P1的分辨率比摄像信号RD的分辨率低来使图像处理的负担下降。

具体而言，第1图像处理部52在降低从摄像传感器20获取的摄像信号RD的分辨率的基础上，由第1图像处理生成彩色的第1图像P1。第1图像处理部52例如由像素间隔剔除使摄像信号RD低分辨率化。其结果，可得到分辨率比摄像信号RD低的第1图像P1。

在本变形例中，第2图像处理部55不变更从摄像传感器20获取的摄像信号RD的分辨率而生成第2图像P2。因此，在本变形例中，已机器学习模型LM使用分辨率比最终的记录图像低的图像能够进行被摄体检测，因此第1图像P1的分辨率比第2图像P2的分辨率低。

在本变形例中，通过使第1图像P1的分辨率下降来使图像处理的负担下降，因此在相同的帧期间生成第1图像P1及第2图像P2。

图9表示变形例所涉及的动态图像摄像模式中的图像生成方法的一例的流程图。图9表示在变形例所涉及的动态图像摄像模式下且选择有胶片模拟的单色模式的情况的例子。

主控制部50判定是否有用户基于操作操作部13的动态图像摄像开始指示(步骤S30)。在有动态图像摄像开始指示情况下(步骤S30：是)，主控制部50通过控制摄像控制部51而使摄像传感器20进行摄像动作(步骤S31)。

第1图像处理部52获取从摄像传感器20输出的摄像信号RD，并在降低摄像信号RD的分辨率基础上，实施第1图像处理，由此生成彩色的第1图像P1(步骤S32)。

被摄体检测部53通过将由第1图像处理部52生成的低分辨率的第1图像P1输入到已学习模型LM来检测被摄体(步骤S33)。在步骤S33中，被摄体检测部53将从已学习模型LM输出的被摄体的检测结果R输出到主控制部50。例如，主控制部50通过根据检测结果R控制透镜驱动控制部34，对被摄体进行对焦控制。

第2图像处理部55通过对与在步骤S32中第1图像处理部52所获取的摄像信号RD相同的摄像信号RD实施第2图像处理来生成单色的第2图像P2(步骤S34)。

主控制部50判定是否有用户基于操作操作部13的动态图像摄像的结束指示(步骤S35)。在没有结束指示的情况下(步骤S35：否)，主控制部50使处理返回到步骤S31，并使摄像传感器20再次进行摄像动作。在步骤S35中，直到由主控制部50判定为有结束指示为止，反复执行步骤S31～S34的处理。另外，步骤S31～S34在1帧周期内进行。

在有结束指示的情况下(步骤S35：是)，主控制部50在图像记录部56生成记录图像PR(步骤S36)。在步骤S36中，图像记录部56根据通过反复执行步骤S34而生成的多个第2图像P2生成作为动态图像的记录图像PR。然后，图像记录部56将记录图像PR记录于存储器42(步骤S37)。

如上所述，在本变形例中，在降低摄像信号RD的分辨率的基础上生成第1图像P1，从而使图像处理的负担下降，因此能够在相同的帧期间生成第1图像P1及第2图像P2。由此，能够不使帧速率下降而生成动态图像。

在上述变形例中，使第1图像P1的分辨率低于摄像信号RD的分辨率，但还可以使第2图像P2的分辨率比摄像信号RD的分辨率低。具体而言，如图10所示，第1图像处理部52及第2图像处理部55在降低摄像信号RD的分辨率的基础上，分别生成第1图像P1及第2图像P2。由此，图像处理的负担进一步下降，因此能够在相同的帧期间更高速地生成第1图像P1及第2图像P2。

[其他变形例]

在上述实施方式及变形例中，对在胶片模拟等的色调调整中选择单色模式的情况进行了说明，但并不限于单色模式，即使在选择生成古典铬模式等彩度低的图像的模式的情况下，也能够适用本发明的技术。即，在将第2图像P2设为低彩度的图像的情况下，能够适用本发明的技术。

并且，在将第2图像P2设为明度低的图像的情况下，也能够适用本发明的技术。这是因为，使用彩色图像进行了机器学习的已学习模型LM中，即使对明度低的图像，被摄体的检测精度也下降。因此，本发明的技术的特征在于，第1图像处理部52所生成的第1图像P1的彩度或明度比第2图像P2及即时预览图像PL高。

此外，在选择生成深褐色图像的深褐色模式的情况下，也能够适用本发明的技术。深褐色图像为在彩色图像的图像信号以YCbCr形式表示的情况下，通过在色差信号Cr，Cb乘以0的基础上将固定值相加而生成的图像。即，第1图像P1为彩色图像，第2图像P2及即时预览图像PL可以为深褐色图像。使用彩色图像进行了机器学习的已学习模型LM中，对深褐色图像的被摄体的检测精度也下降，因此通过使用彩色图像进行被摄体检测而能够提高检测精度。

另外，本发明的技术并不限于数码相机，也可以适用于具有摄像功能的智能手机、平板终端等电子设备。

在上述实施方式中，作为以处理器40为一例的控制部的硬件结构，能够使用以下所示的各种处理器。在上述各种处理器中，除了作为执行软件(程序)而发挥功能的常用的处理器的CPU之外，还包括FPGA等能够在制造后变更电路结构的处理器。FPGA中包括专用电路等，该专用电路是具有为了执行PLD或ASIC等特定的处理而专门设计的电路结构的处理器。

控制部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU与FPGA的组合)构成。并且，多个控制部可以由1个处理器构成。

关于由1个处理器构成多个控制部的例可以考虑多个。第1例子中，如以客户端及服务器等计算机为代表，存在由1个以上的CPU与软件的组合构成1个处理器，并且该处理器作为多个控制部而发挥功能的方式。第2的例子中，有如以片上系统(System On Chip：SOC)等为代表那样，使用由1个IC芯片实现包括多个控制部的整个系统的功能的处理器的方式。如此，控制部能够使用上述各种处理器中的1个以上作为硬件结构来构成。

此外，作为这些各种处理器的硬件结构，更具体而言，能够使用组合半导体元件等电路元件而成的电路。

以上所示的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，并且仅为本发明的技术的一例。例如，关于上述结构、功能、作用及效果的说明是关于本发明的技术所涉及的部分的结构、功能、作用及效果的一例的说明。因此，当然也可以在不脱离本发明的技术的主旨的范围内对以上所示的记载内容及图示内容删除不必要的部分、追加新的要素或进行替换。并且，为了避免麻烦且便于理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中，省略了关于实现本发明的技术时无需特别说明的技术常识等的说明。

本说明书中记载的所有文献、专利申请及技术标准可与具体且分别记载通过参考援用每一个文献、专利申请及技术标准的情况相同程度地通过参考援用于本说明书中。

Claims (16)

1.一种图像生成方法，其包括：

摄像工序，获取从摄像元件输出的摄像信号；

第1生成工序，使用所述摄像信号，由第1图像处理来生成第1图像；

检测工序，由进行了机器学习的已学习模型，使用所述第1图像检测所述第1图像内的被摄体；及

第2生成工序，使用所述摄像信号，由与所述第1图像处理不同的第2图像处理来生成第2图像。

2.根据权利要求1所述的图像生成方法，其还包括：

接受工序，接受来自用户的摄像指示，

在所述第2生成工序中，在所述接受工序中接受到所述摄像指示的情况下，生成所述第2图像。

3.根据权利要求1或2所述的图像生成方法，其还包括：

显示工序，使所述第1图像变化来制作即时预览图像，并将所述即时预览图像和在所述检测工序中检测的所述被摄体的检测结果显示于显示部。

4.根据权利要求3所述的图像生成方法，其中，

所述显示工序中，根据构成所述第1图像的图像信号生成所述即时预览图像的显示信号，由此显示所述即时预览图像。

5.根据权利要求3或4所述的图像生成方法，其中，

所述第2生成工序中，将所述第2图像的颜色设为与所述即时预览图像的颜色实际上相同。

6.根据权利要求3至5中任一项所述的图像生成方法，其中，

所述第1图像的彩度或明度比所述第2图像及所述即时预览图像高。

7.根据权利要求1至6中任一项所述的图像生成方法，其还包括：

记录工序，将所述第2图像作为静态图像记录于记录介质。

8.根据权利要求1至7中任一项所述的图像生成方法，其中，

所述第1图像的分辨率比所述摄像信号或所述第2图像低。

9.根据权利要求1所述的图像生成方法，其中，

在所述摄像工序中，从所述摄像元件按每一个帧周期输出所述摄像信号，

在所述第1生成工序及所述第2生成工序中，使用相同的帧期间的所述摄像信号来生成所述第1图像及所述第2图像，

所述第1图像的分辨率比所述摄像信号或所述第2图像低。

10.根据权利要求9所述的图像生成方法，其中，

所述第2图像的分辨率比所述摄像信号低。

11.根据权利要求1所述的图像生成方法，其中，

在所述摄像工序中，从所述摄像元件按每一个帧周期输出所述摄像信号，

所述第1生成工序使用第1帧期间的所述摄像信号来生成所述第1图像，

所述第2生成工序使用与所述第1帧期间不同的第2帧期间的所述摄像信号来生成所述第2图像。

12.根据权利要求9至11中任一项所述的图像生成方法，其中，

所述第2图像为动态图像。

13.根据权利要求9至12中任一项所述的图像生成方法，其中，

所述第1图像的彩度或明度比所述第2图像高。

14.根据权利要求1至13中任一项所述的图像生成方法，其中，

所述已学习模型为将彩色图像作为教师数据进行了机器学习的模型，

所述第1图像为彩色图像，

所述第2图像为单色图像或深褐色图像。

15.一种处理器，其获取从摄像装置输出的摄像信号，且构成为执行如下处理：

第1生成处理，使用所述摄像信号，由第1图像处理来生成第1图像；

检测处理，由进行了机器学习的已学习模型，使用所述第1图像来检测所述第1图像内的被摄体；及

第2生成处理，使用所述摄像信号，由与所述第1图像处理不同的第2图像处理来生成第2图像。

16.一种程序，其用于获取从摄像装置输出的摄像信号的处理器，并且使所述处理器执行如下处理：

第1生成处理，使用所述摄像信号，由第1图像处理来生成第1图像；

检测处理，由进行了机器学习的已学习模型，使用所述第1图像来检测所述第1图像内的被摄体；及

第2生成处理，使用所述摄像信号，由与所述第1图像处理不同的第2图像处理来生成第2图像。