CN115428432A - 摄像支援装置、摄像装置、摄像支援方法及程序 - Google Patents

摄像支援装置、摄像装置、摄像支援方法及程序 Download PDF

Info

Publication number
CN115428432A
CN115428432A CN202180027980.2A CN202180027980A CN115428432A CN 115428432 A CN115428432 A CN 115428432A CN 202180027980 A CN202180027980 A CN 202180027980A CN 115428432 A CN115428432 A CN 115428432A
Authority
CN
China
Prior art keywords
image
learned model
imaging
imaging support
support apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180027980.2A
Other languages
English (en)
Other versions
CN115428432B (zh
Inventor
西尾祐也
入江公祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN115428432A publication Critical patent/CN115428432A/zh
Application granted granted Critical
Publication of CN115428432B publication Critical patent/CN115428432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

摄像支援装置具备处理器和存储器,存储器存储有第1已学习模型,第1已学习模型为用于与由摄像装置进行的拍摄相关的控制的已学习模型,处理器执行如下处理:通过进行以第1图像和获取到第1图像时适用于摄像装置的设定值为训练数据的学习处理来生成用于控制的第2已学习模型,该第1图像是通过由摄像装置进行拍摄而获取到的图像;及根据第2图像输入于第1已学习模型时从第1已学习模型输出的第1设定值和第2图像输入于第2已学习模型时从第2已学习模型输出的第2设定值来进行特定处理。

Description

摄像支援装置、摄像装置、摄像支援方法及程序
技术领域
本发明的技术涉及一种摄像支援装置、摄像装置、摄像支援方法及程序。
背景技术
日本特开2013-207471号公报中公开了一种数码相机,其特征在于,具备:摄像单元,拍摄被摄体图像;摄像控制单元,使用拍摄处理设定值来控制由摄像单元进行的拍摄处理;图像处理单元,使用图像处理设定值对由摄像单元拍摄到的图像数据进行图像处理;存储单元,存储将过去的拍摄处理和/或图像处理中的摄影场景的特征量与拍摄处理设定值和/或图像处理设定值建立了关联的表;特征量计算单元,计算当前的摄影中的摄影场景的特征量;及设定值获取单元,根据由特征量计算单元计算出的摄影场景的特征量和存储于存储单元中的表来获取拍摄处理设定值和/或图像处理设定值。并且,日本特开2013-207471号公报中记载的数码相机还具备学习单元,该学习单元使用神经网络来学习登记在表中的摄影场景的特征量及拍摄处理设定值和/或图像处理设定值,设定值获取单元根据学习单元的学习结果来获取拍摄处理设定值和/或图像处理设定值。
日本特开2005-347985号公报中公开了一种数码相机,其具备:拍摄处理执行部,通过执行拍摄处理来生成图像数据;及执行控制部,根据一个以上设定项的每一个的控制用设定值来控制拍摄处理,执行控制部具备:优先级确定部,根据与在多次拍摄处理中使用过的设定值组相关的历史信息来确定针对能够对设定项组(包括设定项中的至少一个设定项)利用的多个设定值组中的至少一部分多个候选设定值组的优先级;及设定条件确定部,利用优先级来确定设定项组的控制用设定值组。并且,日本特开2005-347985号公报中记载的数码相机还具备可插拔地保持存储器的存储器插槽,优先级确定部具有插拔式存储器历史模式,该插拔式存储器历史模式经由存储器插槽从存储器中获取历史信息,并且使用获取到的历史信息来确定优先级。
日本特开2003-255428号公报中公开了一种相机,其能够在至少与亮度相关的预定的多个摄影条件下进行拍摄,该相机的特征在于,具备:计数单元,针对每个摄影条件分别对在多个摄影条件中的任一摄影条件下进行拍摄时的摄影次数进行计数;运算单元,根据计数值来求出计数值的分布,并从求出的分布中求出主要的摄影条件范围作为摄影条件的趋势;及控制单元,确定主要的摄影条件范围内的预定的多个摄影条件以外的特定摄影条件,并以能够以所确定的特定摄影条件为摄影条件进行拍摄的方式进行控制。
发明内容
本发明的技术所涉及的一个实施方式提供一种能够有助于减轻负担的摄像支援装置、摄像装置、摄像支援方法及程序。
用于解决技术课题的手段
本发明的技术所涉及的第1方式为摄像支援装置,其具备:处理器;及存储器,与处理器连接或内置于处理器,存储器存储有第1已学习模型,第1已学习模型为用于与由摄像装置进行的拍摄相关的控制的已学习模型,处理器执行如下处理:通过进行以第1图像和获取到第1图像时适用于摄像装置的设定值为训练数据的学习处理来生成用于控制的第2已学习模型,该第1图像是通过由摄像装置进行拍摄而获取到的图像;及根据第2图像输入于第1已学习模型时从第1已学习模型输出的第1设定值和第2图像输入于第2已学习模型时从第2已学习模型输出的第2设定值来进行特定处理。
本发明的技术所涉及的第2方式在第1方式所涉及的摄像支援装置中,第2图像存储于存储器。
本发明的技术所涉及的第3方式在第1方式或第2方式所涉及的摄像支援装置中,处理器通过在满足第1图像的数量达到第1阈值这一条件的情况下进行学习处理来生成第2已学习模型。
本发明的技术所涉及的第4方式在第3方式所涉及的摄像支援装置中,训练数据为包括在特定时刻至满足条件为止的期间通过由摄像装置进行拍摄而获取到的多个图像和与多个图像相关的适用于摄像装置的多个设定值的数据。
本发明的技术所涉及的第5方式在第3方式或第4方式所涉及的摄像支援装置中,处理器在满足条件的情况下根据第1设定值和第2设定值来进行特定处理。
本发明的技术所涉及的第6方式在第1方式至第5方式中的任一方式所涉及的摄像支援装置中,处理器在第1设定值与第2设定值之间的差异度为第2阈值以上的情况下进行特定处理。
本发明的技术所涉及的第7方式在第1方式至第6方式中的任一方式所涉及的摄像支援装置中,处理器以第1图像的数量达到第3阈值为条件进行预定的处理。
本发明的技术所涉及的第8方式在第1方式至第6方式中的任一方式所涉及的摄像支援装置中,处理器在通过在第1环境下进行拍摄而获取到的用作训练数据的第1图像的数量为第4阈值以上且通过在与第1环境不同的第2环境下进行拍摄而得的用作训练数据的第1图像的数量为第5阈值以下的情况下进行预定的处理。
本发明的技术所涉及的第9方式在第1方式至第8方式中的任一方式所涉及的摄像支援装置中,摄像装置为镜头可换式摄像装置,处理器通过按与第1图像相关的拍摄中使用的可换镜头的类型进行学习处理来生成多个第2已学习模型。
本发明的技术所涉及的第10方式在第9方式所涉及的摄像支援装置中,在可换镜头安装于摄像装置的情况下,处理器进行如下处理:使用多个第2已学习模型中通过在学习处理中使用如下图像作为第1图像而生成的第2已学习模型,该图像是通过由安装有可换镜头的摄像装置进行拍摄而获取到的图像。
本发明的技术所涉及的第11方式在第1方式至第10方式中的任一方式所涉及的摄像支援装置中,摄像装置包括多个摄像系统,处理器通过按与第1图像相关的拍摄中使用的摄像系统进行学习处理来生成多个第2已学习模型。
本发明的技术所涉及的第12方式在第11方式所涉及的摄像支援装置中,在从多个摄像系统中选择了拍摄中使用的摄像系统的情况下,处理器进行如下处理:使用多个第2已学习模型中通过在学习处理中使用如下图像作为第1图像而生成的第2已学习模型,该图像是通过使用所选择的摄像系统由摄像装置进行拍摄而获取到的图像。
本发明的技术所涉及的第13方式在第12方式所涉及的摄像支援装置中,处理器执行如下处理:受理无级地切换多个摄像系统的指示;及在受理了指示的情况下,在切换后的摄像系统中也继续使用分配给切换前的摄像系统的第2已学习模型。
本发明的技术所涉及的第14方式在第12方式或第13方式所涉及的摄像支援装置中,处理器执行如下处理:在学习处理中使用由摄像装置获取到第1图像时的场景和与所选择的摄像系统相关的信息作为设定值;及根据第2设定值在摄像装置的启动定时使摄像装置选择性地使用多个摄像系统。
本发明的技术所涉及的第15方式在第1方式至第14方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第1处理的处理,该第1处理将第2设定值反映到控制中。
本发明的技术所涉及的第16方式在第1方式至第15方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第2处理的处理,该第2处理将第2已学习模型存储于既定存储装置中。
本发明的技术所涉及的第17方式在第1方式至第16方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第3处理的处理,该第3处理将第1已学习模型及第2已学习模型中根据由处理器受理的指示选择的那个的输出反映到控制中。
本发明的技术所涉及的第18方式在第1方式至第17方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第4处理的处理,该第4处理输出用于使第1显示器显示第4图像及第6图像的第1数据,该第4图像相当于通过将第1输出结果适用于第3图像而得的图像,该第1输出结果通过向第1已学习模型输入第3图像而从第1已学习模型输出,该第6图像相当于通过将第2输出结果适用于第5图像而得的图像,该第2输出结果通过向第2已学习模型输入第5图像而从第2已学习模型输出。
本发明的技术所涉及的第19方式在第18方式所涉及的摄像支援装置中,第1数据包括用于使第1显示器以可区分的方式显示第4图像和第6图像的数据。
本发明的技术所涉及的第20方式在第18方式或第19方式所涉及的摄像支援装置中,第1数据包括用于使第1显示器以建立有对应关系的状态显示第4图像和可确定第1已学习模型的第1已学习模型确定信息且使第1显示器以建立有对应关系的状态显示第6图像和可确定第2已学习模型的第2已学习模型确定信息的数据。
本发明的技术所涉及的第21方式在第18方式至第20方式中的任一方式所涉及的摄像支援装置中,第4处理包括如下处理:在显示于第1显示器上的第4图像及第6图像中根据由处理器受理的指示选择了第4图像时将第1已学习模型的输出反映到控制中,并且在选择了第6图像时将第2已学习模型的输出反映到控制中。
本发明的技术所涉及的第22方式在第1方式至第21方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第5处理的处理,该第5处理输出用于使第2显示器显示可确定生成了第2已学习模型的时刻的时刻确定信息的第2数据。
本发明的技术所涉及的第23方式在第22方式所涉及的摄像支援装置中,第2数据包括用于使第2显示器以与反映了第2已学习模型的输出的第7图像建立有对应关系的状态显示时刻确定信息的数据。
本发明的技术所涉及的第24方式在第1方式至第23方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第6处理的处理,该第6处理将可确定生成了第2已学习模型的时刻的时刻确定信息与第2已学习模型建立对应关系。
本发明的技术所涉及的第25方式在第1方式至第24方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第7处理的处理,该第7处理在预定的定时将第2已学习模型的输出反映到控制中。
本发明的技术所涉及的第26方式在第25方式所涉及的摄像支援装置中,预定的定时为摄像装置启动的定时、通过由摄像装置进行拍摄而获取到的拍摄图像的数量成为第6阈值以上的定时、开始摄像装置的充电的定时、摄像装置的动作模式从播放模式过渡到设定模式的定时或在播放模式下对拍摄图像进行评级的定时。
本发明的技术所涉及的第27方式在第1方式至第26方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第8处理的处理,该第8处理在将第2已学习模型适用于作为与摄像装置不同的摄像装置的另一装置的情况下,根据摄像装置的特性和另一装置的特性来校正向第2已学习模型输入的数据及来自第2已学习模型的输出中的至少一个。
本发明的技术所涉及的第28方式在第27方式所涉及的摄像支援装置中,图像传感器信息附属于第2已学习模型,该图像传感器信息包括表示与第2已学习模型相关的不同图像传感器各自的特性的特性信息及表示不同图像传感器之间的个体差的个体差信息中的至少一个信息,处理器使用图像传感器信息来确定摄像装置的特性及另一装置的特性。
本发明的技术所涉及的第29方式在第1方式至第28方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第9处理的处理,该第9处理输出用于使第3显示器显示第1经处理图像和未处理图像的第3数据,该第1经处理图像相当于通过将第3输出结果适用于第8图像而得的图像,该第3输出结果通过向第2已学习模型输入第8图像而从第2已学习模型输出,该未处理图像是未对第8图像适用第3输出结果而得的图像。
本发明的技术所涉及的第30方式在第1方式至第29方式中的任一方式所涉及的摄像支援装置中,特定处理为包括第10处理的处理,该第10处理输出用于使第4显示器显示光亮度调整图像和未处理图像的第4数据,该光亮度调整图像将第4输出结果适用于第9图像调整了光亮度,该第4输出结果通过向第2已学习模型输入第9图像而从第2已学习模型输出,该未处理图像是未对第9图像适用第4输出结果而得的图像。
本发明的技术所涉及的第31方式在第1方式至第30方式中的任一方式所涉及的摄像支援装置中,通过将第2已学习模型的输出反映到控制中进行拍摄而得的第3经处理图像附加有附属于第3经处理图像的第1附属信息,特定处理为包括第11处理的处理,该第11处理将可确定第2已学习模型的信息包括到第1附属信息中。
本发明的技术所涉及的第32方式在第1方式至第31方式中的任一方式所涉及的摄像支援装置中,通过将第1已学习模型的输出反映到控制中进行拍摄而得的第4经处理图像附加有附属于第4经处理图像的第2附属信息,特定处理为包括第12处理的处理,该第12处理将可确定第1已学习模型的信息包括到第2附属信息中。
本发明的技术所涉及的第33方式在第1方式至第32方式中的任一方式所涉及的摄像支援装置中,设定值为拍摄中使用的与白平衡相关的设定值、拍摄中使用的与曝光相关的设定值、拍摄中使用的与聚焦相关的设定值、拍摄中使用的与色度相关的设定值及拍摄中使用的与灰度相关的设定值中的至少一个设定值。
本发明的技术所涉及的第34方式为摄像支援装置,其具备:处理器;及存储器,与处理器连接或内置于处理器,存储器存储有第1已学习模型,第1已学习模型为用于与由摄像装置进行的拍摄相关的控制的已学习模型,处理器执行如下处理:通过进行以第1图像和获取到第1图像时适用于摄像装置的设定值为训练数据的学习处理来生成用于控制的第2已学习模型,该第1图像是通过由摄像装置进行拍摄而获取到的图像;及根据第1已学习模型与第2已学习模型之间的差异度来进行特定处理。
本发明的技术所涉及的第35方式为摄像装置,其具备:处理器;存储器,与处理器连接或内置于处理器;及摄像装置主体,存储器存储有第1已学习模型,第1已学习模型为用于与由摄像装置主体进行的拍摄相关的控制的已学习模型,处理器执行如下处理:通过进行以第1图像和获取到第1图像时适用于摄像装置主体的设定值为训练数据的学习处理来生成用于控制的第2已学习模型,该第1图像是通过由摄像装置主体进行拍摄而获取到的图像;及根据第2图像输入于第1已学习模型时从第1已学习模型输出的第1设定值和第2图像输入于第2已学习模型时从第2已学习模型输出的第2设定值来进行特定处理。
本发明的技术所涉及的第36方式为摄像支援方法,其包括如下步骤:通过进行以第1图像和获取到第1图像时适用于摄像装置的设定值为训练数据的学习处理来生成用于与由摄像装置进行的拍摄相关的控制的第2已学习模型,该第1图像是通过由摄像装置进行拍摄而获取到的图像;及根据第2图像输入于第1已学习模型时从第1已学习模型输出的第1设定值和第2图像输入于第2已学习模型时从第2已学习模型输出的第2设定值来进行特定处理。
本发明的技术所涉及的第37方式为程序:其用于使计算机执行包括如下步骤的处理:通过进行以第1图像和获取到第1图像时适用于摄像装置的设定值为训练数据的学习处理来生成用于与由摄像装置进行的拍摄相关的控制的第2已学习模型,该第1图像是通过由摄像装置进行拍摄而获取到的图像;及根据第2图像输入于第1已学习模型时从第1已学习模型输出的第1设定值和第2图像输入于第2已学习模型时从第2已学习模型输出的第2设定值来进行特定处理。
附图说明
图1是表示摄像系统的整体结构的一例的概略结构图。
图2是表示包括在摄像系统中的摄像装置的光学系统及电气系统的硬件结构的一例的概略结构图。
图3是表示包括在摄像系统中的摄像支援装置的电气系统的硬件结构的一例的概略结构图。
图4是表示包括在摄像支援装置中的CPU的主要部分的功能的一例的框图。
图5是表示训练数据生成部的处理内容的一例的概念图。
图6是表示生成第1已学习模型时的模型生成部的处理内容的一例的概念图。
图7是表示判定部及模型生成部的处理内容的一例的概念图。
图8是表示生成第2已学习模型时的模型生成部的处理内容的一例的概念图。
图9是表示执行部的处理内容的一例的概念图。
图10是表示进行验证的定时和验证内容的一例的概念图。
图11是表示执行部所具有的功能的一例的框图。
图12是表示第1处理执行部的处理内容的一例的概念图。
图13是表示第2处理执行部的处理内容的一例的概念图。
图14是表示第3处理执行部的处理内容的一例的概念图。
图15是表示第4处理执行部的处理内容的一例的概念图。
图16是表示在CPU的控制下显示于显示器上的模拟图像显示画面的方式的一例的画面图。
图17是表示从模拟图像显示画面中选择模拟图像的方式的一例的概念图。
图18是表示将从与所选择的模拟图像对应的已学习模型输出的设定值反映到与拍摄相关的控制中时的处理内容的一例的概念图。
图19是表示第5处理执行部的处理内容的一例的概念图。
图20是表示第6处理执行部的处理内容的一例的概念图。
图21是表示第7处理执行部的处理内容的一例的概念图。
图22是表示第8处理执行部的处理内容的一例的概念图。
图23是表示第9处理执行部的处理内容的一例的概念图。
图24是表示在CPU的控制下显示于显示器上的模拟图像显示画面的方式的一例的画面图。
图25是表示第10处理执行部的处理内容的一例的概念图。
图26是表示在CPU的控制下显示于显示器上的模拟图像显示画面的方式的一例的画面图。
图27是表示第11处理执行部的处理内容的一例的概念图。
图28是表示第12处理执行部的处理内容的一例的概念图。
图29A是表示摄像支援处理的流程的一例的流程图。
图29B是图29A所示的流程图的后续图。
图30是表示进行验证的定时和验证内容的一例的概念图。
图31是表示执行部的处理内容的一例的框图。
图32是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图33是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图34是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图35是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图36是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图37是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图38是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图39是表示智能设备的外观结构的一例的概略立体图。
图40A是表示向智能设备作出了视角变更指示的方式的一例的概念图。
图40B是表示在变更显示倍率时使用的画面的一部分的一例的概略画面图。
图41是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图42是表示途中伴有摄像系统的切换的视角变更的方式的一例的概念图。
图43是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图44是表示模型生成部的处理内容的一例的概念图。
图45是表示由摄像支援装置的CPU进行的处理内容的一例的框图。
图46是表示由智能设备的CPU进行的处理内容的一例的框图。
图47是表示使摄像装置负责摄像支援装置的功能时的摄像装置主体的结构例的框图。
具体实施方式
以下,根据附图对本发明的技术所涉及的摄像支援装置、摄像装置、摄像支援方法及程序的实施方式的一例进行说明。
首先,在以下说明中使用的词句进行说明。
CPU是指“Central Processing Unit(中央处理单元)”的缩写。GPU是指“GraphicsProcessing Unit(图形处理单元)”的缩写。TPU是指“Tensor processing unit(张量处理单元)”的缩写。NVM是指“Non-volatile memory(非易失性存储器)”的缩写。RAM是指“Random Access Memory(随机存取存储器)”的缩写。IC是指“Integrated Circuit(集成电路)”的缩写。ASIC是指“Application Specific Integrated Circuit(专用集成电路)”的缩写。PLD是指“Programmable Logic Device(可编程逻辑器件)”的缩写。FPGA是指“Field-Programmable Gate Array(现场可编程门阵列)”的缩写。SoC是指“System-on-a-chip(片上系统)”的缩写。SSD是指“Solid State Drive(固态驱动器)”的缩写。USB是指“UniversalSerial Bus(通用串行总线)”的缩写。HDD是指“Hard Disk Drive(硬盘驱动器)”的缩写。EEPROM是指“Electrically Erasable and Programmable Read Only Memory(电可擦写可编程只读存储器)”的缩写。EL是指“Electro-Luminescence(电致发光)”的缩写。I/F是指“Interface(接口)”的缩写。UI是指“User Interface(用户界面)”的缩写。fps是指“frameper second(每秒钟帧数)”的缩写。MF是指“Manual Focus(手动对焦)”的缩写。AF是指“Auto Focus(自动对焦)”的缩写。CMOS是指“Complementary Metal Oxide Semiconductor(互补金属氧化物半导体)”的缩写。CCD是指“Charge Coupled Device(电荷耦合器件)”的缩写。LAN是指“Local Area Network(局域网)”的缩写。WAN是指“Wide Area Network(广域网)”的缩写。CNN是指“Convolutional Neural Network(卷积神经网络)”的缩写。AI是指“Arti ficial Intelligence(人工智能)”的缩写。Exif是指“exchange image fileformat(交换图像文件格式)”的缩写。
作为一例,如图1所示,摄像系统10具备摄像装置12及摄像支援装置14。摄像装置12为拍摄被摄体的装置。在图1所示的例子中,作为摄像装置12的一例,示出了镜头可换式数码相机。摄像装置12具备摄像装置主体16及可换镜头18。可换镜头18以可更换的方式安装于摄像装置主体16。可换镜头18设置有聚焦环18A。聚焦环18A在摄像装置12的用户(以下,简称为“用户”)等通过摄像装置12对被摄体手动调整焦点时由用户等操作。
在本实施方式中,作为摄像装置12,例示了镜头可换式数码相机,但这仅为一例,也可以为镜头固定式数码相机,还可以为内置于智能设备、穿戴式终端、细胞观察装置、眼科观察装置或外科显微镜等各种电子设备的数码相机。
摄像装置主体16设置有图像传感器20。图像传感器20为CMOS图像传感器。图像传感器20拍摄包括至少一个被摄体的拍摄范围。在可换镜头18安装于摄像装置主体16的情况下,表示被摄体的被摄体光透射可换镜头18并成像于图像传感器20,由图像传感器20生成表示被摄体的图像的图像数据。
在本实施方式中,作为图像传感器20,例示了CMOS图像传感器,但本发明的技术并不限定于此,例如,即使图像传感器20为CCD图像传感器等其他类型的图像传感器,本发明的技术也成立。
摄像装置主体16的上表面设置有释放按钮22及拨盘24。拨盘24在设定摄像系统的动作模式及播放系统的动作模式等时操作,通过操作拨盘24,在摄像装置12中,选择性地设定拍摄模式、播放模式及设定模式作为动作模式。拍摄模式为使摄像装置12进行拍摄的动作模式。播放模式为播放在拍摄模式下进行记录用拍摄而得的图像(例如,静态图像和/或动态图像)的动作模式。设定模式为对摄像装置12设定后述的各种设定值102(参考图5)等的动作模式。
释放按钮22发挥拍摄准备指示部及拍摄指示部的功能,其能够检测拍摄准备指示状态和拍摄指示状态这两个阶段的按压操作。拍摄准备指示状态例如是指从待机位置按下至中间位置(半按位置)的状态,拍摄指示状态是指按下至超过中间位置的最终按下位置(全按位置)的状态。另外,以下,将“从待机位置按下至半按位置的状态”称为“半按状态”,将“从待机位置按下至全按位置的状态”称为“全按状态”。根据摄像装置12的结构,拍摄准备指示状态也可以是指用户的手指接触到释放按钮22的状态,拍摄指示状态也可以是指进行操作的用户的手指从接触到释放按钮22的状态转移到松开的状态的状态。
摄像装置主体16的背面设置有触摸屏显示器32及指示键26。
触摸屏显示器32具备显示器28及触摸面板30(同时参考图2)。作为显示器28的一例,可举出EL显示器(例如,有机EL显示器或无机EL显示器)。显示器28也可以为液晶显示器等其他类型的显示器,而不是EL显示器。
显示器28显示图像和/或字符信息等。在摄像装置12为拍摄模式的情况下,显示器28用于显示即时预览图像,该即时预览图像通过进行即时预览图像用拍摄(即,连续拍摄)而得。为了获得即时预览图像而进行的拍摄(以下,还称为“即时预览图像用拍摄”)例如根据60fps的帧速率进行。60fps仅为一例,也可以为小于60fps的帧速率,还可以为超过60fps的帧速率。
在此,“即时预览图像”是指,基于通过由图像传感器20进行拍摄而得的图像数据的显示用动态图像。通常,即时预览图像还被称为实时取景图像。
在经由释放按钮22对摄像装置12作出静态图像用拍摄的指示的情况下,显示器28还用于显示静态图像,该静态图像通过进行静态图像用拍摄而得。并且,显示器28还用于显示摄像装置12为播放模式时的播放图像等。进而,在摄像装置12为设定模式的情况下,显示器28还用于显示可选择各种菜单的菜单画面及用于设定与拍摄相关的控制中使用的各种设定值102(参考图5)等的设定画面。
触摸面板30为透射型触摸面板,其叠加在显示器28的显示区域的表面上。触摸面板30通过检测手指或触控笔等指示体的接触来受理来自用户的指示。另外,以下,为了方便说明,上述“全按状态”还包括用户经由触摸面板30按下用于开始拍摄的软键的状态。
在本实施方式中,作为触摸屏显示器32的一例,列举了触摸面板30叠加在显示器28的显示区域的表面上的外挂型触摸屏显示器,但这仅为一例。例如,作为触摸屏显示器32,也可以适用外嵌型或内嵌型触摸屏显示器。
指示键26受理各种指示。在此,“各种指示”例如是指,菜单画面的显示指示、一个或多个菜单的选择指示、选择内容的确定指示、选择内容的删除指示、放大、缩小及帧前进等各种指示等。并且,这些指示也可以通过触摸面板30进行。
摄像装置主体16经由网络34与摄像支援装置14连接,其细节待留后述。网络34例如为互联网。网络34并不限于互联网,也可以为WAN和/或内联网等LAN等。并且,在本实施方式中,摄像支援装置14为向摄像装置12提供与来自摄像装置12的请求对应的服务的服务器。另外,服务器可以为在本地与摄像装置12一并使用的大型计算机,也可以为通过云计算实现的外部服务器。并且,服务器也可以为通过雾计算、边缘计算或网格计算等网络计算实现的外部服务器。在此,作为摄像支援装置14的一例,列举了服务器,但这仅为一例,也可以代替服务器将至少一台个人计算机等用作摄像支援装置14。
作为一例,如图2所示,图像传感器20具备光电转换元件72。光电转换元件72具有受光面72A。光电转换元件72以受光面72A的中心与光轴OA重合的方式配置于摄像装置主体16内(同时参考图1)。光电转换元件72具有配置成矩阵状的多个感光像素,受光面72A由多个感光像素形成。感光像素为具有光电二极管(省略图示)的物理像素,其对接收到的光进行光电转换,并输出与受光量对应的电信号。
可换镜头18具备成像透镜40。成像透镜40具有物镜40A、聚焦透镜40B、变焦透镜40C及光圈40D。物镜40A、聚焦透镜40B、变焦透镜40C及光圈40D从被摄体侧(物体侧)至摄像装置主体16侧(像侧)沿着光轴OA依次配置有物镜40A、聚焦透镜40B、变焦透镜40C及光圈40D。
并且,可换镜头18具备控制装置36、第1致动器37、第2致动器38及第3致动器39。控制装置36根据来自摄像装置主体16的指示来控制整个可换镜头18。控制装置36例如为具有包括CPU、NVM及RAM等的计算机的装置。另外,在此,例示了计算机,但这仅为一例,也可以适用包括ASIC、FPGA和/或PLD的设备。并且,作为控制装置36,例如也可以使用由硬件结构及软件结构的组合实现的装置。
第1致动器37具备聚焦用滑动机构(省略图示)及聚焦用马达(省略图示)。聚焦用滑动机构上以能够沿着光轴OA滑动的方式安装有聚焦透镜40B。并且,聚焦用滑动机构上连接有聚焦用马达,聚焦用滑动机构接收聚焦用马达的动力而运作,由此使聚焦透镜40B沿着光轴OA移动。
第2致动器38具备变焦用滑动机构(省略图示)及变焦用马达(省略图示)。变焦用滑动机构上以能够沿着光轴OA滑动的方式安装有变焦透镜40C。并且,变焦用滑动机构上连接有变焦用马达,变焦用滑动机构接收变焦用马达的动力而运作,由此使变焦透镜40C沿着光轴OA移动。
第3致动器39具备动力传递机构(省略图示)及光圈用马达(省略图示)。光圈40D具有开口40D1,是可改变开口40D1的大小的光圈。开口40D1由多个光圈叶片40D2形成。多个光圈叶片40D2与动力传递机构连结。并且,动力传递机构上连接有光圈用马达,动力传递机构将光圈用马达的动力传递给多个光圈叶片40D2。多个光圈叶片40D2接收从动力传递机构传递过来的动力而运作,由此改变开口40D1的大小。光圈40D通过改变开口40D1的大小来调节曝光。
聚焦用马达、变焦用马达及光圈用马达与控制装置36连接,由控制装置36分别控制聚焦用马达、变焦用马达及光圈用马达的驱动。另外,在本实施方式中,作为聚焦用马达、变焦用马达及光圈用马达的一例,采用了步进马达。因此,聚焦用马达、变焦用马达及光圈用马达根据来自控制装置36的命令与脉冲信号同步地动作。另外,在此,示出了聚焦用马达、变焦用马达及光圈用马达设置于可换镜头18的例子,但这仅为一例,也可以将聚焦用马达、变焦用马达及光圈用马达中的至少一个设置于摄像装置主体16。另外,可换镜头18的构成物和/或动作方法可以根据需要进行变更。
在摄像装置12中,在处于拍摄模式的情况下,可根据对摄像装置主体16作出的指示选择性地设定MF模式和AF模式。MF模式为手动对焦的动作模式。在MF模式下,例如,通过用户操作聚焦环18A等,聚焦透镜40B会沿着光轴OA以与聚焦环18A等的操作量对应的移动量移动,由此调节焦点。
在AF模式下,由摄像装置主体16进行与被摄体距离对应的对焦位置的运算,并使聚焦透镜40B朝向运算而得的对焦位置移动,由此调节焦点。在此,对焦位置是指对焦状态下的聚焦透镜40B在光轴OA上的位置。另外,以下,为了方便说明,将使聚焦透镜40B对准对焦位置的控制还称为“AF控制”。
摄像装置主体16具备图像传感器20、控制器44、图像存储器46、UI系器件48、外部I/F50、通信I/F52、光电转换元件驱动器54、机械快门驱动器56、机械快门致动器58、机械快门60及输入/输出接口70。并且,图像传感器20具备光电转换元件72及信号处理电路74。
输入/输出接口70上连接有控制器44、图像存储器46、UI系器件48、外部I/F50、光电转换元件驱动器54、机械快门驱动器56及信号处理电路74。并且,输入/输出接口70上还连接有可换镜头18的控制装置36。
控制器44具备CPU62、NVM64及RAM66。CPU62、NVM64及RAM66经由总线68彼此连接,总线68与输入/输出接口70连接。
另外,在图2所示的例子中,为了方便图示,作为总线68,图示了一条总线,但也可以为多条总线。总线68可以为串行总线,也可以为包括数据总线、地址总线及控制总线等的并行总线。
NVM64为非临时性存储介质,其存储有各种参数及各种程序。例如,NVM64为EEPROM。但是,这仅为一例,也可以代替EEPROM或与EEPROM一并将HDD和/或SSD等用作NVM64。并且,RAM66临时存储各种信息,被用作工作存储器。
CPU62从NVM64读取必要的程序,并在RAM66上执行读取到的程序。CPU62根据在RAM66上执行的程序来控制整个摄像装置12。在图2所示的例子中,图像存储器46、UI系器件48、外部I/F50、通信I/F52、光电转换元件驱动器54、机械快门驱动器56及控制装置36由CPU62控制。
光电转换元件72上连接有光电转换元件驱动器54。光电转换元件驱动器54根据来自CPU62的指示向光电转换元件72供给拍摄定时信号,该拍摄定时信号规定由光电转换元件72进行的拍摄的定时。光电转换元件72根据从光电转换元件驱动器54供给的拍摄定时信号来进行重置、曝光及电信号的输出。作为拍摄定时信号,例如可举出垂直同步信号及水平同步信号。
在可换镜头18安装于摄像装置主体16的情况下,入射于成像透镜40的被摄体光通过成像透镜40成像于受光面72A。光电转换元件72在光电转换元件驱动器54的控制下对由受光面72A接收到的被摄体光进行光电转换,并向信号处理电路74输出与被摄体光的光量对应的电信号作为表示被摄体光的模拟图像数据。具体而言,信号处理电路74以曝光顺序读取方式从光电转换元件72以1帧为单位针对每个水平线读取模拟图像数据。
信号处理电路74通过将模拟图像数据数字化来生成数字图像数据。另外,以下,为了方便说明,在无需区分说明作为摄像装置主体16中的内部处理的对象的数字图像数据和由数字图像数据表示的图像(即,根据数字图像数据进行可视化而显示于显示器28等上的图像)的情况下,称为“拍摄图像75”。
机械快门60为焦平面快门,其配置于光圈40D与受光面72A之间。机械快门60具备前帘(省略图示)及后帘(省略图示)。前帘及后帘分别具备多个叶片。前帘配置于比后帘更靠被摄体侧。
机械快门致动器58为具有连杆机构(省略图示)、前帘用螺线管(省略图示)及后帘用螺线管(省略图示)的致动器。前帘用螺线管为前帘的驱动源,其经由连杆机构与前帘机械连结。后帘用螺线管为后帘的驱动源,其经由连杆机构与后帘机械连结。机械快门驱动器56根据来自CPU62的指示来控制机械快门致动器58。
前帘用螺线管在机械快门驱动器56的控制下生成动力,并将所生成的动力赋予给前帘,由此选择性地拉升及拉下前帘。后帘用螺线管在机械快门驱动器56的控制下生成动力,并将所生成的动力赋予给后帘,由此选择性地拉升及拉下后帘。在摄像装置12中,通过由CPU62控制前帘的开闭和后帘的开闭来控制对光电转换元件72的曝光量。
在摄像装置12中,以曝光顺序读取方式(滚动快门方式)进行即时预览图像用拍摄及用于记录静态图像和/或动态图像的记录图像用拍摄。图像传感器20具有电子快门功能,即时预览图像用拍摄通过在使机械快门60保持全开状态而不运作的情况下使电子快门功能生效来实现。
相对于此,伴有正式曝光的拍摄(即,静态图像用拍摄)通过使电子快门功能生效并且使机械快门60以使机械快门60从前帘关闭状态过渡到后帘关闭状态的方式运作来实现。
由信号处理电路74生成的拍摄图像75存储于图像存储器46中。即,信号处理电路74使图像存储器46存储拍摄图像75。CPU62从图像存储器46获取拍摄图像75,并使用获取到的拍摄图像75来执行各种处理。
UI系器件48具备显示器28,CPU62使显示器28显示各种信息。并且,UI系器件48具备受理器件76。受理器件76具备触摸面板30及硬键部78。硬键部78为包括指示键26(参考图1)的多个硬键。CPU62根据通过触摸面板30受理的各种指示来动作。另外,在此,硬键部78包括在UI系器件48中,但本发明的技术并不限定于此,例如,硬键部78也可以与外部I/F50连接。
外部I/F50控制与存在于摄像装置12的外部的装置(以下,还称为“外部装置”)之间的各种信息的交换。作为外部I/F50的一例,可举出USB接口。智能设备、个人计算机、服务器、USB存储器、存储卡和/或打印机等外部装置(省略图示)与USB接口直接或间接地连接。
通信I/F52经由网络34(参考图1)控制CPU62与摄像支援装置14(参考图1)之间的信息的交换。例如,通信I/F52经由网络34向摄像支援装置14发送与来自CPU62的请求对应的信息。并且,通信I/F52接收从摄像支援装置14发送过来的信息,并经由输入/输出接口70向CPU62输出接收到的信息。
作为一例,如图3所示,摄像支援装置14具备计算机82及通信I/F84。计算机82具备CPU86、存储单元88及存储器90。在此,计算机82为本发明的技术所涉及的“计算机”的一例,CPU86为本发明的技术所涉及的“处理器”的一例,存储单元88为本发明的技术所涉及的“存储器”的一例。
CPU86、存储单元88、存储器90及通信I/F84与总线92连接。另外,在图3所示的例子中,为了方便图示,作为总线92,图示了一条总线,但也可以为多条总线。总线92可以为串行总线,也可以为包括数据总线、地址总线及控制总线等的并行总线。
CPU86控制整个摄像支援装置14。存储单元88为存储各种程序及各种参数等的非易失性存储装置。作为存储单元88,例如可举出EEPROM、SSD和/或HDD等非临时性存储介质。存储器90为临时存储信息的存储器,其被CPU78用作工作存储器。作为存储器90,例如可举出RAM。
通信I/F84经由网络34与摄像装置12的通信I/F52连接。通信I/F84控制CPU86与摄像装置12之间的信息的交换。例如,通信I/F84接收从摄像装置12发送过来的信息,并向CPU86输出接收到的信息。并且,经由网络34向摄像装置12发送与来自CPU86的请求对应的信息。
摄像支援装置14具备备份用存储装置94。备份用存储装置94为本发明的技术所涉及的“既定存储装置”的一例。备份用存储装置94为存储后述的第2已学习模型118(参考图8)等的非易失性存储装置。作为备份用存储装置94,例如可举出EEPROM、SSD和/或HDD等非临时性存储介质。备份用存储装置94与总线92连接,CPU86将后述的第2已学习模型118等存储于备份用存储装置94中或从备份用存储装置94读取后述的第2已学习模型118等。
作为以往已知的摄像装置之一,已知一种摄像装置,其搭载有自动设定功能,该自动设定功能根据各种条件来设定与拍摄相关的控制中使用的各种参数(例如,用于曝光校正的参数、用于AF控制的参数及用于灰度校正的参数等)。然而,这种在摄像装置中使用的各种参数仅为厂商以独自的基准确定的参数,很难说是反映到每个用户的嗜好的参数。
因此,在本实施方式中,摄像支援装置14使学习用模型机器学习在使用摄像装置12的拍摄中实际使用的设定值与通过由摄像装置12进行拍摄而获取到的拍摄图像75之间的关联性,并通过使用已学习模型来进行用于尽可能地将接近用户的嗜好的参数设定到摄像装置12中的支援。并且,在摄像支援装置14中,将进行使用了学习结果的处理的定时也考虑在内进行处理。以下,对一个具体例进行说明。
作为一例,如图4所示,摄像支援装置14的存储单元88存储有摄像支援处理程序96。摄像支援处理程序96为本发明的技术所涉及的“程序”的一例。
CPU86从存储单元88读取摄像支援处理程序96,并在存储器90上执行读取到的摄像支援处理程序96。CPU86根据在存储器90上执行的摄像支援处理程序96来进行摄像支援处理(同时参考图29A及图29B)。摄像支援处理通过使CPU86作为训练数据生成部86A、模型生成部86B、判定部86C及执行部86D动作来实现。
以下,参考图5~图28对训练数据生成部86A、模型生成部86B、判定部86C及执行部86D的具体处理内容的一例进行说明。
作为一例,如图5所示,训练数据生成部86A生成训练数据98。训练数据98为机器学习中使用的标注数据。在本实施方式中,训练数据98在针对CNN104(参考图6)、复制模型116(参考图8)及第2已学习模型118(参考图8)等的学习处理中使用。训练数据98具有拍摄图像75及正确答案数据100。另外,本发明的技术所涉及的“已学习模型”还包括可进行追加学习的模型。
摄像装置12(参考图2)的NVM64中存储有适用于摄像装置12的参数,即,适用于与由摄像装置进行的拍摄相关的控制的各种设定值102。另外,以下,为了方便说明,将与由摄像装置进行的拍摄相关的控制还简称为“与拍摄相关的控制”。
作为各种设定值102,例如可举出白平衡R的设定值(例如,适用于红色(R)的白平衡增益)、白平衡B的设定值(例如,适用于蓝色(B)的白平衡的增益)、用于曝光校正的设定值、用于与拍摄场景对应的高色调的调整的设定值、用于与拍摄场景对应的阴影色调的调整的设定值及用于与拍摄场景对应的色彩的调整的设定值等。
另外,在此,白平衡R的设定值及白平衡B的设定值为本发明的技术所涉及的“拍摄中使用的与白平衡相关的设定值”的一例。并且,用于曝光校正的设定值为本发明的技术所涉及的“与曝光相关的设定值”的一例。并且,用于与拍摄场景对应的高色调(或还称为“高光色调”)的调整的设定值及用于与拍摄场景对应的阴影色调的调整的设定值为本发明的技术所涉及的“拍摄中使用的与灰度相关的设定值”的一例。并且,用于与拍摄场景对应的色彩的调整的设定值为本发明的技术所涉及的“拍摄中使用的与色度相关的设定值”的一例。
训练数据生成部86A从摄像装置12(参考图2)的图像存储器46获取拍摄图像75。并且,训练数据生成部86A从NVM64获取与获取到的拍摄图像75对应的各种设定值102,即,适用于与为了获得拍摄图像75而进行的拍摄相关的控制的各种设定值102。另外,适用于摄像装置12的设定值102是由用户设定的值。
训练数据生成部86A将从NVM64获取到的各种设定值102(即,由摄像装置12获取到拍摄图像75时适用于摄像装置12的各种设定值102)用作正确答案数据100。训练数据生成部86A通过将从图像存储器46获取到的拍摄图像75与正确答案数据100建立对应关系来生成训练数据98。
训练数据生成部86A在用户每次进行拍摄时(即,拍摄图像75每次存储于图像存储器46中时)生成训练数据98。另外,以下,有时还将图像的数量表示为“帧数”或“张数”。
训练数据生成部86A以一个图像为单位将所生成的训练数据98存储于存储单元88中。存储单元88中存储有多个训练数据98。即,存储单元88中存储有多个拍摄图像75和与多个拍摄图像75相关的多个正确答案数据100作为多个训练数据98。
作为一例,如图6所示,模型生成部86B具有CNN104。模型生成部86B从存储单元88获取训练数据98,并向CNN104输入包括在获取到的训练数据98中的拍摄图像75。若被输入拍摄图像75,则CNN104输出与各种设定值102对应的CNN信号104A。CNN信号104A为表示与各种设定值102相同的项的设定值的信号。与各种设定值102相同的项的设定值例如是指,白平衡R的设定值、白平衡B的设定值、用于曝光校正的设定值、用于与拍摄场景对应的高色调的调整的设定值、用于与拍摄场景对应的阴影色调的调整的设定值及用于与拍摄场景对应的色彩的调整的设定值等。
模型生成部86B计算与输入于CNN104的拍摄图像75建立有对应关系的正确答案数据100和CNN信号104A之间的误差108。误差108例如是指,白平衡R的设定值的误差、白平衡B的设定值的误差、用于曝光校正的设定值的误差、用于与拍摄场景对应的高色调的调整的设定值的误差、用于与拍摄场景对应的阴影色调的调整的设定值的误差及用于与拍摄场景对应的色彩的调整的设定值的误差等。
模型生成部86B计算使误差108最小化的多个调整值110。然后,模型生成部86B使用计算出的多个调整值110来调整CNN104内的多个优化变量。在此,CNN104内的多个优化变量例如是指包括在CNN104中的多个连接权重及多个偏移值等。
模型生成部86B反复进行存储于存储单元88中的拍摄图像75的数量份的学习处理,该学习处理为向CNN104输入拍摄图像75、计算误差108、计算多个调整值110及调整CNN104内的多个优化变量。即,模型生成部86B对存储单元88内的多个拍摄图像75的每一个使用以使误差108最小化的方式计算出的多个调整值110来调整CNN104内的多个优化变量,由此优化CNN104。另外,模型生成部86B并不一定要设置于CPU86的内部,也可以设置于CPU86的外部。即,学习处理并不限于由CPU86本身进行的处理,学习处理包括在CPU86的控制下使设置于CPU86外的模型生成部86B进行学习处理来生成已学习模型的处理。
模型生成部86B通过优化CNN104来生成第1已学习模型106。即,通过调整包括在CNN104中的多个优化变量来优化CNN104,由此生成第1已学习模型106。模型生成部86B将所生成的第1已学习模型106存储于存储单元88中。第1已学习模型106为用于与拍摄相关的控制的已学习模型,其细节待留后述。另外,该与拍摄相关的控制不仅包括与由图像传感器20(参考图1及图2)进行的图像的读入相关的控制,而且还包括针对通过进行拍摄而得的数据的自动白平衡、色调和/或色彩等图像处理。
作为一例,如图7所示,存储单元88中存储有第1已学习模型106。并且,如上所述,拍摄图像75每次存储于图像存储器46中时,由训练数据生成部86A生成训练数据98,并将所生成的训练数据98存储于存储单元88中。在将第1已学习模型106存储于存储单元88中之后,判定部86C判定存储于存储单元88中的训练数据98的拍摄图像75的数量是否达到第1阈值(例如,“10000”)。
另外,第1阈值并不是固定值,而是根据拍摄图像75的数量而变更的可变值。例如,在未进行对CNN104的学习处理的阶段,第1阈值为“10000”,若拍摄图像75的数量达到“10000”,则计数为拍摄图像75的数量的值会被重置为“0”,第1阈值会被设定为“1000”。并且,此后每当拍摄图像75的数量达到“1000”时,计数为拍摄图像75的数量的值会被重置为“0”,第1阈值会被设定为“1000”。在此,作为第1阈值示出的值“10000”及“1000”仅为一例,也可以为其他值。
在判定部86C断定存储于存储单元88中的训练数据98的拍摄图像75的数量达到第1阈值的情况下,模型生成部86B生成复制模型116。复制模型116为复制存储单元88内的第1已学习模型106而得的学习模型。模型生成部86B通过使用存储单元88内的训练数据98对复制模型116进行学习处理来生成第2已学习模型118,该第2已学习模型118为用于与拍摄相关的控制的已学习模型。即,模型生成部86B通过以存储于存储单元88中的训练数据98的拍摄图像75的数量达到第1阈值为条件使用存储单元88内的训练数据98对复制模型116进行学习处理来生成第2已学习模型118。
作为一例,如图8所示,模型生成部86B从存储单元88获取训练数据98,并向复制模型116输入包括在获取到的训练数据98中的拍摄图像75。若被输入拍摄图像75,则复制模型116输出与各种设定值102对应的CNN信号116A。与CNN信号104A相同地,CNN信号116A为表示与各种设定值102相同的项的设定值的信号。
模型生成部86B计算与输入于复制模型116中的拍摄图像75建立有对应关系的正确答案数据100和CNN信号116A之间的误差120。误差120例如是指,白平衡R的设定值的误差、白平衡B的设定值的误差、用于曝光校正的设定值的误差、用于与拍摄场景对应的高色调的调整的设定值的误差、用于与拍摄场景对应的阴影色调的调整的设定值的误差及用于与拍摄场景对应的色彩的调整的设定值的误差等。
模型生成部86B计算使误差120最小化的多个调整值122。然后,模型生成部86B使用计算出的多个调整值122来调整复制模型116内的多个优化变量。在此,复制模型116内的多个优化变量例如是指包括在复制模型116中的多个连接权重及多个偏移值等。
模型生成部86B反复进行存储于存储单元88中的拍摄图像75的数量份的学习处理,该学习处理为向复制模型116输入拍摄图像75、计算误差120、计算多个调整值122及调整复制模型116内的多个优化变量。即,模型生成部86B对存储单元88内的多个拍摄图像75的每一个使用以使误差120最小化的方式计算出的多个调整值122来调整复制模型116内的多个优化变量,由此优化复制模型116。
模型生成部86B通过优化复制模型116来生成第2已学习模型118。即,通过调整包括在复制模型116中的多个优化变量来优化复制模型116,由此生成第2已学习模型118。模型生成部86B将所生成的第2已学习模型106存储于存储单元88中。
另外,在图8所示的例子中,存储单元88内的训练数据98为本发明的技术所涉及的“训练数据”的一例,存储单元88内的拍摄图像75为本发明的技术所涉及的“第1图像”的一例,存储单元88内的正确答案数据100为本发明的技术所涉及的“设定值”的一例。
作为一例,如图9所示,存储单元88中存储有基准图像组124。基准图像组124具有多个基准图像124A。基准图像124A为本发明的技术所涉及的“第2图像”的一例。
多个基准图像124A为通过在互不相同的场景下由摄像装置12进行拍摄而获取到的图像。在图9所示的例子中,作为多个基准图像124A的一例,示出了通过在第1场景下由摄像装置12进行拍摄而获取到的图像、通过在第2场景下由摄像装置12进行拍摄而获取到的图像、通过在第3场景下由摄像装置12进行拍摄而获取到的图像、通过在第4场景下由摄像装置12进行拍摄而获取到的图像及通过在第5场景下由摄像装置12进行拍摄而获取到的图像。
执行部86D以存储于存储单元88中的训练数据98的拍摄图像75的数量达到第1阈值为条件进行特定处理。在本实施方式中,作为一例,根据以存储于存储单元88中的训练数据98的拍摄图像75的数量达到第1阈值为条件生成的第2已学习模型118的输出结果来进行特定处理。以下,对此进行更详细的说明。
执行部86D根据基准图像124A输入于第1已学习模型106时从第1已学习模型106输出的第1设定值106A和基准图像124A输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A来进行特定处理。具体而言,首先,执行部86D向第1已学习模型106及第2已学习模型118输入多个基准图像124A中的一个基准图像124A。若被输入基准图像124A,则第1已学习模型106输出第1设定值106A。第1设定值106A为与各种设定值102相同的项(以下,还称为“各种设定项”)的设定值。若被输入基准图像124A,则第2已学习模型118输出第2设定值118A。第2设定值118A也为各种设定项的设定值。
执行部86D计算第1设定值106A与第2设定值118A之间的差异度125。差异度125例如是指第1设定值106A与第2设定值118A的差分的绝对值。另外,差分的绝对值仅为一例,也可以为第2设定值118A与第1设定值106A的比例或第1设定值106A与第2设定值118A的比例等,只要是表示第1设定值106A与第2设定值118A的不同程度的值即可。
并且,在此,作为第1设定值106A与第2设定值118A之间的差异度125,例如使用各种设定项的每一个的差异度的平均值。例如,第1设定值106A与第2设定值118A之间的差异度为针对白平衡R的第1设定值106A与第2设定值118A之间的差异度、针对白平衡B的第1设定值106A与第2设定值118A之间的差异度、用于曝光校正的第1设定值106A与第2设定值118A之间的差异度、用于与拍摄场景对应的高色调的调整的第1设定值106A与第2设定值118A之间的差异度、用于与拍摄场景对应的阴影色调的调整的第1设定值106A与第2设定值118A之间的差异度及用于与拍摄场景对应的色彩的调整的第1设定值106A与第2设定值118A之间的差异度等的平均值。另外,在本实施方式中,为了能够平等地对待各设定值,例如进行了评分。
执行部86D对多个基准图像124A中余下的基准图像124A也同样地计算差异度125。然后,执行部86D判定针对所有多个基准图像124A的差异度125是否为第2阈值以上。执行部86D在针对所有多个基准图像124A的差异度125为第2阈值以上的情况下,进行特定处理。
在此,计算了所有差异度的平均,但这仅为一例。并不需要上述设定值的各项均存在差异,例如也可以在某一设定值存在第2阈值以上的差异的情况下进行特定处理。另外,针对平均值的第2阈值与针对任一设定值的第2阈值有时还会不同。并且,在此,列举了以针对所有多个基准图像124A的差异度125为第2阈值以上为条件执行特定处理的形式的例子,但这仅为一例。例如,也可以以如下情况为条件进行特定处理:断定针对多个基准图像124A的每一个计算出的差异度125为第2阈值以上的次数为多个基准图像124A的数量(在本例子中,为第1~第5场景的基准图像124A这5张(帧))中的既定数量(例如,过半数或任一帧等)以上。并且,例如,也可以以针对所有多个基准图像124A的差异度125的平均值为第2阈值以上为条件进行特定处理。并且,例如,也可以以针对所有多个基准图像124A的差异度125的最大值为第2阈值以上为条件进行特定处理。并且,例如,也可以以针对所有多个基准图像124A的差异度125的最小值为第2阈值以上为条件进行特定处理。并且,例如,也可以以针对所有多个基准图像124A的差异度125的中央值为第2阈值以上为条件进行特定处理。
由执行部86D执行的特定处理是指包括后述的第1~第12处理中的任一处理的处理。但是,这仅为一例,也可以由执行部86D进行包括第1~第12处理中的多个处理的处理作为特定处理。
图10中示出了由执行部86D进行一连串的处理(以下,还称为“验证”)的定时的一例,该一连串的处理为计算差异度125的处理及判定差异度125是否为第2阈值以上的处理。
在图10所示的例子中,直至通过由摄像装置12进行拍摄而获取到的拍摄图像75的数量(以下,还称为“拍摄帧数”)达到“10000”为止,对CNN104设定“学习待机”,而不进行对CNN104的学习处理。若拍摄帧数达到“10000”,则进行对CNN104的学习处理,由此生成第1已学习模型106。若生成了第1已学习模型106,则开始运用第1已学习模型106。即,使第1已学习模型106进行推论(例如,通过向第1已学习模型106输入拍摄图像75等而从第1已学习模型106输出第1设定值106A的处理),并由摄像支援装置14进行使用第1已学习模型106的推论结果的处理。作为使用第1已学习模型106的推论结果的处理,例如可举出将拍摄图像75输入于第1已学习模型106时从第1已学习模型106输出的第1设定值106A反映到与拍摄相关的控制中的处理(例如,对摄像装置12设定第1设定值106A的处理)。另外,第1已学习模型106也可以由制造摄像装置12的厂商预先生成并存储于相机(例如,摄像装置12)内的存储器(例如,NVM64)中。
并且,若拍摄帧数达到“10000”,则生成复制模型116。若生成了复制模型116,则直至拍摄帧数达到“11000”为止,对复制模型116设定“学习待机”,而不进行对复制模型116的学习处理。
若拍摄帧数达到“11000”,则进行对复制模型116的学习处理,由此生成第2已学习模型118。若生成了第2已学习模型118,则进行验证。在验证中,向第1已学习模型106及第2已学习模型118依次输入包括在基准图像组124中的所有基准图像124A的每一个。由此,从第1已学习模型106输出第1设定值106A,并且从第2已学习模型118输出第2设定值118A。然后,计算从第1已学习模型106输出的第1设定值106A与从第2已学习模型118输出的第2设定值118A之间的差异度125,并判定计算出的差异度125是否为第2阈值以上。在此,在差异度125为第2阈值以上的情况下,执行包括特定处理的处理。
包括特定处理的处理包括从第1已学习模型106的运用切换到现有的第2已学习模型118的运用(例如,最新的第2已学习模型118的运用)的处理。即,使现有的第2已学习模型118进行推论(例如,通过向现有的第2已学习模型118输入拍摄图像75等而从现有的第2已学习模型118输出第2设定值118A的处理),并由摄像支援装置14进行使用现有的第2已学习模型118的推论结果的处理。作为使用第2已学习模型118的推论结果的处理,例如可举出将拍摄图像75输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A反映到与拍摄相关的控制中的处理(例如,对摄像装置12设定第2设定值118A的处理)。
另一方面,在使用第1已学习模型106和现有的第2已学习模型118的验证中,在差异度125小于第2阈值的情况下,不执行特定处理,并且直至拍摄帧数达到“12000”为止,对第2已学习模型118设定“学习待机”,而不进行对第2已学习模型118的学习处理。在此,差异度125小于第2阈值时的现有的第2已学习模型118(即,断定差异度125小于第2阈值的时点的最新的第2已学习模型118)为本发明的技术所涉及的“学习模型”的一例。
若拍摄帧数达到“12000”,则进行对现有的第2已学习模型118的学习处理,由此生成新的第2已学习模型118。若生成了新的第2已学习模型118,则进行验证。在验证中,向第1已学习模型106及新的第2已学习模型118依次输入包括在基准图像组124中的所有基准图像124A的每一个。由此,从第1已学习模型106输出第1设定值106A,从新的第2已学习模型118输出第2设定值118A。然后,计算从第1已学习模型106输出的第1设定值106A与从新的第2已学习模型118输出的第2设定值118A之间的差异度125,并判定计算出的差异度125是否为第2阈值以上。在此,在差异度125为第2阈值以上的情况下,执行特定处理。在差异度125小于第2阈值的情况下,不执行特定处理,并且直至拍摄帧数达到“13000”为止,对现有的第2已学习模型118设定“学习待机”,而不进行对现有的第2已学习模型118的学习处理。此后,每当拍摄帧数达到“1000”时,直至满足“差异度125≥第2阈值”的条件为止,进行相同的处理。
另外,在图10所示的例子中,复制模型116被复制的时刻(即,拍摄帧数达到“10000”的时刻)为本发明的技术所涉及的“特定时刻”的一例。并且,在图10所示的例子中,在拍摄帧数超过“10000”的期间生成了用于验证的第2已学习模型118的时刻为本发明的技术所涉及的“特定时刻”的一例。并且,在拍摄帧数超过“10000”的期间生成了用于验证的第2已学习模型118的时刻至拍摄帧数达到“1000”为止的期间(即,进行下一次验证为止的期间)为本发明的技术所涉及的“特定时刻至满足条件为止的期间”的一例。
在图10所示的例子中,示出了直至拍摄帧数达到“10000”为止不对CNN104进行学习处理的形式的例子,但这仅为一例,作为解除学习待机的条件的拍摄帧数也可以为小于“10000”的值(例如,“1000”),还可以为超过“10000”的值(例如,“100000”)。并且,在图10所示的例子中,在拍摄帧数超过“10000”的情况下,示出了拍摄帧数以“1000”为单位进行验证的形式的例子,但这仅为一例,作为进行验证的条件的拍摄帧数也可以为小于“1000”的值(例如,“100”),还可以为超过“1000”的值(例如,“10000”)。
作为一例,如图11所示,执行部86D具有第1处理执行部86D1、第2处理执行部86D2、第3处理执行部86D3、第4处理执行部86D4、第5处理执行部86D5、第6处理执行部86D6、第7处理执行部86D7、第8处理执行部86D8、第9处理执行部86D9、第10处理执行部86D10、第11处理执行部86D11及第12处理执行部86D12。
第1处理执行部86D1执行第1处理(参考图12)。第2处理执行部86D2执行第2处理(参考图13)。第3处理执行部86D3执行第3处理(参考图14)。第4处理执行部86D4执行第4处理(参考图15~图18)。第5处理执行部86D5执行第5处理(参考图19)。第6处理执行部86D6执行第6处理(参考图20)。第7处理执行部86D7执行第7处理(参考图21)。第8处理执行部86D8执行第8处理(参考图22)。第9处理执行部86D9执行第9处理(参考图23及图24)。第10处理执行部86D10执行第10处理(参考图25及图26)。第11处理执行部86D11执行第11处理(参考图27)。第12处理执行部86D12执行第12处理(参考图28)。
作为一例,如图12所示,作为第1处理,第1处理执行部86D1执行将第2设定值118A反映到与拍摄相关的控制中的处理。例如,首先,第1处理执行部86D1从摄像装置12获取拍摄图像75,并向第2已学习模型118输入获取到的拍摄图像75。若被输入拍摄图像75,则第2已学习模型118输出第2设定值118A。第1处理执行部86D1向摄像装置12发送包括从第2已学习模型118输出的第2设定值118A的第1处理信号。摄像装置12接收从第1处理执行部86D1发送过来的第1处理信号,并使用包括在接收到的第1处理信号中的第2设定值118A进行拍摄。
另外,在图12所示的例子中,示出了向第2已学习模型118输入拍摄图像75的形式的例子,但这仅为一例,也可以向第2已学习模型118输入拍摄图像75以外的图像。作为拍摄图像75以外的图像,例如可举出用户等在多个基准图像124A中选择的至少一个图像。
作为一例,如图13所示,作为第2处理,第2处理执行部86D2执行将第2已学习模型118存储于备份用存储装置94中的处理。例如,第2处理执行部86D2将验证中使用的最新的第2已学习模型118存储于备份用存储装置94中。另外,在此,作为第2已学习模型118的存储位置,例示了备份用存储装置94,但本发明的技术并不限定于此,也可以代替备份用存储装置94使用存在于网络34上的其他装置(例如,摄像装置12、服务器或个人计算机等)的存储装置。
作为一例,如图14所示,作为第3处理,第3处理执行部86D3执行将第1已学习模型106及第2已学习模型118中根据所受理的指示选择的那个的输出反映到与拍摄相关的控制中的处理。
在该情况下,例如,根据用户等对摄像装置12作出的指示来选择第1已学习模型106及第2已学习模型118中的任一模型。在图14所示的例子中,摄像装置12的显示器28上显示有模型指示画面127,并通过触摸面板30受理来自用户等的指示。
模型指示画面127上显示有消息127A、软键127B及软键127C。消息127A为提示用户选择已学习模型的消息。在图14所示的例子中,作为消息127A的一例,示出了消息“请选择已学习模型。”。当用户等选择第1已学习模型106时,会经由触摸面板30按下软键127B。当用户等选择第2已学习模型118时,会经由触摸面板30按下软键127C。在图14所示的例子中,示出了用户等按下软键127C的方式的例子。若经由触摸面板30按下软键127B或软键127C,则摄像装置12向第3处理执行部86D3发送模型选择信息129。模型选择信息129为表示用户等是否选择了第1已学习模型106及第2已学习模型118中的任一模型的信息(例如,表示是否按下软键127B及127C中的任一软键的信息)。
第3处理执行部86D3接收从摄像装置12发送过来的模型选择信息129,并参考接收到的模型选择信息129来确定选择了第1已学习模型106及第2已学习模型118中的哪个模型。第3处理执行部86D3向第1已学习模型106及第2已学习模型118中被确定的那个(以下,还称为“选择已学习模型”)输入拍摄图像75。若选择已学习模型为第1已学习模型106,则第1已学习模型106输出第1设定值106A。若选择已学习模型为第2已学习模型118,则第2已学习模型118输出第2设定值118A。
第3处理执行部86D3向摄像装置12发送包括从第1已学习模型106输出的第1设定值106A或从第2已学习模型118输出的第2设定值118A的信号作为第3处理信号。以下,为了方便说明,在无需区分说明从第1已学习模型106输出的第1设定值106A和从第2已学习模型118输出的第2设定值118A的情况下,称为“输出设定值”。
摄像装置12接收从第3处理执行部86D3发送过来的第3处理信号,并使用包括在接收到的第3处理信号中的输出设定值进行拍摄。
另外,在图14所示的例子中,示出了分别向第1已学习模型106及第2已学习模型118输入拍摄图像75的形式的例子,但这仅为一例,也可以向第1已学习模型106及第2已学习模型118中的至少一个模型输入拍摄图像75以外的图像。
作为一例,如图15所示,作为第4处理,第4处理执行部86D4输出用于使显示器28(参考图16)显示模拟图像128A及模拟图像128B的数据,该模拟图像128A相当于通过将第1设定值106A适用于基准图像组124而得的图像,该第1设定值106A通过向第1已学习模型106输入基准图像组124而从第1已学习模型106输出,该模拟图像128B通过将第2设定值118A适用于基准图像组124而得,该第2设定值118A通过向第2已学习模型118输入基准图像组124而从第2已学习模型118输出。
在此,基准图像组124为本发明的技术所涉及的“第3图像”及“第5图像”的一例。即,“第3图像”及“第5图像”可以为相同的图像。并且,第1设定值106A为本发明的技术所涉及的“第1输出结果”的一例。并且,第2设定值118A为本发明的技术所涉及的“第2输出结果”的一例。并且,模拟图像组126B为本发明的技术所涉及的“第4图像”的一例。并且,模拟图像128B为本发明的技术所涉及的“第6图像”的一例。并且,显示器28为本发明的技术所涉及的“第1显示器”的一例。
在图15所示的例子中,第4处理执行部86D4向第1已学习模型106依次输入包括在基准图像组124中的所有基准图像124A的每一个。每当输入基准图像124A时,第1已学习模型106输出第1设定值106A。每当从第1已学习模型106输出第1设定值106A时,第4处理执行部86D4根据所输出的第1设定值106A和对应的基准图像124A来生成包括模拟图像128A及使用模型标识符130A的模拟图像组126A。模拟图像组126A针对包括在基准图像组124中的所有基准图像124A的每一个生成。另外,在此,向第1已学习模型106依次输入了所有基准图像124A的每一个,但也可以为任一个或多个。
模拟图像128A是预测为在进行了使用第1设定值106A的拍摄时由摄像装置12获取的拍摄图像75的图像。作为模拟图像128A的一例,以通过由摄像装置12进行拍摄来获取基准图像124A为前提,可举出相当于在进行了使用第1设定值106A的拍摄时受第1设定值106A的影响的基准图像124A的图像。
包括在模拟图像组126A中的使用模型标识符130A为可确定第1已学习模型106的标识符。使用模型标识符130A与模拟图像128A建立有对应关系。
在图15所示的例子中,第4处理执行部86D4向第2已学习模型118依次输入包括在基准图像组124中的所有基准图像124A的每一个。每当输入基准图像124A时,第2已学习模型118输出第2设定值118A。每当从第2已学习模型118输出第2设定值118A时,第4处理执行部86D4根据所输出的第2设定值118A和对应的基准图像124A来生成包括模拟图像128B及使用模型标识符130B的模拟图像组126B。模拟图像组126B针对包括在基准图像组124中的所有基准图像124A的每一个生成。
模拟图像128B是预测为在进行了使用第2设定值118A的拍摄时由摄像装置12获取的拍摄图像75的图像。作为模拟图像128B的一例,以通过由摄像装置12进行拍摄来获取基准图像124A为前提,可举出相当于在进行了使用第2设定值118A的拍摄时受第2设定值118A的影响的基准图像124A的图像。
包括在模拟图像组126B中的使用模型标识符130B为可确定第2已学习模型118的标识符。使用模型标识符130B与模拟图像组126B建立有对应关系。
另外,以下,为了方便说明,将包括模拟图像组126A及126B的数据称为模拟图像组126。并且,在无需区分说明模拟图像128A及128B的情况下,称为模拟图像128。并且,在无需区分说明使用模型标识符130A及130B的情况下,称为使用模型标识符130。
第4处理执行部86D4向摄像装置12发送模拟图像组126。摄像装置12接收从第4处理执行部86D4发送过来的模拟图像组126。在此,模拟图像组126为本发明的技术所涉及的“第1数据”的一例。
作为一例,如图16所示,摄像装置12的CPU62根据模拟图像组126来生成模拟图像显示画面132,并使显示器28显示模拟图像显示画面132。模拟图像显示画面132上显示有模拟图像128等。
模拟图像显示画面132包括第1画面132A和第2画面132B。CPU62根据模拟图像组126A来生成第1画面132A,并且根据模拟图像组126B来生成第2画面132B。在图16所示的例子中,模拟图像显示画面132内的上半部分的区域为第1画面132A,下半部分的区域为第2画面132B。
CPU62参考使用模型标识符130来控制显示器28,将模拟图像128A显示于第1画面132A,并且将模拟图像128B显示于第2画面132B。另外,所显示的模拟图像128A及128B可以为一个,也可以为多个。由此,模拟图像128A和模拟图像128B以可区分的方式显示于显示器28。另外,使用模型标识符130为本发明的技术所涉及的“用于使第1显示器以可区分的方式显示第4图像和第6图像的数据”的一例。
CPU62使显示器28以根据包括在模拟图像组126A中的使用模型标识符130A与模拟图像128A建立有对应关系的状态显示消息132A1。并且,CPU62使显示器28以根据包括在模拟图像组126B中的使用模型标识符130B与模拟图像128B建立有对应关系的状态显示消息132B1。在图16所示的例子中,通过将消息132A1显示于第1画面132A,消息132A1与模拟图像128A会被建立对应关系,通过将消息132B1显示于第2画面132B,消息132B1与模拟图像128B会被建立对应关系。
消息132A1为可确定第1已学习模型106的消息,消息132B1为可确定第2已学习模型118的消息。在图16所示的例子中,作为消息132A1的一例,示出了消息“基于第1已学习模型的模拟图像”,作为消息132B1的一例,示出了消息“基于第2已学习模型的模拟图像”。
图16中例示出的消息132A1的内容仅为一例,消息132A1只要是表示显示于第1画面132A上的模拟图像128A为基于第1已学习模型106生成的模拟图像的消息即可。并且,图16中例示出的消息132B1的内容仅为一例,消息132B1只要是表示显示于第2画面132B上的模拟图像128B为基于第2已学习模型118生成的模拟图像的消息即可。
另外,消息132A1为本发明的技术所涉及的“第1已学习模型确定信息”的一例,消息132B1为本发明的技术所涉及的“第2已学习模型确定信息”的一例。并且,使用模型标识符130为本发明的技术所涉及的“用于使第1显示器以建立有对应关系的状态显示第4图像和可确定第1已学习模型的第1已学习模型确定信息且使第1显示器以建立有对应关系的状态显示第6图像和可确定第2已学习模型的第2已学习模型确定信息的数据”的一例。
在此,通过消息132A确定了模拟图像128A为基于第1已学习模型106的图像,并且通过消息132B1确定了模拟图像128B为基于第2已学习模型118的图像,但本发明的技术并不限定于此。例如,也可以对模拟图像128A的外框标注可确定其为基于第1已学习模型106的模拟图像的颜色,并且对模拟图像128B的外框标注可确定其为基于第2已学习模型118的模拟图像的颜色。并且,也可以以与模拟图像128A建立有关联的状态显示可确定其为基于第1已学习模型106的模拟图像的标记等,并且以与模拟图像128B建立有关联的状态显示可确定其为基于第2已学习模型118的模拟图像的标记等。
作为一例,如图17所示,在用户等在模拟图像显示画面132显示于显示器28上的状态下经由触摸面板30选择了模拟图像显示画面132内的任一模拟图像128的情况下,CPU62向摄像支援装置14发送可确定选择了哪个模拟图像128的选择图像确定信息134。摄像支援装置14的第4处理执行部86D4接收从摄像装置12发送过来的选择图像确定信息134。
作为一例,如图18所示,作为包括在第4处理中的处理之一,第4处理执行部86D4执行如下处理:在显示于显示器28上的多个模拟图像128中选择了模拟图像128A时将第1已学习模型106的输出反映到与拍摄相关的控制中,并且在选择了模拟图像128B时将第2已学习模型118的输出反映到与拍摄相关的控制中。
在该情况下,例如,第4处理执行部86D4参考选择图像确定信息134来确定用户等选择了多个模拟图像128中的哪个模拟图像128。第4处理执行部86D4向用于所确定的模拟图像128的生成的已学习模型输入用于所确定的模拟图像128的生成的基准图像124A。用于模拟图像128的生成的已学习模型为第1已学习模型106或第2已学习模型118。在基准图像124A输入于第1已学习模型106的情况下,第1已学习模型106输出第1设定值106A,在基准图像124A输入于第2已学习模型118的情况下,第2已学习模型118输出第2设定值118A。
第4处理执行部86D4向摄像装置12发送包括输出设定值的信号作为第4处理信号。摄像装置12接收从第4处理执行部86D4发送过来的第4处理信号,并使用包括在接收到的第4处理信号中的输出设定值进行拍摄。
作为一例,如图19所示,作为第5处理,第5处理执行部86D5执行输出用于使显示器28显示时刻确定信息136的数据的处理,该时刻确定信息136可确定生成了第2已学习模型118的时刻。另外,也可以在不显示图像的情况下将多个时刻确定信息136显示于显示器28。例如,以列举通过多个时刻确定信息136确定的多个年月日的信息的方式显示于显示器28。并且,也可以设为能够通过用户选择这些日期来选择所使用的已学习模型。
在该情况下,例如,第5处理执行部86D5判定是否由模型生成部86B(参考图8)生成了第2已学习模型118。在由模型生成部86B生成了第2已学习模型118的情况下,第5处理执行部86D5获取时刻确定信息136。例如,时刻确定信息136从时钟(作为一例,为实时时钟)获取。第5处理执行部86D5获取最新的第2设定值118A。作为最新的第2设定值118A,例如可举出满足“差异度125≥第2阈值”的条件时的差异度125的计算中使用的第2设定值118A。
第5处理执行部86D5生成第2设定值反映图像138。第2设定值反映图像138为通过将第2已学习模型118的输出(即,最新的第2设定值118A)反映到基准图像124A中而得的图像。即,第2设定值反映图像138以与由第4处理设定部86D4生成模拟图像128(图15)的要领相同的要领,根据最新的第2设定值118A及基准图像124A来生成。
第5处理执行部86D5将时刻确定信息136与第2设定值反映图像138建立对应关系。然后,第5处理执行部86D5向摄像装置12发送与时刻确定信息136建立有对应关系的第2设定值反映图像138。摄像装置12接收与时刻确定信息136建立有对应关系的第2设定值反映图像138。在摄像装置12中,在CPU62的控制下,第2设定值反映图像138和根据时刻确定信息136确定的时刻(例如,生成了第2已学习模型118的时刻)以并列的状态显示于显示器28。
另外,时刻确定信息136及第2设定值反映图像138为本发明的技术所涉及的“第2数据”。并且,时刻确定信息136及第2设定值反映图像138为本发明的技术所涉及的“用于使第2显示器以与反映了第2已学习模型的输出的第7图像建立有对应关系的状态显示时刻确定信息的数据”的一例。并且,第2设定值反映图像138为本发明的技术所涉及的“第7图像”的一例。
作为一例,如图20所示,作为第6处理,第6处理执行部86D6执行将时刻确定信息136与第2已学习模型118建立对应关系的处理。在该情况下,例如,在由模型生成部86B生成了第2已学习模型118的情况下,第6处理执行部86D6获取时刻确定信息136。第6处理执行部86D6将获取到的时刻确定信息136与存储单元88内的第2已学习模型118建立对应关系并存储于存储单元88中。另外,在图20所示的例子中,将第2已学习模型118和时刻确定信息136以建立有对应关系的状态存储于存储单元88中,但本发明的技术并不限定于此,也可以将第2已学习模型118和时刻确定信息136以建立有对应关系的状态存储于备份用存储装置94中。
并且,摄像支援装置14的CPU86也可以通过与第1已学习模型106相同地对待现有的第2已学习模型118(在图20所示的例子中,为存储于存储单元88中的第2已学习模型118)且与复制模型116相同地对待复制已学习模型(复制现有的第2已学习模型118而得的已学习模型)而对复制已学习模型进行学习处理。
在该情况下,CPU86通过对复制已学习模型进行学习处理来生成第3已学习模型,并与第2已学习模型118相同地,将时刻确定信息136与所生成的第3已学习模型建立对应关系。然后,CPU86将第3已学习模型和时刻确定信息136以建立有对应关系的状态存储于存储单元88中。通过反复进行与通过对第2已学习模型118进行学习处理来生成第3已学习模型的处理相同的处理,可运用的多个已学习模型以与时刻确定信息136建立有对应关系的状态蓄积在存储单元88中。即,在将N设为3以上的自然数的情况下,N个以上已学习模型以与时刻确定信息136建立有对应关系的状态蓄积在存储单元88中。另外,N个以上已学习模型也可以以与时刻确定信息136建立有对应关系的状态蓄积在备份用存储装置94中。
作为一例,如图21所示,作为第7处理,第7处理执行部86D7执行在预定的定时将第2已学习模型118的输出反映到与拍摄相关的控制中的处理。
在该情况下,例如,第7处理执行部86D7将从第2已学习模型118输出的最新的第2设定值118A存储于存储单元88中。作为最新的第2设定值118A,例如可举出最新的验证中使用的第2设定值118A。第7处理执行部86D7在将最新的第2设定值118A存储于存储单元88中之后,判定是否已到预定的定时。作为预定的定时,例如可举出摄像装置12启动的定时、通过由摄像装置12进行拍摄而获取到的拍摄图像75的数量(作为一例,为在将最新的第2设定值118A存储于存储单元88中之后,通过由摄像装置12进行拍摄而获取到的拍摄图像75的数量)成为第6阈值(例如,“10000”)以上的定时、摄像装置12的动作模式从播放模式过渡到设定模式的定时或在播放模式下对拍摄图像75进行评级(例如,用户等对拍摄图像75的画质的评价)的定时。
在已到预定的定时的情况下,第7处理执行部86D7从存储单元88获取第2设定值118A,并将获取到的第2设定值118A反映到与拍摄相关的控制中。在该情况下,例如,第7处理执行部86D7向摄像装置12发送包括从存储单元88获取到的第2设定值118A的信号作为第7处理信号。摄像装置12接收从第7处理执行部86D7发送过来的第7处理信号,并使用包括在接收到的第7处理信号中的第2设定值118A进行拍摄。
作为一例,如图22所示,作为第8处理,第8处理执行部86D8执行如下处理:在将第2已学习模型118适用于作为与摄像装置12不同的摄像装置的另一装置140的情况下,根据摄像装置12的特性和另一装置140的特性来校正输入于第2已学习模型118的数据及来自第2已学习模型118的输出中的至少一个。
在图22所示的例子中,存储单元88中存储有第2已学习模型118及图像传感器信息142。图像传感器信息142为与多个图像传感器相关的信息。图像传感器信息142附属于第2已学习模型118,具有特性信息142A及个体差信息142B。
特性信息142A为表示与第2已学习模型118相关的不同图像传感器各自的特性的信息。作为与第2已学习模型118相关的不同图像传感器,例如可举出在当前时点正在适用第2已学习模型118的摄像装置12(即,在当前时点反映了第2已学习模型118的输出的摄像装置12)的图像传感器20及搭载于适用第2已学习模型118的新对象的图像传感器。在图22所示的例子中,搭载于适用第2已学习模型118的新对象的图像传感器为搭载于另一装置140的图像传感器140A。
个体差信息142B为表示与第2已学习模型118相关的不同图像传感器之间的个体差的信息。作为个体差的一例,可举出其中一个图像传感器(例如,图像传感器20)的RGB各像素的灵敏度与另一个图像传感器(例如,搭载于另一装置140的图像传感器)的RGB各像素的灵敏度之差、其中一个图像传感器的ISO灵敏度与另一个图像传感器的ISO灵敏度之差和/或其中一个图像传感器的电子快门的速度与另一个第2图像传感器的电子快门的速度之差等。
第8处理执行部86D8从另一装置140获取包括可确定图像传感器140A的信息的另一装置信息144作为表示另一装置140的特性的信息。第8处理执行部86D8适用另一装置信息144及图像传感器信息142来确定摄像装置12的特性(例如,可根据图像传感器信息142确定的特性)和另一装置140的特性(例如,可根据图像传感器信息142确定的特性)。例如,第8处理执行部86D8获取与根据另一装置信息144确定的图像传感器140A相关的特性信息142A及与根据另一装置信息144确定的图像传感器140A相关的个体差信息142B中的至少一个信息,并使用特性信息142A及个体差信息142B中的至少一个信息来确定摄像装置12的特性和另一装置140的特性。
第2已学习模型118为通过进行使用多个拍摄图像75(通过由摄像装置12进行拍摄而获取)和正确答案数据100的学习处理而得的模型,因此若将其直接适用于另一装置140,则会使摄像装置12的特性反映到第2设定值118A中。因此,第8处理执行部86D8根据摄像装置12的特性及另一装置140的特性来校正用于第2已学习模型118的输入的基准图像组124和从第2已学习模型118输出的第2设定值118A。
在该情况下,例如,第8处理执行部86D8使用摄像装置12的特性与另一装置140的特性的差分和对基准图像组124进行的校正的内容建立有对应关系的第1表(省略图示)或第1运算式(省略图示)来导出对基准图像组124进行的校正的内容,并根据导出的校正的内容来校正基准图像组124。
第8处理执行部86D8向第2已学习模型118输入经校正的基准图像组124。若被输入经校正的基准图像组124,则第2已学习模型118输出第2设定值118A。第8处理执行部86D8使用摄像装置12的特性与另一装置140的特性的差分和对第2设定值118A进行的校正的内容建立有对应关系的第2表(省略图示)或第2运算式(省略图示)来导出对从第2已学习模型118输出的第2设定值118A进行的校正的内容,并根据导出的校正的内容来校正第2设定值118A。
第8处理执行部86D8将经校正的第2设定值118A反映到与拍摄相关的控制中。在该情况下,例如,第8处理执行部86D8向摄像装置12发送包括经校正的第2设定值118A的信号作为第8处理信号。摄像装置12接收从第8处理执行部86D8发送过来的第8处理信号,并使用包括在接收到的第8处理信号中的经校正的第2设定值118A进行拍摄。
另外,在此,对基准图像组124及第2设定值118A这两者进行了校正,但本发明的技术并不限定于此,也可以仅对基准图像组124及第2设定值118A中的一个进行校正。并且,在此,列举了基准图像组124输入于第2已学习模型118的形式的例子,但本发明的技术并不限定于此,也可以使至少一个基准图像124A或至少一个拍摄图像75输入于第2已学习模型118。并且,第8处理执行部86D8也可以以与对基准图像组124的校正的要领相同的要领,根据摄像装置12的特性及另一装置140的特性来校正通过由摄像装置12进行拍摄而得的拍摄图像75。并且,在此,作为图像传感器信息142,例示了包括特性信息142A及个体差信息142B这两者的信息,但本发明的技术并不限定于此,图像传感器信息142也可以为仅包括特性信息142A及个体差信息142B中的一个信息的信息。
作为一例,如图23所示,作为第9处理,第9处理执行部86D9执行输出模拟图像组126B作为用于使显示器28(参考图24)显示上述模拟图像128B和未处理图像146A的数据的处理。未处理图像146A为未对基准图像124A适用通过向第2已学习模型118输入包括在基准图像组124中的基准图像124A而从第2已学习模型118输出的第2设定值118A而得的图像(例如,相当于包括在基准图像组124中的基准图像124A本身的图像)。换言之,未处理图像146A为仅反映了未使用已学习模型的输出结果的图像处理的图像。
另外,在图23所示的例子中,基准图像124A为本发明的技术所涉及的“第8图像”的一例。并且,第2设定值118A为本发明的技术所涉及的“第3输出结果”的一例。并且,模拟图像128B为本发明的技术所涉及的“第1经处理图像”的一例。并且,未处理图像146A为本发明的技术所涉及的“未处理图像”的一例。并且,模拟图像组126及未处理图像组146为本发明的技术所涉及的“第3数据”的一例。
第9处理执行部86D9以与图15所示的由第4处理执行部86D4进行的处理相同的要领生成模拟图像组126B,并向摄像装置12发送生成的模拟图像组126B。并且,第9处理执行部86D9向摄像装置12发送用于对第2已学习模型118的输入的基准图像组124作为未处理图像组146。摄像装置12接收从第9处理执行部86D9发送过来的模拟图像组126B及未处理图像组146。
作为一例,如图24所示,摄像装置12的CPU62根据模拟图像组126B及未处理图像组146来生成模拟图像显示画面148,并使显示器28显示模拟图像显示画面148。模拟图像显示画面148上显示有模拟图像128B及未处理图像146A等。
模拟图像显示画面148包括第1画面148A和第2画面148B。CPU62根据未处理图像组146来生成第1画面148A,并且根据模拟图像组126B来生成第2画面148B。在图24所示的例子中,模拟图像显示画面148内的上半部分的区域为第1画面148A,下半部分的区域为第2画面148B。
CPU62控制显示器28将未处理图像146A显示于第1画面148A,并且将模拟图像128B显示于第2画面148B。由此,未处理图像146A和模拟图像128B以可区分的方式显示于显示器28。
CPU62使显示器28以与未处理图像146A建立有对应关系的状态显示消息148A1。并且,CPU62使显示器28以与模拟图像128B建立有对应关系的状态显示消息148B1。在图24所示的例子中,通过将消息148A1显示于第1画面148A,消息148A1与未处理图像146A会被建立对应关系,通过将消息148B1显示于第2画面148B,消息148B1与模拟图像128B会被建立对应关系。
消息148A1为可确定未处理图像146A的消息,消息148B1为可确定第2已学习模型118的消息。在图24所示的例子中,作为消息148A1的一例,示出了消息“未处理图像”,作为消息148B1的一例,示出了消息“基于第2已学习模型的模拟图像”。
图24中例示出的消息148A1的内容仅为一例,消息148A1只要是表示显示于第1画面148A上的未处理图像146A不是基于已学习模型生成的图像的消息即可。并且,图24中例示出的消息148B1的内容仅为一例,消息148B1只要是表示显示于第2画面148B上的模拟图像128B为基于第2已学习模型118生成的模拟图像的消息即可。
在此,通过消息148A1确定了未处理图像146A不是基于已学习模型生成的图像,并且通过消息148B1确定了模拟图像128B为基于第2已学习模型118的图像,但本发明的技术并不限定于此。例如,也可以对未处理图像146A的外框标注可确定未处理图像146A不是基于已学习模型生成的图像的颜色,并且对模拟图像128B的外框标注可确定其为基于第2已学习模型118的模拟图像的颜色。并且,也可以以与未处理图像146A建立有关联的状态显示可确定未处理图像146A不是基于已学习模型生成的图像的标记等,并且以与模拟图像128B建立有关联的状态显示可确定其为基于第2已学习模型118的模拟图像的标记等。
另外,在图23及图24所示的例子中,示出了未处理图像146A为基准图像124A且模拟图像128B为根据基准图像124A输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A生成的图像的形式的例子,但本发明的技术并不限定于此。例如,也可以代替未处理图像146A使用拍摄图像75,并且代替模拟图像128B使用根据拍摄图像75输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A生成的图像。
作为一例,如图25所示,作为第10处理,第10处理执行部86D10执行输出用于使显示器28(参考图26)显示上述未处理图像146A和光亮度调整图像150A的数据的处理,该光亮度调整图像150A根据从第2已学习模型118输出的第2设定值118A调整了模拟图像128B的光亮度。
另外,在图25所示的例子中,未处理图像146A为本发明的技术所涉及的“第9图像”的一例。并且,第2设定值118A为本发明的技术所涉及的“第4输出结果”的一例。并且,光亮度调整图像150A为本发明的技术所涉及的“第2经处理图像”的一例。并且,未处理图像146A及光亮度调整图像组150为本发明的技术所涉及的“第4数据”的一例。
第10处理执行部86D10以与图15所示的由第4处理执行部86D4进行的处理相同的要领,根据第2设定值118A来生成模拟图像组126B,进而生成根据第2设定值118A调整了模拟图像128B的光亮度的光亮度调整图像组150。光亮度调整图像组150包括光亮度调整图像150A及使用模型标识符150B。第10处理执行部86D10通过调整包括在模拟图像组126B中的模拟图像128B的光亮度来生成光亮度调整图像150A。第10处理执行部86D10将使用模型标识符150B与光亮度调整图像150A建立对应关系。使用模型标识符150B为相当于与调整光亮度之前的模拟图像128B建立有对应关系的使用模型标识符130B的标识符(例如,复制使用模型标识符130B而得的标识符)。
第10处理执行部86D10向摄像装置12发送未处理图像146A及光亮度调整图像组150。摄像装置12接收从第10处理执行部86D10发送过来的未处理图像146A及光亮度调整图像组150。
作为一例,如图26所示,摄像装置12的CPU62根据未处理图像146A及光亮度调整图像组150来生成模拟图像显示画面152,并使显示器28显示模拟图像显示画面152。模拟图像显示画面152上显示有未处理图像146A及光亮度调整图像150A等。
模拟图像显示画面152包括第1画面152A和第2画面152B。CPU62根据未处理图像146A来生成第1画面152A,并且根据光亮度调整图像组150来生成第2画面152B。在图26所示的例子中,模拟图像显示画面152内的上半部分的区域为第1画面152A,下半部分的区域为第2画面152B。
CPU62控制显示器28将未处理图像146A显示于第1画面152A,并且将光亮度调整图像150A显示于第2画面152B。由此,未处理图像146A和光亮度调整图像150A以可区分的方式显示于显示器28。
CPU62使显示器28以与未处理图像146A建立有对应关系的状态显示消息152A1。并且,CPU62使显示器28以与光亮度调整图像150A建立有对应关系的状态显示消息152B1。在图26所示的例子中,通过将消息152A1显示于第1画面152A,消息152A1与未处理图像146A会被建立对应关系,通过将消息152B1显示于第2画面152B,消息152B1与光亮度调整图像150A会被建立对应关系。
消息152A1为可确定未处理图像146A的消息,消息152B1为可确定对模拟图像128B进行了光亮度调整的消息。在图26所示的例子中,作为消息152A1的一例,示出了消息“未处理图像”,作为消息152B1的一例,示出了消息“对基于第2已学习模型的模拟图像进行光亮度调整而得的图像”。
图26中例示出的消息152A1的内容仅为一例,消息152A1只要是表示显示于第1画面152A上的未处理图像146A为未进行基于已学习模型的处理的图像的消息即可。并且,图26中例示出的消息152B1的内容仅为一例,消息152B1只要是可确定显示于第2画面152B上的光亮度调整图像150A为根据第2已学习模型118的输出进行了光亮度调整的图像的消息即可。
在此,通过消息152A1确定了未处理图像146为不基于第2已学习模型118的图像,并且通过消息152B1确定了光亮度调整图像150A为根据第2已学习模型118的输出对模拟图像128B进行了光亮度调整的图像,但本发明的技术并不限定于此。例如,也可以对未处理图像146的外框标注可确定未处理图像146为不基于第2已学习模型118的图像的颜色,并且对光亮度调整图像150A的外框标注可确定光亮度调整图像150A为根据第2已学习模型118的输出进行了光亮度调整的图像的颜色。
并且,也可以以与未处理图像146建立有关联的状态显示可确定未处理图像146为不基于第2已学习模型118的图像的标记等,并且以与光亮度调整图像150A建立有关联的状态显示可确定光亮度调整图像150A为根据第2已学习模型118的输出进行了光亮度调整的图像的标记等。
另外,在图25及图26所示的例子中,示出了光亮度调整图像150A为根据基准图像124A输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A生成的图像的形式的例子,但本发明的技术并不限定于此。例如,也可以使用根据拍摄图像75(代替基准图像124A)输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A生成的图像。
作为一例,如图27所示,第11处理执行部86D11向第2已学习模型118输入包括在基准图像组124中的基准图像124A。若被输入基准图像124A,则第2已学习模型118输出第2设定值118A。
第11处理执行部86D11以与图12所示的由第1处理执行部86D1进行的处理、图14所示的由第3处理执行部86D3进行的处理、图21所示的由第7处理执行部86D7进行的处理及图22所示的由第8处理执行部86D8进行的处理相同的要领,将第2设定值118A反映到与拍摄相关的控制中。如此,通过以将第2设定值118A反映到与拍摄相关的控制中的状态由摄像装置12进行拍摄而获取到的拍摄图像75存储于图像存储器46中。另外,在图27所示的例子中,存储于图像存储器46中的拍摄图像75为本发明的技术所涉及的“第3经处理图像”的一例。
摄像装置12的CPU62从图像存储器46获取拍摄图像75,并对获取到的拍摄图像75附加附属于拍摄图像75的附属信息154。附属信息154例如包括用于获得拍摄图像75的拍摄中使用的第2设定值118A、表示摄像装置12的特性的信息、拍摄条件及拍摄日期和时间等。作为附属信息154,例如可举出Exif信息。另外,在图27所示的例子中,附属信息154为本发明的技术所涉及的“第1附属信息”的一例。
摄像装置12的CPU62向第11处理执行部86D11发送附加了附属信息154的拍摄图像75。第11处理执行部86D11接收从摄像装置12的CPU62发送过来的拍摄图像75。作为第11处理,第11处理执行部86D11执行将上述使用模型标识符130B包括到附加于接收到的拍摄图像75的附属信息154中的处理。
另外,在图27所示的例子中,示出了向第2已学习模型118输入基准图像124A的形式的例子,但这仅为一例,也可以向第2已学习模型118输入拍摄图像75。
作为一例,如图28所示,第12处理执行部86D12向第1已学习模型106输入包括在基准图像组124中的基准图像124A。若被输入基准图像124A,则第1已学习模型106输出第1设定值106A。
第12处理执行部86D12以与图12所示的由第1处理执行部86D1进行的处理、图14所示的由第3处理执行部86D3进行的处理、图21所示的由第7处理执行部86D7进行的处理、图22所示的由第8处理执行部86D8进行的处理及图27所示的第11处理执行部86D11相同的要领,将第1设定值106A反映到与拍摄相关的控制中。如此,通过以将第1设定值106A反映到与拍摄相关的控制中的状态由摄像装置12进行拍摄而获取到的拍摄图像75存储于图像存储器46中。另外,在图28所示的例子中,存储于图像存储器46中的拍摄图像75为本发明的技术所涉及的“第4经处理图像”的一例。
摄像装置12的CPU62从图像存储器46获取拍摄图像75,并对获取到的拍摄图像75附加附属于拍摄图像75的附属信息154。附属信息154例如包括用于获得拍摄图像75的拍摄中使用的第1设定值106A、表示摄像装置12的特性的信息、拍摄条件及拍摄日期和时间等。作为附属信息154,例如可举出Exif信息。另外,在图28所示的例子中,附属信息154为本发明的技术所涉及的“第2附属信息”的一例。
摄像装置12的CPU62向第12处理执行部86D12发送附加了附属信息154的拍摄图像75。第12处理执行部86D12接收从摄像装置12的CPU62发送过来的拍摄图像75。作为第12处理,第12处理执行部86D12执行将上述使用模型标识符130A包括到附加于接收到的拍摄图像75的附属信息154中的处理。
接着,参考图29A及图29B对摄像系统10的作用进行说明。
图29A及图29B中示出了由摄像支援装置14的CPU86进行的摄像支援处理的流程的一例。另外,图29A及图29B所示的摄像支援处理的流程为本发明的技术所涉及的“摄像支援方法”的一例。
在图29A所示的摄像支援处理中,首先,在步骤ST100中,训练数据生成部86A判定拍摄图像75是否已存储于摄像装置12的图像存储器46中。在步骤ST100中,在拍摄图像75未存储于摄像装置12的图像存储器46中的情况下,判定被否定,并重新进行步骤ST100的判定。在步骤ST100中,在拍摄图像75已存储于摄像装置12的图像存储器46中的情况下,判定得到肯定,摄像支援处理进入步骤ST102。
在步骤ST102中,训练数据生成部86A从图像存储器46获取拍摄图像75。在执行步骤ST102的处理之后,摄像支援处理进入步骤ST1T104。
在步骤ST104中,训练数据生成部86A从摄像装置12的NVM64获取各种设定值102。在执行步骤ST104的处理之后,摄像支援处理进入步骤ST106。
在步骤ST106中,训练数据生成部86A根据步骤ST102中获取到的拍摄图像75及步骤ST104中获取到的各种设定值102来生成训练数据98,并将所生成的训练数据98存储于存储单元88中。在执行步骤ST106的处理之后,摄像支援处理进入步骤ST108。
在步骤ST108中,判定部86C判定是否已到作为执行对CNN104的学习处理的定时的第1学习处理执行定时。作为第1学习处理执行定时的一例,可举出拍摄帧数达到第1阈值(例如,“10000”)的定时。
在步骤ST108中,在未到第1学习处理执行定时的情况下,判定被否定,摄像支援处理进入步骤ST100。在步骤ST108中,在已到第1学习处理执行定时的情况下,判定得到肯定,摄像支援处理进入步骤ST110。
在步骤ST110中,模型生成部86B通过使用存储于存储单元88中的训练数据98对CNN104进行学习处理来生成第1已学习模型106。在执行步骤ST110的处理之后,摄像支援处理进入步骤ST112。
在步骤ST112中,判定部86C判定拍摄帧数是否达到第1阈值。在步骤ST112中,在拍摄帧数未达到第1阈值的情况下,判定被否定,并重新进行步骤ST112的判定。在步骤ST112中,在拍摄帧数达到第1阈值的情况下,判定得到肯定,摄像支援处理进入步骤ST114。
在步骤ST114中,模型生成部86B根据步骤ST110中生成的第1已学习模型106来生成复制模型116。在执行步骤ST114的处理之后,摄像支援处理进入步骤ST116。
在步骤ST116中,训练数据生成部86A判定拍摄图像75是否已存储于摄像装置12的图像存储器46中。在步骤ST116中,在拍摄图像75未存储于摄像装置12的图像存储器46的情况下,判定被否定,并重新进行步骤ST116的判定。在步骤ST116中,在拍摄图像75已存储于摄像装置12的图像存储器46中的情况下,判定得到肯定,摄像支援处理进入步骤ST118。
在步骤ST118中,训练数据生成部86A从图像存储器46获取拍摄图像75。在执行步骤ST118的处理之后,摄像支援处理进入步骤ST120。
在步骤ST120中,训练数据生成部86A从摄像装置12的NVM64获取各种设定值102。在执行步骤ST120的处理之后,摄像支援处理进入步骤ST122。
在步骤ST122中,训练数据生成部86A根据步骤ST118中获取到的拍摄图像75及步骤ST120中获取到的各种设定值102来生成训练数据98,并将所生成的训练数据98存储于存储单元88中。在执行步骤ST122的处理之后,摄像支援处理进入步骤ST124。
在步骤ST124中,判定部86C判定是否已到作为执行对步骤ST114中生成的复制模型116的学习处理的定时的第2学习处理执行定时。作为第2学习处理执行定时的一例,可举出拍摄帧数达到第1阈值(例如,“1000”)的定时。
在步骤ST124中,在未到第2学习处理执行定时的情况下,判定被否定,摄像支援处理进入步骤ST116。在步骤ST122中,在已到第2学习处理执行定时的情况下,判定得到肯定,摄像支援处理进入图29B所示的步骤ST126。
在图29B所示的步骤ST126中,模型生成部86B通过使用存储于存储单元88中的训练数据98(作为一例,通过反复进行步骤ST116~步骤ST124的处理而得的训练数据98)对最新模型(例如,在步骤ST124中进行了第1次肯定判定时的复制模型116及在步骤ST124中进行了第2次以后的肯定判定时的现有的第2已学习模型118(即,最新的已学习模型118)进行学习处理来生成第2已学习模型118。在执行步骤ST126的处理之后,摄像支援处理进入步骤ST128。
在步骤ST128中,执行部86D从存储单元88获取基准图像组124。在执行步骤ST128的处理之后,摄像支援处理进入步骤ST130。
在步骤ST130中,执行部86D向第1已学习模型106及第2已学习模型118输入步骤ST128中获取到的基准图像组124。在执行步骤ST130的处理之后,摄像支援处理进入步骤ST132。
在步骤ST132中,执行部86D获取从第1已学习模型106输出的第1设定值106A及从第2已学习模型118输出的第2设定值118A。在执行步骤ST132的处理之后,摄像支援处理进入步骤ST134。
在步骤ST134中,执行部86D计算步骤ST132中获取到的第1设定值106A与第2设定值118A之间的差异度125。在执行步骤ST134的处理之后,摄像支援处理进入步骤ST136。
在步骤ST136中,执行部86D判定步骤ST134中计算出的差异度125是否为第2阈值以上。在步骤ST136中,在步骤ST134中计算出的差异度125小于第2阈值的情况下,判定被否定,摄像支援处理进入图29A所示的步骤ST116。在步骤ST136中,在步骤ST134中计算出的差异度125为第2阈值以上的情况下,判定得到肯定,摄像支援处理进入步骤ST138。
在步骤ST138中,执行部86D执行特定处理。在执行步骤ST138的处理之后,结束摄像支援处理。
如上所述,在摄像支援装置14中,存储单元88中存储有第1已学习模型106,第1已学习模型106用于与拍摄相关的控制。并且,在摄像支援装置14中,通过对学习模型进行以获取到拍摄图像75时适用于摄像装置12的各种设定值102为正确答案数据100且以拍摄图像75和正确答案数据100为训练数据98的学习处理来生成用于与拍摄相关的控制的第2已学习模型118。然后,根据基准图像组124输入于第1已学习模型106时从第1已学习模型106输出的第1设定值106A和基准图像组124输入于第2已学习模型118时从第2已学习模型118输出的第2设定值118A来进行特定处理。因此,根据本结构,相较于仅进行和第1已学习模型106与第2已学习模型118之间的差异度无关的处理的情况,能够有助于减轻CPU86和/或用户的负担。
在摄像支援装置14中,存储单元88中存储有基准图像组124。因此,根据本结构,相较于输入于第1已学习模型106及第2已学习模型118的图像不存储于存储单元88等存储器中的情况,能够轻易实现向第1已学习模型106及第2已学习模型118输入基准图像组124的处理。
在摄像支援装置14中,通过在满足拍摄帧数达到第1阈值这一条件的情况下进行学习处理来生成第2已学习模型118。因此,根据本结构,相较于始终持续进行学习处理的情况,能够减轻学习处理造成的负担。
在摄像支援装置14中,将在得到作为进行学习处理的对象的最新的学习模型的时刻(例如,生成了复制模型116的时刻)至满足拍摄帧数达到第1阈值这一条件为止的期间通过由摄像装置12进行拍摄而获取到的多个拍摄图像75和与多个拍摄图像75相关的适用于摄像装置12的各种设定值用作训练数据98。因此,根据本结构,相较于每次进行拍摄时进行以单一的拍摄图像75及单一的设定值为训练数据的学习处理的情况,能够减轻学习处理对CPU86造成的负担。
在摄像支援装置14中,在满足拍摄帧数达到第1阈值这一条件的情况下,进行特定处理。因此,根据本结构,相较于始终进行特定处理的情况,能够减轻对CPU86造成的负担。
在摄像支援装置14中,在第1设定值106A与第2设定值118A之间的差异度125为第2阈值以上的情况下,进行特定处理。因此,根据本结构,相较于和第1设定值106A与第2设定值118A之间的差异度125无关地始终进行特定处理的情况,能够减轻对CPU86造成的负担。
在摄像支援装置14中,作为包括在特定处理中的第1处理,进行将第2设定值118A反映到与拍摄相关的控制中的处理。因此,根据本结构,相较于始终仅将第1已学习模型106用于与拍摄相关的控制的情况,能够使与拍摄相关的控制接近用户等所希望的控制。
在摄像支援装置14中,作为包括在特定处理中的第2处理,进行将第2已学习模型118存储于备份用存储装置94中的处理。因此,根据本结构,能够反复使用同一第2已学习模型118。
在摄像支援装置14中,作为包括在特定处理中的第3处理,进行将第1已学习模型106及第2已学习模型118中根据由第3处理执行部86D3受理的指示选择的那个的输出反映到与拍摄相关的控制中的处理。因此,根据本结构,能够将来自第1已学习模型106及第2已学习模型118中与用户等的嗜好对应的那个的输出反映到与拍摄相关的控制中。
在摄像支援装置14中,作为包括在特定处理中的第4处理,向摄像装置12发送用于使显示器28显示模拟图像128A及模拟图像128B的数据,该模拟图像128A相当于通过将第1设定值106A适用于基准图像组124而得的图像,该第1设定值106A通过向第1已学习模型106输入基准图像组124而从第1已学习模型106输出,该模拟图像128B通过将第2设定值118A适用于基准图像组124而得,该第2设定值118A通过向第2已学习模型118输入基准图像组124而从第2已学习模型118输出。因此,根据本结构,能够使用户等视觉识别第1已学习模型106的输出与第2已学习模型118的输出的区别。
在摄像支援装置14中,模拟图像128A和模拟图像128B以可区分的方式显示于显示器28,该模拟图像128A相当于通过将第1设定值106A适用于基准图像组124而得的图像,该第1设定值通过向第1已学习模型106输入基准图像组124而从第1已学习模型106输出,该模拟图像128B通过将第2设定值118A适用于基准图像组124而得,该第2设定值118A通过向第2已学习模型118输入基准图像组124而从第2已学习模型118输出。因此,根据本结构,相较于模拟图像128A和模拟图像128B以无法区分的状态显示于显示器28的情况,能够使用户等轻易觉察到模拟图像128A与模拟图像128B的区别。
在摄像支援装置14中,模拟图像128A和消息132A1以建立有对应关系的状态显示于第1画面132A,并且模拟图像128B和消息132B1以建立有对应关系的状态显示于第2画面132B。因此,根据本结构,能够使用户等轻易觉察到模拟图像128A为通过使用第1已学习模型106而得的图像及模拟图像128B为通过使用第2已学习模型118而得的图像。
在摄像支援装置14中,作为包括在特定处理中的第4处理,向摄像装置12发送用于使显示器28显示模拟图像128A及模拟图像128B的数据,该模拟图像128A相当于通过将第1设定值106A适用于基准图像组124而得的图像,该第1设定值106A通过向第1已学习模型106输入基准图像组124而从第1已学习模型106输出,该模拟图像128B通过将第2设定值118A适用于基准图像组124而得,该第2设定值118A通过向第2已学习模型118输入基准图像组124而从第2已学习模型118输出。因此,根据本结构,相较于将从第1已学习模型106及第2已学习模型118中随机选择的已学习模型的输出反映到与拍摄相关的控制中的情况,能够容易将第1已学习模型106及第2已学习模型118中用户等所希望的已学习模型的输出反映到与拍摄相关的控制中。
在摄像支援装置14中,作为包括在特定处理中的第5处理,向摄像装置12发送用于使显示器28显示可确定生成了第2已学习模型118的时刻的时刻确定信息136的数据。因此,根据本结构,能够使用户等觉察到生成了第2已学习模型118的时刻。
在摄像支援装置14中,反映了第2已学习模型118的输出的第2设定值反映图像138和时刻确定信息136以建立有对应关系的状态显示于显示器28。因此,根据本结构,能够使用户等觉察到生成了第2已学习模型118的时刻与反映了第2已学习模型118的输出的图像之间的对应关系。
在摄像支援装置14中,作为包括在特定处理中的第6处理,进行将时刻确定信息136与第2已学习模型118建立对应关系的处理。因此,根据本结构,能够使用户等觉察到生成了第2已学习模型118的时刻与第2已学习模型118之间的对应关系。
在摄像支援装置14中,作为包括在特定处理中的第7处理,进行在预定的定时将第2已学习模型118的输出反映到与拍摄相关的控制中的处理。因此,根据本结构,例如,相较于在断定存在显著差异的定时更新已学习模型的情况,能够在用户觉得方便的定时更新已学习模型。
在摄像支援装置14中,作为包括在特定处理中的第7处理,执行在摄像装置12启动的定时、通过由摄像装置12进行拍摄而获取到的拍摄图像75的数量(作为一例,为在最新的第2设定值118A存储于存储单元88中之后,通过由摄像装置12进行拍摄而获取到的拍摄图像75的数量)成为第6阈值(例如,“10000”)以上的定时、摄像装置12的动作模式从播放模式过渡到设定模式的定时或在播放模式下对拍摄图像75进行评级(例如,用户等对拍摄图像75的画质的评价)的定时将第2已学习模型118的输出反映到与拍摄相关的控制中的处理。因此,根据本结构,例如,相较于在断定存在显著差异的定时更新已学习模型的情况,能够在用户觉得方便的定时更新已学习模型。
在摄像支援装置14中,作为包括在特定处理中的第8处理,进行如下处理:在将第2已学习模型118适用于作为与摄像装置12不同的摄像装置的另一装置140的情况下,根据摄像装置12的特性和另一装置140的特性来校正输入于第2已学习模型118的数据及来自第2已学习模型118的输出中的至少一个。因此,根据本结构,相较于完全不考虑摄像装置12的特性和另一装置140的特性而将第2已学习模型118适用于另一装置的情况,能够使通过由另一装置140进行拍摄而得的图像的画质轻易接近用户等所希望的画质。
在摄像支援装置14中,图像传感器信息142附属于第2已学习模型118,图像传感器信息142包括特性信息142A及个体差信息142B。并且,根据图像传感器信息142来确定摄像装置12的特性及另一装置140的特性。因此,根据本结构,相较于完全不考虑用于摄像装置12的图像传感器20与用于另一装置140的图像传感器140A的区别而将第2已学习模型118适用于另一装置140的情况,能够使通过由另一装置140进行拍摄而得的图像更准确地再现出用户等所希望的画质。
在摄像支援装置14中,作为包括在特定处理中的第9处理,模拟图像128B和未处理图像146A显示于显示器28,该模拟图像128B通过将第2设定值118A适用于基准图像组124而得,该第2设定值118A通过向第2已学习模型118输入基准图像组124而从第2已学习模型118输出。未处理图像146A为未对基准图像124A适用通过向第2已学习模型118输入包括在基准图像组124中的基准图像124A而从第2已学习模型118输出的第2设定值118A而得的图像(例如,相当于包括在基准图像组124中的基准图像124A本身的图像)。因此,根据本结构,能够使用户等觉察到受第2已学习模型118的输出的影响的图像与未受其影响的图像之差。
在摄像支援装置14中,作为包括在特定处理中的第10处理,向摄像装置12发送用于使显示器28显示光亮度调整图像150A和未处理图像146A的数据,该光亮度调整图像150A将第2设定值118A适用于基准图像组124调整了光亮度,该第2设定值118A通过向第2已学习模型118输入基准图像组124而从第2已学习模型118输出。因此,根据本结构,能够使用户等觉察到未处理图像与调整了受第2已学习模型118的输出的影响的图像的光亮度的图像之差。
在摄像支援装置14中,作为包括在特定处理中的第11处理,进行将使用模型标识符130B包括到附加于拍摄图像75的附属信息154中的处理。因此,根据本结构,相较于未将可确定第2已学习模型118的信息与通过将第2已学习模型118的输出反映到与拍摄相关的控制中进行拍摄而得的图像建立关联的情况,能够轻易确定通过将第2已学习模型118的输出反映到与拍摄相关的控制中进行拍摄而得的图像为使用第2已学习模型118而得的图像。
在摄像支援装置14中,作为包括在特定处理中的第12处理,执行将使用模型标识符130A包括到附加于拍摄图像75的附属信息154的处理。因此,根据本结构,相较于未将可确定第1已学习模型106的信息与通过将第1已学习模型106的输出反应到与拍摄相关的控制中进行拍摄而得的图像建立关联的情况,能够轻易确定通过将第1已学习模型106的输出反映到与拍摄相关的控制中进行拍摄而得的图像为使用第1已学习模型106而得的图像。
在摄像支援装置14中,将各种设定值102用作训练数据98。并且,作为各种设定值102,采用了拍摄中使用的与白平衡相关的设定值、拍摄中使用的与曝光相关的设定值、拍摄中使用的与色度相关的设定值及拍摄中使用的与灰度相关的设定值。因此,根据本结构,相较于将和拍摄中使用的与白平衡相关的设定值、拍摄中使用的与曝光相关的设定值、拍摄中使用的与色度相关的设定值及拍摄中使用的与灰度相关的设定值完全无关的设定值用作训练数据98的情况,能够使拍摄中使用的与白平衡相关的设定值、拍摄中使用的与曝光相关的设定值、拍摄中使用的与色度相关的设定值及拍摄中使用的与灰度相关的设定值中的至少一个设定值容易接近用户等所希望的设定值。
并且,作为训练数据98,也可以使用拍摄中使用的与聚焦相关的设定值。作为拍摄中使用的与聚焦相关的设定值,例如可举出与用于AF控制的聚焦框相关的设定值和/或与所使用的AF方式(例如,相位差AF方式及对比度AF方式等)相关的设定值等。在该情况下,相较于将和拍摄中使用的与聚焦相关的设定值完全无关的设定值用作训练数据98的情况,能够使拍摄中使用的与聚焦相关的设定值容易接近用户等所希望的设定值。
用作训练数据98的设定值102只要是拍摄中使用的与白平衡相关的设定值、拍摄中使用的与曝光相关的设定值、拍摄中使用的与色度相关的设定值、拍摄中使用的与灰度相关的设定值及拍摄中使用的与聚焦相关的设定值中的至少一个设定值即可。
另外,在上述实施方式中,列举了通过向第1已学习模型106及第2已学习模型118输入基准图像组124来进行验证的形式的例子(参考图10),但本发明的技术并不限定于此。例如,如图30所示,也可以通过向第1已学习模型106及第2已学习模型118输入1000张拍摄图像75来进行验证。在该情况下,作为一例,如图31所示,拍摄图像75每次存储于摄像装置12的图像存储器46中时,拍摄图像75还存储于存储单元88中。并且,若存储于存储单元88中的拍摄图像75的数量到达1000,则执行部86D向第1已学习模型106及第2已学习模型118输入存储单元88内的1000张拍摄图像75。由此,第1已学习模型106输出与所输入的拍摄图像75对应的第1设定值106A,第2已学习模型118输出与所输入的拍摄图像75对应的第2设定值118A。执行部86D计算第1设定值106A与第2设定值118A之间的差异度125,并判定差异度125是否为第2阈值以上。
在该情况下,例如,可以在通过使用1000张拍摄图像75进行学习处理来生成第2已学习模型118并向所生成的第2已学习模型118及第1已学习模型106逐张赋予用于生成第2已学习模型118的学习处理中使用的1000张拍摄图像75作为验证用输入的情况下,以第1设定值106A与第2设定值118A之间的差异度125达到第2阈值的张数达到所指定的张数(例如,800)为条件,将用于运用的已学习模型切换为最新的已学习模型或进行特定处理。
并且,直至蓄积1000张拍摄图像75为止不进行验证的形式的例子仅为一例,也可以在进行每次(每张)拍摄时进行验证,并且在第1设定值106A与第2设定值118A之间的差异度125达到第2阈值的张数达到所指定的张数的阶段,将用于运用的已学习模型切换为最新的已学习模型或进行特定处理。
另外,在此,列举了向第1已学习模型106及第2已学习模型118输入1000张拍摄图像75的形式的例子,但这仅为一例,也可以向第1已学习模型106及第2已学习模型118输入少于1000张的数量(例如,100)的拍摄图像75或超过1000的数量(例如,10000)的拍摄图像75。
在上述实施方式中,列举在差异度125为第2阈值以上的情况下进行特定处理的形式的例子进行了说明,但本发明的技术并不限定于此。例如,如图32所示,CPU86也可以以在既定的期间内通过进行拍摄而得的图像的数量达到第3阈值为条件进行预定的处理。作为第3阈值,例如可举出从生成复制模型116开始5000张及从进行验证开始5000张,但并不限于此,也可以为相当于少于5000张的数量的值,还可以为相当于超过5000的数量的值。并且,既定的期间例如为1天。即,例如可以判定是否在1天内进行了与5000张以上图像相关的拍摄。若在1天内进行了与5000张相关的拍摄,则认为第2已学习模型118具有比第1已学习模型106更大的显著差异。
作为预定的处理,可举出将判断为在第1已学习模型106的输出与第2已学习模型118的输出之间产生了显著差异的第2已学习模型118存储于备份用存储装置94中的处理和/或判断为第1已学习模型106的输出与第2已学习模型118的输出之间产生了显著差异的处理等。在此,显著差异例如是指,用于第2已学习模型118的学习处理的拍摄图像75的内容(例如,拍摄场景)的趋势与用于第1已学习模型106的学习处理的拍摄图像75的内容的趋势背离既定程度以上的程度。并且,显著差异例如是指,用于第2已学习模型118的学习处理的正确答案数据100的内容的趋势与用于第1已学习模型106的学习处理的正确答案数据100的内容的趋势背离既定程度以上的程度。既定程度可以为固定值,也可以为根据用户等对摄像支援装置14作出的指示和/或各种条件而变更的可变值。另外,在此设为预定的处理,但并不一定必须是预定的,例如,也可以以在既定的期间内拍摄到的图像的数量达到第3阈值为条件,供用户选择这些处理。
根据以通过进行拍摄而得的图像的数量达到第3阈值为条件进行预定的处理的结构,相较于与通过进行拍摄而得的拍摄的数量无关地进行预定的处理的情况,能够减轻对CPU86造成的负担。并且,例如,若以通过进行拍摄而得的图像的数量达到第3阈值为条件进行将判断为产生了显著差异的第2已学习模型118存储于备份用存储装置94中的处理,则相较于将判断为产生了显著差异的第2已学习模型118均存储于备份用存储装置94中的情况,能够仅将认为差异尤其大的第2已学习模型118存储于备份用存储装置94中。
并且,CPU86也可以在既定的期间内通过在第1环境下进行拍摄而获取到的用作训练数据98的拍摄图像75的数量为第4阈值以上且通过在与第1环境不同的第2环境下进行拍摄而得的用作训练数据98的拍摄图像75的数量为第5阈值以下的情况下进行预定的处理。既定的期间例如是指1天。例如,在第4阈值明显大于第5阈值(例如,第4阈值为1000,第5阈值为10)且拍摄图像75的数量满足上述条件的情况下,认为拍摄图像75包括大量的通过在第1环境下进行拍摄而得的图像。即,认为作为训练数据98的基础的拍摄图像75是偏向于在第1环境下进行拍摄而得的。若使用偏向于在第1环境下拍摄到的训练数据98进行学习,则认为第2已学习模型118具有比第1已学习模型106更大的显著差异。该特定处理也可举出将第2已学习模型118存储于备份用存储装置94中的处理和/或判断为在第1已学习模型106的输出与第2已学习模型118的输出之间产生了显著差异的处理等。这些处理也不需要是预定的,例如,也可以在通过在第1环境下进行拍摄而获取到的用作训练数据98的拍摄图像75的数量为第4阈值以上且通过在与第1环境不同的第2环境下进行拍摄而得的用作训练数据98的拍摄图像75的数量为第5阈值以下的情况下,供用户选择这些处理。并且,并不一定要使用在第2环境下得到的拍摄图像75的数量,例如,也可以判定在1天内通过在第1环境下进行拍摄而获取到的拍摄图像75的数量与得到的拍摄图像75的总数的比例是否为既定的阈值以上来进行上述预定的处理。
在该情况下,例如,如图33所示,CPU86以附加于拍摄图像75的附属信息154包括可确定第1环境及第2环境的信息为前提,参考第10000张至第11000张为止的拍摄图像75各自的附属信息154来确定通过在第1环境下进行拍摄而获取到的拍摄图像75的数量(以下,称为“第1环境下帧数”)及通过在第2环境下进行拍摄而获取到的拍摄图像75的数量(以下,称为“第2环境下帧数”)。在此,第1环境及第2环境例如是指根据拍摄场景及光源确定的环境。拍摄场景例如是指人物或风景等,光源例如是指太阳或室内光源等。
CPU86判定是否满足第1环境下帧数为第4阈值以上且第2环境下帧数为第5阈值以下这一条件(以下,还称为“判定条件”)。满足判定条件表示在第1已学习模型106的输出与第2已学习模型118的输出之间产生了显著差异。因此,在满足判定条件的情况下,CPU86执行预定的处理。另外,第4阈值及第5阈值可以为固定值,也可以为根据用户等对摄像支援装置14作出的指示和/或各种条件而变更的可变值。
如此,CPU86参考附属信息154来确定第1环境下帧数及第2环境下帧数,并根据确定结果来判定是否满足判定条件。因此,根据本结构,相较于向第1已学习模型106及第2已学习模型118输入拍摄图像75,从第1已学习模型106输出第1设定值106A,从第2已学习模型118输出第2设定值118A,计算第1设定值106A与第2设定值118A之间的差异度125的情况,能够减轻从由CPU86获取到拍摄图像75至进行预定的处理为止对CPU86造成的负担。并且,若判断是否进行了与偏向于在第1环境下用作训练数据98的拍摄图像75相关的拍摄,并且在进行了与偏向于在第1环境下用作训练数据98的拍摄图像75相关的拍摄的情况下,进行将判断为产生了显著差异的第2已学习模型118存储于备份用存储装置94中的处理,则相较于将判断为产生了显著差异的第2已学习模型118均存储于备份用存储装置94中的情况,能够仅将认为差异尤其大的第2已学习模型118存储于备份用存储装置94中。
在图33所示的例子中,列举了CPU86参考拍摄图像75的附属信息154来确定第1环境下帧数及第2环境下帧数的形式的例子,但这仅为一例,例如,如图34所示,CPU86也可以通过对各拍摄图像75进行被摄体识别处理来确定第1环境下帧数及第2环境下帧数。被摄体识别处理可以为AI方式的被摄体识别处理,也可以为模板匹配方式的被摄体识别处理。
在上述实施方式中,以一种类型的可换镜头18安装于摄像装置主体16为前提进行了说明,但本发明的技术并不限定于此。例如,如图35所示,摄像装置12为镜头可换式摄像装置,因此摄像装置主体16上可选择性地安装不同类型的可换镜头18。因此,摄像支援装置14的CPU86通过按与包括在训练数据98中的拍摄图像75相关的拍摄中使用的可换镜头18的类型对学习模型(例如,复制模型116等)进行学习处理来生成多个第2已学习模型118。CPU86将所生成的多个第2已学习模型118存储于存储单元88中。因此,根据本结构,相较于与可换镜头18的类型无关地始终将仅来自一个第2已学习模型118的输出反映到与拍摄相关的控制中的情况,能够将适合于安装在摄像装置主体16的可换镜头18的第2已学习模型118的输出反映到与拍摄相关的控制中。
并且,作为一例,如图36所示,在可换镜头18安装于摄像装置主体16的情况下,CPU86获取存储单元88内的多个第2已学习模型118中与安装于摄像装置主体16的可换镜头18对应的第2已学习模型118。与安装于摄像装置主体16的可换镜头18对应的第2已学习模型118是指,通过在学习处理中使用通过由安装有可换镜头18的摄像装置12进行拍摄而获取到的拍摄图像75作为训练数据98而生成的第2已学习模型118。CPU86使用从存储单元88内获取到的第2已学习模型118进行各种处理(例如,将第2已学习模型118的输出反映到与拍摄相关的控制中的处理和/或对第2已学习模型118的学习处理等)。因此,根据本结构,相较于进行使用在多个第2已学习模型118中随机选择的一个模型的处理的情况,能够进行使用多个第2已学习模型118中适合于可换镜头18的第2已学习模型118的处理。
在图35及图36所示的例子中,列举在不同类型的可换镜头18选择性地安装于摄像装置主体16的情况下供使用与安装于摄像装置主体16的可换镜头18对应的第2已学习模型118的形式的例子进行了说明,但也可以以与该例子相同的要领,在选择性地使用分别具有拍摄被摄体的功能的多个摄像系统的情况下供使用与所选择的摄像系统对应的第2已学习模型118。
例如,如图37所示,在智能设备155具有摄像系统155A及155B作为多个摄像系统且第1摄像系统155A及第2摄像系统155B分别用于与包括在训练数据98中的拍摄图像75相关的拍摄的情况下,摄像支援装置14的CPU86通过对学习模型(例如,复制模型116等)进行学习处理,分别对第1摄像系统155A及第2摄像系统155B生成多个第2已学习模型118。CPU86将所生成的多个第2已学习模型118存储于存储单元88中。因此,根据本结构,相较于始终将仅来自一个第2已学习模型118的输出反映到与由智能设备155的第1摄像系统155A及第2摄像系统155B进行的拍摄相关的控制中的情况,能够将适合于第1摄像系统155A及第2摄像系统155B中被使用的那个的第2已学习模型118的输出反映到与由第1摄像系统155A及第2摄像系统155B中被使用的那个进行的拍摄相关的控制中。另外,智能设备155为本发明的技术所涉及的“摄像装置”的一例,第1摄像系统155A及第2摄像系统155B为本发明的技术所涉及的“多个摄像系统”的一例。
并且,作为一例,如图38所示,在从第1摄像系统155A及第2摄像系统155B中选择了拍摄中使用的摄像系统的情况下,CPU86获取存储单元88内的多个第2已学习模型118中与从第1摄像系统155A及第2摄像系统155B中选择的那个对应的第2已学习模型118。与从第1摄像系统155A及第2摄像系统155B中选择的那个对应的第2已学习模型118是指,通过在学习处理中使用通过由第1摄像系统155A及第2摄像系统155B中选择的那个进行拍摄而获取到的拍摄图像75作为训练数据98而生成的第2已学习模型118。CPU86使用从存储单元88内获取到的第2已学习模型118来进行各种处理(例如,将第2已学习模型118的输出反映到与由第1摄像系统155A及第2摄像系统155B中选择的那个进行的拍摄相关的控制中的处理和/或对第2已学习模型118的学习处理等)。因此,根据本结构,相较于进行使用在多个第2已学习模型118中随机选择的一个模型的处理的情况,能够进行使用多个第2已学习模型118中适合于第1摄像系统155A及第2摄像系统155B中选择的那个的第2已学习模型118的处理。
图39中示出了搭载有具有变倍功能的多个摄像系统的智能设备156的结构例。作为一例,如图39所示,智能设备156具备第1摄像系统156A及第2摄像系统156B。第1摄像系统156A及第2摄像系统156B通常分别还被称为外置相机。第1摄像系统156A及158B分别具有变倍范围互不相同的变倍功能。并且,与图37及图38所示的例子相同地,第1摄像系统156A及第2摄像系统156B分别分配有第2已学习模型118。
作为一例,如图40A所示,智能设备156具备触摸屏显示器158。触摸屏显示器158具有显示器160及触摸面板162,若在拍摄图像164作为即时预览图像显示于显示器160上的状态下,对触摸面板162作出视角变更指示,则变倍功能生效,从而视角变更。在图40A所示的例子中,作为视角变更指示,示出了放大操作。若在拍摄图像164显示于显示器160上的状态下,对触摸面板162进行放大操作,则变倍功能生效,从而拍摄图像164在显示器160内被放大。另外,变倍的方法并不限于此,作为一例,如图40B所示,也可以为使用软键160A、160B及160C直接选择倍率的形式。在图40B所示的例子中,软键160A为在选择1倍作为倍率时按下的软键,软键160B为选择0.5倍作为倍率时按下的软键,软键160C为选择2.5倍作为倍率时按下的软键。另外,这里例示出的倍率仅为一例,也可以为其他倍率。并且,软键的个数并不限于软键160A、160B及160C这三个,也可以为两个,还可以为四个以上。
作为一例,如图41所示,智能设备156向摄像支援装置14发送可确定第1摄像系统156A及第2摄像系统156B中在当前时点使用的摄像系统的使用摄像系统信息166和通过由在当前时点使用的摄像系统进行拍摄而获取到的拍摄图像164。拍摄图像164分为通过由第1摄像系统156A进行拍摄而获取到的拍摄图像164A和通过由第2摄像系统156B进行拍摄而获取到的拍摄图像164B。
摄像支援装置14具有第1摄像系统156A用第2已学习模型118及第2摄像系统156B用第2已学习模型118,第1摄像系统156A用第2已学习模型118为通过进行以多个拍摄图像164A及用于获得多个拍摄图像164A的拍摄中适用于第1摄像系统156A的设定值为正确答案数据的学习处理而得的模型。第2摄像系统156B用第2已学习模型118为通过进行以多个拍摄图像164B及用于获得多个拍摄图像164B的拍摄中适用于第2摄像系统156B的设定值为正确答案数据的学习处理而得的模型。
摄像支援装置14的CPU86接收从智能设备156发送过来的使用摄像系统信息166及拍摄图像164。CPU86向与根据接收到的使用摄像系统信息166确定的摄像系统对应的第2已学习模型118输入接收到的拍摄图像164。例如,在根据接收到的使用摄像系统信息166确定的摄像系统为第1摄像系统156A的情况下,CPU86向第1摄像系统156A用第2已学习模型118输入拍摄图像164A。并且,在根据接收到的使用摄像系统信息166确定的摄像系统为第2摄像系统156B的情况下,CPU86向第2摄像系统156B用第2已学习模型118输入拍摄图像164B。
若被输入拍摄图像164A,则第1摄像系统156A用第2已学习模型118输出第2设定值118A。CPU86将从第1摄像系统156A用第2已学习模型118输出的第2设定值118A反映到与由第1摄像系统156A进行的拍摄相关的控制中。并且,若被输入拍摄图像164B,则第2摄像系统156B用第2已学习模型118输出第2设定值118A。CPU86将从第2摄像系统156B用第2已学习模型118输出的第2设定值118A反映到与由第2摄像系统156B进行的拍摄相关的控制中。
作为将拍摄中使用的摄像系统从第1摄像系统156A及第2摄像系统156B中的一个切换至另一个的方法,有每当按下显示于显示器160上的至少一个软键(省略图示)时切换的方法及通过对触摸面板162作出缩小操作及放大操作等无级指示来进行无级切换的方法。在进行无级切换的方法中,CPU86会根据缩小操作及放大操作等无级指示无级地变更视角,而在变更视角的途中,有时会从第1摄像系统156A及第2摄像系统156B中的一个切换至另一个。即,在第1摄像系统156A的变倍范围与第2摄像系统156B的变倍范围重叠的范围(以下,还称为“重叠变倍范围”)内或第1摄像系统156A的变倍范围与第2摄像系统156B的变倍范围不重叠的范围(以下,还称为“非重叠变倍范围”)内变更视角的情况下,不会从第1摄像系统156A及第2摄像系统156B中的一个切换至另一个,但在从重叠变倍范围及非重叠变倍范围中的一个跳到另一个来变更视角的情况下,会伴有从第1摄像系统156A及第2摄像系统156B中的一个向另一个的切换。
第1摄像系统156A用第2已学习模型118的输出会被反映到与由第1摄像系统156A进行的拍摄相关的控制中,并且第2摄像系统156B用第2已学习模型118的输出会被反映到与由第2摄像系统156B进行的拍摄相关的控制中。因此,作为一例,如图42所示,若在变更视角的途中,从第1摄像系统156A及第2摄像系统156B中的一个切换至另一个,则拍摄图像164有可能会因第1摄像系统156A用第2已学习模型118与第2摄像系统156B用第2已学习模型118之间的差异而发生视角晃动。
因此,作为一例,如图43所示,摄像支援装置14的CPU86受理通过智能设备156的触摸面板162受理的无级指示(以下,称为“视角变更指示”)作为变更视角的指示。然后,在所受理的视角变更指示为途中伴有摄像系统的切换的指示的情况下,CPU86在切换后的摄像系统中也继续使用分配给切换前的摄像系统的第2已学习模型118。由此,即使在从第1摄像系统156A及第2摄像系统156B中的一个切换至另一个的情况下,也能够防止因第2已学习模型118之间的差异而发生的视角晃动在用户等不希望的定时发生。
另外,智能设备156为本发明的技术所涉及的“摄像装置”的一例,第1摄像系统156A及第2摄像系统156B为本发明的技术所涉及的“多个摄像系统”的一例。
若在智能设备156启动的定时(以下,还称为“启动定时”)使第1摄像系统156A及第2摄像系统156B中用户等频繁使用的摄像系统启动,则能够在不进行摄像系统的切换操作的情况下迅速开始拍摄。
因此,作为一例,如图44所示,使用作正确答案数据100的各种设定值102包括与摄像系统相关的信息作为设定值。与摄像系统相关的信息例如是指,与由智能设备156获取到拍摄图像75时选择的摄像系统相关的信息(例如,可确定摄像系统的信息)。如此,通过使正确答案数据100包括与摄像系统相关的信息,模型生成部86B能够使复制模型116学习智能设备156中频繁使用的摄像系统的趋势。通过学习智能设备156中频繁使用的摄像系统的趋势来优化复制模型116,从而生成第2已学习模型118。
作为一例,如图45所示,CPU86向通过学习智能设备156中对某个拍摄场景频繁使用的摄像系统的趋势来优化复制模型116而得的第2已学习模型118输入通过由智能设备156的第1摄像系统156A及第2摄像系统156B选择性地进行拍摄而得的拍摄图像164。若被输入拍摄图像164,则第2已学习模型118输出第2设定值118A。CPU86通过将从第2已学习模型118输出的第2设定值118A反映到与由智能设备156进行的拍摄相关的控制中来设定在智能设备156的启动定时使用的摄像系统,从而使智能设备156在智能设备156的启动定时选择性地使用第1摄像系统156A及第2摄像系统156B。由此,相较于在智能设备156的启动定时使用从第1摄像系统156A及第2摄像系统156B中随机选择的摄像系统的情况,能够在智能设备156的启动定时迅速使用用户等所希望的摄像系统。
如此,在将通过以包括与摄像系统相关的信息的信息为正确答案数据100进行学习处理而得的第2已学习模型118的输出反映到与由智能设备156进行的拍摄相关的控制中的情况下,作为一例,如图46所示,智能设备156的CPU168将在智能设备156的启动定时使用的视角的位置设定在重叠变倍范围内(例如,重叠变倍范围的中心),以便使在智能设备156的启动定时使用的摄像系统以重叠变倍范围内的视角开始拍摄。
另外,包括在正确答案数据100中的与摄像系统相关的信息也可以为包括视角变更指示的历史信息的信息。若通过使用包括如此构成的正确答案数据100的训练数据98进行学习处理来生成第2已学习模型118,则通过将第2已学习模型118的输出反映到与由智能设备156进行的拍摄相关的控制中,智能设备156的CPU168能够将视角的位置设定到在变倍范围内频繁使用的位置。
在图37及图38所示的例子中,例示了第1摄像系统155A及第2摄像系统155B这两个摄像系统,并且在图39所示的例子中,也例示了第1摄像系统156A及第2摄像系统156B这两个摄像系统,但本发明的技术并不限定于此,也可以为三个以上摄像系统。并且,搭载有多个摄像系统的装置并不一定要限定于智能设备155及156,例如也可以为通过不同摄像系统分别拍摄多个波长范围的光的摄像装置(例如,监控摄像机)。
在上述实施方式中,列举CPU86根据第1设定值106A及第2设定值118A来进行特定处理的形式的例子进行了说明,但本发明的技术并不限定于此。例如,CPU86也可以根据第1已学习模型106与第2已学习模型118之间的差异度来进行特定处理。例如,CPU86在第1已学习模型106与第2已学习模型118之间的差异度为既定差异度以上的情况下进行特定处理。既定差异度可以为固定值,也可以为根据用户等对摄像支援装置14作出的指示和/或各种条件而变更的可变值。
并且,第1已学习模型106及第2已学习模型118分别为具有输入层、多个中间层及输出层的模型,CPU86也可以根据第1已学习模型106与第2已学习模型118之间的至少一个层(例如,所指定的至少一个层)的差异度来进行特定处理。在该情况下,至少一个层例如可以为多个中间层及输出层,也可以为所有多个中间层,也可以为多个中间层中的一部分层(例如,所指定的至少一个层),也可以为输出层。
在上述实施方式中,列举摄像装置12和摄像支援装置14分体形成的形式的例子进行了说明,但本发明的技术并不限定于此,也可以将摄像装置12和摄像支援装置14一体化。在该情况下,例如,如图47所示,可以使摄像装置主体16的NVM64中存储有摄像支援处理程序96,并由CPU62执行摄像支援处理程序96。
并且,如此,在使摄像装置12负责摄像支援装置14的功能的情况下,也可以代替CPU62或与CPU62一并使用其他至少一个CPU、至少一个GPU和/或至少一个TPU。
在上述实施方式中,列举存储单元88中存储有摄像支援处理程序96的形式的例子进行了说明,但本发明的技术并不限定于此。例如,摄像支援处理程序96也可以存储于SSD或USB存储器等便携式非临时性存储介质中。存储于非临时性存储介质中的摄像支援处理程序96安装于摄像支援装置14的计算机82。CPU86根据摄像支援处理程序96来执行摄像支援处理。
并且,也可以将摄像支援处理程序96存储于经由网络34与摄像支援装置14连接的其他计算机或服务器装置等的存储装置中,并根据摄像支援装置14的请求下载摄像支援处理程序96而安装于计算机82。
另外,并不一定要将摄像支援处理程序96全部存储于与摄像支援装置14连接的其他计算机或服务器装置等的存储装置或存储单元88中,也可以存储摄像支援处理程序96的一部分。
并且,图2所示的摄像装置12内置有控制器44,但本发明的技术并不限定于此,例如也可以在摄像装置12的外部设置控制器44。
在上述实施方式中,例示了计算机82,但本发明的技术并不限定于此,也可以代替计算机82适用包括ASIC、FPGA和/或PLD的设备。并且,也可以代替计算机82使用硬件结构及软件结构的组合。
作为执行上述实施方式中说明的摄像支援处理的硬件资源,可以使用以下所示的各种处理器。作为处理器,例如可举出CPU,该CPU为发挥通过执行软件(即,程序)来执行摄像支援处理的硬件资源的功能的通用的处理器。并且,作为处理器,例如可举出专用电路,该专用电路为FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器。无论哪种处理器均内置或连接有存储器,并且无论哪种处理器均通过使用存储器来执行摄像支援处理。
执行摄像支援处理的硬件资源可以由这些各种处理器中的一个构成,也可以由相同类型或不同类型的两个以上处理器的组合(例如,多个FPGA的组合或CPU和FPGA的组合)构成。并且,执行摄像支援处理的硬件资源也可以为一个处理器。
作为由一个处理器构成的例子,首先,有如下形式:由一个以上CPU和软件的组合构成一个处理器,并由该处理器发挥执行摄像支援处理的硬件资源的功能。其次,以SoC等为代表有如下形式:使用由一个IC芯片实现包括执行摄像支援处理的多个硬件资源的系统整体的功能的处理器。如此,摄像支援处理通过将上述各种处理器中的一个以上用作硬件资源来实现。
进而,作为这些各种处理器的硬件结构,更具体而言,可以使用组合半导体元件等电路元件而成的电路。并且,上述摄像支援处理仅为一例。因此,当然也可以在不脱离宗旨的范围内删除不需要的步骤,或者追加新的步骤,或者更改处理顺序。
以上所示的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明,并且仅为本发明的技术的一例。例如,关于上述结构、功能、作用及效果的说明为关于本发明的技术所涉及的部分的结构、功能、作用及效果的一例的说明。因此,当然也可以在不脱离本发明的技术的主旨的范围内对以上所示的记载内容及图示内容删除不必要的部分、追加新要素或进行替换。并且,为了避免麻烦,以便于理解本发明的技术所涉及的部分,在以上所示的记载内容及图示内容中,省略了关于实现本发明的技术时无需特别说明的技术常识等的说明。
在本说明书中,“A和/或B”的含义与“A及B中的至少一个”的含义相同。即,“A和/或B”表示可以仅为A,也可以仅为B,还可以为A及B的组合。并且,在本说明书中,当将三个以上事项用“和/或”建立关联进行表达时,也适用与“A和/或B”相同的观点。
本说明书中记载的所有文献、专利申请及技术标准可与具体且分别记载通过参考援用每一个文献、专利申请及技术标准的情况相同程度地通过参考援用于本说明书中。

Claims (37)

1.一种摄像支援装置,其具备:
处理器;及
存储器,与所述处理器连接或内置于所述处理器,
所述存储器存储第1已学习模型,
所述第1已学习模型为用于与由摄像装置进行的拍摄相关的控制的已学习模型,
所述处理器执行如下处理:
通过进行以第1图像和获取到所述第1图像时应用于所述摄像装置的设定值为训练数据的学习处理来生成用于所述控制的第2已学习模型,所述第1图像是通过由所述摄像装置进行拍摄而获取到的图像;及
根据第2图像输入于所述第1已学习模型时从所述第1已学习模型输出的第1设定值和所述第2图像输入于所述第2已学习模型时从所述第2已学习模型输出的第2设定值来进行特定处理。
2.根据权利要求1所述的摄像支援装置,其中,
所述第2图像存储于所述存储器中。
3.根据权利要求1或2所述的摄像支援装置,其中,
所述处理器通过在满足所述第1图像的数量达到第1阈值这一条件的情况下进行所述学习处理来生成所述第2已学习模型。
4.根据权利要求3所述的摄像支援装置,其中,
所述训练数据包括在特定时刻至满足所述条件为止的期间通过由所述摄像装置进行拍摄而获取到的多个图像、及与所述多个图像相关的应用于所述摄像装置的多个设定值。
5.根据权利要求3或4所述的摄像支援装置,其中,
所述处理器在满足所述条件的情况下根据所述第1设定值和所述第2设定值来进行所述特定处理。
6.根据权利要求1至5中任一项所述的摄像支援装置,其中,
所述处理器在所述第1设定值与所述第2设定值之间的差异度为第2阈值以上的情况下进行所述特定处理。
7.根据权利要求1至6中任一项所述的摄像支援装置,其中,
所述处理器以所述第1图像的数量达到第3阈值为条件进行预定的处理。
8.根据权利要求1至6中任一项所述的摄像支援装置,其中,
所述处理器在通过在第1环境下进行所述拍摄而获取到的用作所述训练数据的所述第1图像的数量为第4阈值以上且通过在与所述第1环境不同的第2环境下进行所述拍摄而得的用作所述训练数据的所述第1图像的数量为第5阈值以下的情况下进行预定的处理。
9.根据权利要求1至8中任一项所述的摄像支援装置,其中,
所述摄像装置为镜头可换式摄像装置,
所述处理器通过按与所述第1图像相关的所述拍摄中使用的可换镜头的类型进行所述学习处理来生成多个所述第2已学习模型。
10.根据权利要求9所述的摄像支援装置,其中,
在所述可换镜头安装于所述摄像装置的情况下,
所述处理器进行使用了如下模型的处理,该模型是多个所述第2已学习模型中的、在所述学习处理中使用通过由安装有所述可换镜头的所述摄像装置进行拍摄而获取到的图像作为所述第1图像而生成的第2已学习模型。
11.根据权利要求1至10中任一项所述的摄像支援装置,其中,
所述摄像装置包括多个摄像系统,
所述处理器通过按与所述第1图像相关的所述拍摄中使用的所述摄像系统进行所述学习处理来生成多个所述第2已学习模型。
12.根据权利要求11所述的摄像支援装置,其中,
在从多个所述摄像系统中选择了所述拍摄中使用的摄像系统的情况下,
所述处理器进行使用了如下模型的处理,该模型是多个所述第2已学习模型中的、在所述学习处理中使用通过使用所选择的所述摄像系统由所述摄像装置进行拍摄而获取到的图像作为所述第1图像而生成的第2已学习模型。
13.根据权利要求12所述的摄像支援装置,其中,
所述处理器执行如下处理:
受理无级地切换所述多个摄像系统的指示;及
在受理了所述指示的情况下,在切换后的所述摄像系统中也继续使用分配给切换前的所述摄像系统的所述第2已学习模型。
14.根据权利要求12或13所述的摄像支援装置,其中,
所述处理器执行如下处理:
在所述学习处理中使用由所述摄像装置获取到所述第1图像时的场景及与所选择的所述摄像系统相关的信息作为所述设定值;及
根据所述第2设定值在所述摄像装置的启动定时使所述摄像装置选择性地使用所述多个摄像系统。
15.根据权利要求1至14中任一项所述的摄像支援装置,其中,
所述特定处理为包括第1处理的处理,所述第1处理将所述第2设定值反映到所述控制中。
16.根据权利要求1至15中任一项所述的摄像支援装置,其中,
所述特定处理为包括第2处理的处理,所述第2处理将所述第2已学习模型存储于既定存储装置中。
17.根据权利要求1至16中任一项所述的摄像支援装置,其中,
所述特定处理为包括第3处理的处理,所述第3处理将所述第1已学习模型及所述第2已学习模型中根据由所述处理器受理的指示选择的一个的输出反映到所述控制中。
18.根据权利要求1至17中任一项所述的摄像支援装置,其中,
所述特定处理为包括第4处理的处理,所述第4处理输出用于使第1显示器显示第4图像及第6图像的第1数据,所述第4图像相当于通过将第1输出结果应用于第3图像而得的图像,所述第1输出结果通过向所述第1已学习模型输入所述第3图像而从所述第1已学习模型输出,所述第6图像相当于通过将第2输出结果应用于第5图像而得的图像,所述第2输出结果通过向所述第2已学习模型输入所述第5图像而从所述第2已学习模型输出。
19.根据权利要求18所述的摄像支援装置,其中,
所述第1数据包括用于使所述第1显示器以可区分的方式显示所述第4图像和所述第6图像的数据。
20.根据权利要求18或19所述的摄像支援装置,其中,
所述第1数据包括用于使所述第1显示器以建立有对应关系的状态显示所述第4图像和可确定所述第1已学习模型的第1已学习模型确定信息且使所述第1显示器以建立有对应关系的状态显示所述第6图像和可确定所述第2已学习模型的第2已学习模型确定信息的数据。
21.根据权利要求18至20中任一项所述的摄像支援装置,其中,
所述第4处理包括如下处理:在根据由所述处理器受理的指示选择了显示于所述第1显示器上的所述第4图像及所述第6图像中的所述第4图像时将所述第1已学习模型的输出反映到所述控制中,并且在选择了所述第6图像时将所述第2已学习模型的输出反映到所述控制中。
22.根据权利要求1至21中任一项所述的摄像支援装置,其中,
所述特定处理为包括第5处理的处理,所述第5处理输出用于使第2显示器显示可确定生成了所述第2已学习模型的时刻的时刻确定信息的第2数据。
23.根据权利要求22所述的摄像支援装置,其中,
所述第2数据包括用于使所述第2显示器以与反映了所述第2已学习模型的输出的第7图像建立有对应关系的状态显示所述时刻确定信息的数据。
24.根据权利要求1至23中任一项所述的摄像支援装置,其中,
所述特定处理为包括第6处理的处理,所述第6处理将可确定生成了所述第2已学习模型的时刻的时刻确定信息与所述第2已学习模型建立对应关系。
25.根据权利要求1至24中任一项所述的摄像支援装置,其中,
所述特定处理为包括第7处理的处理,所述第7处理在预定的定时将所述第2已学习模型的输出反映到所述控制中。
26.根据权利要求25所述的摄像支援装置,其中,
所述预定的定时为所述摄像装置启动的定时、通过由所述摄像装置进行拍摄而获取到的拍摄图像的数量成为第6阈值以上的定时、开始所述摄像装置的充电的定时、所述摄像装置的动作模式从播放模式过渡到设定模式的定时或在所述播放模式下对所述拍摄图像进行评级的定时。
27.根据权利要求1至26中任一项所述的摄像支援装置,其中,
所述特定处理为包括第8处理的处理,所述第8处理在将所述第2已学习模型应用于作为与所述摄像装置不同的摄像装置的另一装置的情况下,根据所述摄像装置的特性和所述另一装置的特性来校正向所述第2已学习模型输入的数据及来自所述第2已学习模型的输出中的至少一个。
28.根据权利要求27所述的摄像支援装置,其中,
图像传感器信息附属于所述第2已学习模型,所述图像传感器信息包括表示与所述第2已学习模型相关的不同图像传感器各自的特性的特性信息及表示所述不同图像传感器之间的个体差的个体差信息中的至少一个信息,
所述处理器使用所述图像传感器信息来确定所述摄像装置的特性及所述另一装置的特性。
29.根据权利要求1至28中任一项所述的摄像支援装置,其中,
所述特定处理为包括第9处理的处理,所述第9处理输出用于使第3显示器显示第1经处理图像和未对第8图像应用第3输出结果而得的未处理图像的第3数据,所述第1经处理图像相当于通过将所述第3输出结果应用于所述第8图像而得的图像,所述第3输出结果通过向所述第2已学习模型输入所述第8图像而从所述第2已学习模型输出。
30.根据权利要求1至29中任一项所述的摄像支援装置,其中,
所述特定处理为包括第10处理的处理,所述第10处理输出用于使第4显示器显示光亮度调整图像和未对第9图像应用第4输出结果而得的未处理图像的第4数据,所述光亮度调整图像将所述第4输出结果应用于所述第9图像调整了光亮度,所述第4输出结果通过向所述第2已学习模型输入所述第9图像而从所述第2已学习模型输出。
31.根据权利要求1至30中任一项所述的摄像支援装置,其中,
通过将所述第2已学习模型的输出反映到所述控制中进行拍摄而得的第3经处理图像附加有附属于所述第3经处理图像的第1附属信息,
所述特定处理为包括第11处理的处理,所述第11处理将可确定所述第2已学习模型的信息包括到所述第1附属信息中。
32.根据权利要求1至31中任一项所述的摄像支援装置,其中,
通过将所述第1已学习模型的输出反映到所述控制中进行拍摄而得的第4经处理图像附加有附属于所述第4经处理图像的第2附属信息,
所述特定处理为包括第12处理的处理,所述第12处理将可确定所述第1已学习模型的信息包括到所述第2附属信息中。
33.根据权利要求1至32中任一项所述的摄像支援装置,其中,
所述设定值为所述拍摄中使用的与白平衡相关的设定值、所述拍摄中使用的与曝光相关的设定值、所述拍摄中使用的与聚焦相关的设定值、所述拍摄中使用的与色度相关的设定值及所述拍摄中使用的与灰度相关的设定值中的至少一个设定值。
34.一种摄像支援装置,其具备:
处理器;及
存储器,与所述处理器连接或内置于所述处理器,
所述存储器存储第1已学习模型,
所述第1已学习模型为用于与由摄像装置进行的拍摄相关的控制的已学习模型,
所述处理器执行如下处理:
通过进行以第1图像和获取到所述第1图像时应用于所述摄像装置的设定值为训练数据的学习处理来生成用于所述控制的第2已学习模型,所述第1图像是通过由所述摄像装置进行拍摄而获取到的图像;及
根据所述第1已学习模型与所述第2已学习模型之间的差异度来进行特定处理。
35.一种摄像装置,其具备:
处理器;
存储器,与所述处理器连接或内置于所述处理器;及
摄像装置主体,
所述存储器存储第1已学习模型,
所述第1已学习模型为用于与由所述摄像装置主体进行的拍摄相关的控制的已学习模型,
所述处理器执行如下处理:
通过进行以第1图像和获取到所述第1图像时应用于所述摄像装置主体的设定值为训练数据的学习处理来生成用于所述控制的第2已学习模型,所述第1图像是通过由所述摄像装置主体进行拍摄而获取到的图像;及
根据第2图像输入于所述第1已学习模型时从所述第1已学习模型输出的第1设定值和所述第2图像输入于所述第2已学习模型时从所述第2已学习模型输出的第2设定值来进行特定处理。
36.一种摄像支援方法,其包括如下步骤:
通过进行以第1图像和获取到所述第1图像时应用于摄像装置的设定值为训练数据的学习处理来生成用于与由所述摄像装置进行的拍摄相关的控制的第2已学习模型,所述第1图像是通过由所述摄像装置进行拍摄而获取到的图像;及
根据第2图像输入于第1已学习模型时从所述第1已学习模型输出的第1设定值和所述第2图像输入于所述第2已学习模型时从所述第2已学习模型输出的第2设定值来进行特定处理。
37.一种程序,其用于使计算机执行包括如下步骤的处理:
通过进行以第1图像和获取到所述第1图像时应用于摄像装置的设定值为训练数据的学习处理来生成用于与由所述摄像装置进行的拍摄相关的控制的第2已学习模型,所述第1图像是通过由所述摄像装置进行拍摄而获取到的图像;及
根据第2图像输入于第1已学习模型时从所述第1已学习模型输出的第1设定值和所述第2图像输入于所述第2已学习模型时从所述第2已学习模型输出的第2设定值来进行特定处理。
CN202180027980.2A 2020-12-28 2021-12-21 摄像支援装置、摄像装置、摄像支援方法及存储介质 Active CN115428432B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-219153 2020-12-28
JP2020219153 2020-12-28
PCT/JP2021/047377 WO2022145295A1 (ja) 2020-12-28 2021-12-21 撮像支援装置、撮像装置、撮像支援方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN115428432A true CN115428432A (zh) 2022-12-02
CN115428432B CN115428432B (zh) 2024-05-28

Family

ID=82259333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180027980.2A Active CN115428432B (zh) 2020-12-28 2021-12-21 摄像支援装置、摄像装置、摄像支援方法及存储介质

Country Status (4)

Country Link
US (1) US20230020060A1 (zh)
JP (2) JP7357171B2 (zh)
CN (1) CN115428432B (zh)
WO (1) WO2022145295A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11803710B1 (en) * 2023-03-28 2023-10-31 SurgeTech, LLC Multi-modal machine learning architectures integrating language models and computer vision systems

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564546A (zh) * 2018-04-18 2018-09-21 厦门美图之家科技有限公司 模型训练方法、装置及拍照终端
US20190045163A1 (en) * 2018-10-02 2019-02-07 Intel Corporation Method and system of deep learning-based automatic white balancing
CN109978812A (zh) * 2017-12-24 2019-07-05 奥林巴斯株式会社 摄像系统、学习装置、摄像装置和学习方法
CN109981976A (zh) * 2017-12-26 2019-07-05 佳能株式会社 摄像设备及其控制方法和存储介质
JP2019118097A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体
CN110115022A (zh) * 2017-02-01 2019-08-09 欧姆龙株式会社 图像处理系统、光学传感器、以及学习装置
US20200089994A1 (en) * 2018-09-19 2020-03-19 Canon Kabushiki Kaisha Information processing system, information processing method, and storage medium
JP2020113829A (ja) * 2019-01-08 2020-07-27 国立大学法人大阪大学 動画像処理方法及び動画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211969A (ja) * 2018-06-04 2019-12-12 オリンパス株式会社 学習管理装置、学習管理サーバ、および学習管理方法
JP7092615B2 (ja) * 2018-08-24 2022-06-28 セコム株式会社 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115022A (zh) * 2017-02-01 2019-08-09 欧姆龙株式会社 图像处理系统、光学传感器、以及学习装置
CN109978812A (zh) * 2017-12-24 2019-07-05 奥林巴斯株式会社 摄像系统、学习装置、摄像装置和学习方法
CN109981976A (zh) * 2017-12-26 2019-07-05 佳能株式会社 摄像设备及其控制方法和存储介质
JP2019118097A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体
CN108564546A (zh) * 2018-04-18 2018-09-21 厦门美图之家科技有限公司 模型训练方法、装置及拍照终端
US20200089994A1 (en) * 2018-09-19 2020-03-19 Canon Kabushiki Kaisha Information processing system, information processing method, and storage medium
US20190045163A1 (en) * 2018-10-02 2019-02-07 Intel Corporation Method and system of deep learning-based automatic white balancing
JP2020113829A (ja) * 2019-01-08 2020-07-27 国立大学法人大阪大学 動画像処理方法及び動画像処理装置

Also Published As

Publication number Publication date
CN115428432B (zh) 2024-05-28
JP2023175858A (ja) 2023-12-12
WO2022145295A1 (ja) 2022-07-07
JP7357171B2 (ja) 2023-10-05
JPWO2022145295A1 (zh) 2022-07-07
US20230020060A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
CN110611761B (zh) 摄像装置、焦点调节方法以及存储介质
CN103731595B (zh) 电子设备及其驱动方法
JP2010010729A (ja) 撮像装置及びプログラム
KR20120084071A (ko) 자동 초점 조절 장치
CN110572535B (zh) 摄像设备及摄像方法
JP2007003655A (ja) 撮像レンズの合焦位置決定装置およびその方法
JP2012235231A (ja) 撮像装置及びその制御方法
JP2023175858A (ja) 撮像支援装置、撮像装置、撮像支援方法、及びプログラム
US7940435B2 (en) Apparatus, method and program for image display
CN106027917A (zh) 摄像设备及其控制方法
CN102006412A (zh) 摄像设备和摄像设备的控制方法
US10634976B2 (en) Imaging device
JP5233554B2 (ja) 撮像装置及びプログラム
JP6988355B2 (ja) 撮像装置
CN102104726A (zh) 电子照相机
JP5004739B2 (ja) 撮像装置及び制御方法
JP2017038281A (ja) 撮像装置およびその制御方法
JP2012231362A (ja) デジタルカメラ
EP4270926A1 (en) Image processing apparatus, image capture apparatus, image processing method, and program
US10805545B2 (en) Imaging device
JP4356585B2 (ja) デジタルカメラ
JP2020102794A (ja) 画像処理装置
JP2004085697A (ja) 撮像装置、撮像方法及び撮像プログラム
JP2022027826A (ja) 撮像装置
JP6095727B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant