CN113747004B - 拍摄装置、便携式终端装置以及拍摄方法 - Google Patents

拍摄装置、便携式终端装置以及拍摄方法 Download PDF

Info

Publication number
CN113747004B
CN113747004B CN202110584275.4A CN202110584275A CN113747004B CN 113747004 B CN113747004 B CN 113747004B CN 202110584275 A CN202110584275 A CN 202110584275A CN 113747004 B CN113747004 B CN 113747004B
Authority
CN
China
Prior art keywords
correction coefficient
camera
imaging
light
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110584275.4A
Other languages
English (en)
Other versions
CN113747004A (zh
Inventor
西村晃幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN113747004A publication Critical patent/CN113747004A/zh
Application granted granted Critical
Publication of CN113747004B publication Critical patent/CN113747004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

拍摄装置、便携式终端装置以及拍摄方法。拍摄装置具备：第一摄像头，其具备包括红色滤色器、绿色滤色器以及蓝色滤色器的滤色器部，以及接收透过了滤色器部的光的第一受光部，所述第一摄像头拍摄彩色图像；第二摄像头，其具备能够从入射光对规定的分光波长的光进行分光，并且将所述分光波长变更为四个以上的分光元件，以及接收由所述分光元件分光后的光的第二受光部，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像；第一拍摄条件设定部，其设定作为所述第一摄像头的拍摄条件的第一拍摄条件；以及第二拍摄条件设定部，其基于所述第一拍摄条件，设定作为所述第二摄像头的拍摄条件的第二拍摄条件。

Description

拍摄装置、便携式终端装置以及拍摄方法
技术领域
本发明涉及拍摄装置、便携式终端装置以及拍摄方法。
背景技术
以往，已知有具备拍摄彩色图像的RGB摄像头和拍摄分光图像的分光摄像头的拍摄装置(例如，参照专利文献1)。
专利文献1所记载的拍摄装置是具备作为RGB摄像头的RGB传感器和作为分光摄像头的NIR传感器的拍摄系统。在这样的拍摄系统中，能够将由NIR传感器拍摄到的分光图像与由RGB传感器拍摄到的彩色图像重叠显示。
专利文献1：日本特表2015-502058号公报
然而，在如专利文献1所记载的具备RGB摄像头和分光摄像头的拍摄装置中，通常需要分别单独地设定RGB摄像头的拍摄条件和分光摄像头的拍摄条件，存在便利性受损的课题。
特别是，存在如下课题：为了设定分光摄像头的拍摄条件，需要用分光摄像头以多个波长拍摄规定的校准对象物，基于通过拍摄得到的各分光图像，分别设定针对各波长的拍摄条件，拍摄条件的设定作业较为复杂，并且用户也需要具有专门的知识。
发明内容
第一方式的拍摄装置的特征在于，具备：第一摄像头，具备：滤色器部，包括使红色波长区域的光透过的红色滤色器、使绿色波长区域的光透过的绿色滤色器以及使蓝色波长区域的光透过的蓝色滤色器；以及第一受光部，接收透过了滤色器部的光，所述第一摄像头拍摄基于透过了红色滤色器的红色光的灰度值、透过了绿色滤色器的绿色光的灰度值以及透过了蓝色滤色器的蓝色光的灰度值的彩色图像；第二摄像头，具备：分光元件，从入射光对规定的分光波长的光进行分光，并且能够将所述分光波长变更为四种以上；以及第二受光部，接收由所述分光元件分光后的光，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像；以及一个或多个处理器，所述一个或多个处理器执行：设定作为所述第一摄像头的拍摄条件的第一拍摄条件；以及基于所述第一拍摄条件，来设定作为所述第二摄像头的拍摄条件的第二拍摄条件。
第二方式的便携式终端装置的特征在于，具备上述那样的第一方式的拍摄装置和组装有所述拍摄装置的壳体。
第三方式的拍摄方法是一种拍摄装置的拍摄方法，该拍摄装置具备：第一摄像头，具备包括使红色波长区域的光透过的红色滤色器、使绿色波长区域的光透过的绿色滤色器以及使蓝色波长区域的光透过的蓝色滤色器的滤色器部，以及接收透过了滤色器部的光的第一受光部，所述第一摄像头拍摄基于透过了红色滤色器的红色光的灰度值、透过了绿色滤色器的绿色光的灰度值，以及透过了蓝色滤色器的蓝色光的灰度值的彩色图像；第二摄像头，具备能够从入射光对规定的分光波长的光进行分光，并且将所述分光波长变更为四个以上的分光元件，以及接收由所述分光元件分光后的光的第二受光部，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像，所述拍摄方法实施以下步骤：第一拍摄条件设定步骤，设定作为所述第一摄像头的拍摄条件的第一拍摄条件；以及第二拍摄条件设定步骤，基于所述第一拍摄条件，设定作为所述第二摄像头的拍摄条件的第二拍摄条件。
附图说明
图1是表示第一实施方式的电子器件的概略结构的侧剖视图。
图2是表示第一实施方式的电子器件的概略结构的框图。
图3是表示第一实施方式的分光图像的拍摄方法的流程图。
图4是表示在第一实施方式中，第二受光部的受光灵敏度特性、分光元件的分光特性、光源的光源特性，以及将这些特性相乘而得到的第二摄像头的摄像头光学特性的图。
图5是表示第三实施方式的校正系数的概要的图。
图6是表示第四实施方式的电子器件的概略结构的框图。
图7是表示第四实施方式的分光图像的拍摄方法的流程图。
附图标记说明：
1、1A：电子器件(便携式终端装置)，10：壳体，11：触摸面板，12：第一窗，13：第二窗，21：第一摄像头，22：第二摄像头，30：控制部，31：存储部，32：处理器，211：滤色器部，212：第一受光部，213：第一成像光学系统，213A：第一光圈机构，221：分光元件，222：第二受光部，223：第二成像光学系统，223A：第二光圈机构，321：第一拍摄条件设定部，322、322A：第二拍摄条件设定部，323：第一拍摄控制部，324：第二拍摄控制部，325：图像评价部，326：校正系数更新部，327：模型生成部。
具体实施方式
[第一实施方式]
以下，对第一实施方式进行说明。
图1是表示本实施方式的电子器件1的一例的图，是表示电子器件1的概略结构的侧剖视图。图2是表示电子器件1的概略结构的框图。该电子器件1是用户能够携带的便携式终端装置，例如能够列举出智能手机、平板终端、移动电话、头戴式显示器等。
在本实施方式中，作为电子器件1的一例，列举了智能手机的例子。如图1所示，电子器件1具备壳体10、配置于壳体10的内部的第一摄像头21、第二摄像头22以及控制部30(参照图2)。由第一摄像头21、第二摄像头22以及控制部30构成本公开的拍摄装置。
壳体10例如形成为薄型箱状，在一面侧设置有显示图像并且接受来自用户的输入操作的触摸面板11。需要说明的是，电子器件1除了触摸面板11以外，还可以具备接受来自用户的输入操作的输入按钮等。
另外，在壳体10的与设置有触摸面板11的面相反侧的面上设置有第一窗12以及第二窗13。第一窗12与第一摄像头21对置地设置，第二窗13与第二摄像头22对置地设置。
此外，电子器件1可以具备在由第一摄像头21以及第二摄像头22拍摄对象物时对对象物照射照明光的光源等，也可以设置用于自动设定作为第一摄像头21的拍摄条件的第一拍摄条件的光量检测传感器等。
[第一摄像头21以及第二摄像头22的结构]
第一摄像头21是与第一窗12对置地配置的RGB摄像头。该RGB摄像头是在一般的智能手机等便携式终端中广泛利用的用于拍摄彩色图像的摄像头。
该第一摄像头21具备滤色器部211、第一受光部212和第一成像光学系统213。
滤色器部211包括使红色波长区域的光透过的红色滤色器(R滤光器)、使绿色波长区域的光透过的绿色滤色器(G滤光器)，以及使蓝色波长区域的光透过的蓝色滤色器(B滤光器)。需要说明的是，在以后的说明中，有时将R滤光器、G滤光器以及B滤光器统称为滤色器。这些R滤光器、G滤光器以及B滤光器分别设置有多个，例如以拜耳阵列配置。
第一受光部212是由一般的CCD(Charge Coupled Device：电荷耦合器件)传感器、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器构成的拍摄元件。第一受光部212具有与滤色器部211的各种颜色对应的拍摄像素，接收透过了对应的滤色器的光。
第一受光部212例如通过用与各滤光器对应的拍摄像素接收透过了一个R滤光器、一个B滤光器以及两个G滤光器的光，从而获取图像数据的一个像素量的RGB灰度值。由此，第一摄像头21从第一受光部212的各拍摄像素获取图像数据的各像素的RGB灰度值并生成彩色图像。
第一成像光学系统213是将从第一窗12入射的光向第一受光部212引导的光学系统，例如由多个透镜等构成。另外，如图2所示，在第一成像光学系统213中设置有能够调整入射到第一受光部212的光的入射范围的第一光圈机构213A，通过调整入射范围来调整第一受光部212中的受光量。
第二摄像头22是与第二窗13对置地配置的分光摄像头，拍摄针对多个波长的各个分光图像。
该第二摄像头22具备分光元件221、第二受光部222以及第二成像光学系统223。
分光元件221是能够从入射光使规定的分光波长的光分光并透过，并且将分光的分光波长切换为任意的波长的元件。在本实施方式中，作为分光元件221，使用波长可变型的法布里-珀罗元件，所述法布里-珀罗元件具备相互对置的一对反射膜和通过电压施加使一对反射膜之间的间隙变化的静电致动器。使用了这样的波长可变型的法布里-珀罗元件的分光元件221能够实现元件尺寸的小型化、薄型化，特别是能够适当地组装于便携式终端装置那样的配置空间有限的电子器件1。
需要说明的是，作为分光元件221，并不限定于上述那样的法布里-珀罗元件，例如也可以使用AOTF(Acousto-Optic Tunable Filter：声光可调滤光器)、LCTF(LiquidCrystal Tunable Filter：液晶可调滤光器)等。
本实施方式的分光元件221能够将透过的光的分光波长切换为四个以上，在可见光区域中，能够以比拍摄RGB的三色彩色图像的第一摄像头21更高的精度拍摄能够分析对象物的颜色的图像。
第二受光部222设置在与设置有第一受光部212的摄像头基板23相同的基板上。需要说明的是，在图1的例子中，第一受光部212以及第二受光部222配置在相同的摄像头基板23上，但设置有第一受光部212的电路基板与设置有第二受光部222的电路基板也可以为不同基板。
该第二受光部222与第一受光部212同样地，是由一般的CCD(Charge CoupledDevice：电荷耦合器件)传感器、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器构成的拍摄元件。即，第二受光部222具有多个拍摄像素，各拍摄像素输出与接收到的光的强度对应的电信号。由此，第二摄像头22生成将从各拍摄像素输出的光强度值设为1像素的数据的分光图像。第一受光部212那样的一般的RGB摄像头根据周边像素的数据进行数据插补，例如，在与R滤光器对应的像素中，根据与周边的B滤光器以及G滤光器对应的像素的数据来计算蓝色以及绿色的数据。与此相对，作为分光摄像头的第二受光部222可以通过各像素直接获取针对多个波长的数据，因此不需要上述那样的插补，能够生成比一般的RGB摄像头更逼真的图像。
第二成像光学系统223是将从第二窗13入射的光向第二受光部222引导的光学系统，例如由多个透镜等构成。另外，如图2所示，在第二成像光学系统223中设置有能够调整入射到第二受光部222的光的入射范围的第二光圈机构223A，通过调整入射范围来调整第二受光部222中的受光量。需要说明的是，在图1、图2中，示出了第二成像光学系统223设置于分光元件221的与第二受光部222相反的一侧的例子，但也可以在分光元件221与第二受光部222之间也设置构成第二成像光学系统223的透镜等光学部件。
[控制部30的结构]
控制部30由搭载于在壳体10的内部配置的主板14的CPU(Central ProcessingUnit：中央处理器)、半导体存储器等各种电子电路构成，具备存储部31和处理器32。
存储部31例如由半导体存储器等构成，存储各种程序、各种数据。该存储部31作为本公开的校正系数记录部发挥功能，存储用于设定第二拍摄条件的校正系数β。需要说明的是，关于校正系数β的说明将在后面叙述。
处理器32通过读出并执行存储在存储部31中的程序来执行电子器件1中的各种处理。具体而言，处理器32作为第一拍摄条件设定部321、第二拍摄条件设定部322、第一拍摄控制部323、第二拍摄控制部324、图像评价部325以及校正系数更新部326发挥功能。
第一拍摄条件设定部321获取实施使用了第一摄像头21的拍摄处理时的作为第一摄像头的拍摄条件的第一拍摄条件。在该第一拍摄条件中包括曝光时间(快门速度)、光圈值(F值)、焦距以及ISO灵敏度等。第一拍摄条件设定部321基于从第一受光部212到拍摄对象物的距离、亮度(受光量)，自动地设定第一拍摄条件。另外，第一拍摄条件能够根据用户的操作而适当变更，例如通过用户从触摸面板11输入第一拍摄条件，第一拍摄条件设定部321设定所输入的第一拍摄条件。
第二拍摄条件设定部322设定实施使用了第二摄像头22的拍摄处理时的作为第二摄像头22的拍摄条件的第二拍摄条件。在第二拍摄条件中与第一拍摄条件同样地，包括曝光时间、光圈值、焦距以及ISO灵敏度等。第二拍摄条件设定部322基于由第一拍摄条件设定部321设定的第一拍摄条件来设定第二拍摄条件。即，第二拍摄条件设定部322使用存储在存储部31中的校正系数β来校正第一拍摄条件而成为第二拍摄条件。需要说明的是，关于第二拍摄条件设定部322的更详细的处理将在后面叙述。
第一拍摄控制部323基于第一拍摄条件来控制第一摄像头21，通过第一摄像头21来拍摄彩色图像(RGB图像)。
第二拍摄控制部324基于第二拍摄条件来控制第二摄像头22，通过第二摄像头22来拍摄针对多个分光波长的分光图像。
图像评价部325评价由第二摄像头22拍摄到的各波长的分光图像是否为适当的分光图像。例如，图像评价部325评价各分光图像是否产生光晕，换言之，评价第二受光部222的各拍摄像素是否接收到超过可检测光量的光。具体而言，在分光图像中，判定在规定数量以上(例如一个以上)的像素中灰度值是否为最大值。
需要说明的是，图像评价部325也可以判定在拍摄规定的测试对象时的各波长的分光图像中，各像素的灰度值是否在规定的基准范围内。作为测试对象，例如可以列举出对于各波长的光具有99％以上的反射率的白色基准板等。在该情况下，图像评价部325除了评价有无上述光晕以外，还能够评价分光图像的S/N比是否适当。
校正系数更新部326基于图像评价部325的评价结果，更新设定第二拍摄条件时的校正系数。即，在图像评价部325的评价结果中，以在分光图像中不产生光晕的方式更新校正系数。
[电子器件1中的拍摄方法]
接着，对内置有上述那样的拍摄装置的电子器件1中的拍摄方法进行说明。
在本实施方式的电子器件1中，能够实施使用了第一摄像头21的彩色图像的拍摄处理、使用了第二摄像头22的分光图像的拍摄处理，以及使用了第一摄像头21以及第二摄像头22两者的彩色图像与分光图像的拍摄处理等多个拍摄模式下的拍摄处理。在实施了彩色图像和分光图像两者的拍摄处理的情况下，能够使分光图像与彩色图像重叠而显示在触摸面板11上，或者将实施了基于分光图像的解析处理(例如，成分分析等)的结果与彩色图像重叠地显示在触摸面板11上。
在此，使用了第一摄像头21的彩色图像的拍摄处理，与通过一般的智能手机等进行的现有的拍摄处理相同。
即，当用户对触摸面板11等进行操作而选择拍摄彩色图像的应用程序时，控制部30使第一摄像头21启动。另外，第一拍摄条件设定部321基于第一受光部212所接收的光的受光量以及到对象物的距离，自动地设定曝光时间、光圈值、焦距以及ISO灵敏度等第一拍摄条件。需要说明的是，在通过用户的输入操作输入了变更第一拍摄条件的指令的情况下，也可以获取由用户设定输入的第一拍摄条件。
如上所述，在由第一拍摄条件设定部321设定了第一拍摄条件之后，通过用户的输入操作输入指示拍摄的拍摄指令，由此第一拍摄控制部323控制第一摄像头21来拍摄彩色图像。
另一方面，本实施方式的电子器件1在实施分光图像的拍摄处理的情况下，设定基于第一拍摄条件的第二拍摄条件。以下，对分光图像的拍摄处理进行详细说明。
图3是表示本实施方式的分光图像的拍摄方法的流程图。
在本实施方式中，当用户对触摸面板11等进行操作而选择拍摄分光图像的应用程序时，控制部30使第一摄像头21以及第二摄像头22启动(步骤S1)。
之后，第一拍摄条件设定部321设定第一摄像头21的第一拍摄条件(步骤S2)。该步骤S2与在上述的由第一摄像头21进行的彩色图像的拍摄处理中实施的第一拍摄条件的设定相同。即，第一拍摄条件设定部321基于第一受光部212所接收的光的受光量以及到对象物的距离，自动地设定曝光时间、光圈值、焦距以及ISO灵敏度等第一拍摄条件，或者设定由用户输入的第一拍摄条件。
另外，第一拍摄控制部323基于第一拍摄条件由第一摄像头21拍摄对象物的彩色图像，并显示在触摸面板11上(步骤S3)。即，使触摸面板11显示对象物的实时图像。由此，用户能够一边确认作为被摄体的对象物，一边调整分光图像的拍摄位置。
此外，第二拍摄条件设定部322基于第一拍摄条件来设定第二拍摄条件(步骤S4)。
在此，在本实施方式中，在存储部31中记录有校正系数β。校正系数β包括针对曝光时间的曝光校正系数βt、针对光圈值的光圈校正系数βa，以及针对ISO灵敏度的ISO校正系数βi。
然后，第二拍摄条件设定部322将作为第一拍摄条件的曝光时间T1乘以曝光校正系数βt，设定第二拍摄条件的曝光时间T2(＝T1×βt)。同样地，第二拍摄条件设定部322将作为第一拍摄条件的光圈值A1乘以光圈校正系数βa，设定第二拍摄条件的光圈值A2(＝A1×βa)。同样地，第二拍摄条件设定部322将作为第一拍摄条件的ISO灵敏度I1乘以ISO校正系数βi，设定第二拍摄条件的ISO灵敏度I2(＝I1×βi)。
在本实施方式中，分别存储有校正系数β的初始值和更新值，在通过步骤S1执行应用程序之后，在最初实施的步骤S4中，使用校正系数β的初始值，在第二次以后的步骤S4中，使用校正系数β的更新值。即，在本实施方式中，通过由校正系数更新部326依次更新校正系数β，在每次拍摄分光图像时使第二拍摄条件最佳化。
校正系数β的初始值基于第二受光部222的受光灵敏度特性以及分光元件的分光特性来设定。需要说明的是，在电子器件1具备向对象物照射照明光的光源部的情况下，基于第二受光部222的受光灵敏度特性、分光元件221的分光特性以及光源部的光源特性来设定。
图4是表示受光灵敏度特性、分光特性以及光源特性，以及将这些特性相乘而得到的第二摄像头22的特性(以下，称为摄像头光学特性)的图。
第二受光部222的受光灵敏度特性是表示第二受光部对于各波长的灵敏度的特性。
分光元件221的分光特性是表示利用分光元件221使规定的分光波长透过的情况下的各波长的光的透过率的特性。在此，分光元件221能够使透过的光的波长在规定波长范围内变化，通过分光元件221使规定的分光波长的光透过的情况下的透过率特性如图4的线P所示，在该分光波长下透过率成为峰值。
光源特性是表示照明光的各波长的光量(光强度)的特性。
摄像头特性值是将这些受光灵敏度特性、分光特性、光源特性相乘而得到的特性。
另外，在本实施方式中，在上述那样的摄像头光学特性中，基于最大特性值来设定校正系数β的初始值。即，在利用第二摄像头22拍摄特性值为最大的波长λM的分光图像的情况下，设定各像素的灰度值小于最大灰度值的校正系数β。由此，对于任意的分光波长，都能够进行抑制了光晕的产生的分光图像的拍摄。
返回图3，在步骤S4之后，第二拍摄控制部324控制第二摄像头22来拍摄分光图像(步骤S5)。此时，也可以控制第一摄像头21来同时拍摄彩色图像。
具体而言，第二拍摄控制部324将从分光元件221透过的光的波长设定为所指定的分光波长，并基于第二拍摄条件的光圈值A2对第二光圈机构223A进行调整。然后，第二拍摄控制部324在第二拍摄条件的曝光时间T2检测第二受光部222中的光的受光量，并基于第二拍摄条件的ISO灵敏度I2对与从各拍摄元件输出的受光量对应的受光信号进行放大。由此，拍摄基于第二拍摄条件的分光图像。
需要说明的是，在对对象物拍摄多个波长的分光图像的情况下，依次切换从分光元件透过的光的波长，与上述同样地，根据第二拍摄条件，由第二摄像头22实施分光图像的拍摄处理即可。
之后，图像评价部325判定在步骤S5中拍摄到的分光图像是否为适当的图像(步骤S6)。即，图像评价部325判定针对各分光波长的分光图像中的各像素的灰度值是否小于预先设定的最大灰度值。
在分光图像中，在存在灰度值为最大灰度值的像素的情况下，存在接收到超过了能够由第二受光部222检测的受光量的光的可能性。在这样的情况下，在本实施方式中，判定为发生了光晕。
在步骤S6中判定为“否”的情况下，第二拍摄控制部324判定是否实施第二摄像头22的重新拍摄(步骤S7)。例如，也可以在通过用户的输入操作指示了重新拍摄的情况下在步骤S7中判定为“是”。另外，也可以预先设定重新拍摄次数设定数，在通过步骤S6连续判定为“否”的次数达到所设定的重新拍摄次数设定数的情况下，在步骤S7中判定为“否”，如果小于重新拍摄次数设定数，则在步骤S7中判定为“是”。
然后，在由于光晕的产生等而在步骤S6中判定为“否”，并且在步骤S7中判定为“是”的情况下，校正系数更新部326对存储在存储部31中的校正系数β的更新值进行更新(步骤S8)。在实施了第一次的步骤S4之后，校正系数更新部326根据校正系数β的初始值计算新的校正系数β并记录为更新值。在实施了第二次的步骤S4之后，根据上次的校正系数β的更新值来计算新的校正系数β并更新更新值。
作为更新值的校正系数β的计算方法，例如，校正系数更新部326可以通过将在步骤S4中使用的校正系数β减去预先设定的值来计算更新值，也可以通过乘以小于1的规定的值来计算更新值。另外，校正系数更新部326也可以根据引起光晕的像素数，使校正系数β的减少量变化。
此外，校正系数更新部326也可以仅更新曝光校正系数βt、光圈校正系数βa以及ISO校正系数βi中的一个或两个。例如，可以仅更新曝光校正系数βt，也可以更新曝光校正系数βt和光圈校正系数βa。
在步骤S8之后，返回步骤S4，第二拍摄条件设定部322基于更新后的校正系数β重新设定第二拍摄条件，第二拍摄控制部324基于该第二拍摄条件，利用第二摄像头22拍摄分光图像。
另外，当在步骤S6中判定为“是”的情况下，以及在步骤S7中判定为“否”的情况下，电子器件1使由第二摄像头22拍摄到的分光图像显示在触摸面板11上(步骤S9)。
分光图像的显示方法可以基于由用户选择的拍摄模式来进行，例如，可以仅使分光图像显示在触摸面板11上，也可以使分光图像与彩色图像重叠显示。或者，也可以使基于分光图像解析出的解析结果与彩色图像重叠显示。
[本实施方式的作用效果]
本实施方式的电子器件1具备由第一摄像头21、第二摄像头22以及控制部30构成的拍摄装置。第一摄像头21具备包括使红色波长区域的光透过的R滤光器、使绿色波长区域的光透过的G滤光器以及使蓝色波长区域的光透过的B滤光器的滤色器部211，以及接收透过了滤色器部211的光的第一受光部212。该第一摄像头21拍摄基于透过了R滤光器的红色光的灰度值、透过了G滤光器的绿色光的灰度值，以及透过了B滤光器的蓝色光的灰度值的彩色图像。第二摄像头22具备能够从入射光对规定的分光波长的光进行分光，并且将分光波长变更为四个以上的分光元件221，以及接收由分光元件221分光后的光的第二受光部222。该第二摄像头22拍摄由分光元件221分光后的各波长的分光图像。控制部30具备存储部31和处理器32，处理器32通过读入并执行存储在存储部31中的程序，作为第一拍摄条件设定部321以及第二拍摄条件设定部322等发挥功能。第一拍摄条件设定部321设定作为第一摄像头21的拍摄条件的第一拍摄条件。第二拍摄条件设定部322基于第一拍摄条件，设定作为第二摄像头22的拍摄条件的第二拍摄条件。
在这样的本实施方式中，关于拍摄分光图像的第二摄像头22，用户不需要自己设定第二拍摄条件，也不要求用户具有专门的知识。因此，能够提高使用电子器件1的第二摄像头22时的便利性。另外，由于基于第一拍摄条件来设定第二拍摄条件，因此不需要为了设定第二拍摄条件而拍摄多次分光图像的预备动作等，能够快速设定第二拍摄条件。
在本实施方式的电子器件1中，第二拍摄条件设定部322至少设定曝光时间作为第二拍摄条件。
在由第二受光部222接收光的情况下，如果受光量超过容许值，则在分光图像中产生光晕，无法拍摄适当的分光图像。对产生这样的光晕影响最大的是曝光时间，在本实施方式中，通过适当地设定包括曝光时间T2的第二拍摄条件，能够有效地抑制由光晕引起的图像异常。
在本实施方式的电子器件1中，第二拍摄条件设定部322将第一拍摄条件乘以校正系数β来设定第二拍摄条件。
由此，第二拍摄条件设定部322能够仅通过将第一拍摄条件乘以校正系数β的简单的处理来容易地设定第二拍摄条件，可以缩短拍摄分光图像所需的时间。
在本实施方式的电子器件1中，校正系数β基于摄像头光学特性来设定，所述摄像头光学特性是将表示分光元件221对于各分光波长的透过率的分光特性，以及表示第二受光部222对于各波长的受光灵敏度的受光灵敏度特性相乘而得到的。
通过使用这样的摄像头光学特性，在拍摄分光图像的情况下，能够确定第二受光部222中的受光量容易超过容许值的分光波长，能够适当地设定用于计算第二拍摄条件的校正系数，所述第二拍摄条件能够以各分光波长拍摄适当的分光图像。
另外，在本实施方式中，校正系数β基于上述那样的摄像头光学特性的特性值的最大值来设定。
在摄像头光学特性中，特定值为最大值的波长是在拍摄到的分光图像中容易产生光晕的波长。因此，如果在该波长中设定不产生光晕的校正系数，则对于其他各分光波长也能够抑制光晕的产生。
在本实施方式的电子器件1中，还具备：图像评价部325，其对通过第二拍摄条件由第二摄像头22拍摄对象物而得到的分光图像进行评价；存储部31，其记录校正系数β；以及校正系数更新部，其基于图像评价部325的评价结果，更新存储在存储部31中的校正系数β的更新值。
由此，即使当在使用了最初设定的校正系数β的初始值的第二拍摄条件下拍摄到的分光图像中存在光晕等异常的情况下，校正系数更新部326也能够通过更新校正系数β来设定能够拍摄适当的分光图像的校正系数β。由此，能够拍摄未观察到光晕等的适当的分光图像。
[第二实施方式]
接着，对第二实施方式进行说明。
在第一实施方式中，初始的校正系数β是基于第二摄像头的摄像头光学特性中的最大特性值的波长来设定的。与此相对，第二实施方式与第一实施方式的不同点在于，基于最小特性值来设定。
需要说明的是，在以后的说明中，关于已经说明过的事项，省略或简化其说明。
第二实施方式的电子器件1具有与第一实施方式相同的结构，如图1以及图2所示，具备第一摄像头21、第二摄像头22以及控制部30等。
另外，第二实施方式的电子器件1在拍摄分光图像的情况下，与第一实施方式大致相同，通过图3所示的拍摄方法来拍摄分光图像。
在此，在本实施方式中，第二拍摄条件设定部322设定第二拍摄条件时所使用的初始的校正系数β的设定方法与第一实施方式不同。
即，在本实施方式中，基于图4所示的第二摄像头的摄像头光学特性中的特性值的最小值，设定校正系数β的初始值。
即，在利用分光元件221使最小特性值的光分光来拍摄分光图像的情况下，以分光图像的各像素的灰度值成为预先设定的阈值以上的方式设定校正系数β。由此，能够抑制分光图像的各像素的S/N比的恶化。
在该情况下，在步骤S6中，图像评价部325评价是否拍摄到清晰的图像作为分光图像。例如，图像评价部325判定分光图像的各像素的灰度值中的最大灰度值是否为阈值以上。
然后，当在步骤S6中判定为不是适当的分光图像(判定为“否”)的情况下，校正系数更新部326更新校正系数β。
在该情况下，在步骤S8中，校正系数更新部326只要将在步骤S4中使用的校正系数β加上预先设定的值，或者乘以大于1的规定的值来计算更新值即可。
[第二实施方式的作用效果]
在本实施方式的电子器件1中，校正系数β基于摄像头光学特性的特性值的最小值来设定。
通过使用摄像头光学特性，在拍摄分光图像的情况下，能够确定第二受光部222中的受光量减小的倾向的分光波长。即，在摄像头光学特性中，特定值最小的波长是拍摄到的分光图像的各像素的灰度值较低，容易成为不清晰的图像(S/N比容易恶化)的波长。因此，通过在该波长中设定抑制S/N比的恶化的校正系数，对于其他各分光波长也能够抑制S/N比的恶化。
[第三实施方式]
接着，对第三实施方式进行说明。
在上述第一实施方式中，基于第一拍摄条件，设定了作为第二拍摄条件的曝光时间T2、光圈值A2以及ISO灵敏度I2这三个参数。与此相对，在第三实施方式中，与第一实施方式的不同点在于，针对由分光元件221分光的各分光波长分别独立地设定第二拍摄条件。
图5是表示在第三实施方式中存储在存储部31中的校正系数的概要的图。
在第一实施方式中，在存储部31中记录有曝光校正系数βt、光圈校正系数βa以及ISO校正系数βi。与此相对，在本实施方式中，如图5所示，校正系数β_λ(曝光校正系数βt_λ、光圈校正系数βa_λ以及ISO校正系数βi_λ)分别与能够由分光元件221分光的各分光波长相关联地存储在存储部31中。
例如，曝光校正系数βt_400、光圈校正系数βa_400和ISO校正系数βi_400与波长400nm相关联，曝光校正系数βt_700、光圈校正系数βa_700和ISO校正系数βi_700与波长700nm相关联。
这些校正系数β_λ基于各波长的摄像头光学特性来设定。
即，校正系数β_λ的初始值被设定为，在拍摄分光波长λ的分光图像的情况下，分光图像的各像素的灰度值小于上限值，并且为规定的阈值以上。
另外，在本实施方式中，在步骤S4中，第二拍摄条件设定部322对于拍摄的分光图像的分光波长分别设定第二拍摄条件。例如，在拍摄对象的分光图像的分光波长为λa的情况下，第二拍摄条件设定部322分别读入与该波长λa对应的校正系数β_λa，即曝光校正系数βt_λa、光圈校正系数βa_λa以及ISO校正系数βi_λa。然后，第二拍摄条件设定部322使用第一拍摄条件的曝光时间T1和曝光校正系数βt_λa，通过T2_λa＝T1×βt_λa来计算相对于分光波长λa的第二拍摄条件的曝光时间T2_λa。同样地，第二拍摄条件设定部322使用第一拍摄条件的光圈值A1和光圈校正系数βa_λa，通过A2_λa＝A1×βa_λa来计算相对于分光波长λa的第二拍摄条件的光圈值A2_λa。同样地，第二拍摄条件设定部322使用第一拍摄条件的ISO灵敏度I1和ISO校正系数βi_λa，通过I2_λa＝I1×βi_λa来计算相对于分光波长λa的第二拍摄条件的ISO灵敏度I2_λa。
因此，在拍摄针对多个分光波长的分光图像的情况下，第二拍摄条件设定部322针对各分光波长分别设定第二拍摄条件。
另外，在本实施方式中，在步骤S6中，图像评价部325对于各分光图像进行是否适当的判定，对于判定为不适当的分光波长，在步骤S8中利用校正系数更新部326来实施校正系数β的更新。
例如，在判定为在400nm的分光图像中产生光晕，在550nm的分光图像中亮度不足，在700nm的分光图像中为适当的分光图像的情况下，校正系数更新部326计算使校正系数β_400减少了规定的校正量的更新值，计算使校正系数β_550增加了规定的校正量的更新值，不进行校正系数β_700的更新。
[第三实施方式的作用效果]
在本实施方式的电子器件1中，第二拍摄条件设定部322基于对于能够由分光元件221变更的各分光波长分别设定的校正系数β_λ，设定每个分光波长的第二拍摄条件。
即，不是针对多个分光波长使用共同的第二拍摄条件，而是针对每个分光波长设定不同的校正系数，基于该校正系数，设定每个分光波长的第二拍摄条件。由此，在分光图像中产生光晕等异常的概率变低，能够拍摄适当的分光图像。
[第四实施方式]
接着，对第四实施方式进行说明。
在第一实施方式中，校正系数更新部326基于图像评价部325对于分光图像的评价结果，更新存储在存储部31中的校正系数。与此相对，第四实施方式与上述第一实施方式的不同点在于，基于图像评价部325对于分光图像的评价结果来生成计算校正系数的模型。
图6是表示本实施方式中的电子器件1A的概略结构的框图。
本实施方式的处理器32通过读入并执行存储在存储部31中的程序，如图6所示，作为第一拍摄条件设定部321、第二拍摄条件设定部322A、第一拍摄控制部323、第二拍摄控制部324、图像评价部325、校正系数更新部326，以及模型生成部327发挥功能。
在本实施方式中，与第一实施方式、第二实施方式同样地，基于第一拍摄条件以及校正系数来设定第二拍摄条件，图像评价部325对在该第二拍摄条件下拍摄到的分光图像是否适当，即是否产生光晕等异常进行评价。然后，模型生成部327使用该图像评价部325的评价结果、第一拍摄条件和校正系数β，通过机器学习生成将第一拍摄条件作为输入、将校正系数β作为输出的校正系数输出模型。在模型生成时使用的第一拍摄条件以及校正系数β是为了设定拍摄评价对象的分光图像时的第二拍摄条件而使用的第一拍摄条件以及校正系数β。作为机器学习，例如能够使用线性回归、最小二乘法、k-NN等各种算法，或者深度学习(深层学习)。
需要说明的是，模型生成部327还可以使用分光图像的分光波长作为示教数据来生成校正系数计算模型。在该情况下，模型生成部327能够生成将第一拍摄条件以及拍摄的分光图像的分光波长λ作为输入、将针对该分光波长λ的校正系数β_λ作为输出的校正系数输出模型。
此外，模型生成部327也可以将由第一摄像头21拍摄的彩色图像作为示教数据添加来生成校正系数计算模型。在该情况下，除了第一拍摄条件以外，还能够将彩色图像中的R(红色)、G(绿色)、B(蓝色)的各种颜色成分的平均灰度值、最大灰度值、最小灰度值等统计数据作为示教数据来生成校正系数输出模型，能够计算出高精度的校正系数。
接着，对本实施方式的拍摄方法进行说明。
图7是表示本实施方式的拍摄方法的流程图。
在本实施方式中，通过与第一实施方式大致相同的方法来拍摄分光图像。
即，用户操作触摸面板11等来选择拍摄分光图像的应用程序，由此实施步骤S1的处理，控制部30使第一摄像头21以及第二摄像头22启动。
接着，实施步骤S2的处理，第一拍摄条件设定部321设定第一摄像头21的第一拍摄条件，通过步骤S3，第一拍摄控制部323在触摸面板11上显示由第一摄像头21拍摄到的彩色图像。
之后，第二拍摄条件设定部322A将所获取的第一拍摄条件输入到由模型生成部327生成的校正系数输出模型，并基于所输出的校正系数β来设定第二拍摄条件(步骤S4A)。第二拍摄条件的计算方法与第一实施方式等相同，例如，通过将第一拍摄条件乘以校正系数β来计算第二拍摄条件。
需要说明的是，在此示出了从校正系数输出模型针对多个分光波长输出共同的校正系数β的例子，但也可以输出与多个分光波长对应的各个校正系数β_λ。
之后，通过步骤S5，第二拍摄控制部324在所设定的第二拍摄条件下控制第二摄像头22来拍摄分光图像，实施步骤S6，图像评价部325评价拍摄到的分光图像是否为适当的图像。
另外，在本实施方式中，当在步骤S6中判定为“否”的情况下，校正系数更新部326在步骤S4A中更新从校正系数输出模型输出的校正系数β，此外，第二拍摄条件设定部322A基于更新后的校正系数β来设定第二拍摄条件(步骤S8A)。校正系数更新部326的更新方法与第四实施方式相同，当在分光图像中产生光晕的情况下，使校正系数β减少规定量，在分光图像不清晰的情况下，使校正系数β增加规定量。之后，返回步骤S5。
另一方面，当在步骤S6中判定为“是”的情况下，实施步骤S9的处理，使触摸面板11显示拍摄到的分光图像或基于分光图像的图像。
然后，在本实施方式中，模型生成部327将通过一系列处理得到的第一拍摄条件、校正系数β以及评价结果存储在存储部31中(步骤S10)。当在步骤S6中没有一次判定为“否”的情况下，模型生成部327将与第一拍摄条件、在步骤S4A中得到的校正系数β和对于各分光波长的分光图像的评价结果相关联的历史数据存储在存储部31中。另外，当在步骤S6中判定为“否”的情况下，模型生成部327除了将与第一拍摄条件、在步骤S4A中得到的校正系数β，以及分光图像的评价结果相关联的历史数据以外，还将与第一拍摄条件、在步骤S8A中更新的校正系数，以及针对在基于该校正系数的第二拍摄条件下拍摄到的分光图像的在步骤S6中的评价结果相关联的历史数据存储在存储部31中。
之后，模型生成部327基于所存储的历史数据，重建并更新校正系数输出模型(步骤S11)。
需要说明的是，步骤S11也可以不在拍摄分光图像之后立即进行。例如，可以在每次拍摄分光图像时以一定周期实施，或者，也可以在每次存储一定量的历史数据时实施。
这样，通过基于所存储的历史数据更新校正系数输出模型，能够使从校正系数输出模型输出的校正系数更高精度，能够更适当地设定拍摄分光图像时的第二拍摄条件。
[第四实施方式的作用效果]
在本方式的电子器件1A中，处理器32还作为图像评价部325以及模型生成部327发挥功能。图像评价部325通过第二拍摄条件对利用第二摄像头22拍摄对象物而得到的分光图像进行评价。模型生成部327将图像评价部325对于在使用第一拍摄条件、校正系数β以及校正系数β而设定的第二拍摄条件下拍摄到的分光图像的评价结果作为示教数据来生成校正系数输出模型，所述校正系数输出模型将第一拍摄条件作为输入、将校正系数β作为输出。然后，第二拍摄条件设定部322A通过将第一拍摄条件输入到校正系数输出模型来获取校正系数β，并基于校正系数β来设定第二拍摄条件。
在本实施方式中，模型生成部327能够通过机器学习，生成针对第一拍摄条件输出最佳的校正系数的校正系数输出模型。由此，第二拍摄条件设定部322A能够仅通过向校正系数输出模型输入第一拍摄条件来得到与第一拍摄条件对应的适当的校正系数β，能够基于该校正系数β而容易地计算第二拍摄条件。
另外，通过将第一拍摄条件、拍摄分光图像时的校正系数β，以及对于该分光图像的评价结果作为历史数据进行存储，模型生成部327能够将这些存储的历史数据作为示教数据进行机器学习，从而提高校正系数输出模型的精度。
[变形例]
需要说明的是，本发明并不限定于前述的实施方式，在能够实现本发明的目的的范围内的变形、改良等也包括在本发明中。
[变形例1]
在上述第一实施方式至第四实施方式中，示出了第二拍摄条件设定部322分别使用曝光校正系数、光圈校正系数以及ISO校正系数来设定第二拍摄条件的例子，但并不限定于此。第二拍摄条件设定部322至少设定曝光校正系数，并基于曝光校正系数设定曝光时间即可。关于光圈值以及ISO灵敏度，例如，也可以将光圈校正系数以及ISO校正系数设为“1”，直接使用第一拍摄条件的光圈值和ISO灵敏度。
[变形例2]
在上述第一实施方式至第三实施方式中，针对第一拍摄条件，使用预先设定的校正系数β的初始值来设定第二拍摄条件来拍摄分光图像，在由图像评价部判断为不是适当的分光图像的情况下，通过更新校正系数β来进行控制，以拍摄适当的分光图像。与此相对，第二拍摄条件设定部322也可以基于由第一拍摄条件、第一摄像头21拍摄的彩色图像，变更最初使用的校正系数β的初始值。例如，在由第一摄像头拍摄的彩色图像较暗、各像素的灰度值较低的情况下，将作为第一拍摄条件的曝光时间、光圈值、焦距以及ISO灵敏度设定为较大的值。在该情况下，也可以将“1”设定为校正系数β，将第二拍摄条件设为与第一拍摄条件相同的条件由第二摄像头22来拍摄分光图像。
[变形例3]
在上述第一实施方式至第四实施方式中，第二拍摄条件设定部322也可以在由第二摄像头22拍摄分光图像之前，使第二拍摄条件显示在触摸面板11上。此外，第二拍摄条件设定部322也可以接受用户的第二拍摄条件的变更指示，根据用户的指示来变更所设定的第二拍摄条件或校正系数。
由此，用户能够在拍摄分光图像之前确认第二拍摄条件，并且能够对第二拍摄条件、校正系数进行微调。因此，用户能够在期望的条件下拍摄分光图像。
此外，在第四实施方式中，模型生成部327也可以将由用户设定的校正系数和设定了该校正系数时的第一拍摄条件作为历史数据存储。由此，能够学习与用户的喜好对应的条件，能够对于每个用户生成最佳化的校正系数输出模型。
[变形例4]
在上述第一实施方式至第四实施方式中，第二拍摄条件设定部322通过将校正系数β与第一拍摄条件相乘来计算第二拍摄条件，但并不限定于此。例如，第二拍摄条件设定部322也可以通过将第一拍摄条件加减校正系数来计算第二拍摄条件。
[变形例5]
在上述第四实施方式中，示出了模型生成部327生成将第一拍摄条件作为输入、将校正系数β作为输出的校正系数输出模型的例子，但并不限定于此。例如，也可以生成将第一拍摄条件作为输入、将基于校正系数β计算出的第二拍摄条件作为输出的校正系数输出模型。另外，模型生成部327也可以生成将由第一拍摄条件以及第一摄像头21拍摄的彩色图像作为输入、将第二拍摄条件作为输出的校正系数输出模型。此外，所输出的第二拍摄条件也可以是每个分光波长的第二拍摄条件。
[发明总结]
本公开的第一方式涉及的拍摄装置具备：第一摄像头，其具备包括使红色波长区域的光透过的红色滤色器、使绿色波长区域的光透过的绿色滤色器以及使蓝色波长区域的光透过的蓝色滤色器的滤色器部，以及接收透过了滤色器部的光的第一受光部，所述第一摄像头拍摄基于透过了红色滤色器的红色光的灰度值、透过了绿色滤色器的绿色光的灰度值，以及透过了蓝色滤色器的蓝色光的灰度值的彩色图像；第二摄像头，其具备能够从入射光对规定的分光波长的光进行分光，并且将所述分光波长变更为四个以上的分光元件，以及接收由所述分光元件分光后的光的第二受光部，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像；第一拍摄条件设定部，其设定所述第一摄像头的拍摄条件；以及第二拍摄条件设定部，其基于所述第一摄像头的拍摄条件，设定所述第二摄像头的拍摄条件。
由此，关于拍摄分光图像的第二摄像头，用户不需要设定拍摄条件，也不要求用户具有专门的知识，因此能够提高使用第二摄像头时的便利性。另外，由于基于第一拍摄条件来设定第二拍摄条件，因此不需要为了设定第二拍摄条件而拍摄多次分光图像的预备动作，能够快速设定第二拍摄条件。
在本方式的拍摄装置中，所述第二拍摄条件设定部至少设定曝光时间作为所述第二拍摄条件。
在由第二受光部接收光的情况下，如果受光量超过容许值，则在分光图像中产生光晕，无法拍摄适当的分光图像。对产生这样的光晕影响最大的是曝光时间，如本方式那样，通过适当地设定曝光时间作为第二拍摄条件，能够有效地抑制由光晕引起的图像异常。
在本方式的拍摄装置中，优选的是，所述第二拍摄条件设定部将所述第一拍摄条件乘以规定的校正系数来设定所述第二拍摄条件。
由此，第二拍摄条件设定部能够仅通过将第一拍摄条件乘以校正系数来容易地设定第二拍摄条件，可以缩短拍摄分光图像所需的时间。
在本方式的拍摄装置中，优选的是，所述第二拍摄条件设定部基于对于能够由所述分光元件变更的各所述分光波长分别设定的所述校正系数，设定每个所述分光波长的所述第二拍摄条件。
在本方式中，不是针对多个分光波长使用共同的第二拍摄条件，而是针对每个分光波长设定不同的校正系数，基于该校正系数，设定每个分光波长的第二拍摄条件。由此，在分光图像中产生光晕等异常的概率变低，能够拍摄适当的分光图像。
在本方式的拍摄装置中，优选的是，所述校正系数基于摄像头光学特性来设定，所述摄像头光学特性是将表示所述分光元件对于各波长的透过率的分光特性，以及表示所述第二受光部对于各波长的受光灵敏度的受光灵敏度特性相乘而得到的。
通过使用这样的摄像头光学特性，在拍摄分光图像的情况下，能够确定第二受光部中的受光量容易超过容许值的分光波长、难以检测受光量且分光图像容易变得不清晰的分光波长，能够容易地设定用于计算第二拍摄条件的校正系数，所述第二拍摄条件能够以各分光波长拍摄适当的分光图像。
在本方式的拍摄装置中，优选的是，所述校正系数基于所述摄像头光学特性的特性值的最大值来设定。
在上述的摄像头光学特性中，特定值为最大值的波长是在拍摄到的分光图像中容易产生光晕的波长，通过在该波长中设定能够计算不产生光晕的第二拍摄条件的校正系数，对于其他各分光波长也能够抑制光晕的产生。
在本方式的拍摄装置中，也可以是，所述校正系数基于所述摄像头光学特性的特性值的最小值来设定。
在上述的摄像头光学特性中，特定值为最小值的波长是拍摄到的分光图像的各像素的灰度值较低，容易成为不清晰的图像(S/N比容易恶化)的波长。因此，通过在该波长中设定抑制S/N比的恶化的校正系数，对于其他各分光波长也能够抑制S/N比的恶化。
在本方式的拍摄装置中，优选的是，还具备：图像评价部，其对通过所述第二拍摄条件由所述第二摄像头拍摄对象物而得到的所述分光图像进行评价；校正系数记录部，其存储所述校正系数；以及校正系数更新部，其基于所述图像评价部的评价结果，更新存储在所述校正系数记录部中的所述校正系数。
在本方式中，通过图像评价部对由第二摄像头拍摄到的分光图像进行评价，当在该评价结果中判定为分光图像不适当的情况下，校正系数更新部更新校正系数。由此，通过反复进行多次分光图像的拍摄处理和图像评价部对分光图像的评价，能够设定能够拍摄适当的分光图像的校正系数。
在本方式的拍摄装置中，优选的是，具备：图像评价部，其对通过所述第二拍摄条件由所述第二摄像头拍摄对象物而得到的所述分光图像进行评价；以及模型生成部，其将所述图像评价部对于所述分光图像的评价结果作为示教数据来生成校正系数输出模型，所述分光图像是以所述第一拍摄条件、所述校正系数以及使用该校正系数而设定的所述第二拍摄条件而拍摄得到的，所述校正系数输出模型将所述第一拍摄条件作为输入、将所述校正系数作为输出，所述第二拍摄条件设定部通过将所述第一拍摄条件输入到所述校正系数输出模型来获取所述校正系数，并基于所述校正系数来设定所述第二拍摄条件。
在该情况下，模型生成部能够通过机器学习，生成针对第一拍摄条件输出最佳的校正系数的校正系数输出模型。由此，第二拍摄条件设定部能够通过向校正系数输出模型输入第一拍摄条件来得到与第一拍摄条件对应的适当的校正系数β，能够基于该校正系数β而容易地计算第二拍摄条件。
另外，通过将第一拍摄条件、拍摄分光图像时的校正系数β，以及对于该分光图像的评价结果作为历史数据进行存储，模型生成部能够将这些存储的历史数据作为示教数据进行机器学习，从而提高校正系数输出模型的精度。
本公开的第二方式的便携式终端装置的特征在于，具备：第一方式的拍摄装置；以及组装有所述拍摄装置的壳体。
本方式的便携式终端装置例如是智能手机、平板终端、头戴式显示器等终端装置，要求提高用户的便利性。在这样的便携式终端装置中，通过组装上述那样的拍摄装置，能够提高用户的便利性。
本公开的第三方式的拍摄方法的特征在于，是一种拍摄装置的拍摄方法，该拍摄装置具备：第一摄像头，其具备包括使红色波长区域的光透过的红色滤色器、使绿色波长区域的光透过的绿色滤色器以及使蓝色波长区域的光透过的蓝色滤色器的滤色器部，以及接收透过了滤色器部的光的第一受光部，所述第一摄像头拍摄基于透过了红色滤色器的红色光的灰度值、透过了绿色滤色器的绿色光的灰度值，以及透过了蓝色滤色器的蓝色光的灰度值的彩色图像；第二摄像头，其具备能够从入射光对规定的分光波长的光进行分光，并且将所述分光波长变更为四个以上的分光元件，以及接收由所述分光元件分光后的光的第二受光部，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像，所述拍摄方法实施以下步骤：第一拍摄条件设定步骤，其设定作为所述第一摄像头的拍摄条件的第一拍摄条件；以及第二拍摄条件设定步骤，其基于所述第一拍摄条件，设定作为所述第二摄像头的拍摄条件的第二拍摄条件。
由此，与上述的第一方式同样地，关于拍摄分光图像的第二摄像头，用户不需要设定拍摄条件，也不要求用户具有专门的知识，因此能够提高使用第二摄像头时的便利性。另外，由于基于第一拍摄条件来设定第二拍摄条件，因此不需要为了设定第二拍摄条件而拍摄多次分光图像的预备动作，能够快速设定第二拍摄条件。

Claims (5)

1.一种拍摄装置，其特征在于，具备：
第一摄像头，具备：滤色器部，包括使红色波长区域的光透过的红色滤色器、使绿色波长区域的光透过的绿色滤色器以及使蓝色波长区域的光透过的蓝色滤色器；以及第一受光部，接收透过了滤色器部的光，所述第一摄像头拍摄基于透过了红色滤色器的红色光的灰度值、透过了绿色滤色器的绿色光的灰度值以及透过了蓝色滤色器的蓝色光的灰度值的彩色图像；
第二摄像头，具备：分光元件，从入射光对规定的分光波长的光进行分光，并且能够将所述分光波长变更为四种以上；以及第二受光部，接收由所述分光元件分光后的光，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像；以及
一个或多个处理器，
所述一个或多个处理器执行：
设定作为所述第一摄像头的拍摄条件的第一拍摄条件；以及
基于所述第一拍摄条件，来设定作为所述第二摄像头的拍摄条件的第二拍摄条件；
其中，所述一个或多个处理器还构成为，对所述第一拍摄条件乘以规定的校正系数来设定所述第二拍摄条件；并且
所述一个或多个处理器还构成为，进一步执行：
对根据所述第二拍摄条件由所述第二摄像头拍摄对象物而得到的所述分光图像进行评价；
将对所述分光图像的评价结果作为示教数据来生成校正系数输出模型，所述分光图像是以所述第一拍摄条件、所述校正系数以及使用该校正系数而设定的所述第二拍摄条件而拍摄得到的，所述校正系数输出模型将所述第一拍摄条件作为输入、将所述校正系数作为输出；以及
通过将所述第一拍摄条件输入到所述校正系数输出模型来获取所述校正系数，并基于所述校正系数来设定所述第二拍摄条件。
2.根据权利要求1所述的拍摄装置，其特征在于，
所述一个或多个处理器还构成为，至少设定曝光时间作为所述第二拍摄条件。
3.根据权利要求1所述的拍摄装置，其特征在于，
所述一个或多个处理器还构成为，基于对由所述分光元件能够变更的各所述分光波长分别设定的所述校正系数，来设定每种所述分光波长的所述第二拍摄条件。
4.一种便携式终端装置，其特征在于，具备：
权利要求1至3中任一项所述的拍摄装置；以及
组装有所述拍摄装置的壳体。
5.一种拍摄方法，其特征在于，是一种拍摄装置的拍摄方法，
所述拍摄装置具备：第一摄像头，具备包括使红色波长区域的光透过的红色滤色器、使绿色波长区域的光透过的绿色滤色器以及使蓝色波长区域的光透过的蓝色滤色器的滤色器部以及接收透过了滤色器部的光的第一受光部，所述第一摄像头拍摄基于透过了红色滤色器的红色光的灰度值、透过了绿色滤色器的绿色光的灰度值以及透过了蓝色滤色器的蓝色光的灰度值的彩色图像；以及第二摄像头，具备从入射光对规定的分光波长的光进行分光，并且能够将所述分光波长变更为四种以上的分光元件以及接收由所述分光元件分光后的光的第二受光部，所述第二摄像头拍摄由所述分光元件分光后的各波长的分光图像，
所述拍摄方法实施以下步骤：
第一拍摄条件设定步骤，设定作为所述第一摄像头的拍摄条件的第一拍摄条件；以及
第二拍摄条件设定步骤，基于所述第一拍摄条件，设定作为所述第二摄像头的拍摄条件的第二拍摄条件；
其中，对所述第一拍摄条件乘以规定的校正系数来设定所述第二拍摄条件；并且
对根据所述第二拍摄条件由所述第二摄像头拍摄对象物而得到的所述分光图像进行评价；
将对所述分光图像的评价结果作为示教数据来生成校正系数输出模型，所述分光图像是以所述第一拍摄条件、所述校正系数以及使用该校正系数而设定的所述第二拍摄条件而拍摄得到的，所述校正系数输出模型将所述第一拍摄条件作为输入、将所述校正系数作为输出；以及
通过将所述第一拍摄条件输入到所述校正系数输出模型来获取所述校正系数，并基于所述校正系数来设定所述第二拍摄条件。
CN202110584275.4A 2020-05-28 2021-05-27 拍摄装置、便携式终端装置以及拍摄方法 Active CN113747004B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-092970 2020-05-28
JP2020092970A JP2021190785A (ja) 2020-05-28 2020-05-28 撮像装置、携帯型端末装置、及び撮像方法

Publications (2)

Publication Number Publication Date
CN113747004A CN113747004A (zh) 2021-12-03
CN113747004B true CN113747004B (zh) 2023-05-23

Family

ID=78704426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584275.4A Active CN113747004B (zh) 2020-05-28 2021-05-27 拍摄装置、便携式终端装置以及拍摄方法

Country Status (3)

Country Link
US (1) US11870969B2 (zh)
JP (1) JP2021190785A (zh)
CN (1) CN113747004B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661114B1 (ko) * 2020-11-10 2024-04-25 삼성전자주식회사 카메라 모듈 검사 장치, 카메라 모듈 검사 방법 및 이미지 생성 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888681A (zh) * 2014-04-18 2014-06-25 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
CN108322670A (zh) * 2018-04-27 2018-07-24 Oppo广东移动通信有限公司 一种多摄像头系统的控制方法、移动终端及存储介质
CN110999283A (zh) * 2017-08-01 2020-04-10 索尼公司 成像装置、成像方法以及程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5806504B2 (ja) * 2011-05-17 2015-11-10 オリンパス株式会社 撮像装置およびこれを備える顕微鏡システム
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
US10783632B2 (en) * 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888681A (zh) * 2014-04-18 2014-06-25 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
CN110999283A (zh) * 2017-08-01 2020-04-10 索尼公司 成像装置、成像方法以及程序
CN108322670A (zh) * 2018-04-27 2018-07-24 Oppo广东移动通信有限公司 一种多摄像头系统的控制方法、移动终端及存储介质

Also Published As

Publication number Publication date
US20210377510A1 (en) 2021-12-02
CN113747004A (zh) 2021-12-03
US11870969B2 (en) 2024-01-09
JP2021190785A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
US8558928B2 (en) Electronic image pickup apparatus and electronic image pickup method
CN104754210B (zh) 照相机及图像处理方法
US11297259B2 (en) Finder apparatus, imaging apparatus, and method of controlling finder apparatus
JP7207124B2 (ja) 校正装置、校正方法、分光カメラ、及び表示装置
US20140267840A1 (en) Camera and image processing method
KR20020032331A (ko) 이미지 센서의 결함 픽셀 보정 장치 및 그 방법
JP7164694B2 (ja) 分光カメラ、撮像方法、プログラム及び記録媒体
CN113747004B (zh) 拍摄装置、便携式终端装置以及拍摄方法
CN113848044B (zh) 一种显示屏亮色度一致性检测方法
JP2005311581A (ja) 画像入力システム、変換マトリックス算出方法、及びプログラム
JP7428090B2 (ja) 校正装置、校正方法、校正プログラム、及び分光カメラ
JP5480672B2 (ja) 撮像装置及びその制御方法
JP7472718B2 (ja) 校正装置、校正方法、及び校正プログラム
US11503254B2 (en) Image generation apparatus and image generation method
US20060231735A1 (en) METHOD FOR CALIBRATING DEVIATION OF OECFs AND APPARATUS THEREOF
JP3960989B2 (ja) 色推定システム及び色推定方法
JP4432479B2 (ja) 画像処理装置
US9906705B2 (en) Image pickup apparatus
CN110174351B (zh) 颜色测量装置及方法
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
JP2005150922A (ja) プロジェクタの表示状態の調整装置及び方法
CN113870773B (zh) Led显示屏的亮度补偿方法、亮度补偿装置及亮度补偿系统
US20220114760A1 (en) Image analysis apparatus, image analysis method, and non-transitory computer-readable storage medium storing image analysis program
US20230137388A1 (en) Image processing method, and spectral camera system
WO2023007965A1 (ja) 撮像方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant