CN114761757A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN114761757A
CN114761757A CN202080080186.XA CN202080080186A CN114761757A CN 114761757 A CN114761757 A CN 114761757A CN 202080080186 A CN202080080186 A CN 202080080186A CN 114761757 A CN114761757 A CN 114761757A
Authority
CN
China
Prior art keywords
image
imaging
distance
light
distance measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080080186.XA
Other languages
English (en)
Other versions
CN114761757B (zh
Inventor
增田智纪
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114761757A publication Critical patent/CN114761757A/zh
Application granted granted Critical
Publication of CN114761757B publication Critical patent/CN114761757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供一种能够有助于解决在通过不同的测距方式得到的第1测距结果与第2测距结果不同的情况下产生的各种问题的信息处理装置、信息处理方法及程序。信息处理装置包括处理器和连接或内置于处理器中的存储器，处理器进行如下处理：进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；进行第2测距，即根据通过由摄像装置拍摄摄像区域而得到的第1图像，测定到摄像区域为止的距离；及在通过进行第1测距而得到的第1测距结果与通过进行第2测距而得到的第2测距结果不同的情况下，执行特定处理。

Description

信息处理装置、信息处理方法及程序
技术领域
本发明的技术涉及一种信息处理装置、信息处理方法及程序。
背景技术
在专利文献1中公开了一种光传感器，其具备：发光元件，沿着光轴向一个方向射出光；多个受光元件，其为沿垂直于光轴的方向配置的雪崩光电二极管；框体，隔开检测物体与发光元件；及控制部，以TOF方式及三角测量方式确定距离。
在专利文献2中公开了一种车辆用雷达装置，其在车辆附近有人时，为了对人不造成危害，以小的送光功率进行扫描测距并存储人所在方向，接着，当增大送光功率进行扫描测距时，对预先存储的人所在方向停止送出光，仅对除此以外的方向以大的送光功率进行扫描测距，对存在于附近的人不会造成危害，而能够可靠地检测存在于远处的车辆的存在。
以往技术文献
专利文献
专利文献1：日本特开2016-223902号公报
专利文献2：日本特开平09-197045号公报
发明内容
本发明的技术所涉及的一种实施方式提供一种能够有助于解决在通过不同测距方式得到的第1测距结果与第2测距结果不同的情况下产生的各种问题的信息处理装置、信息处理方法及程序。
用于解决技术课题的手段
本发明的技术所涉及的第1方式为一种信息处理装置，其包括：处理器；及存储器，连接或内置于处理器中，处理器进行如下处理：进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；进行第2测距，即根据通过由摄像装置拍摄摄像区域而得到的第1图像，测定到摄像区域为止的距离，在通过进行第1测距而得到的第1测距结果与通过进行第2测距而得到的第2测距结果不同的情况下，执行特定处理。
本发明的技术所涉及的第2方式为第1方式所涉及的信息处理装置，其中，特定处理包括如下处理：通知第1测距结果与第2测距结果不同的情况。
本发明的技术所涉及的第3方式为第1方式或第2方式所涉及的信息处理装置，其中，特定处理包括如下处理：分别根据第1测距结果和第2测距结果，对摄像装置进行聚焦控制，并且拍摄摄像区域。
本发明的技术所涉及的第4方式为第3方式所涉及的信息处理装置，其中，特定处理包括如下处理：使通过在基于第1测距结果的聚焦控制下拍摄摄像区域而得到的第1对焦图像、以及通过在基于第2测距结果的聚焦控制下拍摄摄像区域而得到的第2对焦图像显示于显示器，并且在第1对焦图像及第2对焦图像显示于显示器的状态下，督促用户选择第1对焦图像及第2对焦图像中的至少一个。
本发明的技术所涉及的第5方式为第1方式或第2方式所涉及的信息处理装置，其中，特定处理包括如下处理：根据第1测距结果或第2测距结果，对摄像装置进行聚焦控制，并且拍摄摄像区域。
本发明的技术所涉及的第6方式为第5方式所涉及的信息处理装置，其中，在第1测距结果及第2测距结果中，根据按照被赋予的指示而确定的任意测距结果，对摄像装置进行聚焦控制。
本发明的技术所涉及的第7方式为第5方式所涉及的信息处理装置，其中，摄像装置可以在广角侧和长焦侧进行拍摄，在摄像装置在广角侧拍摄的情况下，根据第1测距结果对摄像装置进行聚焦控制。
本发明的技术所涉及的第8方式为第5方式所涉及的信息处理装置，在由受光器接收的反射光的受光量为阈值以上的情况下，根据第2测距结果进行聚焦控制。
本发明的技术所涉及的第9方式为第5方式所涉及的信息处理装置，其中，在第1测距结果及第2测距结果中，根据表示具有规定反射率以上的反射率的区域的高反射率区域相对于通过由摄像装置拍摄摄像区域而得到的第2图像的比例、或者按照第2图像内的高反射率区域的面积和与第2图像内的高反射率区域不同的区域的面积的差分而确定的任意测距结果，对摄像装置进行聚焦控制。
本发明的技术所涉及的第10方式为第5方式所涉及的信息处理装置，其中，处理器对通过由摄像装置拍摄摄像区域而得到的第2图像进行表示特定被摄体的特定被摄体图像的检测，在由处理器检测到特定被摄体图像的情况下，根据第2测距结果进行聚焦控制。
本发明的技术所涉及的第11方式为第10方式所涉及的信息处理装置，其中，特定被摄体包括具有规定反射率以上的反射率的高反射率区域，高反射率区域是映入了人物及摄像装置中的至少一个图像的区域。
本发明的技术所涉及的第12方式为一种信息处理装置，其包括：处理器；及存储器，连接或内置于处理器中，处理器进行如下处理：根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；根据距离导出对焦于摄像区域中包括的被摄体的第1对焦位置，并根据通过由摄像装置拍摄摄像区域而得到的图像导出对焦于被摄体的第2对焦位置；及在第1对焦位置与第2对焦位置不同的情况下，执行特定处理。
本发明的技术所涉及的第13方式为一种信息处理方法，其包括如下步骤：进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；进行第2测距，即根据通过由摄像装置拍摄摄像区域而得到的第1图像，测定到摄像区域为止的距离；及在通过进行第1测距而得到的第1测距结果与通过进行第2测距而得到的第2测距结果不同的情况下，执行特定处理。
本发明的技术所涉及的第14方式为一种信息处理方法，其包括如下步骤：根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；根据距离导出对焦于摄像区域中包括的被摄体的第1对焦位置；根据通过由摄像装置拍摄摄像区域而得到的图像导出对焦于被摄体的第2对焦位置；及在第1对焦位置与第2对焦位置不同的情况下，执行特定处理。
本发明的技术所涉及的第15方式为一种程序，其用于使计算机执行如下处理：进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；进行第2测距，即根据通过由摄像装置拍摄摄像区域而得到的第1图像，测定到摄像区域为止的距离；及在通过进行第1测距而得到的第1测距结果与通过进行第2测距而得到的第2测距结果不同的情况下，执行特定处理。
本发明的技术所涉及的第16方式为一种程序，其用于使计算机执行如下处理：根据光照射器向摄像区域照射光的照射时刻和受光器接收光的来自摄像区域的反射光的受光时刻，测定到摄像区域为止的距离；根据距离导出对焦于摄像区域中包括的被摄体的第1对焦位置；根据通过由摄像装置拍摄摄像区域而得到的图像导出对焦于被摄体的第2对焦位置；及在第1对焦位置与第2对焦位置不同的情况下，执行特定处理。
附图说明
图1是表示第1实施方式所涉及的智能设备的使用方式的一例的概略立体图。
图2是表示第1实施方式所涉及的智能设备的背面侧外观的一例的后视立体图。
图3是表示由第1实施方式所涉及的智能设备中包括的测距摄像装置拍摄摄像区域，并在显示器上显示有可见光图像的方式的一例的概念图。
图4是表示对由第1实施方式所涉及的智能设备中包括的测距摄像装置对摄像区域照射激光束的方式的一例的概念图。
图5是表示第1实施方式所涉及的智能设备的光电转换元件中包括的各像素的配置的一例的概略立体图。
图6是表示被摄体光对图5所示光电转换元件中包括的第1相位差像素及第2相位差像素的入射特性的一例的概念图。
图7是表示图5所示光电转换元件中包括的非相位差像素的结构的一例的概略结构图。
图8是表示第1实施方式所涉及的智能设备的电气系统硬件的结构的一例的框图。
图9是表示第1实施方式所涉及的智能设备中包括的CPU的功能的一例的框图。
图10是表示图9所示第1测距控制部及获取部的处理内容的一例的概念图。
图11是表示图9所示第2测距控制部及获取部的处理内容的一例的概念图。
图12是表示镜面和映入镜子中的图像分别设为测距对象时的第1测距的测距结果(第1距离)与第2测距的测距结果(第2距离)的关联性的一例的概念图。
图13是表示图9所示判定部及执行部的处理内容的一例的框图。
图14是表示图13所示特定处理的细节的一例的概念图。
图15是表示由第1实施方式所涉及的智能设备显示于显示器上的图像选择画面内的第1可见光图像由用户经由触摸面板选择时的处理内容的一例的概念图。
图16是表示由第1实施方式所涉及的智能设备显示于显示器上的图像选择画面内的第2可见光图像由用户经由触摸面板选择时的处理内容的一例的概念图。
图17A是表示第1实施方式所涉及的测距摄像处理流程的一例的流程图。
图17B是图17A所示流程图的继续。
图18A是表示第1实施方式所涉及的测距摄像处理流程的第1变形例的流程图。
图18B是图18A所示流程图的继续。
图18C是图18B所示流程图的继续。
图19是表示第1实施方式所涉及的测距摄像处理流程的第2变形例的流程图。
图20是表示第1实施方式所涉及的测距摄像处理流程的第3变形例的流程图。
图21是表示第1实施方式所涉及的测距摄像处理流程的第4变形例的流程图。
图22是表示第1实施方式所涉及的智能设备还具备广角用受光器的方式的一例的后视立体图。
图23是表示第1实施方式所涉及的测距摄像处理流程的第5变形例的流程图。
图24是表示第2实施方式所涉及的智能设备中包括的CPU的功能的一例的框图。
图25是表示用于计算在由第2实施方式所涉及的智能设备进行的聚焦控制中使用的第1对焦位置的处理内容的一例的概念图。
图26是表示用于计算在由第2实施方式所涉及的智能设备进行的聚焦控制中使用的第2对焦位置的处理内容的一例的概念图。
图27是表示图24所示判定部及执行部的处理内容的一例的框图。
图28是表示图27所示特定处理的细节的一例的概念图。
图29A是表示第2实施方式所涉及的测距摄像处理流程的一例的流程图。
图29B是图29A所示流程图的继续。
图29C是图29B所示流程图的继续。
图30是表示实施方式所涉及的测距摄像处理程序安装于智能设备中的方式的一例的概念图。
具体实施方式
以下，按照附图，对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。
首先，对以下说明中所使用的词汇进行说明。
CPU是指“Central Processing Unit：中央处理单元”的简称。RAM是指“RandomAccess Memory：随机存取存储器”的简称。ASIC是指“Application Specific IntegratedCircuit：专用集成电路”的简称。PLD是指“Programmable Logic Device：可编程逻辑设备”的简称。FPGA是指“Field-Programmable Gate Array：现场可编程门阵列”的简称。
SoC是指“System-on-a-chip：片上系统”的简称。SSD是指“Solid State Drive：固态驱动器”的简称。USB是指“Universal Serial Bus：通用串行总线”的简称。HDD设置“HardDisk Drive：硬盘驱动器”的简称。EEPROM是指“Electrically Erasable andProgrammable Read Only Memory：电可擦可编程只读存储器”的简称。EL是指“Electro-Luminescence：电致发光”的简称。A/D是指“Analog/Digital：模拟/数字”的简称。I/F是指“Interface：接口”的简称。UI是指“User Interface：用户界面”的简称。LTE是指“LongTerm Evolution：长期演进”的简称。5G是指“5th Generation：第五代”的简称。LD是指“Laser Diode：激光二极管”的简称。IR是指“Infrared：红外射线”的简称。APD是指“Avalanche Photodiode：雪崩光电二极管”的简称。TOF是指
“Time of Flight：飞行时间”的简称。fps是指“frame per second：每秒帧数”的简称。LED是指“Light Emitting Diode：发光二极管”的简称。ROI是指“Region ofInterest：感兴趣区域”的简称。LAN是指“Local Area Network：局域网”的简称。AF是指“Auto Focus：自动对焦”的简称。IC是指“Integrated Circuit：集成电路”的简称。
在本说明书的说明中，“水平”除了完全水平以外，还指包括本发明技术所属技术领域中通常容许的误差的含义的水平。在本说明书的说明中，“平行”除了完全平行以外，还指包括本发明技术所属技术领域中通常容许的误差的含义的平行。在本说明书的说明中，“垂直”除了完全垂直以外，还指包括本发明技术所属技术领域中通常容许的误差的含义的垂直。在本说明书的说明中，“一致”除了完全一致以外，还指包括本发明技术所属技术领域中通常容许的误差的含义的一致。
[第1实施方式]
作为一例，如图1所示，智能设备10进行对由视场角θ1规定的摄像区域进行拍摄的摄像动作(以下，也简称为“摄像动作”)和测距动作。在该第1实施方式中，“测距”是指测定从智能设备10到摄像区域的距离的处理。另外，智能设备10是本发明的技术所涉及的“信息处理装置”的一例，作为智能设备10，例如，可以举出带摄像功能的电子设备即智能手机、或平板终端等。
在智能设备10中，进行测距方式彼此不同的第1测距及第2测距。第1测距是根据智能设备10向摄像区域照射激光束的时刻、以及智能设备10接收激光束的来自摄像区域的反射光的时刻，测定到摄像区域为止的距离的方式(以下，也称为“主动方式”)的测距。第2测距是根据通过由智能设备10拍摄摄像区域而得到的图像，测定到摄像区域为止的距离的方式(以下，也称为“被动方式”)的测距。在此，通过由智能设备10拍摄摄像区域而得到的图像是本发明的技术所涉及的“第1图像”的一例。并且，激光束是本发明的技术所涉及的“光”的一例。并且，在此，激光束向摄像区域进行面照射。另外，面照射是指，与点照射相比，激光束的光束直径更向摄像区域扩展的照射。在面照射中，激光束的光束直径沿着激光束的照射方向逐渐扩展，与点照射相比，面照射的光束直径在每单位时间内扩展的程度更大。即，在点照射中，激光束以点状照射于摄像区域的某一面上，相对于此，在面照射中，激光束以面状照射于摄像区域的某一面上。并且，激光束的照射可以是单次，也可以定期(例如，每隔0.1秒)间歇地进行，在该情况下，可以在每次照射激光束时进行第1测距，并进行基于测距结果的处理。
在智能设备10中，进行将主动方式测距和被动方式测距并用的混合方式的测距。然后，在智能设备10中，进行伴随主动方式聚焦控制的拍摄和伴随被动方式聚焦控制的拍摄。主动方式聚焦控制是指基于通过进行主动方式测距而得到的测距结果的聚焦控制。被动方式聚焦控制是指基于通过进行被动方式测距而得到的测距结果的聚焦控制。
作为一例，如图2所示，智能设备10具备框体12。在框体12中容纳有测距摄像装置14。测距摄像装置14具备光照射器16及受光器18。光照射器16具备LD24，在智能设备10中，摄像动作及测距动作由测距摄像装置14进行。
在智能设备10的侧面上配置有指示键13。指示键13接收各种指示。在此所说的“各种指示”是指例如可以选择各种菜单的菜单画面的显示指示、一个或多个菜单的选择指示、选择内容的确定指示、以及选择内容的删除指示等。
在使智能设备10处于纵置状态时的框体12的背面12A的左上部(纵置状态的智能设备10的后视左上部)设置有透光窗20及22。透光窗20及22是具有透光性的光学元件(例如，透镜)，沿着水平方向以规定间隔(例如，几毫米的间隔)配置，并从背面12A露出。光照射器16将从LD24射出的激光束经由透光窗20向摄像区域照射。在该第1实施方式中，红外波长区域的激光束由光照射器16向摄像区域照射。另外，激光束的波长区域并不限定于此，也可以是其他波长区域的激光束。
受光器18经由透光窗22取入IR反射光。IR反射光是指由光照射器16照射到测距对象的激光束的来自测距对象的反射光。并且，受光器18经由透光窗22取入可见反射光。可见反射光是指照射到摄像区域的可见光(例如，太阳光中包括的可见光)的来自摄像区域的反射光。另外，以下，为了便于说明，在不需要区分说明IR反射光和可见反射光的情况下，简称为“反射光”。
受光器18是本发明的技术所涉及的“摄像装置”的一例，具备光电转换元件26。光电转换元件26接收经由透光窗22取入到受光器18中的反射光，并输出与所接收的反射光的光量对应的电信号。
作为一例，如图3所示，在框体12的前表面12B上设置有触摸面板/显示器59。触摸面板/显示器59具备显示器46及触摸面板48。作为显示器46的一例，可以举出有机EL显示器。显示器46可以不是有机EL显示器，而可以是液晶显示器等其他种类的显示器。
显示器46显示图像(例如，即时预览图像及回放图像)及字符信息等。触摸面板48是透射型触摸面板，重叠于显示器46的显示区域的表面。触摸面板48通过检测手指或触控笔等指示体的接触而接收来自用户的指示。另外，在此，作为触摸面板/显示器59的一例，可以举出触摸面板48与显示器46的显示区域的表面重叠的外挂型触摸面板/显示器，但是这仅为一例。例如，作为触摸面板/显示器59，也可以适用外嵌型或内嵌型触摸面板/显示器。
在智能设备10中，若由触摸面板48接收开始拍摄的指示，则由受光器18拍摄摄像区域。即，受光器18接收可见光反射光，并生成表示摄像区域的可见光图像作为与所接收的可见光反射光对应的图像。可见光图像是本发明的技术所涉及的“第1图像”及“第2图像”的一例。
可见光图像根据由触摸面板48接收的指示，作为即时预览图像或静止图像显示于显示器46。在图3所示例中，摄像区域根据视场角θ1来规定。视场角θ1按照由触摸面板48接收的指示而变更。
作为一例，如图4所示，在智能设备10中，若由触摸面板48接收开始测距和拍摄的指示(以下，也称为“测距拍摄开始指示”)，则由光照射器16照射激光束。照射激光束的角度(以下，也称为“照射角度”)为θ2，照射角度θ2按照由触摸面板48接收的指示而变更。另外，在图4所示例中，例举在可见光图像作为即时预览图像显示于显示器46的状态下，根据由触摸面板48接收的测距拍摄开始指示开始测距的方式例进行说明，但是本发明的技术并不限定于此。例如，也可以在可见光图像未显示于显示器46上的状态下由触摸面板48接收到测距拍摄开始指示时开始测距。
在智能设备10中，根据从由光照射器16照射激光束到由受光器18接收IR反射光为止所需时间和光速，测定从智能设备10到测距对象为止的距离。例如，若将到测距对象为止的距离设为“L0”，将光速设为“c”，将从由光照射器16照射激光束到由受光器18接收IR反射光为止所需时间设为“t”，则距离L0按照“L0＝c×t×0.5”的公式而计算。
作为一例，如图5所示，光电转换元件26具有配置成矩阵状的多个光电二极管。并且，作为多个光电二极管的一例，可以举出“4896×3265”像素量的光电二极管。
在光电转换元件26中包括的各个光电二极管中配置有滤色器。滤色器包括与最有助于得到亮度信号的G(绿色)波长区域对应的G滤光片、与R(红色)波长区域对应的R滤光片、与B(蓝色)波长区域对应的B滤光片、以及与IR(红外)波长区域对应的IR滤光片。另外，在该第1实施方式中，G滤光片、R滤光片及B滤光片也具有作为截止红外光的红外光截止滤光片的功能。
光电转换元件26由相位差像素和不同于相位差像素的像素即非相位差像素N这两种感光像素形成。通常，非相位差像素N也被称为正常像素。光电转换元件26具有R像素、G像素、B像素及IR像素这四种感光像素作为非相位差像素。R像素、G像素、B像素、IR像素及相位差像素在行方向(水平方向)及列方向(垂直方向)上分别以规定的周期性规则地配置。R像素是与配置有R滤光片的光电二极管对应的像素，G像素及相位差像素是与配置有G滤光片的光电二极管对应的像素，B像素是与配置有B滤光片的光电二极管对应的像素，IR像素是与配置有IR滤光片的光电二极管对应的像素。作为IR像素的一例，可以举出InGaAs APD。
另外，以下，为了便于说明，在不需要区分说明G滤光片、R滤光片及B滤光片的情况下，也称为“可见光滤光片”。并且，以下，为了便于说明，在不需要区分说明R像素、G像素及B像素的情况下，将这些称为“可见光像素”。
在光电转换元件26的受光面上排列有多个相位差像素线26A和多个非相位差像素线26B。相位差像素线26A是包括相位差像素的水平线。具体而言，相位差像素线26A是相位差像素和非相位差像素N混合存在的水平线。非相位差像素线26B是仅包括多个非相位差像素N的水平线。
在光电转换元件26的受光面上，相位差像素线26A和规定行数的非相位差像素线26B沿着列方向交替配置。在此所说的“规定行数”是指例如两行。另外，在此，作为规定行数而例示出两行，但是本发明的技术并不限定于此，规定行数可以是三行以上的几行，也可以是十几行、几十行或几百行等。
相位差像素线26A从第一行到最后一行在列方向上跳过两行而排列。相位差像素线26A的一部分像素是相位差像素。具体而言，相位差像素线26A是相位差像素与非相位差像素N周期性地排列的水平线。相位差像素大致分为第1相位差像素L和第2相位差像素R。在相位差像素线26A中，作为G像素，第1相位差像素L和第2相位差像素R在行方向上以数像素间隔交替配置。
第1相位差像素L及第2相位差像素R配置成在列方向上交替出现。在图5所示例中，在第4列中，从第一行沿着列方向以第1相位差像素L、第2相位差像素R、第1相位差像素L及第2相位差像素R的顺序配置。即，第1相位差像素L与第2相位差像素R从第一行沿着列方向交替配置。并且，在图5所示例中，在第10列中，从第一行沿着列方向以第2相位差像素R、第1相位差像素L、第2相位差像素R及第1相位差像素L的顺序配置。即，第2相位差像素R与第1相位差像素L从第一行沿着列方向交替配置。
光电转换元件26划分为三个区域。即，光电转换元件26具有可见光图像用划分区域26N1、第1测距系统划分区域26N2及第2测距系统划分区域26N3。可见光图像用划分区域26N1是基于多个可见光像素的可见光像素组，用于生成可见光图像。第1测距系统划分区域26N2是基于多个IR像素的IR像素组，用于第1测距。第2测距系统划分区域26N3是基于多个相位差像素的相位差像素组，用于第2测距。可见光图像用划分区域26N1及第2测距系统划分区域26N3接收可见反射光，并输出与受光量对应的电信号。第1测距系统划分区域26N2接收IR反射光，并输出与受光量对应的电信号。
作为一例，如图6所示，第1相位差像素L具备微透镜19、遮光部件17A及光电二极管PD。在第1相位差像素L中，在微透镜19与光电二极管PD的受光面之间配置有遮光部件17A。光电二极管PD的受光面中的行方向的左半部分(从受光面面对被摄体时的左侧(换言之，从被摄体面对受光面时的右侧))被遮光部件17A遮光。
第2相位差像素R具备微透镜19、遮光部件17B及光电二极管PD。在第2相位差像素R中，在微透镜19与光电二极管PD的受光面之间配置有遮光部件17B。光电二极管PD的受光面中的行方向的右半部分(从受光面面对被摄体时的右侧(换言之，从被摄体面对受光面时的左侧))被遮光部件17B遮光。另外，以下，为了便于说明，在不需要区分说明遮光部件17A及17B的情况下，不标注符号而称为“遮光部件”。
通过摄像透镜41的射出光瞳的光束大致分为左区域通过光300L及右区域通过光300R。左区域通过光300L是指在通过摄像透镜41的射出光瞳的光束中，从相位差像素侧面对被摄体侧时的左半部分的光束，右区域通过光300R是指在通过摄像透镜41的射出光瞳的光束中，从相位差像素侧面对被摄体侧时的右半部分的光束。通过摄像透镜41的射出光瞳的光束由作为光瞳分割部发挥作用的微透镜19、遮光部件17A及遮光部件17B左右分割，第1相位差像素L接收左区域通过光300L作为被摄体光，第2相位差像素R接收右区域通过光300R作为被摄体光。其结果，由光电转换元件26生成相当于与左区域通过光300L对应的被摄体图像的第1相位差图像、以及相当于与右区域通过光300R对应的被摄体图像的第2相位差图像。
在智能设备10中，例如，在同一相位差像素线26A中，根据1行量的第1相位差图像与1行量的第2相位差图像的偏差量α测定到摄像区域为止的距离。
作为一例，如图7所示，与相位差像素相同，非相位差像素N的不同点在于不具有遮光部件。非相位差像素N的光电二极管PD接收左区域通过光300L及右区域通过光300R作为被摄体光。
另外，在智能设备10中，通过由第2测距系统划分区域26N3(参考图5)中包括的多个IR像素分别接收IR反射光，针对每个IR像素进行测距。然后，在智能设备10中，按照由触摸面板48接收的指示，每个IR像素的测距结果作为距离图像显示于显示器46。在此，距离图像是指以颜色类别和/或深浅来表现针对每个IR像素测定的到测距对象为止的距离的图像。
并且，在智能设备10中，按照由触摸面板48接收的指示，测距结果以距离图像或距离重叠图像显示于显示器46。在显示器46上显示的距离重叠图像例如是将表示测距结果的数值重叠于可见光图像(例如，即时预览图像)上的图像。例如，从智能设备10到摄像区域内代表性多个部位(例如，3个部位)中的每个部位为止的距离，以显示于可见光图像上的状态显示于显示器46。作为代表性多个部位的一例，可以举出在摄像区域内的特定被摄体(例如，画面中央区域中包括的被摄体和/或人等)中，彼此的对比度差为规定值以上的多个部位。
作为一例，如图8所示，智能设备10除了光照射器16及受光器18以外，还具备控制器15、输入/输出接口40、图像存储器42、UI系统设备44、外部I/F52及通信I/F54。
控制器15具备CPU15A、存储装置15B及存储器15C。CPU15A、存储装置15B及存储器15C经由总线50连接，总线50连接于输入/输出接口40。另外，在图8所示例中，为了便于图示，作为总线50而图示出一根总线，但是也可以是多根总线。总线50可以是串行总线，也可以是包括数据总线、地址总线及控制总线等的并行总线。
存储装置15B存储有各种参数及各种程序。存储装置15B是非易失性存储装置。在此，作为存储装置15B的一例而采用闪存。闪存仅为一例，作为存储装置15B，例如，可以代替闪存或者与闪存一并举出磁阻存储器和/或强电介质存储器等各种非易失性存储器。并且，非易失性存储装置可以是EEPROM、HDD和/或SSD等。并且，存储器15C临时存储各种信息，并用作工作存储器。作为存储器15C的一例，可以举出RAM，但是并不限定于此，也可以是其他种类的存储装置。
在存储装置15B中存储有各种程序。CPU15A从存储装置15B读取所需程序，并将所读取的程序在存储器15C上执行。CPU15A按照在存储器15C上执行的程序而控制整个智能设备10。另外，存储装置15B及存储器15C是本发明的技术所涉及的“存储器”的一例。
在输入/输出接口40上连接有多个设备，输入/输出接口40与多个设备之间收发各种信息。在图8所示例中，作为连接于输入/输出接口40的多个设备，示出控制器15、光照射器16、受光器18、图像存储器42、UI系统设备44、外部I/F52及通信I/F54。
外部I/F52与存在于智能设备10外部的装置(以下，也称为“外部装置”)之间收发各种信息。作为外部I/F52的一例，可以举出USB接口。在USB接口上，可以直接或间接地连接智能设备、个人电脑、服务器、USB存储器、存储卡和/或打印机等外部装置(省略图示)。
通信I/F54具有LTE、5G、无线LAN和/或Bluetooth(注册商标)等的通信功能，并与外部装置与CPU15A之间收发各种信息。例如，通信I/F54经由基站(省略图示)以可通信的方式连接于网络56(例如，互联网)，并与网络56上的外部装置和CPU15A之间收发各种信息。
UI系统设备44具备显示器46，CPU15A使各种信息显示于显示器46。并且，UI系统设备44具备接收设备47。接收设备47具备触摸面板48及硬键部53。硬键部53是包括指示键13(参考图2)的至少一个硬键。CPU15A按照由触摸面板48接收的各种指示进行动作。另外，在此，硬键部53包括在UI系统设备44中，但是本发明的技术并不限定于此，例如，硬键部53也可以连接于外部I/F52。
光照射器16具备透光窗20、光束扩展器21、准直透镜23、LD24及LD驱动器25，沿着光轴L1，从摄像区域侧(物体侧)到LD24依次配置有透光窗20、光束扩展器21及准直透镜23。LD驱动器25连接于LD24及输入/输出接口40，并按照CPU15A的指示来驱动LD24，以从LD24射出激光束。
从LD24射出的激光束在由准直透镜23转换成平行光之后，由光束扩展器21扩展光束直径，并从透光窗20向测距对象照射。
受光器18具备透光窗22、物镜30A、聚焦透镜30B、光圈30C、光电转换元件26、光电转换元件驱动器32及信号处理电路34。
另外，CPU15A及信号处理电路34是本发明的技术所涉及的“处理器”的一例。
在受光器18中，沿着光轴L2，从摄像区域侧(物体侧)到光电转换元件26依次配置有透光窗22、物镜30A、聚焦透镜30B及光圈30C。光电转换元件驱动器32连接于光电转换元件26及输入/输出接口40，并按照CPU15A的指示来驱动光电转换元件26。例如，光电转换元件驱动器32在CPU15A的控制下，将规定由光电转换元件26进行的拍摄的时刻的摄像时刻信号供给到光电转换元件26。光电转换元件26按照从光电转换元件驱动器32供给的摄像时刻信号进行复位、曝光及电信号的输出。作为摄像时刻信号，例如，可以举出垂直同步信号及水平同步信号。
受光器18具备对焦控制机构31。对焦控制机构31具备聚焦透镜30B、移动机构60、马达62及马达驱动器64。聚焦透镜30B由移动机构60支撑为可以沿着光轴L2滑动。马达62连接于移动机构60及马达驱动器64。马达驱动器64连接于输入/输出接口40，并按照来自CPU15A的指示来驱动马达62。移动机构60连接于马达62的驱动轴(省略图示)，通过从马达62接收动力，使聚焦透镜30B沿着光轴L2选择性地移动到物体侧和像侧。即，CPU15A通过经由马达驱动器64控制马达62的驱动而调整对焦位置。在此，“对焦位置”是指对焦状态(例如，使可见光图像的对比度处于最大值的状态，或者实现了规定的被摄体深度的状态)下的聚焦透镜30B在光轴L2上的位置。另外，在该第1实施方式中，将使聚焦透镜30B对准对焦位置的控制称为“聚焦控制”。
光圈30C是开口不变的固定光圈。在固定光圈的情况下，曝光调整是由光电转换元件26的电子快门进行的。光圈30C可以不是固定光圈，而是可变光圈。另外，受光器18中包括的物镜30A、聚焦透镜30B及光圈30C仅为一例，即使透镜的机构和/或光圈30C的位置改变，本发明的技术也成立。
反射光从透光窗22入射于受光器18。入射到透光窗22的反射光经由物镜30A、聚焦透镜30B及光圈30C成像于光电转换元件26。
光电转换元件26连接于信号处理电路34，关于可见光像素及IR像素的各个像素，将表示像素值的像素数据输出到信号处理电路34。信号处理电路34通过对从光电转换元件26输入的像素数据进行A/D转换而将像素数据数字化，并对数字化的像素数据实施各种信号处理。
信号处理电路34具备可见光像素数据处理电路34A、第1测距系统处理电路34B及第2测距系统处理电路34C。可见光像素数据处理电路34A通过对关于可见光像素的像素数据，即可见光像素数据实施白平衡调整、锐度调整、伽马校正、色彩空间转换处理及色差校正等公知的信号处理而生成可见光图像。然后，可见光像素数据处理电路34A将可见光图像存储于图像存储器42。另外，在图像存储器42中，通过覆盖并保存1帧量的可见光图像而更新图像存储器42内的可见光图像。
测距摄像装置14具备TOF摄像机27。TOF摄像机27具备光照射器16、光电转换元件26的第1测距系统划分区域26N2(参考图5)及第1测距系统处理电路34B。第1测距系统处理电路34B从CPU15A获取表示光照射器16将激光束向摄像区域照射的照射时刻(以下，也简称为“照射时刻”)的照射时刻信号。
第1测距系统处理电路34B根据由照射时刻信号表示的照射时刻和由各IR像素接收的IR反射光的时刻(以下，也称为“受光时刻”)，对各IR像素测定从智能设备10到摄像区域为止的距离。在此，作为受光时刻，采用由第1测距系统处理电路34B接收具有超过阈值的输出值的IR像素数据的时刻。另外，在此使用的阈值是例如通过基于实际机器的试验和/或计算机模拟实验等提前导出的值，作为从IR像素输出的噪声成分(例如，与IR反射光无关地生成的噪声成分)的输出值。
第1测距系统处理电路34B根据照射时刻和受光时刻，针对每个IR像素测定从智能设备10到摄像区域为止的距离，根据每个IR像素的测定结果生成距离图像，并将所生成的距离图像存储于图像存储器42。另外，通过在图像存储器42中覆盖并保存1帧量的距离图像而更新图像存储器42内的距离图像。
第2测距系统处理电路34C从由光电转换元件26中的用户等指定的区域(所谓的ROI)中包括的第2测距系统划分区域26N3(参考图5)分别获取表示相位差像素的像素值的相位差像素数据。第2测距系统处理电路34C根据相位差像素数据生成第1相位差图像及第2相位差图像(参考图5)，并计算所生成的第1相位差图像与第2相位差图像的偏差量α(参考图5)。然后，第2测距系统处理电路34C根据所算出的偏差量α，计算从智能设备10到摄像区域为止的距离。具体地进行说明，第2测距系统处理电路34C通过使用将偏差量α设为独立变量且将距离设为从属变量的运算式，计算从智能设备10到摄像区域为止的距离。
另外，在此例示出运算式，但是本发明的技术并不限定于此，第2测距系统处理电路34C也可以通过使用偏差量α与距离对应关联的表而导出从智能设备10到摄像区域为止的距离。
CPU15A从第1测距系统处理电路34B获取由第1测距系统处理电路34B测定的距离(以下，称为“第1距离”)，并从第2测距系统处理电路34C获取由第2测距系统处理电路34C测定的距离(以下，称为“第2距离”)。
作为一例，如图9所示，在存储装置15B中存储有测距摄像处理程序70。CPU15A从存储装置15B获取测距摄像处理程序70，通过执行所读取的测距摄像处理程序70，作为第1测距控制部15A1、第2测距控制部15A2、获取部15A3、判定部15A4及执行部15A5进行动作。
在此，参考图10说明由智能设备10对包含映入有用户的整个镜子100的摄像区域(以下，也称为“包含镜子的摄像区域”)进行第1测距的情况。若在包含镜子的摄像区域落入照射角度θ2内的状态下由触摸面板48接收测距拍摄开始指示，则第1测距控制部15A1将第1测距开始信号输出到光照射器38B及受光器18。光照射器38B若从第1测距控制部15A1输入第1测距开始信号，则照射激光束。在受光器18中，若从第1测距控制部15A1输入第1测距开始信号，则第1测距系统处理电路34B根据由从CPU15A获取的照射时刻信号表示的照射时刻和受光时刻计算第1距离。获取部15A3从第1测距系统处理电路34B获取第1距离。第1距离是本发明的技术所涉及的“第1测距结果”的一例。另外，在此，作为照射时刻，采用从第1测距开始信号从第1测距控制部15A1输入到受光器18的时刻经过规定时间的时点上的时刻。在此，作为规定时间，例如，可以举通过基于实际机器的试验和/或计算机模拟实验等预先导出的时间，作为从输出第1测距开始信号的时点到从光照射器38B照射激光束为止所需时间。
接着，参考图11说明由智能设备10对包含镜子的摄像区域进行第2测距的情况。若在包含镜子的摄像区域落入视场角θ1内的状态下由触摸面板48接收测距拍摄开始指示，则第2测距控制部15A2将第2测距开始信号输出到受光器18。若从第2测距控制部15A2向受光器18输入第2测距开始信号，则第2测距系统划分区域26N3拍摄包含镜子的摄像区域，并将与包含镜子的摄像区域对应的相位差像素数据输出到第2测距系统处理电路34C。第2测距系统处理电路34C根据从第2测距系统划分区域26N3输入的相位差像素数据，生成第1相位差图像及第2相位差图像(参考图6)，并根据所生成的第1相位差图像及第2相位差图像计算偏差量α(参考图6)。第2测距系统处理电路34C根据所算出的偏差量α计算第2距离。获取部15A3从第2测距系统处理电路34C获取第2距离。另外，第2距离是本发明的技术所涉及的“第2测距结果”的一例。
作为一例，如图12所示，通过由智能设备10对包含镜子的摄像区域进行第1测距而得到的测距结果，即第1距离是从智能设备10到镜子100的镜面100A为止的距离。并且，通过由智能设备10对包含镜子的摄像区域进行第2测距而得到的测距结果，即第2距离是从智能设备10到映入镜子100中的被摄体图像为止的距离。在图12所示例中，作为映入镜子100中的被摄体图像而示出智能设备10的图像(图12所示例中为“智能设备图像”)和用户图像(图12所示例中为“用户图像”)，第2距离是从智能设备10到用户图像为止的距离。
如此，在第1距离和第2距离不同的情况下，产生各种问题。例如，在用户希望使用智能设备10拍摄整个镜子100作为被摄体的情况下，若智能设备10进行基于第2距离的聚焦控制以拍摄整个镜子100，则导致得到未对焦于镜子100的状态下的图像。另一方面，在用户希望使用智能设备10拍摄映入镜子100中的用户图像作为被摄体的情况下，若智能设备10进行基于第1距离的聚焦控制以拍摄用户图像，则导致得到未对焦于用户图像的状态下的图像。
为了解决这种问题，作为一例，判定部15A4及执行部15A5如图13所示进行动作。判定部15A4判定由获取部15A3获取的第1距离(参考图10)与第2距离(图11参考)是否不同。在第1距离与第2距离一致的情况下，即，在由判定部15A4判定为第1距离与第2距离没有不同的情况下，由执行部15A5进行第1摄像处理。第1摄像处理是指伴随基于第1距离的聚焦控制的拍摄。
在存储装置15B中存储有对焦位置导出表72。在对焦位置导出表72中，从智能设备10到摄像区域为止的距离和对焦位置对应关联。在第1摄像处理中，与第1距离对应的对焦位置由执行部15A5从对焦位置导出表72导出，并控制受光器18的马达62，以使聚焦透镜30B移动到所导出的对焦位置。然后，通过由执行部15A5控制受光器18的可见光图像用划分区域26N1，由可见光图像用划分区域26N1拍摄摄像区域，通过拍摄而得到的可见光像素数据从可见光图像用划分区域26N1输出到可见光像素数据处理电路34A。可见光像素数据处理电路34A根据从可见光图像用划分区域26N1输入的可见光像素数据，生成表示摄像区域的第1可见光图像，并将所生成的第1可见光图像输出到图像存储器42。在图像存储器42中存储第1可见光图像。
另一方面，在由判定部15A4判定为第1距离与第2距离不同的情况下，由执行部15A5进行特定处理。在此，对于特定处理，参考图14进行说明。作为一例，如图14所示，特定处理例如是包括第1摄像处理、第2摄像处理、以及图像选择画面显示处理的处理。第2摄像处理是指伴随基于第2距离的聚焦控制的拍摄。与第1摄像处理同样地，第2摄像处理也由执行部15A5从对焦位置导出表72导出与第2距离对应的对焦位置，并控制受光器18的马达62，以使聚焦透镜30B移动到所导出的对焦位置。然后，与第1摄像处理同样地，由可见光图像用划分区域26N1拍摄摄像区域，通过拍摄而得到的可见光像素数据从可见光图像用划分区域26N1输出到可见光像素数据处理电路34A。可见光像素数据处理电路34A根据从可见光图像用划分区域26N1输入的可见光像素数据生成表示摄像区域的第2可见光图像，并将所生成的第2可见光图像输出到图像存储器42。在图像存储器42中存储第2可见光图像。
在图像选择画面显示处理中，执行部15A5从图像存储器42获取第1可见光图像及第2可见光图像。然后，执行部15A5根据第1可见光图像、第2可见光图像、由获取部15A3获取的第1距离(参考图10)、由获取部15A3获取的第2距离(参考图11)及各种消息，生成图像选择画面，并使所生成的图像选择画面显示于显示器46。在图像选择画面上，并排显示有第1可见光图像和第2可见光图像。并且，在第1可见光图像的下方，显示有“主动方式”的消息。“主动方式”的消息是表示第1可见光图像是通过伴随基于主动方式测距(第1测距)的测距结果的聚焦控制的拍摄而得到的图像的消息。并且，在第2可见光图像的下方，显示有“被动方式”的消息。“被动方式”的消息是表示第2可见光图像是通过伴随基于被动方式测距(第2测距)的测距结果的聚焦控制的拍摄而得到的图像的消息。
另外，在该第1实施方式中，作为特定处理中包括的处理，例示出第1摄像处理、第2摄像处理及图像选择画面显示处理，但是本发明的技术并不限定于此，也可以是第1摄像处理、第2摄像处理及图像选择画面显示处理中的一个处理或两个处理。并且，在该第1实施方式中，示出“主动方式”和“被动方式”的显示例，但是未必一定是“主动方式”和“被动方式”的显示，只要是用户能够理解测距方式的差异，则可以是任意的显示。例如，在进行激光测距和相位差测距的情况下，可以是“激光”的显示和“相位差”的显示，也可以显示表示测距方式的图标等。并且，可以代替测距方式的显示而显示焦点位置。例如，可以是“焦点位置：近前”和“焦点位置：进深”，也可以显示为“焦点位置：物体”和“焦点位置：投影到物体上的图像”等。或者，可以组合显示表示测距方式的字符及图标和焦点位置中的两个以上。
并且，在第1可见光图像中对应关联地显示有第1测距的测距结果，即“1.8m”的数值，在第2可见光图像中对应关联地显示有第2测距的测距结果，即“2.5m”的数值。此外，还显示有表示第1测距的测距结果与第2测距的测距结果不同的“测距结果不同”的消息。然后，对用户显示有“请选择任一图像”的消息，作为督促用户选择第1可见光图像及第2可见光图像中的任一图像的消息。在此，例举视觉显示各种消息的方式例进行说明，但是并不限定于此，也可以与视觉显示并行地以语音来输出各种消息。若图像选择画面显示于显示器46，则用户经由触摸面板48选择第1可见光图像或第2可见光图像。在图14所示例中，示出通过用户的手指经由触摸面板48选择第1可见光图像的方式。另外，第1可见光图像是本发明的技术所涉及的“第1对焦图像”的一例，第2可见光图像是本发明的技术所涉及的“第2对焦图像”的一例。
作为一例，如图15所示，在图像选择画面显示于显示器46的状态下，通过用户的手指经由触摸面板48选择了第1可见光图像的情况下，第1测距控制部15A1通过控制测距摄像装置14而对第1测距系统处理电路34B进行第1测距。并且，执行部15A5执行第1摄像处理及第1可见光图像显示处理。在此，执行部15A5使用通过进行第1测距而得到的新的第1距离来执行第1摄像处理。第1可见光图像显示处理是使通过执行第1摄像处理而得到的最新的第1可见光图像显示于显示器48的处理。另外，在此，例举以选择了第1可见光图像为条件重新进行第1测距及第1摄像处理，并通过进行第1摄像处理而得到的最新的第1可见光图像显示于显示器48的方式例，但是这仅为一例。例如，以选择了第1可见光图像为条件，可以使所选择的第1可见光图像存储于存储装置15B和/或存储卡等存储介质。并且，可以按照由接收设备47接收的指示(从用户赋予的指示)选择伴随基于以所选择的测距方式测定的距离的聚焦控制的拍摄、以及所选择的图像(例如，第1可见光图像或第2可见光图像)的保存。
若由执行部15A5执行第1可见光图像显示处理，则在图像选择画面内，第2可见光图像、“2.5m”的数值、“被动方式”的消息、“测距结果不同”的消息、以及“请选择任一图像”的消息从画面内部不显示。然后，通过进行最新的第1测距而得到的最新的测距结果，即第1距离(图15所示例中为“1.8m”的数值)显示于显示器46，通过执行第1摄像处理而得到的第1可见光图像显示于显示器46，并且“主动方式”的消息也显示于第1可见光图像的下方。并且，第1距离、第1可见光图像及“主动方式”的消息的显示区域比图像选择画面内的第1距离、第1可见光图像及“主动方式”的消息的显示区域扩大。
作为一例，如图16所示，在显示器46上显示有图像选择画面的状态下，通过用户的手指经由触摸面板48选择了第2可见光图像的情况下，第2测距控制部15A2通过控制测距摄像装置14，对第2测距系统处理电路34C进行第2测距。并且，执行部15A5执行第2摄像处理及第2可见光图像显示处理。在此，执行部15A5使用通过进行第2测距而得到的新的第2距离来执行第2摄像处理。第2可见光图像显示处理是使通过执行第2摄像处理而得到的最新的第2可见光图像显示于显示器48的处理。
若由执行部15A5执行第2可见光图像显示处理，则在图像选择画面内，第1可见光图像、“1.8m”的数值、“主动方式”的消息、“测距结果不同”的消息、以及“请选择任一图像”的消息从画面内部不显示。然后，通过进行最新的第2测距而得到的最新的测距结果，即第2距离(图16所示例中为“2.5m”的数值)显示于显示器46，通过执行第2摄像处理而得到的第2可见光图像显示于显示器46，并且“被动方式”的消息也显示于第2可见光图像的下方。并且，第2距离、第2可见光图像及“被动方式”的消息的显示区域比图像选择画面内的第2距离、第2可见光图像及“被动方式”的消息的显示区域扩大。
接着，参考图17A及图17B，对智能设备10的本发明的技术所涉及的部分的作用进行说明。另外，图17A及图17B是由CPU15A按照测距摄像处理程序70执行的测距摄像处理的流程的一例的流程图。
在图17A所示测距摄像处理中，首先，在步骤ST100中，第1测距控制部15A1通过控制测距摄像装置14，对第1测距系统处理电路34B进行第1测距。第1测距通过第1测距控制部15A1对第1测距系统处理电路34B计算第1距离来实现。
在下一步骤ST102中，获取部15A3获取通过进行步骤ST100的第1测距而得到的第1距离。
在下一步骤ST104中，第2测距控制部15A2通过控制测距摄像装置14，对第2测距系统处理电路34C进行第2测距。第2测距通过第2测距控制部15A2对第2测距系统处理电路34C计算第2距离而实现。
在下一步骤ST106中，获取部15A3获取通过进行步骤ST104的第2测距而得到的第2距离。
在下一步骤ST108中，判定部15A4判定在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离是否不同。在步骤ST108中，在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离一致的情况下，判定为否定，测距摄像处理转移到步骤120。在步骤ST108中，在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离不同的情况下，判定为肯定，测距摄像处理转移到步骤ST110。
在步骤ST110中，执行部15A5执行使用在步骤ST102中获取的第1距离的第1摄像处理。
在下一步骤ST112中，执行部15A5执行使用在步骤ST106中获取的第2距离的第2摄像处理。
在下一步骤ST114中，执行部15A5执行图像选择画面显示处理。由此，作为一例，如图14所示，在显示器46上显示图像选择画面。
在下一步骤ST116中，执行部15A5判定在图像选择画面内显示的第1可见光图像及第2可见光图像中的任一个是否由用户经由触摸面板48选择。在步骤ST116中，在图像选择画面内显示的第1可见光图像及第2可见光图像中的任一个未由用户经由触摸面板48选择的情况下，判定为否定，再次进行步骤ST116的判定。在步骤ST116中，在图像选择画面内显示的第1可见光图像及第2可见光图像中的任一个由用户经由触摸面板48选择的情况下，判定为肯定，测距摄像处理转移到步骤ST118。
在步骤ST118中，执行部15A5判定选自图像选择画面内部的图像是否为第1可见光图像。在步骤ST118中，在选自图像选择画面内部的图像为第2可见光图像的情况下，判定为否定，测距摄像处理转移到图17B所示步骤130。在步骤ST118中，在选自图像选择画面内部的图像为第1可见光图像的情况下，判定为肯定，测距摄像处理转移到步骤ST120。
在步骤ST120中，执行部15A5判定是否已到摄像开始时刻。摄像开始时刻例如是指开始由即时预览图像用帧速率规定的1帧量的拍摄的时刻。例如，若即时预览图像用帧速率为60fps，则摄像开始时刻为每1/60秒的时刻。另外，在此，将开始由即时预览图像用帧速率规定的1帧量的拍摄的时刻例示为摄像开始时刻，但是本发明的技术并不限定于此。例如，摄像开始时刻可以是开始由记录动态图像用帧速率规定的1帧量的拍摄的时刻，也可以是由接收设备47接收到开始静止图像用拍摄的指示的时刻。
在步骤ST120中，在未到摄像开始时刻的情况下，判定为否定，测距摄像处理转移到步骤ST126。在步骤ST120中，在已到摄像开始时刻的情况下，判定为肯定，测距摄像处理转移到步骤ST122。
在步骤ST122中，第1测距控制部15A1通过控制测距摄像装置14，对第1测距系统处理电路34B进行第1测距。
在下一步骤ST124中，执行部15A5使用通过进行步骤ST122的第1测距而得到的第1距离来执行第1摄像处理。并且，执行部15A5使用通过执行第1摄像处理而得到的最新的第1可见光图像来执行第1可见光图像显示处理。
在下一步骤ST126中，执行部15A5判定是否满足结束测距摄像处理的条件(以下，称为“结束条件”)。作为结束条件的一例，可以举出由接收设备47接收结束测距摄像处理的指示的条件。在步骤ST126中，在不满足结束条件的情况下，判定为否定，测距摄像处理转移到步骤ST120。在步骤ST126中，在满足结束条件的情况下，判定为肯定，测距摄像处理结束。
另一方面，在图17B所示步骤ST130中，执行部15A5判定是否已到摄像开始时刻。在步骤ST130中，在未到摄像开始时刻的情况下，判定为否定，测距摄像处理转移到步骤ST136。在步骤ST130中，在已到摄像开始时刻的情况下，判定为肯定，测距摄像处理转移到步骤ST132。
在步骤ST132中，第2测距控制部15A2通过控制测距摄像装置14，对第2测距系统处理电路34C进行第2测距。
在下一步骤ST134中，执行部15A5使用通过进行步骤ST132的第2测距而得到的第2距离来执行第2摄像处理。并且，执行部15A5使用通过执行第2摄像处理而得到的最新的第2可见光图像来执行第2可见光图像显示处理。
在下一步骤ST136中，执行部15A5判定是否满足结束条件。在步骤ST136中，在不满足结束条件的情况下，判定为否定，测距摄像处理转移到步骤ST130。在步骤ST136中，在满足结束条件的情况下，判定为肯定，测距摄像处理结束。
如以上说明，在智能设备10中，在通过进行第1测距而得到的第1距离与通过进行第2测距而得到的第2距离不同的情况下，由执行部15A5执行特定处理。从而，根据该结构，能够有助于解决在第1距离与第2距离不同时产生的各种问题。
并且，在智能设备10中，作为具有定向性的光，即定向性光，使用激光束进行测距。从而，根据该结构，与不使用定向性光进行测距的情况相比，能够高精度地测定到存在于远距离的测距对象为止的距离。
并且，在智能设备10中，由执行部15A5执行图像选择画面显示处理作为特定处理。在通过由执行部15A5执行图像选择画面显示处理而显示于显示器46上的图像选择画面中，包括将第1距离与第2距离不同的情况通知给用户的信息(例如，表示第1距离的数值、表示第2距离的数值及消息)。从而，根据该结构，能够使用户识别第1距离与第2距离不同。
并且，在智能设备10中，由执行部15A5执行第1摄像处理和第2摄像处理。即，执行部15A5对测距摄像装置14的受光器18进行伴随基于第1距离的聚焦控制的拍摄，并且对测距摄像装置14的受光器18进行伴随基于第2距离的聚焦控制的拍摄。从而，根据该结构，与在基于第1距离或第2距离的聚焦控制下进行拍摄的情况相比，能够容易得到用户希望的对焦状态的图像。
并且，在智能设备10中，图像选择画面显示于显示器46，该图像选择画面包括通过在基于第1距离的聚焦控制下进行拍摄而得到的第1可见光图像、以及通过在基于第2距离的聚焦控制下进行拍摄而得到的第2可见光图像。然后，在图像选择画面上，显示有督促用户选择第1可见光图像或第2可见光图像的消息。从而，根据该结构，与没有选择第1可见光图像及第2可见光图像的余地的情况相比，能够有助于提高可用性。
另外，在上述第1实施方式中，执行部15A5通过图像选择画面来督促用户选择第1可见光图像或第2可见光图像，但是本发明的技术并不限定于此，也可以选择第1可见光图像及第2可见光图像两者。在该情况下，例如，可以交替进行第1摄像处理和第2摄像处理，使通过进行各摄像处理而得到的第1可见光图像及第2可见光图像分别作为即时预览图像或静止图像等显示于显示器46。
并且，可以在图像选择画面上可选择地显示包括第1可见光图像和第2可见光图像的多个图像。并且，在通过第1测距得到多个第1距离的情况下，通过在基于多个第1距离中的每个距离的聚焦控制下进行拍摄而得到的多个第1可见光图像可以以在图像选择画面上可以选择的状态显示于显示器46，多个第1可见光图像与第2可见光图像也可以以可选择的状态显示。例如，在摄像区域中包括第1镜面及第2镜面(两个镜面)的情况下(存在两个第1测距结果与第2测距结果不同的区域的情况)，通过在对焦于第1镜面的状态下拍摄第1镜面而得到的图像、通过在对焦于映入第1镜面中的图像(第1图像)的状态下拍摄第1图像而得到的图像、通过在对焦于第2镜面的状态下拍摄第2镜面而得到的图像、以及通过在对焦于映入第2镜面中的图像(第2图像)的状态下拍摄第2像而得到的图像中的至少两个图像，可以以可选择的状态显示于显示器46。另外，摄像区域中包括的镜面的数量并不限定于两个，也可以考虑三个以上的情况，在该情况下，也同样地进行处理即可。并且，在此，虽然例示出镜面，但是也可以考虑图像映入光泽面(例如，实施了镀银涂覆的表面、或研磨的金属面等)的情况。在该情况下，通过在对焦于光泽面的状态下拍摄而得到的图像、以及通过在对焦于图像映入光泽面的状态下拍摄光泽面内的图像而得到的图像，也可以选择性地显示于显示器46。还可以考虑摄像区域中包括的光泽面的数量为多个的情况，但是在该情况下，也同样地进行处理即可。
并且，在上述第1实施方式中，例举在第1距离与第2距离不同的情况下由用户经由触摸面板48从图像选择画面选择第1可见光图像或第2可见光图像的方式例进行了说明，但是本发明的技术并不限定于此。例如，在第1距离与第2距离不同的情况下，可以由用户提前选择以伴随基于主动方式测距即第1测距的测距结果的聚焦控制的拍摄、以及伴随基于被动方式测距即第2测距的测距结果的聚焦控制的拍摄中的哪一个为优先。
在该情况下，由CPU15A执行图18A～图18C所示测距摄像处理，以代替在上述第1实施方式中说明的测距摄像处理(参考图17A及图17B)。与在上述第1实施方式中说明的测距摄像处理相比，图18A～图18C所示测距摄像处理的不同点在于，新添加了步骤ST200～ST222的处理。并且，与在上述第1实施方式中说明的测距摄像处理相比，图18A～图18C所示测距摄像处理的不同点在于，具有步骤ST110～步骤ST118的处理。并且，与在上述第1实施方式中说明的测距摄像处理相比，图18A～图18C所示测距摄像处理的不同点在于，具有步骤ST224及步骤ST226的处理，以代替步骤ST132及步骤ST134的处理。以下，关于图18A～图18C所示测距摄像处理，对不同于在上述第1实施方式中说明的测距摄像处理的部分进行说明。
在图18A所示测距摄像处理中，首先，在步骤ST200中，执行部15A5使测距方式接收画面显示于显示器46。在测距方式接收画面上，显示有使用户选择优先使用主动方式测距即第1测距和被动方式测距即第2测距中的哪一种的消息。在图18A所示例中，在测距方式接收画面上显示有“请选择优先使用哪一种测距方式”的消息。
并且，在测距方式接收画面上显示有两个软键。一个软键是在用户选择优先使用主动方式测距时由用户经由触摸面板48按下的软键，在图18A所示例中表述为“主动方式”。另一个软键是在用户选择优先使用被动方式测距时由用户经由触摸面板48按下的软键，在图18A所示例中表述为“被动方式”。
在下一步骤ST202中，执行部15A5判定是否接收到对测距方式接收画面的来自用户的指示。在此，“对测距方式接收画面的来自用户的指示”是指表述为“主动方式”的软键或表述为“被动方式”的软键由用户经由触摸面板48按下。在步骤ST202中，在未接收到对测距方式接收画面的来自用户的指示的情况下，判定为否定，再次进行步骤ST202的判定。在步骤ST202中，在接收到对测距方式接收画面的来自用户的指示的情况下，判定为肯定，测距摄像处理转移到步骤ST204。
在步骤ST204中，执行部15A5判定由用户经由触摸面板48按下的软键是否为表述为“主动方式”的软键。在步骤ST204中，在由用户经由触摸面板48按下的软键是表述为“主动方式”的软键的情况下，判定为肯定，测距摄像处理转移到步骤ST100。在步骤ST204中，在由用户经由触摸面板48按下的软键是表述为“被动方式”的软键的情况下，判定为否定，测距摄像处理转移到图18B所示步骤ST206。
图18B所示步骤ST206～步骤ST212的处理与图18A所示步骤ST100～步骤ST106的处理相同。在图18B所示步骤ST214中，判定部15A4判定在步骤ST208中获取的第1距离与在步骤ST212中获取的第2距离是否不同。在步骤ST214中，当在步骤ST208中获取的第1距离与在步骤ST212中获取的第2距离一致的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在步骤ST214中，当在步骤ST208中获取的第1距离与在步骤ST212中获取的第2距离不同的情况下，判定为肯定，测距摄像处理转移到步骤ST216。
在步骤ST216中，执行部15A5判定是否已到摄像开始时刻。在步骤ST216中，在未到摄像开始时刻的情况下，判定为否定，测距摄像处理转移到步骤ST222。在步骤ST216中，在已到摄像开始时刻的情况下，判定为肯定，测距摄像处理转移到步骤ST218。
在步骤ST218中，执行部15A5执行与图17B所示步骤ST132的处理相同的处理，在下一步骤ST220中，执行部15A5执行与图17B所示步骤ST134的处理相同的处理。在下一步骤ST222中，执行部15A5判定是否满足结束条件。在步骤ST222中，在不满足结束条件的情况下，判定为否定，测距摄像处理转移到步骤ST216。在步骤ST222中，在满足结束条件的情况下，判定为肯定，测距摄像处理结束。
在图18C所示步骤ST130中，在未到摄像开始时刻的情况下，判定为否定，测距摄像处理转移到步骤ST136。在图18C所示步骤ST130中，在已到摄像开始时刻的情况下，判定为肯定，测距摄像处理转移到步骤ST224。
在步骤ST224中，第1测距控制部15A1通过控制测距摄像装置14，对第1测距系统处理电路34B进行第1测距。
在下一步骤ST226中，执行部15A5使用通过进行步骤ST224的第1测距而得到的第1距离来执行第1摄像处理。并且，执行部15A5使用通过执行第1摄像处理而得到的最新的第1可见光图像来执行第1可见光图像显示处理。
在图18C所示步骤ST136中，在不满足结束条件的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在图18C所示步骤ST136中，在满足结束条件的情况下，判定为肯定，测距摄像处理结束。
如此，当在图18A所示步骤ST204中判定为肯定且在图18A所示步骤ST108中判定为肯定的情况下，执行部15A5在图18A所示步骤ST122中进行第1测距。然后，在图18A所示步骤ST124中，使用通过进行步骤ST122的第1测距而得到的第1距离来执行第1摄像处理。即，在图18A所示步骤ST124中，进行伴随基于通过进行步骤ST122的第1测距而得到的第1距离的聚焦控制的拍摄。
另一方面，当在图18A所示步骤ST204中判定为否定且在图18B所示步骤ST214中判定为肯定的情况下，执行部15A5在图18B所示步骤ST218中进行第2测距。然后，在图18B所示步骤ST220中，使用通过进行步骤ST218的第2测距而得到的第2距离进行第2摄像处理。即，在图18B所示步骤ST220中，进行伴随基于通过进行步骤ST218的第2测距而得到的第2距离的聚焦控制的拍摄。
从而，根据图18A～图18C所示测距摄像处理，在通过进行第1测距而得到第1距离与通过进行2测距而得到的第2距离不同的情况下，与始终在基于第1距离的聚焦控制下进行拍摄且在基于第2距离的聚焦控制下进行拍摄的情况相比，能够减少聚焦控制及拍摄中需要的消耗电力。
并且，在图18A～图18C所示测距摄像处理中，测距方式接收画面的表述为“主动方式”的软键由用户经由触摸面板48按下的情况下，在图18A所示步骤ST124的第1摄像处理中，根据第1距离进行聚焦控制。并且，在测距方式接收画面的表述为“被动方式”的软键由用户经由触摸面板48按下的情况下，在图18B所示步骤ST220的第2摄像处理中，根据第2距离进行聚焦控制。即，聚焦控制是根据第1距离及第2距离中的按照从用户赋予的指示而确定的任意距离进行的。
从而，根据图18A～图18C所示测距摄像处理，与不是根据从用户赋予的指示进行聚焦控制的情况相比，能够容易实现用户希望的聚焦控制。
另外，在此，例示出基于按照从用户赋予的指示而确定的距离的聚焦控制，但是本发明的技术并不限定于此。例如，代替从用户赋予的指示而可以适用从可以与智能设备10通信的外部装置(例如，个人电脑和/或服务器等)赋予的指示。在该情况下，例如，外部装置可以根据时间段和/或天气等，向智能设备10选择性地赋予主动方式测距指示和被动方式测距指示。
在夜间和/或阴天等较暗的环境下，通常认为，与被动方式测距相比，主动方式测距的精度提高。因此，在根据时间段向智能设备10选择性地赋予主动方式测距指示和被动方式测距指示的情况下，外部装置例如在夜间向智能设备10赋予主动方式测距指示，白天向智能设备10赋予被动方式测距指示即可。并且，在根据天气向智能设备10选择性地赋予主动方式测距指示和被动方式测距指示的情况下，外部装置例如在天气晴朗时向智能设备10赋予被动方式测距指示，在天气晴朗以外时向智能设备10赋予主动方式测距的指示即可。并且，外部装置也可以在夜间且天气晴朗以外时向智能设备10赋予主动方式测距指示，或者在白天且天气晴朗时向智能设备10赋予被动方式测距指示。
如此，在不是用户对智能设备10赋予指示，而是外部装置赋予指示的情况下，例如，在图18A所示测距摄像处理中，不需要步骤ST200的处理，在步骤ST202中，由执行部15A5判定从外部装置是否赋予指示即可。
并且，在上述第1实施方式中，例举假设由智能设备10拍摄整个镜子100作为被摄体的状况的例子，但是也可以考虑在摄像区域中包括镜子100的情况下，将通过根据镜子100的IR反射光进行第1测距而得到的测距结果用于聚焦控制中，则不符合用户的意图。在该情况下，图19所示测距摄像处理由CPU15A执行即可。
与图17A及图17B所示测距摄像处理相比，图19所示测距摄像处理的不同点在于，在步骤ST100与步骤ST102之间具有步骤ST300及ST302。并且，与图17A及图17B所示测距摄像处理相比，图19所示测距摄像处理的不同点在于，不具有步骤ST110～步骤ST118。并且，与图17A及图17B所示测距摄像处理相比，图19所示测距摄像处理的不同点在于，具有步骤ST108A，以代替步骤ST108。此外，与图17A及图17B所示测距摄像处理相比，图19所示测距摄像处理的不同点在于，具有步骤ST304及步骤ST306，以代替步骤ST122及步骤ST124。以下，关于图19所示测距摄像处理，对不同于在上述第1实施方式中说明的测距摄像处理的部分进行说明。
在图19所示步骤ST300中，获取部15A3从第1测距系统处理电路34B获取IR像素数据，作为表示由第1测距系统划分区域26N2(参考图5)接收的IR反射光的受光量的数据。在此，例如，由获取部15A3获取第1测距系统划分区域26N2中的ROI中包括的各IR像素的IR像素数据。
在下一步骤ST302中，判定部15A4参考在步骤ST300中获取的IR像素数据，判定在第1测距系统划分区域26N2中的ROI中包括的各IR像素中，表示IR像素数据最大的受光量的IR像素的受光量是否为阈值以上。
作为与IR像素的受光量进行比较的阈值，采用通过基于实际机器的试验和/或计算机模拟实验等预先导出的值，作为智能设备10对配置于离开规定距离(例如，几十米)的位置上的镜面照射激光束，并由IR像素接收激光束在镜面上反射而得到的IR反射光时的受光量。另外，在此，作为激光束的照射目的地，例示出镜面，但是并不限定于此，也可以是比镜面低反射率的面。作为比镜面低反射率的面，例如，可以举出玻璃面、半透明塑料制板状部件的面、以及具有光泽性的面等。
在步骤ST302中，在受光量小于阈值的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在步骤ST302中，在受光量为阈值以上的情况下，判定为肯定，测距摄像处理转移到步骤ST102。
在步骤ST108A中，判定部15A4判定在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离是否不同。在步骤ST108A中，当在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离一致的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在步骤ST108A中，当在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离不同的情况下，判定为肯定，测距摄像处理转移到步骤ST120。
在步骤ST304中，第2测距控制部15A2通过控制测距摄像装置14，对第2测距系统处理电路34C进行第2测距。
在下一步骤ST306中，执行部15A5使用通过进行步骤ST304的第2测距而得到的第2距离来执行第2摄像处理。即，执行部15A5根据通过进行步骤ST304的第2测距而得到的第2距离进行聚焦控制，并且对光电转换元件26进行拍摄。并且，执行部15A5使用通过执行第2摄像处理而得到的最新的第2可见光图像来执行第2可见光图像显示处理。
如此，通过执行图19所示测距摄像处理，在IR像素中的IR反射光的受光量为阈值以上的情况下，根据第2距离进行聚焦控制，因此与IR像素中的IR反射光的受光量为阈值以上无关地进行基于第1距离的聚焦控制的情况(例如，导致对镜子100进行对焦的情况)相比，能够容易实现用户希望的对焦状态下的拍摄(例如，对焦于与镜子100不同的部位的状态下的拍摄)。
并且，在上述第1实施方式中，与在摄像区域中是否包括特定被摄体无关地由判定部15A4判定第1距离与第2距离是否不同，但是本发明的技术并不限定于此。例如，也可以以摄像区域中包括特定被摄体为条件，由判定部15A4判定第1距离与第2距离是否不同。
在该情况下，由CPU15A执行图20所示测距摄像处理。与在上述第1实施方式中说明的测距摄像处理相比，图20所示测距摄像处理的不同点在于，在步骤ST106与步骤ST108之间具有步骤ST350及步骤ST352。并且，与在上述第1实施方式中说明的测距摄像处理相比，图20所示测距摄像处理的不同点在于，具有步骤ST108B，以代替步骤ST108。此外，与在上述第1实施方式中说明的测距摄像处理相比，图20所示测距摄像处理的不同点在于，具有步骤ST354及步骤ST356，以代替步骤ST122及步骤ST124。以下，关于图20所示测距摄像处理，对不同于在上述第1实施方式中说明的测距摄像处理的部分进行说明。
在图20所示步骤ST350中，执行部15A5执行特定被摄体检测处理。特定被摄体检测处理是如下处理：根据在步骤ST102中获取的第1距离，对受光器18进行聚焦控制以拍摄摄像区域，并对通过拍摄摄像区域而得到的摄像区域图像进行表示特定被摄体的特定被摄体图像的检测。另外，在此，摄像区域图像是本发明的技术所涉及的“第2图像”的一例。并且，在此，特定被摄体包括规定反射率以上的高反射率区域。作为规定反射率，例如，可以举出预先确定为具有光泽性的面的平均反射率的反射率。并且，在此，作为高反射率区域而采用镜面100A。并且，用户图像及智能设备图像映入镜面100A中。
在该步骤ST350中，对摄像区域图像进行特定被摄体图像的检测，所述摄像区域图像通过根据在步骤ST102中获取的第1距离进行聚焦控制以拍摄摄像区域而得到，但是本发明的技术并不限定于此。例如，可以对通过根据在步骤ST106中获取的第2距离进行聚焦控制以拍摄摄像区域而得到的图像进行特定被摄体图像的检测。
在该步骤ST350中，执行部15A5使用机器学习算法(例如，神经网络)对摄像区域图像进行特定被摄体图像的检测。并且，执行部15A5使用模式匹配用词库对摄像区域图像进行特定被摄体图像的检测。
在下一步骤ST352中，执行部15A5判定从摄像区域图像中是否检测到特定被摄体图像。在步骤ST352中，在从摄像区域图像中未检测到特定被摄体图像的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在步骤ST352中，在从摄像区域图像中检测到特定被摄体图像的情况下，判定为肯定，测距摄像处理转移到步骤ST108B。
在步骤ST108B中，判定部15A4判定在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离是否不同。在步骤ST108B中，当在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离一致的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在步骤ST108B中，当在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离不同的情况下，判定为肯定，测距摄像处理转移到步骤ST120。
在步骤ST354中，第2测距控制部15A2通过控制测距摄像装置14，对第2测距系统处理电路34C进行第2测距。
在下一步骤ST356中，执行部15A5使用通过进行步骤ST354的第2测距而得到的第2距离来执行第2摄像处理。即，执行部15A5根据通过进行步骤ST354的第2测距而得到的第2距离进行聚焦控制，并且对光电转换元件26进行拍摄。并且，执行部15A5使用通过执行第2摄像处理而得到的最新的第2可见光图像来执行第2可见光图像显示处理。
如此，通过执行图20所示测距摄像处理，在由执行部15A5检测到特定被摄体图像时根据第2距离进行聚焦控制，因此与检测到特定被摄体图像无关地根据第1距离进行聚焦控制的情况(例如，对焦于镜子100的情况)相比，能够容易实现用户希望的对焦状态下的拍摄(例如，对焦于映入镜子100中的用户图像的状态下的拍摄)。
并且，在特定被摄体中包括规定反射率以上的高反射率区域，作为高反射率区域而采用镜面100A。并且，用户图像及智能设备图像映入镜面100A中。从而，根据该结构，与检测到映入有用户图像及智能设备图像的镜面100A无关地根据第1距离进行聚焦控制的情况(例如，导致对焦于镜面100A的情况)相比，能够容易实现用户希望的对焦状态下的拍摄(例如，对焦于映入镜子100中的用户图像的状态下的拍摄)。
与图20所示测距摄像处理相比，图21所示测距摄像处理的不同的点在于，具有步骤ST400～步骤ST406，以代替步骤ST350及步骤ST352。以下，关于图21所示测距摄像处理，对不同于在图20中说明的测距摄像处理的部分进行说明。
在图21所示步骤ST400中，执行部15A5执行高反射率区域检测处理。高反射率区域检测处理是如下处理：根据在步骤ST102中获取的第1距离，对受光器18进行聚焦控制以拍摄摄像区域，对通过拍摄摄像区域而得到的摄像区域图像进行表示上述高反射率区域的高反射率区域的检测。
在该步骤ST400中，对摄像区域图像进行高反射率区域的检测，所述摄像区域图像通过根据在步骤ST102中获取的第1距离进行聚焦控制以拍摄摄像区域而得到，但是本发明的技术并不限定于此。例如，可以对通过根据在步骤ST106中获取的第2距离进行聚焦控制以拍摄摄像区域而得到的图像进行高反射率区域的检测。
在下一步骤ST402中，执行部15A5判定从摄像区域图像中是否检测到高反射率区域。在步骤ST402中，在从摄像区域图像中未检测到高反射率区域的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。在步骤ST402中，在从摄像区域图像中检测到高反射率区域的情况下，判定为肯定，测距摄像处理转移到步骤ST404。
在步骤ST404中，执行部15A5计算高反射率区域占有率。高反射率区域占有率是指通过高反射率区域检测处理检测到的高反射率区域相对于摄像区域图像的比例。
在下一步骤ST406中，判定部15A4判定在步骤ST404中算出的高反射率区域占有率是否超过规定占有率(例如，80％)。在步骤ST406中，当在步骤ST404中算出的高反射率区域占有率为规定占有率以下的情况下，判定为否定，测距摄像处理转移到图18C所示步骤ST130。由此，执行步骤ST130～步骤ST136的处理。即，在基于通过进行步骤ST224的第1测距而得到的第1距离的聚焦控制下，由受光器18进行对摄像区域的拍摄。
并且，在步骤ST406中，当在步骤ST404中算出的高反射率区域占有率超过规定占有率的情况下，判定为肯定，测距摄像处理转移到步骤ST108B。然后，当在步骤ST102中获取的第1距离与在步骤ST106中获取的第2距离不同的情况下(在步骤ST108B中判定为肯定的情况)，执行步骤ST120～步骤ST126的处理。即，在基于通过进行步骤ST354的第2测距而得到的第2距离的聚焦控制下，由受光器18进行对摄像区域的拍摄(步骤ST356)。
如此，通过执行图21所示测距摄像处理，在基于按照高反射率区域占有率确定的第1距离或第2距离的聚焦控制下进行拍摄，因此与始终仅根据第1距离及第2距离中的任一个对受光器18进行聚焦控制的情况相比，能够容易实现用户希望的对焦状态下的拍摄。即，例如，可以高精度地响应于欲对焦于整个镜子100进行拍摄的用户的请求、以及欲对焦于映入镜子100中的用户图像进行拍摄的用户的请求。
另外，在此，作为高反射率区域占有率，例示出通过高反射率区域检测处理检测到的高反射率区域相对于摄像区域图像的比例，但是本发明的技术并不限定于此。例如，作为高反射率区域占有率，可以使用摄像区域图像内的高反射率区域的面积和与摄像图像内的高反射率区域不同的区域的面积的差分。
另外，在上述第1实施方式中，例举仅由受光器18拍摄摄像区域的方式例进行了说明，但是本发明的技术并不限定于此。例如，如图22所示，在智能设备300上，除了上述测距摄像装置14以外，还可以搭载有广角用受光器350。与智能设备10相比，智能设备300的不同点在于，还具有广角用受光器350。
与受光器18相比，广角用受光器350可以在广角侧进行拍摄。换言之，与广角用受光器350相比，受光器18可以在长焦侧进行拍摄。即，广角用受光器350的焦点距离比受光器18长。此外，广角用受光器350具备透光窗352及光电转换元件354。透光窗352与透光窗20及20为相同结构，光电转换元件354具有与光电转换元件26的可见光图像用划分区域26N1相同的区域。
在如此构成的智能设备300中，由CPU15A执行图23所示测距摄像处理。与在上述第1实施方式中说明的测距摄像处理相比，图23所示测距摄像处理的不同点在于，具有步骤ST450、以及不具有步骤ST110～步骤ST118。以下，关于图23所示测距摄像处理，对不同于在上述第1实施方式中说明的测距摄像处理的部分进行说明。并且，以下，对图23所示测距摄像处理，以由受光器18或广角用受光器350进行拍摄为前提进行说明。
在图23所示测距摄像处理中，首先，在步骤ST450中，判定部15A4判定广角用受光器350是否在使用中。即，在该步骤ST450中，由判定部15A4判定是否由广角用受光器350进行拍摄。在步骤ST450中，当受光器18在使用中时，判定为否定，测距摄像处理转移到图18B所示步骤ST206。在步骤ST450中，当广角用受光器350在使用中时，判定为肯定，测距摄像处理转移到步骤ST100。在该情况下，以在步骤ST108中判定为肯定为条件，执行步骤ST120～步骤ST126的处理。由此，在步骤ST124中，在基于通过在步骤ST122中进行第1测距而得到的第1距离的聚焦控制下进行拍摄。
在此，例如，在整个镜子100作为被摄体而被拍摄的情况下，假设在比长焦侧更靠广角侧拍摄，以使整个镜子100包括在摄像区域中，因此为了高精度地测定到镜面100A为止的距离，与有利于对焦于映入镜子100中的用户图像的第2测距相比，更希望进行有利于对焦于镜面100A的第1测距。
从而，通过执行图23所示测距摄像处理，在使用广角用受光器350的过程中，在基于第1距离的聚焦控制下进行拍摄，因此与由受光器18在广角侧进行拍摄无关地在基于第2距离的聚焦控制下进行拍摄的情况相比，能够容易实现用户希望的对焦状态的拍摄。
并且，在上述第1实施方式中，作为光照射器16的测距用光而例示出激光束，但本发明的技术并不限于此。例如，测距用光可以是超辐射光等具有定向性的光，也可以是从氙闪光灯光源发出的光，也可以是从LED发出的光。
并且，在上述第1实施方式中，可见光图像用划分区域26N1、第1测距系统划分区域26N2、及第2测距系统划分区域26N3由光电转换元件26被单芯片化，但是本发明的技术并不限定于此，也可以多个可见光像素被单芯片化，多个相位差像素被单芯片化，多个IR像素被单芯片化。并且，也可以多个可见光像素和多个相位差像素被单芯片化，多个IR像素被单芯片化。如此，在不同种类的感光像素按种类被芯片化并搭载于智能设备10的情况下，对各个芯片在被摄体侧(物体侧)设置物镜、聚焦透镜及光圈等光学系统即可。
并且，在第一实施例中，例举测距摄像装置14内置于智能设备10中的示例，但是本发明的技术不限于此。例如，测距摄像装置14可以外接于通常的智能设备，即未内置有测距摄像装置14的智能设备。
并且，在上述第1实施方式中，例举UI系统设备44组装到智能设备10的方式例进行了说明，但是UI系统设备44中包括的多个构成要件中的至少一部分也可以外接于智能设备10。并且，UI系统设备44中包括的多个构成要件中的至少一部分也可以分开连接于外部I/F52而使用。
并且，在图1所示例中，例示出智能设备10，但是本发明的技术并不限定于此。即，本发明的技术可适用于内置有测距摄像装置14的各种电子设备(例如，可换镜头式摄像机、固定镜头式摄像机、个人电脑和/或可穿戴终端装置等)，即使是这些电子设备，也可以获得与智能设备10相同的作用及效果。
并且，在上述第1实施方式中例示出显示器46，但是本发明的技术并不限于此。例如，可以将显示器与显示器46一并外接到智能设备10。
并且，在上述第1实施方式中，光电转换元件26与信号处理电路34设为分体，但是也可以使用光电转换元件26与信号处理电路34被单芯片化而成的层叠型成像元件。并且，可以去除信号处理电路34的至少一部分，以使CPU15A承担信号处理电路34的功能。
并且，在上述第1实施方式中，例举从光电转换元件驱动器32向光电转换元件26供给摄像时刻信号的方式例进行了说明，但是本发明的技术并不限定于此。例如，可以去除光电转换元件驱动器32，在该情况下，使CPU15A承担光电转换元件驱动器32的功能即可。
并且，在第1实施方式中，例举使用相位差像素进行第2测距的方式例进行了说明，但是本发明的技术并不限于此。例如，可以代替使用相位差像素的测距而进行使用立体摄像机的测距，也可以进行使用脸部检测的测距。在使用立体摄像机的测距中，通过使用从立体摄像机得到的一对图像的视差而测定到被摄体为止的距离。并且，在使用脸部检测的测距中，通过使用所检测到的脸部图像的大小相对于1帧量图像的大小的比例等测定到被摄体为止的距离。
并且，在上述第1实施方式中，例举G滤光片、R滤光片及B滤光片还具有作为截止红外光的红外光截止滤光片的功能的方式例进行了说明，但是本发明的技术并不限定于此，也可以将与R像素、G像素及B像素分别对应的各滤色器设为也透射红外光的滤色器，在一个滤色器上配置基于可见光像素用光电二极管和IR像素用光电二极管(例如，InGaAs APD)的一对光电二极管。
并且，在上述第1实施方式中，例举将可见光图像用划分区域26N1和第2测距系统划分区域26N3并用的方式例进行了说明，但是本发明的技术并不限定于此。例如，代替可见光图像用划分区域26N1及第2测距系统划分区域26N3，可以设为选择性地生成并读取可见光像素数据和相位差像素数据的区域传感器。在该情况下，在区域传感器中二维地排列有多个感光像素。在区域传感器中包括的感光像素中，例如，使用不具有遮光部件的独立的一对光电二极管。在生成并读取可见光像素数据的情况下，通过感光像素的整个区域(一对光电二极管)进行光电转换，在生成并读取相位差像素数据的情况下(例如，进行被动方式测距的情况)，通过一对光电二极管中的一个光电二极管进行光电转换。在此，一对光电二极管中的一个光电二极管是与在上述第1实施方式中说明的第1相位差像素L对应的光电二极管，一对光电二极管中的一个光电二极管是与在上述第1实施方式中说明的第2相位差像素R对应的光电二极管。另外，可以通过区域传感器中包括的所有感光像素选择性地生成并读取可见光像素数据和相位差像素数据，但是并不限定于此，也可以通过区域传感器中包括的一部分感光像素选择性地生成并读取可见光像素数据和相位差像素数据。
[第2实施方式]
在上述第1实施方式中，例举在通过进行第1测距而得到的第1距离与通过进行第2测距而得到的第2距离不同时由执行部15A5进行特定处理的方式例进行了说明，但是在该第2实施方式中，例举在通过不同的对焦方式得到的第1对焦位置与第2对焦位置不同时由执行部15A5进行特定处理的方式例进行说明。另外，在该第2实施方式中，对与上述第1实施方式中说明的构成要件相同的构成要件标注相同的符号并省略说明，对不同于上述第1实施方式的部分进行说明。
作为一例，如图24所示，在存储装置15B中存储有测距摄像处理程序570。CPU15A从存储装置15B读取测距摄像处理程序570。然后，CPU15A通过执行从存储装置15B读取的测距摄像处理程序570，作为第1测距控制部15A1、获取部15A3、判定部15A4、执行部15A5、第1对焦位置计算部15A6、对比度AF方式摄像控制部15A7及第2对焦位置计算部15A8进行动作。
作为一例，如图25所示，第1测距控制部15A1以与上述第1实施方式相同的方式对第1测距系统处理电路34B进行第1测距，获取部15A3从第1测距系统处理电路34B获取第1距离。第1对焦位置计算部15A6根据由获取部15A3获取的第1距离，计算对焦于摄像区域中包括的被摄体的第1对焦位置。具体而言，第1对焦位置计算部15A6将从智能设备10到被摄体为止的距离设为独立变量，并使用将对焦位置设为从属变量的规定运算式计算第1对焦位置。另外，本发明的技术并不限定于此，第1对焦位置计算部15A6可以使用图13所示对焦位置导出表72导出第1对焦位置。
作为一例，如图26所示，对比度AF方式摄像控制部15A7在对受光器18进行对比度AF方式的拍摄的情况下，对受光器18及第2对焦位置计算部15A8输出摄像开始信号。对比度AF方式摄像控制部15A7通过对受光器18输出摄像开始信号，以规定帧速率(例如，60fps)对可见光图像用划分区域26N1(参考图5)进行拍摄，对可见光像素数据处理电路34A生成表示摄像区域的第3可见光图像。可见光像素数据处理电路34A将第3可见光图像输出到图像存储器42。在图像存储器42中存储第3可见光图像，每次从可见光像素数据处理电路34A输入第3可见光图像时，更新图像存储器42内的第3可见光图像。
并且，对比度AF方式摄像控制部15A7与摄像开始信号的输出一并对受光器18及第2对焦位置计算部15A8输出马达控制信号。马达控制信号是用于使聚焦透镜30B沿着光轴L2往复动作(摆动)的信号，并输入到受光器18的马达驱动器64。马达驱动器64通过按照所输入的马达控制信号而驱动马达62，从而使聚焦透镜30B摆动(图8参考)。另一方面，第2对焦位置计算部15A8使用从对比度AF方式摄像控制部15A7输入摄像开始信号到当前时点为止输入的马达控制信号，计算聚焦透镜30B在光轴L2上的当前位置。
对比度AF方式摄像控制部15A7在每次更新图像存储器42内的第3可见光图像时，从图像存储器42获取第3可见光图像，并计算所获取的第3可见光图像的对比度值。然后，对比度AF方式摄像控制部15A7搜索第3可见光图像的对比度的最大值，在搜索到最大值的时点上，对第2对焦位置计算部15A8输出最大值达到信号。最大值达到信号是表示第3可见光图像的对比度达到最大值的信号。
第2对焦位置计算部15A8若被输入最大值达到信号，则使用从输入摄像开始信号到当前时点为止输入的马达控制信号，计算聚焦透镜30B在光轴L2上的当前位置作为第2对焦位置。第2对焦位置是指对焦于摄像区域中包括的被摄体的对焦位置。在此，第2对焦位置计算部15A8使用将马达控制信号设为独立变量且将对焦位置设为从属变量的运算式来计算第2对焦位置。另外，本发明的技术并不限定于此，第2对焦位置计算部15A8可以使用马达控制信号的时序数据与光轴L2上的聚焦透镜30B的位置对应关联的表来导出第2对焦位置。
作为一例，如图27所示，判定部15A4判定由第1对焦位置计算部15A6算出的第1对焦位置与由第2对焦位置计算部15A8算出的第2对焦位置是否不同。在由判定部15A4判定为第1对焦位置与第2对焦位置一致的情况下，执行部15A5执行在上述第1实施方式中说明的第1摄像处理。并且，在由判定部15A4判定为第1对焦位置与第2对焦位置不同的情况下，执行部15A5执行特定处理(参考图28)。
作为一例，如图28所示，与上述第1实施方式相比，特定处理的不同点在于，包括第3摄像处理，以代替第2摄像处理。第3摄像处理是指进行伴随对第2对焦位置的聚焦控制的拍摄(伴随对比度AF的拍摄)的处理。并且，与上述第1实施方式相比，通过特定处理中包括的图像选择画面显示处理而生成并显示于显示器46上的图像选择画面的不同点在于，一部分显示内容不同。即，在图像选择画面上，代替第1距离而显示有第1对焦位置(在图28所示例中，表示从基准位置到聚焦透镜30B为止的距离的“X1mm”的数值)，代替第2距离而显示有第2对焦位置(在图28所示例中，表示从基准位置到聚焦透镜30B为止的距离的“X2mm”的数值)。基准位置是指例如光电转换元件26的摄像面的位置、或无限远对焦的状态下的聚焦透镜30B的位置。并且，在图像选择画面上，代替第2可见光图像而显示有第3可见光图像。并且，在图像选择画面上，代替“测距结果不同”的消息而显示有“对焦位置不同”的消息。并且，在图像选择画面上，代替“主动方式”的消息而显示有“主动AF方式”的消息。此外，在图像选择画面上，代替“被动方式”的消息而显示有“对比度AF方式”的消息。
另外，在该第2实施方式中，示出“主动AF方式”和“对比度AF方式”的显示例，但是未必一定是“主动AF方式”和“被动AF方式”的显示，若用户能够理解AF方式的差异，则可以是任意的显示。例如，在进行使用激光测距的AF和对比度AF的情况下，可以是“使用激光测距的AF”的显示和“使用对比度的AF”的显示，也可以显示表示AF方式的图标等。并且，代替AF方式的显示而可以显示焦点位置。例如，可以是“焦点位置：近前”和“焦点位置：进深”，也可以显示为“焦点位置：物体”和“焦点位置：投影到物体上的图像”等。或者，可以组合显示表示AF方式的字符及图标和焦点位置中的两个以上。
接着，参考图29A～图29C，对智能设备500的本发明的技术所涉及的部分的作用进行说明。另外，图29A～图29C是由CPU15A按照测距摄像处理程序570执行的测距摄像处理的流程的一例的流程图。
在图29A所示测距摄像处理中，首先，在步骤ST500中，第1测距控制部15A1通过控制测距摄像装置14，对第1测距系统处理电路34B进行第1测距。第1测距通过第1测距控制部15A1对第1测距系统处理电路34B计算第1距离来实现。
在下一步骤ST502中，获取部15A3获取通过进行步骤ST500的第1测距而得到的第1距离。
在下一步骤ST504中，第1对焦位置计算部15A6根据在步骤ST502中获取的第1距离计算第1对焦位置。
在下一步骤ST506中，对比度AF方式摄像控制部15A7使受光器18开始对比度AF方式的拍摄。
在下一步骤ST508中，对比度AF方式摄像控制部15A7通过进行对比度AF方式的拍摄，获取由可见光像素数据处理电路34A生成的第3可见光图像。
在下一步骤ST510中，第2对焦位置计算部15A8判定从对比度AF方式摄像控制部15A7是否输入了最大值达到信号。在步骤ST510中，在从对比度AF方式摄像控制部15A7未输入最大值达到信号的情况下，判定为否定，测距摄像处理转移到步骤ST508。在步骤ST510中，在从对比度AF方式摄像控制部15A7输入了最大值达到信号的情况下，判定为肯定，测距摄像处理转移到步骤ST512。
在步骤ST512中，第2对焦位置计算部15A8使用从执行步骤ST506的处理到当前时点为止输入的马达控制信号，计算聚焦透镜30B在光轴L2上的当前位置作为第2对焦位置。
在图29B所示步骤ST514中，判定部15A4判定在步骤ST504中算出的第1对焦位置与在步骤ST512中算出的第2对焦位置是否不同。在步骤ST514中，当在步骤ST504中算出的第1对焦位置与在步骤ST512中算出的第2对焦位置一致的情况下，判定为否定，测距摄像处理从步骤ST514转移到步骤ST516。
在步骤ST516中，执行部15A5执行使用在步骤ST502中获取的第1距离的第1摄像处理。另外，在此，使用第1距离的第1摄像处理是指，例如，伴随对第1对焦位置的聚焦控制的拍摄的处理，所述第1对焦位置在步骤ST504中根据第1距离算出。
在下一步骤ST518中，执行部15A5执行使用在步骤ST512中算出的第2对焦位置的第3摄像处理。另外，在此，使用第2对焦位置的第1摄像处理是指伴随对第2对焦位置的聚焦控制的拍摄的处理。
在下一步骤ST520中，执行部15A5执行图像选择画面显示处理。由此，作为一例，如图28所示，在显示器46上显示图像选择画面。
在下一步骤ST522中，执行部15A5判定在图像选择画面内显示的第1可见光图像及第3可见光图像中的任一个是否由用户经由触摸面板48选择。在步骤ST522中，在图像选择画面内显示的第1可见光图像及第3可见光图像中的任一个未由用户经由触摸面板48选择的情况下，判定为否定，再次进行步骤ST522的判定。在步骤ST522中，在图像选择画面内显示的第1可见光图像及第3可见光图像中的任一个由用户经由触摸面板48选择的情况下，判定为肯定，测距摄像处理转移到步骤ST524。
在步骤ST524中，执行部15A5判定选自图像选择画面内部的图像是否为第3可见光图像。在步骤ST524中，在选自图像选择画面内部的图像为第1可见光图像的情况下，判定为否定，测距摄像处理转移到图29C所示步骤ST532。在步骤ST524中，在选自图像选择画面内部的图像为第3可见光图像的情况下，判定为肯定，测距摄像处理转移到步骤ST526。
在步骤ST526中，执行部15A5判定是否已到摄像开始时刻。在步骤ST526中，在未到摄像开始时刻的情况下，判定为否定，测距摄像处理转移到步骤ST530。在步骤ST526中，在已到摄像开始时刻的情况下，判定为肯定，测距摄像处理转移到步骤ST528。
在步骤ST528中，执行部15A5执行第3摄像处理。并且，执行部15A5使用通过执行第3摄像处理而得到的最新的第3可见光图像来执行第3可见光图像显示处理。在此，与图16所示第2可见光图像显示处理相比，第3可见光图像显示处理的不同点在于，代替第2可见光图像而使第3可见光图像显示于显示器46、以及代替“被动方式”的消息而使“对比度AF方式”的消息显示于显示器46。
另外，在该步骤ST528中，例举以在步骤ST522及步骤ST524中选择了第3可见光图像为条件进行第3摄像处理，并通过进行第3摄像处理而得到的最新的第3可见光图像显示于显示器48的方式例，但是这仅为一例。例如，也可以以选择了第3可见光图像为条件，使所选择的第3可见光图像存储于存储装置15B和/或存储卡等存储介质。并且，伴随所选择的AF方式的拍摄和所选择的图像(例如，第1可见光图像或第3可见光图像)保存，可以按照由接收设备47接收的指示(从用户赋予的指示)来选择。
在下一步骤ST530中，执行部15A5判定是否满足结束条件。在步骤ST530中，在不满足结束条件的情况下，判定为否定，测距摄像处理转移到步骤ST526。在步骤ST530中，在满足结束条件的情况下，判定为肯定，测距摄像处理结束。
另一方面，在图29C所示步骤ST532中，执行部15A5判定是否已到摄像开始时刻。在步骤ST532中，在未到摄像开始时刻的情况下，判定为否定，测距摄像处理转移到步骤ST536。在步骤ST532中，在已到摄像开始时刻的情况下，判定为肯定，测距摄像处理转移到步骤ST534。
在步骤ST534中，第1测距控制部15A1通过控制测距摄像装置14，对第1测距系统处理电路34B进行第1测距。
在下一步骤ST536中，执行部15A5使用通过进行步骤ST534的第1测距而得到的第1距离来执行第1摄像处理。并且，执行部15A5使用通过执行第1摄像处理而得到的最新的第1可见光图像来执行第1可见光图像显示处理。
在下一步骤ST538中，执行部15A5判定是否满足结束条件。在步骤ST538中，在不满足结束条件的情况下，判定为否定，测距摄像处理转移到步骤ST532。在步骤ST538中，在满足结束条件的情况下，判定为肯定，测距摄像处理结束。
如以上说明，在智能设备500中，在根据通过进行第1测距而得到的第1距离算出的第1对焦位置与通过进行对比度AF方式的拍摄而得到的第2对焦位置不同的情况下，由执行部15A5执行特定处理。从而，根据该结构，能够有助于解决在第1距离与第2距离不同时产生的各种问题。
另外，在上述第2实施方式中说明的测距摄像处理仅为一例，例如，可以对图18A～图18C所示测距摄像处理、图19所示测距摄像处理、图20所示测距摄像处理、图21所示测距摄像处理、或图23所示测距摄像处理，可以引用在上述第2实施方式中说明的测距摄像处理中包括的技术思想。在该情况下，在不脱离主旨的范围内，将第1距离换读为第1对焦位置、将第2距离换读为第2对焦位置、删除不必要的步骤、添加新的步骤、替换处理顺序即可。
并且，例举在上述第1实施方式中在存储装置15B中存储有测距摄像处理程序70，在上述第2实施方式中在存储装置15B中存储有测距摄像处理程序570的方式例进行了说明，但是本发明的技术并不限定于此。例如，如图30所示，测距摄像处理程序70或570(以下，不需要区分说明测距摄像处理程序70及570的情况下，不标注符号而称为“测距摄像处理程序”)可以存储于存储介质900中。作为存储介质900的一例，可以举出SSD或USB存储器等任意的便携式存储介质。
存储于存储介质900中的测距摄像处理程序安装于控制器15。CPU15A按照测距摄像处理程序而执行测距摄像处理。
并且，也可以将测距摄像处理程序存储于经由通信网络(省略图示)连接到控制器15的其它计算机或服务器装置等的存储部，根据上述智能设备10的请求，下载测距摄像处理程序，并安装于控制器15中。
另外，不需要在连接到控制器15的其他计算机或服务器装置等的存储部或存储装置15B中存储有所有测距摄像处理程序，而可以存储有测距摄像处理程序的一部分。
在图30所示例中示出控制器15内置于智能设备10中的方式例，但是本发明的技术并不限定于此，例如，控制器15可以设置于智能设备10的外部。
在图30所示例中，CPU15A是单个CPU，但是也可以是多个CPU。并且，可以代替CPU15A而适用GPU。
在图30所示例中例示出控制器15，但是本发明的技术并不限定于此，可以代替控制器15而适用包括ASIC、FPGA和/或PLD的设备。并且，可以代替控制器15而使用硬件结构及软件结构的组合。
作为执行在上述各实施方式中说明的测距摄像处理的硬件资源，能够使用以下所示各种处理器。作为处理器，例如，可以举出如下通用的处理器，即CPU，其通过执行软件，即程序，作为执行测距摄像处理的硬件资源而发挥作用。并且，作为处理器，例如，可以举出作为处理器的专用电路，其具有FPGA、PLD或ASIC等为了执行特定处理而专门设计的电路结构。在任何处理器中也内置或连接有存储器，任何处理器都通过使用存储器而执行测距摄像处理。
测距摄像处理的硬件资源可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上处理器的组合(例如，多个FPGA的组合、或CPU与FPGA的组合)构成。并且，执行测距摄像处理的硬件资源可以是一个处理器。
作为由一个处理器构成的例子，第一，有如下方式：通过一个以上CPU和软件的组合来构成一个处理器，该处理器作为执行测距摄像处理的硬件资源发挥作用。第二，存在如下方式：如以SoC等为代表，使用由一个IC芯片实现包括执行测距摄像处理的多个硬件资源的整体系统的功能的处理器。如此，测距摄像处理通过使用一个以上上述各种处理器作为硬件资源而实现。
此外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路。并且，上述测距摄像处理仅为一例。从而，在不脱离主旨的范围内，当然可以删除不必要的步骤，或者添加新的步骤，或者切换处理顺序。
以上所示记载内容及图示内容是关于本发明的技术所涉及部分的详细说明，仅为本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明是与本发明的技术所涉及部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的主旨的范围内，当然可以对以上所示记载内容及图示内容删除不必要的部分，或者添加新的要素，或者进行替换。并且，为了避免复杂化，并且为了容易理解本发明的技术所涉及的部分，在以上所示记载内容及图示内容中，省略了在能够实施本发明的技术的方面不需要特别说明的与技术常识等有关的说明。
在本说明书中，“A和/或B”与“A及B中的至少一个”的含义相同。即，“A和/或B”是指可以只有A，可以只有B，也可以是A及B的组合。并且，在本说明书中，附加“和/或”来表现3个以上事项的情况下，也可以适用与“A和/或B”相同的概念。
本说明书中所记载的所有文献、专利申请及技术标准，以与具体且分别记载通过参考而援用各文献、专利申请及技术标准之情况相同之程度，通过参考而援用于本说明书中。
关于以上实施方式，还公开以下附记。
(附记1)
一种信息处理装置，其包括：
处理器；及
存储器，连接或内置于上述处理器中，
上述处理器进行如下处理：
根据光照射器向摄像区域照射光的照射时刻和受光器接受上述光的来自上述摄像区域的反射光的受光时刻，测定到上述摄像区域为止的距离；
根据上述距离导出对焦于上述摄像区域中包括的被摄体的第1对焦位置；
根据通过由摄像装置拍摄上述摄像区域而得到的图像，导出对焦于上述被摄体的第2对焦位置；及
在上述第1对焦位置与上述第2对焦位置不同的情况下，执行特定处理。
(附记2)
根据附记1所述的信息处理装置，其中，
上述特定处理包括通知对焦位置与上述第2对焦位置不同的情况的处理。
(附记3)
根据附记1或附记2所述的信息处理装置，其中，
上述特定处理包括如下处理：在上述第1对焦位置和述对焦位置中的每个位置，使上述摄像装置拍摄上述摄像区域。
(附记4)
根据附记3所述的信息处理装置，其中，
上述特定处理包括如下处理：使通过在上述第1对焦位置拍摄上述摄像区域而得到的第1对焦图像、以及通过在上述第2对焦位置拍摄上述摄像区域而得到的第2对焦图像显示于显示器，并且在上述第1对焦图像及上述第2合成图像显示于上述显示器的状态下，督促用户选择上述第1对焦图像及上述第2合成图像中的至少一个。
(附记5)
根据附记2或附记3所述的信息处理装置，其中，
上述特定处理包括如下处理：在上述第1对焦位置使上述摄像装置拍摄上述摄像区域、或在上述第2对焦位置使上述摄像装置拍摄上述摄像区域。
(附记6)
根据附记5所述的信息处理装置，其中，
上述摄像装置可以在广角侧和长焦侧进行拍摄，
在上述摄像装置在上述广角侧拍摄的情况下，上述特定处理是在上述第1对焦位置使上述摄像装置拍摄的处理。
(附记7)
根据附记5所述的信息处理装置，其中，
在由上述受光器接收的上述反射光的受光量为阈值以上的情况下，上述特定处理是在上述第2对焦位置使上述摄像装置拍摄的处理。
符号说明
10、300、500-智能设备，12-框体，12A-背面，12B-前表面，13-指示键，14-测距摄像装置，15-控制器，15A-CPU，15A1-第1测距控制部，15A2-第2测距控制部，15A3-获取部，15A4-判定部，15A5-执行部，15A6-第1对焦位置计算部，15A7-对比度AF方式摄像控制部，15A8-第2对焦位置计算部，15B-存储装置，15C-存储器，16-光照射器，17A、17B-遮光部件，18-受光器，19-微透镜，20、22、352-透光窗，21-光束扩展器，23-准直透镜，24-LD，25-LD驱动器，26、354-光电转换元件，26N1-可见光图像用划分区域，26N2-第1测距系统划分区域，26N3-第2测距系统划分区域，27-TOF摄像机，30A-物镜，30B-聚焦透镜，30C-光圈，31-对焦控制机构，32-光电转换元件驱动器，34-信号处理电路，34A-可见光像素数据处理电路，34B-第1测距系统处理电路，34C-第2测距系统处理电路，40-输入/输出接口，41-摄像透镜，42-图像存储器，44-UI系统设备，46-显示器，47-接收设备，48-触摸面板，50-总线，52-外部I/F，53-硬键部，54-通信I/F，56-网络，59-触摸面板/显示器，60-移动机构,62-马达，64-马达驱动器，70、570-测距摄像处理程序，72-对焦位置导出表，100-镜子，100A-镜面，300L-左区域通过光，300R-右区域通过光，350-广角用受光器，900-存储介质，L-第1相位差像素，L1、L2-光轴，N-非相位差像素，PD-光电二极管，R-第2相位差像素，α-偏差量，θ1-视场角，θ2-照射视场角。

Claims (16)

1.一种信息处理装置，其包括：
处理器；及
存储器，连接或内置于所述处理器中，
所述处理器进行如下处理：
进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收所述光的来自所述摄像区域的反射光的受光时刻，测定到所述摄像区域为止的距离；
进行第2测距，即根据通过摄像装置拍摄所述摄像区域而得到的第1图像，测定到所述摄像区域为止的距离，
在通过进行所述第1测距而得到的第1测距结果与通过进行所述第2测距而得到的第2测距结果不同的情况下，执行特定处理。
2.根据权利要求1所述的信息处理装置，其中，
所述特定处理包括如下处理：通知所述第1测距结果与所述第2测距结果不同的情况。
3.根据权利要求1或2所述的信息处理装置，其中，
所述特定处理包括如下处理：分别根据所述第1测距结果和所述第2测距结果，对所述摄像装置进行聚焦控制，并且拍摄所述摄像区域。
4.根据权利要求3所述的信息处理装置，其中，
所述特定处理包括如下处理：使通过在基于所述第1测距结果的聚焦控制下拍摄所述摄像区域而得到的第1对焦图像、以及通过在基于所述第2测距结果的聚焦控制下拍摄所述摄像区域而得到的第2对焦图像显示于显示器，并且在所述第1对焦图像及所述第2对焦图像显示于所述显示器的状态下，督促用户选择所述第1对焦图像及所述第2对焦图像中的至少一个。
5.根据权利要求1或2所述的信息处理装置，其中，
所述特定处理包括如下处理：根据所述第1测距结果或所述第2测距结果，对所述摄像装置进行聚焦控制，并且拍摄所述摄像区域。
6.根据权利要求5所述的信息处理装置，其中，
基于所述第1测距结果及所述第2测距结果中的按照得到的指示而确定出的任一个测距结果，对所述摄像装置进行所述聚焦控制。
7.根据权利要求5所述的信息处理装置，其中，
所述摄像装置可以在广角侧和长焦侧进行拍摄，
在所述摄像装置在所述广角侧拍摄的情况下，根据所述第1测距结果对所述摄像装置进行所述聚焦控制。
8.根据权利要求5所述的信息处理装置，其中，
在所述受光器接收到的所述反射光的受光量为阈值以上的情况下，根据所述第2测距结果进行所述聚焦控制。
9.根据权利要求5所述的信息处理装置，其中，
基于所述第1测距结果及所述第2测距结果中的确定出的任一个测距结果，对所述摄像装置进行所述聚焦控制，该测距结果是按照表示具有规定反射率以上的反射率的区域的高反射率区域相对于通过由所述摄像装置拍摄所述摄像区域而得到的第2图像的比例、或者所述第2图像内的所述高反射率区域的面积与不同于所述第2图像内的所述高反射率区域的区域的面积的差值确定的。
10.根据权利要求5所述的信息处理装置，其中，
所述处理器对通过所述摄像装置拍摄所述摄像区域而得到的第2图像进行表示特定被摄体的特定被摄体图像的检测，
在所述处理器检测到所述特定被摄体图像的情况下，根据所述第2测距结果进行所述聚焦控制。
11.根据权利要求10所述的信息处理装置，其中，
所述特定被摄体包括具有规定反射率以上的反射率的高反射率区域，
所述高反射率区域是映入了人物及所述摄像装置中的至少一个的影像的区域。
12.一种信息处理装置，其包括：
处理器；及
存储器，连接或内置于所述处理器中，
所述处理器进行如下处理：
根据光照射器向摄像区域照射光的照射时刻和受光器接收所述光的来自所述摄像区域的反射光的受光时刻，测定到所述摄像区域为止的距离；
根据所述距离导出对焦于所述摄像区域中包括的被摄体的第1对焦位置，并根据通过摄像装置拍摄所述摄像区域而得到的图像导出对焦于所述被摄体的第2对焦位置；及
在所述第1对焦位置与所述第2对焦位置不同的情况下，执行特定处理。
13.一种信息处理方法，其包括如下步骤：
进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收所述光的来自所述摄像区域的反射光的受光时刻，测定到所述摄像区域为止的距离；
进行第2测距，即根据通过摄像装置拍摄所述摄像区域而得到的第1图像，测定到所述摄像区域为止的距离；及
在通过进行所述第1测距而得到的第1测距结果与通过进行所述第2测距而得到的第2测距结果不同的情况下，执行特定处理。
14.一种信息处理方法，其包括如下步骤：
根据光照射器向摄像区域照射光的照射时刻和受光器接收所述光的来自所述摄像区域的反射光的受光时刻，测定到所述摄像区域为止的距离；
根据所述距离导出对焦于所述摄像区域中包括的被摄体的第1对焦位置；
根据通过摄像装置拍摄所述摄像区域而得到的图像导出对焦于所述被摄体的第2对焦位置；及
在所述第1对焦位置与所述第2对焦位置不同的情况下，执行特定处理。
15.一种程序，其用于使计算机执行包括如下步骤的处理：
进行第1测距，即根据光照射器向摄像区域照射光的照射时刻和受光器接收所述光的来自所述摄像区域的反射光的受光时刻，测定到所述摄像区域为止的距离；
进行第2测距，即根据通过摄像装置拍摄所述摄像区域而得到的第1图像，测定到所述摄像区域为止的距离；及
在通过进行所述第1测距而得到的第1测距结果与通过进行所述第2测距而得到的第2测距结果不同的情况下，执行特定处理。
16.一种程序，其用于使计算机执行包括如下步骤的处理：
根据光照射器向摄像区域照射光的照射时刻和受光器接收所述光的来自所述摄像区域的反射光的受光时刻，测定到所述摄像区域为止的距离；
根据所述距离导出对焦于所述摄像区域中包括的被摄体的第1对焦位置；
根据通过摄像装置拍摄所述摄像区域而得到的图像导出对焦于所述被摄体的第2对焦位置；及
在所述第1对焦位置与所述第2对焦位置不同的情况下，执行特定处理。
CN202080080186.XA 2019-11-29 2020-11-09 信息处理装置、信息处理方法及存储介质 Active CN114761757B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-217520 2019-11-29
JP2019217520 2019-11-29
PCT/JP2020/041672 WO2021106529A1 (ja) 2019-11-29 2020-11-09 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN114761757A true CN114761757A (zh) 2022-07-15
CN114761757B CN114761757B (zh) 2024-07-19

Family

ID=76130099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080080186.XA Active CN114761757B (zh) 2019-11-29 2020-11-09 信息处理装置、信息处理方法及存储介质

Country Status (4)

Country Link
US (2) US11877056B2 (zh)
JP (2) JP7321290B2 (zh)
CN (1) CN114761757B (zh)
WO (1) WO2021106529A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7436509B2 (ja) * 2019-12-17 2024-02-21 富士フイルム株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2023167618A (ja) * 2022-05-12 2023-11-24 ソニーセミコンダクタソリューションズ株式会社 受光装置、制御方法、及び測距システム
JP2024522409A (ja) * 2022-05-20 2024-06-21 北京小米移動軟件有限公司 撮像装置およびフォーカス制御プログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1278610A (zh) * 1999-06-18 2001-01-03 奥林巴斯光学工业株式会社 具有自动焦点调节装置的照相机
JP2005352163A (ja) * 2004-06-10 2005-12-22 Canon Inc カメラ、撮影記録方法およびプログラム
CN101621625A (zh) * 2008-07-04 2010-01-06 佳能株式会社 摄像设备及其控制方法
CN102025914A (zh) * 2009-09-10 2011-04-20 佳能株式会社 摄像设备及其测距方法
CN102547111A (zh) * 2010-12-10 2012-07-04 三洋电机株式会社 电子设备
JP2012128098A (ja) * 2010-12-14 2012-07-05 Olympus Corp 撮像装置
JP2012189878A (ja) * 2011-03-11 2012-10-04 Nikon Corp 撮像装置
WO2015166711A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
JP2017107132A (ja) * 2015-12-11 2017-06-15 株式会社ニコン 電子機器
US20170366737A1 (en) * 2016-06-15 2017-12-21 Stmicroelectronics, Inc. Glass detection with time of flight sensor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06317741A (ja) * 1993-05-07 1994-11-15 Olympus Optical Co Ltd 測距装置
US5652926A (en) * 1993-12-15 1997-07-29 Fuji Photo Optical Co., Ltd. Distance measuring apparatus
JPH09197045A (ja) 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
JP4426669B2 (ja) * 1999-06-03 2010-03-03 オリンパス株式会社 マルチａｆ装置
JP2001311619A (ja) * 2000-05-01 2001-11-09 Asahi Optical Co Ltd 測距装置及び測距方法
JP4880359B2 (ja) 2006-05-23 2012-02-22 Ｎｅｃディスプレイソリューションズ株式会社 測距装置、測距方法およびプロジェクタ
JP6505506B2 (ja) 2015-05-29 2019-04-24 シャープ株式会社 光センサおよび電子機器
JP6566091B2 (ja) * 2018-06-28 2019-08-28 株式会社ニコン 画像生成装置、及び画像検索装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1278610A (zh) * 1999-06-18 2001-01-03 奥林巴斯光学工业株式会社 具有自动焦点调节装置的照相机
JP2005352163A (ja) * 2004-06-10 2005-12-22 Canon Inc カメラ、撮影記録方法およびプログラム
CN101621625A (zh) * 2008-07-04 2010-01-06 佳能株式会社 摄像设备及其控制方法
CN102025914A (zh) * 2009-09-10 2011-04-20 佳能株式会社 摄像设备及其测距方法
CN102547111A (zh) * 2010-12-10 2012-07-04 三洋电机株式会社 电子设备
JP2012128098A (ja) * 2010-12-14 2012-07-05 Olympus Corp 撮像装置
JP2012189878A (ja) * 2011-03-11 2012-10-04 Nikon Corp 撮像装置
WO2015166711A1 (ja) * 2014-05-02 2015-11-05 富士フイルム株式会社 測距装置、測距方法、及び測距プログラム
JP2017107132A (ja) * 2015-12-11 2017-06-15 株式会社ニコン 電子機器
US20170366737A1 (en) * 2016-06-15 2017-12-21 Stmicroelectronics, Inc. Glass detection with time of flight sensor

Also Published As

Publication number Publication date
WO2021106529A1 (ja) 2021-06-03
CN114761757B (zh) 2024-07-19
US11877056B2 (en) 2024-01-16
US20220256092A1 (en) 2022-08-11
US20240056682A1 (en) 2024-02-15
JP7321290B2 (ja) 2023-08-04
JPWO2021106529A1 (zh) 2021-06-03
JP2023145588A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
CN114761757B (zh) 信息处理装置、信息处理方法及存储介质
CN109313267B (zh) 测距系统及测距方法
US11283979B2 (en) Mobile device case and techniques for multi-view imaging
US11714979B2 (en) Data reader with hybrid autofocus system
US6308015B1 (en) Camera having automatic focusing device
JP4843002B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
KR20140026273A (ko) 배광 특성 측정 장치 및 배광 특성 측정 방법
JP2024063018A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
US10877238B2 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
JP2023175752A (ja) 処理装置、電子機器、処理方法、及びプログラム
US20240251170A1 (en) Processing apparatus, electronic apparatus, processing method, and program
JP2018010246A (ja) 照明装置、撮像装置及び制御方法
JP2013210572A (ja) 撮像装置および撮像装置の制御プログラム
CN102073200B (zh) 数字图像处理器和数字图像处理器中提高用户识别的方法
US20210063850A1 (en) Imaging device, method for controlling imaging device, and system including imaging device
WO2021152933A1 (ja) 撮像装置、撮像装置の作動方法、及びプログラム
CN116583763A (zh) 便携终端以及电子眼镜
JP2013242406A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant