CN114868037A - 信息处理装置、摄像装置、信息处理方法及程序 - Google Patents

信息处理装置、摄像装置、信息处理方法及程序 Download PDF

Info

Publication number
CN114868037A
CN114868037A CN202080087482.2A CN202080087482A CN114868037A CN 114868037 A CN114868037 A CN 114868037A CN 202080087482 A CN202080087482 A CN 202080087482A CN 114868037 A CN114868037 A CN 114868037A
Authority
CN
China
Prior art keywords
light
image
distance
distance measurement
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080087482.2A
Other languages
English (en)
Inventor
增田智纪
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114868037A publication Critical patent/CN114868037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种能够避免来自不希望作为测距对象的光泽性物体的反射光引起的误测距的信息处理装置、摄像装置、信息处理方法及程序。信息处理装置包含：处理器；及存储器，连接或内置于处理器，处理器进行如下处理：根据由光照射器朝向测距对象区域进行了光的面照射的照射定时及由受光器接收到光的来自测距对象区域的反射光的受光定时来测定测距对象区域内的物体为止的第1距离，在与基于光照射器的面照射对应的受光期间，受光器中包含的特定像素以不同的定时生成多个信号时，处理器根据多个信号的关系来测定第1距离。

Description

信息处理装置、摄像装置、信息处理方法及程序
技术领域
本发明的技术涉及一种信息处理装置、摄像装置、信息处理方法及程序。
背景技术
在专利文献1中公开有一种激光测距装置，其具备激光发射装置及对测量对象发送从激光发射装置发射的激光束并对来自测量对象的反射光进行聚光的光学系统。专利文献1所记载的激光测距装置具备能够在视野内任意地变更光学系统接收视野的透射位置和大小的视野限制机构，测量经过接收视野内的视野限制机构的位置的测量对象内的测量目标为止的距离。
专利文献2中公开有一种物体检测装置，其朝向车辆的行进方向出射电磁波，根据电磁波的反射波检测物体。专利文献2所记载的物体检测装置具备：出射机构，一边沿水平方向和垂直方向在扫描范围内扫描一边出射电磁波；接收机构，接收电磁波的反射波；获取机构，获取通过接收机构接收的反射波的电平；运算机构，根据反射波的电平变得最大的区域的垂直方向的位置和扫描范围的垂直方向的中心的位置来运算第1偏差校正量；及校正机构，根据通过运算机构运算出的第1偏差校正量对扫描范围的垂直方向的中心位置进行校正，并且通过反射波测量距物体的距离。并且，专利文献2所记载的物体检测装置的出射机构进行第1扫描处理及第2扫描处理，所述第1扫描处理中，在以扫描范围的垂直方向的中心位置为中心的中心区域，沿作为水平方向中的规定方向的第1方向进行扫描，在中心区域上方的区域，沿作为与第1方向相反的方向的第2方向一边进行扫描一边出射，在所述第2扫描处理中，在中心区域沿第1方向进行扫描，在中心区域下方的区域，沿第2方向一边进行扫描一边出射。
专利文献1：日本特开2003-057343号公报
专利文献2：日本特开2006-349694号公报
发明内容
本发明的技术所涉及的一实施方式提供一种能够避免由来自不希望作为测距对象的光泽性物体的反射光引起的误测距的信息处理装置、摄像装置、信息处理方法及程序。
用于解决技术课题的手段
本发明的技术所涉及的第1方式是一种信息处理装置，其包含：处理器；及存储器，连接或内置于处理器，处理器进行如下处理：根据由光照射器朝向测距对象区域进行了光的面照射的照射定时和由受光器接收到光的来自测距对象区域的反射光的受光定时来测定测距对象区域内的物体为止的第1距离，根据和在与基于光照射器的面照射对应的受光期间内的多个受光定时由受光器生成的多个信号中，根据多个信号的关系和多个信号的强度来选择的信号对应的受光定时和照射定时，由处理器测定第1距离。
本发明的技术所涉及的第2方式是第1方式所涉及的信息处理装置，其中，在第1距离的测定中使用的受光定时是由受光器接收到与多个信号中的强度第二大的信号相关的反射光的定时。
本发明的技术所涉及的第3方式是第1方式或第2方式所涉及的信息处理装置，其中，多个信号的强度中包含第1强度及第2强度时，处理器执行特定处理，所述第1强度为第1阈值以上，所述第2强度小于第1阈值且为比第1阈值小的第2阈值以上。
本发明的技术所涉及的第4方式是第3方式所涉及的信息处理装置，其中，第1阈值及第2阈值根据基于环境光的噪声成分而定义。
本发明的技术所涉及的第5方式是第3方式或第4方式所涉及的信息处理装置，其中，第1阈值是随着受光定时延迟而减小的值。
本发明的技术所涉及的第6方式是第3方式至第5方式中任一方式所涉及的信息处理装置，其中，特定处理包括通知多个信号的强度中包含第1强度的处理。
本发明的技术所涉及的第7方式是第3方式至第6方式中任一方式所涉及的信息处理装置，其中，特定处理包括根据通过拍摄测距对象区域而获得的图像来测定物体为止的第2距离的图像使用型测距。
本发明的技术所涉及的第8方式是第3方式至第6方式中任一方式所涉及的信息处理装置，其中，处理器与根据照射定时和受光定时测定第1距离的动作并行地进行根据通过拍摄测距对象区域而获得的图像来测定物体为止的第2距离的图像使用型测距，特定处理包括基于图像使用型测距的测距结果的处理。
本发明的技术所涉及的第9方式是第7方式或第8方式所涉及的信息处理装置，其中，图像使用型测距是根据从相位差像素作为图像而获得的相位差图像来测定第2距离的相位差图像使用测距、根据通过立体摄像方式作为图像而获得的立体图像来测定第2距离的立体图像使用测距及根据从图像检测出的物体图像且表示大小已知的物体的物体图像来测定第2距离的物体图像使用测距中的至少一个。
本发明的技术所涉及的第10方式是第3方式至第9方式中任一方式所涉及的信息处理装置，其中，特定处理包括根据通过由摄像器拍摄测距对象区域中包含的被摄体而获得的被摄体图像的对比度来对摄像器进行的聚焦控制。
本发明的技术所涉及的第11方式是第1方式至第10方式中任一方式所涉及的信息处理装置，其中，测距对象区域是根据所赋予的指示来限定的特定的实空间区域。
本发明的技术所涉及的第12方式是第1方式至第11方式中任一方式所涉及的信息处理装置，其中，测距对象区域是与由处理器从通过拍摄而获得的摄像图像检测出的对象被摄体图像对应的特定的实空间区域。
本发明的技术所涉及的第13方式是第1方式至第12方式中任一方式所涉及的信息处理装置，其中，处理器通过利用根据照射定时和受光定时测定的第1距离来对摄像器进行聚焦控制。
本发明的技术所涉及的第14方式是第1方式至第13方式中任一方式所涉及的信息处理装置，其中，根据受光定时调整多个信号的强度。
本发明的技术所涉及的第15方式是第1方式至第14方式中任一方式所涉及的信息处理装置，其中，受光器具有配置成二维状的多个光电转换元件，处理器根据照射定时和受光定时对多个光电转换元件测定第1距离。
本发明的技术所涉及的第16方式是一种摄像装置，其包括第1方式至第15方式中任一方式所涉及的信息处理装置及聚焦透镜，处理器进行使聚焦透镜向根据第1距离来确定的对焦位置移动的聚焦控制。
本发明的技术所涉及的第17方式是一种信息处理方法，其包括如下步骤：由光照射器朝向测距对象区域进行光的面照射；由受光器接收光的来自测距对象区域的反射光；及根据由光照射器朝向测距对象区域进行了光的面照射的照射定时和由受光器接收到反射光的受光定时来测定测距对象区域内的物体为止的第1距离，根据和在与基于光照射器的面照射对应的受光期间内的多个受光定时由受光器生成的多个信号中，根据多个信号的关系和多个信号的强度来选择的信号对应的受光定时和照射定时，由处理器测定第1距离。
本发明的技术所涉及的第18方式是一种程序，其用于使计算机执行包括如下步骤的处理：由光照射器朝向测距对象区域进行光的面照射；由受光器接收光的来自测距对象区域的反射光；及根据由光照射器朝向测距对象区域进行了光的面照射的照射定时和由受光器接收到反射光的受光定时来测定测距对象区域内的物体为止的第1距离，根据和在与基于光照射器的面照射对应的受光期间内的多个受光定时由受光器生成的多个信号中，根据多个信号的关系和多个信号的强度来选择的信号对应的受光定时和照射定时，由处理器测定第1距离。
附图说明
图1是表示第1实施方式所涉及的智能设备的使用方式的一例的概略立体图。
图2是表示第1实施方式所涉及的智能设备的背面侧的外观的一例的后视立体图。
图3是表示通过第1实施方式所涉及的智能设备中包含的测距摄像装置拍摄摄像区域，并在显示器显示有可见光图像的方式的一例的概念图。
图4是表示通过实施方式所涉及的智能设备中包含的测距摄像装置对摄像区域照射激光束的方式的一例的概念图。
图5是表示第1实施方式所涉及的智能设备的光电转换元件中包含的各像素的配置的一例的概略立体图。
图6是表示被摄体光相对于图5所示的光电转换元件中包含的第1相位差像素及第2相位差像素的入射特性的一例的概念图。
图7是表示图5所示的光电转换元件中包含的非相位差像素的结构的一例的概略结构图。
图8是表示基于通过由第1实施方式所涉及的智能设备中包含的测距摄像装置进行对摄像区域的第1测距而获得的测距结果的距离图像显示于显示器的方式的一例的概念图。
图9是表示第1实施方式所涉及的智能设备的电气系统硬件的结构的一例的框图。
图10是表示第1实施方式所涉及的智能设备中包含的CPU的功能的一例的框图。
图11是表示图10所示的第1测距控制部的处理内容的一例的概念图。
图12是表示通过第1实施方式所涉及的智能设备进行第1测距的场景的一例的概念图。
图13是表示第1实施方式所涉及的智能设备中包含的第1测距系统处理电路的处理内容的一例的概念图。
图14是表示由第1实施方式所涉及的智能设备中包含的第1测距系统处理电路的时间序列分布生成部生成的时间序列分布的一例的概念图。
图15是表示图10所示的第1距离获取部、时间序列分布获取部、判定部及执行部的处理内容的一例的框图。
图16是用于说明基于图15所示的判定部的判定方法的说明图。
图17是表示由图15所示的执行部执行的第1摄像处理的内容的一例的框图。
图18是表示由图15所示的执行部执行的特定处理的内容的一例的框图。
图19是表示由图15所示的执行部执行的第2测距开始处理及第2距离获取处理的内容的一例的框图。
图20是表示由图15所示的执行部执行的特定处理的详细内容的一例的概念图。
图21是表示由用户经由触摸面板选择了通过第1实施方式所涉及的智能设备显示于显示器的图像选择画面内的第1可见光图像时的处理内容的一例的概念图。
图22是表示由用户经由触摸面板选择了通过第1实施方式所涉及的智能设备显示于显示器的图像选择画面内的第2可见光图像时的处理内容的一例的概念图。
图23是表示第1实施方式所涉及的第1测距系统处理的流程的一例的流程图。
图24A是表示第1实施方式所涉及的测距摄像处理的流程的一例的流程图。
图24B是图17A所示的流程图的延续。
图24C是图17A所示的流程图的延续。
图25是表示第2实施方式所涉及的智能设备中包含的CPU的功能的一例的框图。
图26是表示与由第2实施方式所涉及的智能设备进行的对比度AF方式的摄像相关的处理内容的一例的概念图。
图27是表示由第2实施方式所涉及的执行部执行的特定处理的详细内容的一例的概念图。
图28是表示与图14所示的模式不同的模式的时间序列分布的一例的概念图。
图29是表示对时间序列分布适用滤波器的方式的一例的概念图。
图30是表示通过适用滤波器来调整的时间序列分布的一例的概念图。
图31是表示第1或第2实施方式所涉及的测距摄像处理程序安装于智能设备的方式的一例的概念图。
具体实施方式
以下，根据附图，对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。
首先，对在以下说明中使用的词句进行说明。
CPU是指“Central Processing Unit(中央处理器)”的简称。RAM是指“RandomAccess Memory(随机存取存储器)”的简称。ASIC是指“Application Specific IntegratedCircuit(专用集成电路)”的简称。PLD是指“Programmable Logic Device(可编程逻辑器件)”的简称。FPGA是指“Field-Programmable Gate Array(现场可编程门阵列)”的简称。SoC是指“System-on-a-chip(片上系统)”的简称。SSD是指“Solid State Drive(固态驱动器)”的简称。USB是指“Universal Serial Bus(通用串行总线)”的简称。HDD是指“HardDisk Drive(硬盘驱动器)”的简称。EEPROM是指“Electrically Erasable andProgrammable Read Only Memory(电可擦除可编程只读存储器)”的简称。EL是指“Electro-Luminescence(电致发光)”的简称。A/D是指“Analog/Digital(模拟/数字)”的简称。I/F是指“Interface(接口)”的简称。UI是指“User Interface(用户界面)”的简称。LTE是指“Long Term Evolution(长期演进)”的简称。5G是指“5th Generation(第五代)”的简称。LD是指“Laser Diode(激光二极管)”的简称。IR是指“Infrared(红外)”的简称。APD是指“Avalanche Photodiode(雪崩光电二极管)”的简称。TOF是指“Time of Flight(飞行时间)”的简称。
fps是指“frame per second(帧率)”的简称。LED是指“Light Emitting Diode(发光二极管)”的简称。ROI是指“Region of Interest(感兴趣区域)”的简称。LAN是指“LocalArea Network(局域网)”的简称。AF是指“Auto Focus(自动聚焦)”的简称。IC是指“Integrated Circuit(集成电路)”的简称。
在本说明书的说明中，“水平”除了完全的水平以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的水平。在本说明书的说明中，“平行”除了完全的平行以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的平行。在本说明书的说明中，“垂直”除了完全的垂直以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的垂直。在本说明书的说明中，“一致”除了完全的一致以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的一致。
[第1实施方式]
作为一例，如图1所示，智能设备10进行拍摄以视场角θ1规定的摄像区域的摄像动作(以下，还简称为“摄像动作”)及测距动作。在本第1实施方式中，“测距”是指测定从智能设备10至摄像区域为止的距离的处理。在此，摄像区域是本发明的技术所涉及的“测距对象区域”的一例。并且，智能设备10是本发明的技术所涉及的“信息处理装置”及“摄像装置”的一例。作为智能设备10，例如可举出作为附带摄像功能的电子设备的智能手机或平板终端等。
智能设备10中进行测距方式互不相同的第1测距及第2测距。第1测距是根据由智能设备10朝向摄像区域照射了激光束的定时和由智能设备10接收到激光束的来自摄像区域的反射光的定时来测定摄像区域内的物体为止的距离的方式(以下，还称为“主动方式”)的测距。在此，激光束是本发明的技术所涉及的“光”的一例。并且，在此，朝向摄像区域进行激光束的面照射。另外，面照射是指激光束朝向摄像区域的光束直径比点照射更扩大的照射。在面照射中，激光束的光束直径沿着激光束的照射方向逐渐扩大，面照射的光束直径在每单位时间内扩大的程度比点照射大。即，在点照射中，对摄像区域所在的面以点状照射激光束，而在面照射中，对摄像区域所在的面以面状照射激光束。并且，激光束的照射可以是单发，也可以定期地(例如，每0.1秒)间歇地进行，此时，可以在每一次激光束的照射中进行第1测距，并进行基于测距结果的处理。
第2测距是根据通过由智能设备10拍摄摄像区域而获得的图像来测定摄像区域内的物体为止的距离的方式(以下，还简称为“被动方式”)的测距。另外，第2测距是本发明的技术所涉及的“图像使用型测距”的一例。
在智能设备10中，进行并用主动方式的测距和被动方式的测距的混合方式的测距。并且，在智能设备10中，进行伴随主动方式聚焦控制的摄像和伴随被动方式聚焦控制的摄像。主动方式聚焦控制是指基于通过进行主动方式的测距而获得的测距结果的聚焦控制。被动方式聚焦控制是指基于通过进行被动方式的测距而获得的测距结果的聚焦控制。
作为一例，如图2所示，智能设备10具备框体12。在框体12容纳有测距摄像装置14。测距摄像装置14具备光照射器16及受光器18。光照射器16具备LD24，在智能设备10中，摄像动作及测距动作由测距摄像装置14进行。
在智能设备10的侧面配置有指示键13。指示键13接收各种指示。在此所说的“各种指示”例如是指显示能够选择各种菜单的菜单画面的指示、选择一个或多个菜单的指示、确定选择内容的指示及删除选择内容的指示等。
在将智能设备10设为纵置状态时的框体12的背面12A的左上部(纵置状态的智能设备10的后视观察时的左上部)设置有透光窗20及22。透光窗20及22是具有透光性的光学元件(例如，透镜)，沿着水平方向以规定间隔(例如，数毫米的间隔)配置，从背面12A露出。光照射器16经由透光窗20朝向摄像区域照射从LD24出射的激光束。在本第1实施方式中，通过光照射器16朝向摄像区域照射红外波长区域的激光束。但是，激光束的波长区域并不限于此，也可以是其他波长区域的激光束。
受光器18经由透光窗22接收IR反射光。IR反射光是指通过光照射器16照射于测距对象的激光束的来自测距对象的反射光。并且，受光器18经由透光窗22取入可见光反射光。可见光反射光是指对摄像区域照射的可见光(例如，太阳光中包含的可见光)的来自摄像区域的反射光。另外，以下，为了便于说明，无需区分IR反射光和可见光反射光来进行说明时，简称为“反射光”。
受光器18是本发明的技术所涉及的“摄像器”的一例，具备光电转换元件26。光电转换元件26接收经由透光窗22取入受光器18的反射光，并输出与所接收的反射光的光量相应的电信号。
作为一例，如图3所示，在框体12的前表面12B设置有触摸面板显示器59。触摸面板显示器59具备显示器46及触摸面板48。作为显示器46的一例，可举出有机EL显示器。显示器46可以不是有机EL显示器，而是液晶显示器等其他种类的显示器。
显示器46显示图像(例如，实时取景图像及再生图像)及字符信息等。触摸面板48是透射型触摸面板，重叠于显示器46的显示区域的表面。触摸面板48通过检测基于手指或触控笔等指示体的接触来接收来自用户的指示。另外，在此，作为触摸面板显示器59的一例，举出了触摸面板48重叠于显示器46的显示区域的表面的外挂型触摸面板显示器，但这仅是一例。例如，作为触摸面板显示器59，还能够适用外嵌型或内嵌型触摸面板显示器。
在智能设备10中，若通过触摸面板48接收到开始摄像的指示，则通过受光器18拍摄摄像区域。即，受光器18接收可见光反射光，作为与所接收的可见光反射光相应的图像，生成表示摄像区域的可见光图像。可见光图像是本发明的技术所涉及的“图像”、“被摄体图像”及“摄像图像”的一例。
可见光图像根据通过触摸面板48接收的指示，作为实时取景图像或静止图像而显示于显示器46。在图3所示的例子中，摄像区域通过视场角θ1规定。视场角θ1根据通过触摸面板48接收的指示而变更。
作为一例，如图4所示，在智能设备10中，若通过触摸面板48接收到开始测距及摄像的指示(以下，还称为“测距摄像开始指示”)，则通过光照射器16照射激光束。照射激光束的角度(以下，还称为“照射角度”)是θ2，照射角度θ2根据通过触摸面板48接收到的指示而变更。另外，在图4所示的例子中，举出根据在可见光图像作为实时取景图像而显示于显示器46的状态下通过触摸面板48接收到的测距摄像开始指示开始测距的方式例进行说明，但本发明的技术并不限定于此。例如，也可以在可见光图像未显示于显示器46的状态下通过触摸面板48接收到测距摄像开始指示时开始测距。
在智能设备10中，根据从由光照射器16照射激光束起至由受光器18接收IR反射光为止所需的时间及光速，测定从智能设备10至测距对象为止的距离。例如，若将测距对象为止的距离设为“L0”，将光速设为“c”，并将激光束的飞行时间即由光照射器16照射激光束起至由受光器18接收IR反射光为止所需的时间(以下，还简称为“飞行时间”)设为“t”，则根据式“L0＝c×t×0.5”计算距离L0。
作为一例，如图5所示，光电转换元件26具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可举出“4896×3265”像素量的光电二极管。
在光电转换元件26中包含的各光电二极管配置有滤色器。滤色器包含与最有助于获得亮度信号的G(绿色)波长区域对应的G滤波器、与R(红色)波长区域对应的R滤波器、与B(蓝色)波长区域对应的B滤波器及与IR(红外)波长区域对应的IR滤波器。另外，在本实施方式中，G滤波器、R滤波器及B滤波器还具有作为截止红外光的红外光截止滤波器的功能。
光电转换元件26由相位差像素及作为与相位差像素不同的像素的非相位差像素N这两种感光像素形成。通常，非相位差像素N还被称为通常像素。光电转换元件26具有R像素、G像素、B像素及IR像素这4种感光像素作为非相位差像素。R像素、G像素、B像素、IR像素及相位差像素分别在行方向(水平方向)及列方向(垂直方向)上以规定的周期性规则地配置。R像素是与配置有R滤波器的光电二极管对应的像素，G像素及相位差像素是与配置有G滤波器的光电二极管对应的像素，B像素是与配置有B滤波器的光电二极管对应的像素，IR像素是与配置有IR滤波器的光电二极管对应的像素。作为IR像素的一例，可举出InGaAsAPD。
另外，以下，为了便于说明，无需区分G滤波器、R滤波器及B滤波器来进行说明时，还称为“可见光滤波器”。并且，以下，为了便于说明，无需区分R像素、G像素及B像素来进行说明时，将它们称为“可见光像素”。
在光电转换元件26的受光面排列有多个相位差像素线26A及多个非相位差像素线26B。相位差像素线26A是包含相位差像素的水平线。具体而言，相位差像素线26A是混合有相位差像素和非相位差像素N的水平线。非相位差像素线26B是仅包含多个非相位差像素N的水平线。
在光电转换元件26的受光面，沿着列方向交替配置有相位差像素线26A和规定线数量的非相位差像素线26B。在此所说的“规定线数”例如是指2行。另外，在此，作为规定线数例示了2行，但本发明的技术并不限于此，规定线数可以是3行以上的数行，也可以是十数行、数十行或数百行等。
相位差像素线26A从1行到最后一行在列方向上以2行间隔排列。相位差像素线26A的一部分像素是相位差像素。具体而言，相位差像素线26A是周期性地排列有相位差像素和非相位差像素N的水平线。相位差像素大致分为第1相位差像素L和第2相位差像素R。在相位差像素线26A，在行方向上以若干像素间隔交替配置有第1相位差像素L和第2相位差像素R作为G像素。
第1相位差像素L及第2相位差像素R配置成在列方向上交替出现。在图5所示的例子中，在第4列，从第1行沿着列方向依次配置有第1相位差像素L、第2相位差像素R、第1相位差像素L及第2相位差像素R。即，第1相位差像素L和第2相位差像素R从第1行沿着列方向交替配置。并且，在图5所示的例子中，在10列中，从第1行沿着列方向依次配置有第2相位差像素R、第1相位差像素L、第2相位差像素R及第1相位差像素L。即，第2相位差像素R和第1相位差像素L从第1行沿着列方向交替配置。
光电转换元件26被划分为3个区域。即，光电转换元件26具有可见光图像用划分区域26N1、第1测距系统划分区域26N2及第2测距系统划分区域26N3。可见光图像用划分区域26N1是基于多个可见光像素的可见光像素组，用于生成可见光图像。第1测距系统划分区域26N2是基于配置成二维状的多个IR像素的IR像素组，用于第1测距。在此，IR像素是本发明的技术所涉及的“特定像素”的一例。第2测距系统划分区域26N3是基于多个相位差像素的相位差像素组，用于第2测距。可见光图像用划分区域26N1及第2测距系统划分区域26N3接收可见反射光，输出与受光量相应的电信号。第1测距系统划分区域26N2接收IR反射光，并输出与受光量相应的电信号。
作为一例，如图6所示，第1相位差像素L具备微透镜19、遮光部件17A及光电二极管PD。在第1相位差像素L中，在微透镜19与光电二极管PD的受光面之间配置有遮光部件17A。光电二极管PD的受光面上的行方向的左半部分(从受光面面向被摄体时的左侧(换言之，从被摄体面向受光面时的右侧))被遮光部件17A遮光。
第2相位差像素R具备微透镜19、遮光部件17B及光电二极管PD。在第2相位差像素R中，在微透镜19与光电二极管PD的受光面之间配置有遮光部件17B。光电二极管PD的受光面上的行方向的右半部分(从受光面面向被摄体时的右侧(换言之，从被摄体面向受光面时的左侧))被遮光部件17B遮光。另外，以下，为了便于说明，无需区分说明遮光部件17A及17B时，不标注符号而称为“遮光部件”。
通过摄像透镜41的射出光瞳的光束大致分为左区域通过光300L及右区域通过光300R。左区域通过光300L是指通过摄像透镜41的射出光瞳的光束中，从相位差像素侧面向被摄体侧时的左半部分的光束，右区域通过光300R是指通过摄像透镜41的射出光瞳的光束中，从相位差像素侧面向被摄体侧时的右半部分的光束。通过摄像透镜41的射出光瞳的光束由作为光瞳分割部发挥作用的微透镜19、遮光部件17A及遮光部件17B左右分割，第1相位差像素L作为被摄体光接收左区域通过光300L，第2相位差像素R作为被摄体光接收右区域通过光300R。其结果，由光电转换元件26生成相当于与左区域通过光300L对应的被摄体像的第1相位差图像和相当于与右区域通过光300R对应的被摄体像的第2相位差图像。
在智能设备10中，例如在同一相位差像素线26A上，根据1行量的第1相位差图像与1行量的第2相位差图像的偏移量α测定摄像区域为止的距离。
作为一例，如图7所示，非相位差像素N与相位差像素相比，不同点在于不具有遮光部件。非相位差像素N的光电二极管PD作为被摄体光接收左区域通过光300L及右区域通过光300R。
另外，在智能设备10中，分别通过第2测距系统划分区域26N3(参考图5)中包含的多个IR像素接收IR反射光，由此按每个IR像素进行测距。并且，在智能设备10中，根据由触摸面板48接收的指示，作为一例，如图8所示，每个IR像素的测距结果作为距离图像而显示于显示器46。在此，距离图像是指以颜色和/或明暗表示按每个IR像素测定的到测距对象为止的距离的图像。
并且，在智能设备10中，根据由触摸面板48接收的指示，测距结果以距离图像或距离重叠图像(省略图示)而显示于显示器46。显示于显示器46的距离重叠图像例如是通过在可见光图像(例如，即时预览图像)重叠表示测距结果的数值而得的图像。例如，以从智能设备10至摄像区域内的代表性的多个位置(例如，3个位置)的各个位置为止的距离显示于可见光图像的状态显示于显示器46。作为代表性的多个位置的一例，可举出摄像区域内的特定被摄体(例如，画面中央区域中包含的被摄体和/或人等)中彼此的对比度差为规定值以上的多个位置。
作为一例，如图9所示，智能设备10除了光照射器16及受光器18以外，还具备控制器15、输入输出接口40、图像存储器42、UI系统设备44、外部I/F52及通信I/F54。
控制器15具备CPU15A、存储装置15B及存储器15C。CPU15A、存储装置15B及存储器15C经由总线50连接，总线50与输入输出接口40连接。另外，在图9所示的例子中，为了便于图示，作为总线50图示了1根总线，但也可以是多根总线。总线50可以是串行总线，也可以是包含数据总线、地址总线及控制总线等的并行总线。
存储装置15B存储有各种参数及各种程序。存储装置15B是非易失性存储装置。在此，作为存储装置15B的一例，采用闪存。闪存仅仅是一例，作为存储装置15B，例如可举出磁阻存储器和/或强电介质存储器等各种非易失性存储器来代替闪存或与闪存一同使用。并且，非易失性存储装置也可以是EEPROM、HDD和/或SSD等。并且，存储器15C暂时存储各种信息，用作工作存储器。作为存储器15C的一例，可举出RAM，但并不限于此，也可以是其他种类的存储装置。
在存储装置15B存储有各种程序。CPU15A从存储装置15B读出所需程序，并在存储器15C上执行所读出的程序。CPU15A根据在存储器15C上执行的程序控制整个智能设备10。另外，存储装置15B及存储器15C是本发明的技术所涉及的“存储器”的一例。
在输入输出接口40连接有多个设备，输入输出接口40负责多个设备之间的各种信息的收发。在图9所示的例子中，作为与输入输出接口40连接的多个设备，示出有控制器15、光照射器16、受光器18、图像存储器42、UI系统设备44、外部I/F52及通信I/F54。
外部I/F52负责与存在于智能设备10的外部的装置(以下，还称为“外部装置”)之间的各种信息的收发。作为外部I/F52的一例，可举出USB接口。在USB接口能够直接或间接地连接智能设备、个人计算机、服务器、USB存储器、存储卡和/或打印机等外部装置(省略图示)。
通信I/F54具有LTE、5G、无线LAN和/或Bluetooth(注册商标)等通信功能，负责外部装置与CPU15A之间的各种信息的收发。例如，通信I/F54经由基站(省略图示)可通信地与网络56(例如，互联网)连接，负责网络56上的外部装置与CPU15A之间的各种信息的收发。
UI系统设备44具备显示器46，CPU15A使显示器46显示各种信息。并且，UI系统设备44具备接收设备47。接收设备47具备触摸面板48及硬键部53。硬键部53是包含指示键13(参考图2)的至少一个硬键。CPU15A根据通过触摸面板48接收的各种指示进行动作。另外，在此，硬键部53包含在UI系统设备44，但本发明的技术并不限定于此，例如，硬键部53也可以与外部I/F52连接。
光照射器16具备透光窗20、光束扩展器21、准直透镜23、LD24及LD驱动器25，沿着光轴L1，从摄像区域侧(物体侧)至LD24，依次配置有透光窗20、光束扩展器21及准直透镜23。LD驱动器25与LD24及输入输出接口40连接，根据CPU15A的指示驱动LD24来从LD24出射激光束。
从LD24出射的激光束通过准直透镜23转换为平行光之后，通过光束扩展器21扩大光束直径，并从透光窗20朝向测距对象照射。
受光器18具备透光窗22、物镜30A、聚焦透镜30B、光圈30C、光电转换元件26、光电转换元件驱动器32及信号处理电路34。
另外，CPU15A及信号处理电路34是本发明的技术所涉及的“处理器”的一例。
在受光器18中，沿着光轴L2，从摄像区域侧(物体侧)至光电转换元件26，依次配置有透光窗22、物镜30A、聚焦透镜30B及光圈30C。光电转换元件驱动器32与光电转换元件26及输入输出接口40连接，根据CPU15A的指示驱动光电转换元件26。例如，光电转换元件驱动器32在CPU15A的控制下，将规定通过光电转换元件26进行的摄像的定时的摄像定时信号供给至光电转换元件26。光电转换元件26根据从光电转换元件驱动器32供给的摄像定时信号进行复位、曝光及电信号的输出。作为摄像定时信号，例如可举出垂直同步信号及水平同步信号。
受光器18具备对焦控制机构31。对焦控制机构31具备聚焦透镜30B、移动机构60、电机62及电机驱动器64。聚焦透镜30B通过移动机构60支承为能够沿着光轴L2滑动。电机62与移动机构60及电机驱动器64连接。电机驱动器64与输入输出接口40连接，根据来自CPU15A的指示驱动电机62。移动机构60与电机62的驱动轴(省略图示)连接，通过从电机62接受动力，使聚焦透镜30B沿着光轴L2选择性地向物体侧和像侧移动。即，CPU15A通过经由电机驱动器64控制电机62的驱动来调整对焦位置。在此，“对焦位置”是指，对准焦点的状态(例如，将可见光图像的对比度设为最大值的状态或实现了规定的被摄体深度的状态)下的聚焦透镜30B在光轴L2上的位置。另外，在本第1实施方式中，把将聚焦透镜30B对准对焦位置的控制称为“聚焦控制”。
光圈30C是开口不变的固定光圈。在固定光圈的情况下，曝光调节由光电转换元件26的电子快门进行。光圈30C可以不是固定光圈而是可变光圈。另外，受光器18中包含的物镜30A、聚焦透镜30B及光圈30C仅仅是一例，即使透镜的结构和/或光圈30C的位置改变，本发明的技术也成立。
在受光器18，从透光窗22入射反射光。入射于透光窗22的反射光经由物镜30A、聚焦透镜30B及光圈30C成像于光电转换元件26。
光电转换元件26与信号处理电路34连接，将表示可见光像素及IR像素的各像素的像素值的像素数据输出至信号处理电路34。信号处理电路34通过对从光电转换元件26输入的像素数据进行A/D转换来将像素数据数字化，并对数字化的像素数据实施各种信号处理。
信号处理电路34具备可见光像素数据处理电路34A、第1测距系统处理电路34B及第2测距系统处理电路34C。可见光像素数据处理电路34A对关于可见光像素的像素数据即可见光像素数据实施白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等公知的信号处理，由此生成可见光图像。然后，可见光像素数据处理电路34A将可见光图像存储于图像存储器42。另外，通过在图像存储器42中覆盖并保存1帧量的可见光图像，更新图像存储器42内的可见光图像。
测距摄像装置14具备TOF相机27。TOF相机27具备光照射器16、光电转换元件26的第1测距系统划分区域26N2(参考图5)及第1测距系统处理电路34B。第1测距系统处理电路34B从CPU15A获取表示由光照射器16朝向摄像区域照射了激光束的照射定时(以下，还简称为“照射定时”)的照射定时信号。
第1测距系统处理电路34B根据由照射定时信号表示的照射定时及由各IR像素接收到IR反射光的定时(以下，还称为“受光定时”)，对各IR像素测定从智能设备10至摄像区域内的物体为止的距离。在此，作为受光定时，采用由第1测距系统处理电路34B接收到具有超过后述基准阈值(参考图14)的输出值的IR像素数据的定时。另外，作为噪声成分的一例，可举出与IR反射光无关地产生的噪声成分(例如，环境光中包含的IR光)。
第1测距系统处理电路34B按每个IR像素，根据照射定时和受光定时来测定从智能设备10至摄像区域内的物体为止的距离。并且，第1测距系统处理电路34B根据每个IR像素的测定结果来生成距离图像，并将所生成的距离图像存储于图像存储器42。另外，通过在图像存储器42中覆盖并保存1帧量的距离图像，更新图像存储器42内的距离图像。
第2测距系统处理电路34C分别从光电转换元件26中由用户等指定的区域(所谓的ROI)中包含的第2测距系统划分区域26N3(参考图5)的多个相位差像素获取表示相位差像素的像素值的相位差像素数据。第2测距系统处理电路34C根据相位差像素数据生成第1相位差图像及第2相位差图像(参考图5)，计算所生成的第1相位差图像与第2相位差图像的偏移量α(参考图5)。并且，第2测距系统处理电路34C根据计算出的偏移量α，计算从智能设备10至摄像区域为止的距离。若进行具体说明，则第2测距系统处理电路34C通过利用将偏移量α作为独立变量且将距离作为从属变量的运算式，计算从智能设备10至摄像区域内的物体为止的距离。
另外，在此，例示了运算式，但本发明的技术并不限于此，第2测距系统处理电路34C也可以通过利用将偏移量α和距离建立对应关联而得的表，导出从智能设备10至摄像区域为止的距离。
CPU15A从第1测距系统处理电路34B获取通过第1测距系统处理电路34B测定出的距离(以下，称为“第1距离”)，并从第2测距系统处理电路34C获取通过第2测距系统处理电路34C测定出的距离(以下，称为“第2距离”)。
作为一例，如图10所示，在存储装置15B存储有测距摄像处理程序70。CPU15A从存储装置15B读出测距摄像处理程序70，并执行所读出的测距摄像处理程序70，由此作为第1测距控制部15A1、第1距离获取部15A2、时间序列分布获取部15A3、判定部15A4及执行部15A5进行动作。
在此，参考图11，对通过智能设备10对包含对象被摄体(图11所示的例子中，人物)98和整个穿衣镜100的摄像区域(以下，还称为“镜子包含摄像区域”)进行第1测距的情况进行说明。若在将镜子包含摄像区域纳入照射角度θ2的状态下通过触摸面板48接收到测距摄像开始指示，则第1测距控制部15A1将第1测距开始信号输出至光照射器38B及受光器18。若从第1测距控制部15A1输入第1测距开始信号，则光照射器38B照射激光束。在受光器18中，若从第1测距控制部15A1输入第1测距开始信号，则第1测距系统处理电路34B根据由从CPU15A获取的照射定时信号表示的照射定时和受光定时来计算第1距离。
另外，在此，作为照射定时，采用从第1测距控制部15A1向受光器18输入第1测距开始信号的定时起经过规定时间的时点的定时。在此，关于规定时间，例如，采用作为从输出第1测距开始信号的时点至从光照射器38B照射激光束为止所需的时间，通过基于实机的试验和/或计算机模拟等而预先导出的时间。
若从光照射器38B对镜子包含摄像区域照射激光束，则作为一例，如图12所示，由受光器18的第1测距系统划分区域26N2接收来自对象被摄体98的IR反射光(以下，还称为“对象被摄体IR反射光”)和来自穿衣镜100的IR反射光(以下，还称为“镜面IR反射光”)。由第1测距系统划分区域26N2内的一部分IR像素(以下，还称为“特定IR像素”)接收对象被摄体IR反射光。若由特定IR像素仅接收到对象被摄体IR反射光，则第1测距系统处理电路34B将由特定IR像素接收到对象被摄体IR反射光的定时用作上述受光定时，由此能够计算从智能设备10至对象被摄体98为止的距离作为第1距离。
但是，根据穿衣镜100的设置条件，即，根据设置有穿衣镜100的位置及穿衣镜100的镜面100A的形状以及镜面100A的角度等，激光束相对于镜面100A的全反射光也作为镜面IR反射光而被特定IR像素接收。将从光照射器16照射的激光束的强度设为“100”时，对象被摄体IR反射光的强度为10～20左右，而激光束相对于镜面100A的全反射光的强度为40～50左右。
在此，假设在作为与基于光照射器16的激光束的照射对应而接收IR反射光的期间来预先设定的受光期间(以下，还简称为“受光期间”)内，由特定IR像素以不同定时接收到的多个IR反射光中，根据由特定IR像素接收到最大强度的IR反射光的定时进行测距时，可想到会根据由特定IR像素接收到镜面IR反射光的定时进行测距。这意味着在用户希望作为测距对象的物体为对象被摄体的情况下，进行用户不希望的测距即误测距。即，测定从智能设备10至用户不希望作为测距对象物体的物体(在图12所示的例子中，镜面100A)为止的距离而不是测定从智能设备10至对象被摄体98为止的距离。
因此，为了避免这样的误测距，作为一例，如图13所示，第1测距系统处理电路34B具备IR像素数据获取部34B1、时间序列分布生成部34B2、受光定时确定部34B3及第1距离测定部34B4。另外，按每个IR像素设置有IR像素数据获取部34B1、时间序列分布生成部34B2、受光定时确定部34B3及第1距离测定部34B4。以下，为了便于说明，关于第1测距，着眼于特定IR像素(参考图12～图14)进行说明。
第1测距控制部15A1将照射定时信号输出至IR像素数据获取部34B1、时间序列分布生成部34B2及第1距离测定部34B4。并且，第1测距控制部15A1将规定使IR像素数据获取部34B1从光电转换元件26获取IR像素数据的定时的获取定时信号输出至IR像素数据获取部34B1。获取定时信号例如以规定的时间间隔(例如，受光期间的数十分之一或数百分之一左右的时间间隔)输出至IR像素数据获取部34B1。
若从第1测距控制部15A1输入照射定时信号且输入获取定时信号，则IR像素数据获取部34B1从光电转换元件26获取IR像素数据。若从第1测距控制部15A1输入照射定时，则时间序列分布生成部34B2生成时间序列分布，所述时间序列分布中，以时间序列规定根据在从第1测距控制部15A1输入照射定时的时点开始的受光期间内由IR像素数据获取部34B1获取的多个IR像素数据表示的IR反射光的强度。在时间序列分布中，横轴表示时间，纵轴表示强度。另外，在此，多个IR像素数据是本发明的技术所涉及的“多个信号”的一例。关于时间序列分布的详细内容，在后面进行叙述。
IR反射光的强度与IR像素数据的信号电平(强度)具有一对一的关系，IR反射光的强度根据IR像素数据的信号电平来确定。因此，以时间序列规定IR反射光的强度的时间序列分布与IR像素数据的信号电平的时间序列分布等同。并且，在本第1实施方式中，IR反射光的强度由IR反射光的绝对值量确定，但本发明的技术并不限于此，IR反射光的强度也可以偏移基于环境光的噪声成分(例如，环境光中包含的IR光)的强度的量。此时，例如，整个时间序列分布偏移基于环境光的噪声成分的强度的量即可。
在由时间序列分布生成部34B2生成的时间序列分布中，以时间序列表示由从特定IR像素获得的IR像素数据表示的IR反射光的强度。受光定时确定部34B3根据由时间序列分布生成部34B2生成的时间序列分布，确定用于第1测距的受光定时(以下，还称为“第1测距用受光定时”)。在受光定时确定部34B3中对时间序列分布适用基准阈值。基准阈值是作为来自标准被摄体(例如，除镜面及光泽面以外的特定的被摄体)的IR反射光的强度的下限值，通过实机和/或计算机模拟等预先导出的值。基准阈值是随着受光定时延迟而减小的值。在图13所示的例子中，基准阈值随着时间的经过而逐渐(例如，指数函数地)减小。若时间序列分布中仅存在1个超过基准阈值的强度的IR反射光，则受光定时确定部34B3将超过基准阈值的强度的IR反射光的受光定时确定为第1测距用受光定时。
并且，在时间序列分布中存在多个超过基准阈值的强度的IR反射光时，受光定时确定部34B3将与在受光期间内由IR像素数据获取部34B1获取的多个IR像素数据中，根据多个IR像素数据的关系和由多个IR像素数据表示的多个IR反射光的强度选择的IR像素数据对应的受光定时确定为第1测距用受光定时。多个IR像素数据的关系及多个IR反射光的强度由受光定时确定部34B3根据由时间序列分布生成部34B2生成的时间序列分布来确定。另外，关于在时间序列分布中存在多个超过基准阈值的强度的IR反射光时的第1测距用受光定时的确定方法的详细内容，在后面进行叙述。
第1距离测定部34B4根据由从第1测距控制部15A1输入的照射定时信号表示的照射定时和由受光定时确定部34B3确定的第1测距用受光定时来测定第1距离。第1距离是光速与激光束的飞行时间的乘积的二分之一。激光束的飞行时间是从照射定时至第1测距用受光定时为止的时间。
在图14所示的例子中，时间序列分布中包含镜面IR反射光、对象被摄体IR反射光及噪声光(例如，环境光中包含的IR光等噪声成分)的各强度，在受光期间的时间轴上，由特定IR像素首先接收镜面IR反射光，接着接收噪声光，然后接收对象被摄体IR反射光。而且，镜面IR反射光的强度及对象被摄体IR反射光超过基准阈值。
此时，受光定时确定部34B3将在时间序列分布中由特定IR像素接收到强度第二大的IR反射光的定时确定为第1测距用受光定时。即，在图14所示的例子中，在时间序列分布中强度第二大的IR反射光是对象被摄体IR反射光，因此对象被摄体IR反射光的受光定时被确定为第1测距用受光定时。由此，避免根据镜面IR反射光的受光定时进行第1测距及根据噪声光进行第1测距。
作为一例，如图15所示，第1距离获取部15A2获取由第1距离测定部34B4测定的第1距离。并且，时间序列分布获取部15A3从时间序列分布生成部34B2获取时间序列分布。由时间序列分布获取部15A3获取的时间序列分布是用于确定在由第1距离获取部15A2获取的第1距离的测定中使用的第1测距用受光定时的时间序列分布。
判定部15A4判定由时间序列分布获取部15A3获取的时间序列分布是否为特定的时间序列分布。关于该判定方法的详细内容，在后面进行叙述。
通过判定部15A4判定为由时间序列分布获取部15A3获取的时间序列分布不是特定的时间序列分布时，执行部15A5执行伴随基于由第1距离获取部15A2获取的第1距离的聚焦控制的摄像(以下，还称为“第1摄像处理”)。并且，在判定为由时间序列分布获取部15A3获取的时间序列分布是特定的时间序列分布时，执行部15A5执行特定处理。另外，关于第1摄像处理及特定处理的详细内容，在后面进行叙述。
在此，对基于判定部15A4的判定方法进行说明。作为一例，如图16所示，判定部15A4对由时间序列分布获取部15A3获取的时间序列分布适用第1阈值及第2阈值。第1阈值是作为对光泽面(例如，作为平均镜面而预先设定的镜面)照射的激光束被光泽面全反射时的IR反射光的强度的下限值，通过实机和/计算机模拟等预先导出的值。第1阈值与上述基准阈值相同地随着时间的经过而逐渐(例如，指数函数地)减小。并且，第1阈值是与上述基准阈值相同地随着受光定时延迟而减小的值。第2阈值是与上述基准阈值(参考图13及图14)相同的值。并且，在受光期间的时间轴上的同一时刻，第2阈值是小于第1阈值的值。
判定部15A4判定由时间序列分布获取部15A3获取的时间序列分布中是否包含第1阈值以上的强度和小于第1阈值且为第2阈值以上的强度，由此判定由时间序列分布获取部15A3获取的时间序列分布是否为特定的时间序列分布。在图16所示的例子中，镜面IR反射光的强度为第1阈值以上，对象被摄体IR反射光的强度小于第1阈值且为第2阈值以上，因此通过判定部15A4判定为由时间序列分布获取部15A3获取的时间序列分布是特定的时间序列分布。另外，在图16所示的例子中，镜面IR反射光的强度与通过镜面IR反射光的受光而生成的IR像素数据(信号)的强度对应。通过镜面IR反射光的受光而生成的IR像素数据(信号)的强度是本发明的技术所涉及的“第1强度”的一例。同样地，对象被摄体IR反射光的强度与通过对象被摄体IR反射光的受光而生成的IR像素数据(信号)的强度对应。通过对象被摄体IR反射光的受光而生成的IR像素数据(信号)的强度是本发明的技术所涉及的“第2强度”的一例。
作为一例，如图17所示，在存储装置15B存储有对焦位置导出表72。对焦位置导出表72中，从智能设备10至摄像区域为止的距离和对焦位置建立有对应关联。在第1摄像处理中，首先，执行部15A5通过利用第1距离来对受光器18进行聚焦控制(主动方式聚焦控制)。即，由执行部15A5从对焦位置导出表72导出与第1距离对应的对焦位置，并以使聚焦透镜30B移动至所导出的对焦位置的方式控制受光器18的电机62。然后，由执行部15A5控制受光器18的可见光图像用划分区域26N1，由此通过可见光图像用划分区域26N1拍摄摄像区域，通过拍摄而获得的可见光图像数据从可见光图像用划分区域26N1输出至可见光像素数据处理电路34A。可见光像素数据处理电路34A根据从可见光图像用划分区域26N1输入的可见光图像数据，生成表示摄像区域的第1可见光图像，并将所生成的第1可见光图像输出至图像存储器42。在图像存储器42存储有第1可见光图像。
在此，参考图18对由执行部15A5执行的特定处理进行说明。作为一例，如图18所示，特定处理是例如包含第2测距开始处理、第2距离获取处理、第2摄像处理及图像选择画面显示处理的处理。另外，特定处理并不限于这些，也可以是根据由IR像素接收到小于第1阈值且为第2阈值以上的强度的反射光(对象被摄体IR反射光)受光定时来测定第1距离的处理。
作为一例，如图19所示，在第2测距开始处理中，若由触摸面板48接收到测距摄像开始指示，则执行部15A5将第2测距开始信号输出至受光器18。另外，图19所示的例子中，示出了镜子包含摄像区域纳入于视场角θ1内的状态，，但本发明的技术并不限定于此，也可以是除镜子包含摄像区域以外的摄像区域。
若从执行部15A5向受光器18输入第2测距开始信号，则第2测距系统划分区域26N3拍摄镜子包含摄像区域，并将与镜子包含摄像区域相应的相位差像素数据输出至第2测距系统处理电路34C。第2测距系统处理电路34C根据从第2测距系统划分区域26N3输入的相位差像素数据来生成第1相位差图像及第2相位差图像(参考图6)，并根据所生成的第1相位差图像及第2相位差图像计算偏移量α(参考图6)。第2测距系统处理电路34C根据计算出的偏移量α计算第2距离。在第2距离获取处理中，执行部15A5从第2测距系统处理电路34C获取第2距离。
作为一例，如图20所示，第2摄像处理是指伴随基于第2距离的聚焦控制的摄像。在第2摄像处理中，也与第1摄像处理同样地由执行部15A5从对焦位置导出表72导出与第2距离对应的对焦位置，并以使聚焦透镜30B移动至所导出的对焦位置的方式控制受光器18的电机62。然后，与第1摄像处理同样地由可见光图像用划分区域26N1拍摄摄像区域，通过拍摄而获得的可见光像素数据从可见光图像用划分区域26N1输出至可见光像素数据处理电路34A。可见光像素数据处理电路34A根据从可见光图像用划分区域26N1输入的可见光像素数据，生成表示摄像区域的第2可见光图像，并将所生成的第2可见光图像输出至图像存储器42。在图像存储器42存储有第2可见光图像。
在图像选择画面显示处理中，由执行部15A5从图像存储器42获取第1可见光图像及第2可见光图像。然后，执行部15A5根据第1可见光图像、第2可见光图像、由第1距离获取部15A2获取的第1距离(参考图15)、在第2距离获取处理中由执行部15A5获取的第2距离(参考图19)及各种消息来生成图像选择画面，并将所生成的图像选择画面显示于显示器46。在图像选择画面排列显示有第1可见光图像和第2可见光图像。并且，在第1可见光图像的下方显示有“主动方式”的消息。消息“主动方式”是表示第1可见光图像是通过伴随根据基于主动方式的测距(第1测距)的测距结果的聚焦控制的摄像而获得的图像的消息。并且，在第2可见光图像的下方显示有“被动方式”的消息。消息“被动方式”是表示第2可见光图像是通过伴随根据基于被动方式的测距(第2测距)的测距结果的聚焦控制的摄像而获得的图像的消息。
另外，在本第1实施方式中，作为特定处理中包含的处理，例示了第1摄像处理、第2摄像处理及图像选择画面显示处理，但本发明的技术并不限定于此，也可以是第1摄像处理、第2摄像处理及图像选择画面显示处理中的一个处理或两个处理。并且，在本第1实施方式中，示出了“主动方式”和“被动方式”的显示例，但并非必须是“主动方式”和“被动方式”的显示，只要用户能够理解测距方式的不同，则可以是任意显示。例如，进行激光测距和相位差测距时，可以是“激光”的显示和“相位差”的显示，也可以显示表示测距方式的图标等。并且，也可以显示焦点位置来代替测距方式的显示。例如，可以是“焦点位置：跟前”和“焦点位置：远处”，也可以显示为“焦点位置：物体”和“焦点位置：映在物体的像”等。或者，也可以组合表示测距方式的字符及图标以及焦点位置中的两个以上来显示。
并且，在第1可见光图像中，建立对应关联而显示有基于第1测距的测距结果即“1.8m”的数值，在第2可见光图像中，建立对应关联而显示有基于第2测距的测距结果即“1.9m”的数值。并且，在图像选择画面中，作为催促用户选择第1可见光图像及第2可见光图像中的任一个的消息，对用户显示有“请选择任一个图像”的消息。
而且，在图像选择画面中显示有强反射光通知消息。强反射光通知消息是指，由判定部15A4(参考图15)判定为由时间序列分布获取部15A3(参考图15)获取的时间序列分布是特定的时间序列分布时(例如，图16所示，时间序列分布中包含第1阈值以上的强度时)，对用户通知由时间序列分布获取部15A3获取的时间序列分布中包含第1阈值以上的强度的消息。在图20所示的例子中，作为强反射光通知消息，示出有“检测到强反射光，但利用强反射光以外的反射光进行了测距。”的消息。在此，强反射光意味着第1阈值以上的强度的IR反射光。作为强反射光的一例，可举出镜面IR反射光(参考图12、图14及图16)。除此以外，即使是来自除镜面100A以外的光泽面的IR反射光，若是第1阈值以上的强度的IR反射光，则在图像选择画面显示强反射光通知消息。另外，图像选择画面显示处理是本发明的技术所涉及的“通知多个信号的强度中包含第1强度的处理”的一例。
显示于图像选择画面的各种消息并不限定于上述消息，例如可以设为在基于第1测距的测距结果(第1距离)与基于第2测距的测距结果(第2距离)不同时，还显示向用户通知该内容的消息(例如，“测距结果不同”)的消息。
并且，在此，举出可视地显示各种消息的方式例进行了说明，但并不限于此，也可以设为与可视显示并行地通过声音输出各种消息。若图像选择画面显示于显示器46，则用户经由触摸面板48选择第1可见光图像或第2可见光图像。在图20所示的例子中，示出了用户的手指经由触摸面板48选择了第1可见光图像的方式。
作为一例，如图21所示，在图像选择画面显示于显示器46的状态下用户的手指经由触摸面板48选择了第1可见光图像时，第1测距控制部15A1通过控制测距摄像装置14，使第1测距系统处理电路34B进行第1测距。并且，执行部15A5执行第1摄像处理及第1可见光图像显示处理。在此，执行部15A5利用通过进行第1测距而获得的新的第1距离执行第1摄像处理。第1可见光图像显示处理是将通过执行第1摄像处理而获得的最新的第1可见光图像显示于显示器46的处理。
另外，在此，举出了在选择了第1可见光图像的条件下，重新进行第1测距及第1摄像处理，通过进行第1摄像处理而获得的最新的第1可见光图像显示于显示器46的方式例，但这仅仅是一例。例如，也可以在选择了第1可见光图像的条件下，将所选择的第1可见光图像存储于存储装置15B和/或存储卡等存储介质。并且，可以设为如下，即，根据由接收设备47接收到的指示(由用户发出的指示)，选择伴随基于通过所选择的测距方式测定出的距离的聚焦控制的摄像和所选择的图像(例如，第1可见光图像或第2可见光图像)的保存。
若由执行部15A5执行第1可见光图像显示处理，则在图像选择画面内，第2可见光图像、数值“1.9m”、消息“被动方式”、消息“请选择任一个图像”及强反射光通知消息不显示于画面内。然后，作为通过进行最新的第1测距而获得的最新的测距结果的第1距离(图21所示的例子中，数值“1.8m”)显示于显示器46，通过执行第1摄像处理而获得的第1可见光图像显示于显示器46且消息“主动方式”也显示于第1可见光图像的下方。并且，第1距离、第1可见光图像及消息“主动方式”的显示区域比图像选择画面内的第1距离、第1可见光图像及消息“主动方式”的显示区域放大。另外，此时也可以设为如下，即，通过进行第1测距，由判定部15A4(参考图15)判定为由时间序列分布获取部15A3(参考图15)获取的时间序列分布是特定的时间序列分布时，强反射光通知消息显示于显示器46。
作为一例，如图22所示，在图像选择画面显示于显示器46的状态下用户的手指经由触摸面板48选择了第2可见光图像时，执行部15A5通过执行第2测距开始处理、第2距离获取处理及第2摄像处理，使第2测距系统处理电路34C进行第2测距。并且，执行部15A5执行第2摄像处理及第2可见光图像显示处理。在此，执行部15A5利用通过进行第2测距而获得的新的第2距离执行第2摄像处理。第2可见光图像显示处理是将通过执行第2摄像处理而获得的最新的第2可见光图像显示于显示器46的处理。
若由执行部15A5执行第2可见光图像显示处理，则在图像选择画面内，第1可见光图像、数值“1.8m”、消息“主动方式”、消息“测距结果不同”及消息“请选择任一个图像”不显示于画面内。然后，作为通过进行最新的第2测距而获得的最新的测距结果的第2距离(图22所示的例子中，数值“1.9m”)显示于显示器46，通过执行第2摄像处理而获得的第2可见光图像显示于显示器46且消息“被动方式”也显示于第2可见光图像的下方。并且，第2距离、第2可见光图像及消息“被动方式”的显示区域比图像选择画面内的第2距离、第2可见光图像及消息“被动方式”的显示区域放大。
接着，对智能设备10的本发明的技术所涉及的部分的作用进行说明。
首先，参考图23对由第1测距系统处理电路34B执行的第1测距系统处理进行说明。另外，图23是表示从第1测距控制部15A1向第1测距系统处理电路34B输入有照射定时信号时由第1测距系统处理电路34B执行的第1测距系统处理的流程的一例的流程图。
在图23所示的第1测距系统处理中，首先，在步骤ST100中，IR像素数据获取部34B1判定是否从第1测距控制部15A1输入有获取定时信号。在步骤ST100中，从第1测距控制部15A1未输入获取定时信号时，判定被否定，再次进行步骤ST100的判定。在步骤ST100中，从第1测距控制部15A1输入有获取定时信号时，判定被肯定，第1测距系统处理向步骤ST102过渡。
在步骤ST102中，IR像素数据获取部34B1从光电转换元件26获取IR像素数据，之后，第1测距系统处理向步骤ST104过渡。
假设根据IR像素接收到如下IR反射光的受光定时和照射定时来测定距离时，有可能测定到基于IR像素接收到来自不希望作为测距对象的光泽性物体(图12所示的例子中，镜面100A)的IR反射光的定时和照射定时的距离，所述IR反射光由在与基于光照射器16的激光束的照射对应的受光期间内的多个受光定时(例如，图14所示的“时间间隔”)通过第1测距系统划分区域26N2生成的多个IR像素数据中信号电平最高的IR像素数据表示。
因此，在第1测距系统处理中，执行步骤ST104～步骤ST110的处理。首先，在步骤ST104中，时间序列分布生成部34B2判定开始第1测距系统处理后是否经过了受光期间。在步骤ST104中，开始第1测距系统处理后未经过受光期间时，判定被否定，第1测距系统处理向步骤ST100过渡。在步骤ST104中，开始第1测距系统处理后经过了受光期间时，判定被肯定，第1测距系统处理向步骤ST106过渡。
在步骤ST106中，时间序列分布生成部34B2根据通过执行步骤ST100～步骤ST104的处理而由IR像素数据获取部获取的IR像素数据来生成时间序列分布(参考图14)。在执行步骤ST106之后，第1测距系统处理向步骤ST108过渡。
在步骤ST108中，受光定时确定部34B3根据在步骤ST106生成的时间序列分布确定第1测距用受光定时。在本步骤ST108中，若时间序列分布中仅存在1个超过基准阈值的强度的IR反射光，则受光定时确定部34B3将超过基准阈值的强度的IR反射光的受光定时确定为第1测距用受光定时。并且，时间序列分布中存在多个超过基准阈值的强度的IR反射光时，受光定时确定部34B3将由特定IR像素接收到时间序列分布中强度第二大的IR反射光的定时确定为第1测距用受光定时。在执行步骤ST108的处理之后，第1测距系统处理向步骤ST110过渡。
在步骤ST110中，第1距离测定部34B4根据由从第1测距控制部15A1输入的照射定时信号表示的照射定时和在步骤ST108中确定的第1测距用受光定时来测定第1距离。在执行步骤ST110的处理之后，第1测距系统处理结束。
接着，参考图24A～图24C对由CPU15A执行的测距摄像处理进行说明。另外，图24A～图24C是表示由CPU15A根据测距摄像处理程序70执行的测距摄像处理的流程的一例的流程图。
在图24A所示的测距摄像处理中，首先，在步骤ST200中，时间序列分布获取部15A3判定是否由时间序列分布生成部34B2生成了时间序列分布。在步骤ST200中，时间序列分布生成部34B2未生成时间序列分布时，判定被否定，再次进行步骤ST200的判定。在步骤ST200中，由时间序列分布生成部34B2生成了时间序列分布时，判定被肯定，测距摄像处理向步骤ST202过渡。
在步骤ST202中，时间序列分布获取部15A3从时间序列分布生成部34B2获取时间序列分布，之后，测距摄像处理向步骤ST204过渡。
在步骤ST204中，判定部15A4判定在步骤ST202中获取的时间序列分布是否为特定的时间序列分布。在步骤ST204中，在步骤ST202中获取的时间序列分布不是特定的时间序列分布时，判定被否定，测距摄像处理向图24B所示的步骤ST218过渡。在步骤ST204中，在步骤ST202中获取的时间序列分布是特定的时间序列分布时，判定被肯定，测距摄像处理向步骤ST205过渡。
在步骤ST205中，第1距离获取部15A2获取通过图23所示的步骤ST110测定出的第1距离。在执行步骤ST205的处理之后，测距摄像处理向步骤ST206过渡。
在步骤ST206中，执行部15A5执行伴随基于在步骤ST205中获取的第1距离的聚焦控制(主动方式聚焦控制)的摄像即第1摄像处理，之后，测距摄像处理向步骤ST208过渡。
步骤ST208～步骤ST212的处理是上述特定处理。在步骤ST208中，执行部15A5通过执行第2测距开始处理及第2距离获取处理来使第2测距系统处理电路34C进行第2测距，获取基于第2测距的测距结果即第2距离。在执行步骤ST208的处理之后，测距摄像处理向步骤ST210过渡。
在步骤ST210中，执行部15A5执行伴随基于在步骤ST208中获取的第2距离的聚焦控制(被动方式聚焦控制)的摄像即第2摄像处理。在执行步骤ST210的处理之后，测距摄像处理向步骤ST212过渡。
在步骤ST212中，执行部15A5执行图像选择画面显示处理。由此，根据在步骤ST205中获取的第1距离、通过执行步骤ST206的第1摄像处理而获得的第1可见光图像、在步骤ST208中获取的第2距离、通过执行步骤ST210的第2摄像处理而获得的第2可见光图像及上述各种消息来生成图像选择画面(参考图20)，并在显示器46显示图像选择画面。在执行步骤ST212的处理之后，测距摄像处理向步骤ST214过渡。
在图像选择画面显示有通过执行步骤ST206的第1摄像处理而获得的第1可见光图像及通过执行步骤ST210的第2摄像处理而获得的第2可见光图像。因此，在步骤ST214中，执行部15A5判定用户是否经由触摸面板48选择了显示于图像选择画面内的第1可见光图像及第2可见光图像中的任一个。在步骤ST214中，用户未经由触摸面板48选择显示于图像选择画面内的第1可见光图像及第2可见光图像中的任一个时，判定被否定，再次进行步骤ST214的判定。在步骤ST214中，用户经由触摸面板48选择了显示于图像选择画面内的第1可见光图像及第2可见光图像中的任一个时，判定被肯定，测距摄像处理向步骤ST216过渡。
在步骤ST216中，执行部15A5判定从图像选择画面内选择的图像是否为第1可见光图像。在步骤ST216中，从图像选择画面内选择的图像是第2可见光图像时，判定被否定，测距摄像处理向图24C所示的步骤226过渡。在步骤ST216中，从图像选择画面内选择的图像是第1可见光图像时，判定被肯定，测距摄像处理向图24B所示的步骤ST216过渡。
在图24B所示的步骤ST218中，执行部15A5判定是否到达摄像开始定时。摄像开始定时例如是指开始根据即时预览图像用的帧速率规定的1帧量的摄像的定时。例如，若即时预览图像用的帧速率为60fps，则摄像开始定时是每1/60秒的定时。另外，在此，将开始根据即时预览图像用的帧速率规定的1帧量的摄像的定时例示为摄像开始定时，但本发明的技术并不限定于此。例如，摄像开始定时可以是开始根据记录动态图像用的帧速率规定的1帧量的摄像的定时，也可以是由接收设备47接收到开始静止图像用的摄像的指示的定时。
在步骤ST218中，未到达摄像开始定时时，判定被否定，测距摄像处理向步骤ST222过渡。在步骤ST218中，到达摄像开始定时时，判定被肯定，测距摄像处理向步骤ST220过渡。
在步骤ST220中，执行部15A5利用最新的第1距离执行第1摄像处理。并且，执行部15A5利用通过执行第1摄像处理而获得的最新的第1可见光图像来执行第1可见光图像显示处理。另外，在此，最新的第1距离是指通过执行步骤ST110的处理来测定出的第1距离及通过执行后述的步骤ST224的处理来测定出的第1距离中的最新的第1距离。
在步骤ST222中，执行部15A5判定是否满足结束测距摄像处理的条件(以下，称为“结束条件”)。作为结束条件的一例，可举出由接收设备47接收到结束测距摄像处理的指示的条件。在步骤ST222中，不满足结束条件时，判定被否定，摄像处理向步骤ST224过渡。在步骤ST222中，满足结束条件时，判定被肯定，测距摄像处理结束。
在步骤ST224中，执行部15A5使第1测距系统处理电路34B进行第1测距。在此，第1测距例如是指与步骤ST100～步骤ST110的处理相同的处理。在执行步骤ST224的处理之后，测距摄像处理向步骤ST218过渡。
在图24C所示的步骤ST226中，执行部15A5判定是否到达摄像开始定时。在步骤ST226中，未到达摄像开始定时时，判定被否定，测距摄像处理向步骤ST232过渡。在步骤ST226中，到达摄像开始定时时，判定被肯定，测距摄像处理向步骤ST228过渡。
在步骤ST228中，执行部15A5通过执行第2测距开始处理及第2距离获取处理来使第2测距系统处理电路34C进行第2测距，获取基于第2测距的测距结果即第2距离。在执行步骤ST228的处理之后，测距摄像处理向步骤ST230过渡。
在步骤ST230中，执行部15A5利用通过进行步骤ST228的第2测距而获得的第2距离来执行第2摄像处理。并且，执行部15A5利用通过执行第2摄像处理而获得的最新的第2可见光图像来执行第2可见光图像显示处理。在执行步骤ST230的处理之后，测距摄像处理向步骤ST232过渡。
在步骤ST232中，执行部15A5判定是否满足结束条件。在步骤ST232中，不满足结束条件时，判定被否定，摄像处理向步骤ST226过渡。在步骤ST232中，满足结束条件时，判定被肯定，测距摄像处理结束。
如以上说明，在智能设备10中执行第1测距系统处理(参考图23)及测距摄像处理(参考图24A～图24C)。即，根据IR像素接收到如下IR反射光的定时(第1测距用受光定时)和照射定时来测定第1距离，所述IR反射光由在与基于光照射器16的激光束的照射对应的受光期间内的多个受光定时(例如，图14所示的“时间间隔”)通过第1测距系统划分区域26N2生成的多个IR像素数据中，根据多个IR像素数据的关系和由多个IR像素数据表示的多个IR反射光的强度来选择的IR像素数据表示。因此，根据本结构，能够避免由来自不希望作为测距对象的光泽性物体(图12所示的例子中，镜面100A)的反射光引起的误测距。
并且，在智能设备10中，作为第1测距用受光定时，采用与多个IR像素数据中信号电平第二大的IR像素数据相关的IR反射光的受光定时。因此，根据本结构，相较于将与多个IR像素数据中信号电平第二大的IR像素数据相关的IR反射光的受光定时采用为第1测距用受光定时的情况，能够精度良好地避免由来自不希望作为测距对象的光泽性物体的反射光引起的误测距。
并且，在智能设备10中在时间序列分布中包含第1阈值以上的强度及小于第1阈值且为第2阈值以上的强度时，通过执行部15A5执行特定处理。因此，根据本结构，有助于解决获得了基于来自用户不希望作为测距对象的光泽性物体的IR反射光的测距结果和基于来自用户希望作为测距对象的物体(图12所示的例子中，对象被摄体98)的IR反射光的测距结果时的诸多问题(例如，优先采用基于来自用户不希望作为测距对象的光泽性物体的IR反射光的测距结果的问题)。
并且，在智能设备10中，作为第1阈值，采用了随着受光定时的延迟而减小的值。因此，根据本结构，相较于第1阈值与受光定时无关地固定的情况，能够精度良好地确定基于来自光泽性物体的反射光的测距结果。
并且，在智能设备10中，在向用户提示的图像选择画面显示有强反射光通知消息。因此，根据本结构，能够使用户认识到接收到来自用户不希望作为测距对象的光泽性物体的IR反射光的情况。
并且，在智能设备10中，作为特定处理进行第2测距(参考图24A的步骤ST208)。因此，根据本结构，相较于虽然由时间序列分布生成部34B2生成的时间序列分布是特定的时间序列分布但仍进行第1测距的情况，能够精度良好地测定用户所希望的测距对象(图12所示的例子中，对象被摄体98)为止的距离。
并且，在智能设备10中，进行基于通过第1测距而获得的第1距离的主动方式聚焦控制。因此，根据本结构，能够满足比被动方式聚焦控制更喜欢主动方式聚焦控制的用户的需求。
并且，在智能设备10中，分别对第1测距系统划分区域26N2中包含的多个IR像素，根据照射定时和第1测距用受光定时来进行第1距离的测定。因此，根据本结构，相较于仅对单一的IR像素，根据照射定时和第1测距用受光定时来进行第1距离的测定的情况，能够在大范围内进行第1距离的测定。并且，还能够生成距离图像。
并且，在智能设备10中，包含通过在基于第1距离的聚焦控制下进行摄像而获得的第1可见光图像和通过在基于第2距离的聚焦控制下进行摄像而获得的第2可见光图像的图像选择画面显示于显示器46。然后，在图像选择画面显示有催促用户选择第1可见光图像或第2可见光图像的消息。因此，根据本结构，相较于没有选择第1可见光图像及第2可见光图像的余地的情况，能够有助于提高可用性。
另外，在上述第1实施方式中，执行部15A5通过图像选择画面催促用户选择第1可见光图像或第2可见光图像，但本发明的技术并不限定于此，也可以选择第1可见光图像及第2可见光图像双方。此时，例如可以交替进行第1摄像处理和第2摄像处理，通过进行各摄像处理而获得的第1可见光图像及第2可见光图像分别作为即时预览图像或静止图像等显示于显示器46。
并且，在上述第1实施方式中，举出用户经由触摸面板48从图像选择画面选择第1可见光图像或第2可见光图像的方式例进行了说明，但本发明的技术并不限定于此。例如，第1距离和第2距离不同时，也可以使用户事先选择优先使用主动方式的测距和被动方式的测距中的哪一个，所述主动方式的测距是伴随基于通过第1测距而获得的测距结果的聚焦控制的摄像，所述被动方式的测距是伴随基于通过第2测距而获得的测距结果的聚焦控制的摄像。
并且，在上述第1实施方式中，作为光照射器16的测距用光例示了激光束，但本发明的技术并不限定于此。例如，测距用的光可以是超辐射光等具有指向性的光，也可以是从氙闪光灯光源发出的光，还可以是从LED发出的光。
并且，在上述第1实施方式中，可见光图像用划分区域26N1、第1测距系统划分区域26N2及第2测距系统划分区域26N3通过光电转换元件26被单芯片化，但本发明的技术并不限定于此，也可以是多个可见光像素被单芯片化，多个相位差像素被单芯片化，多个IR像素被单芯片化。并且，也可以是多个可见光像素和多个相位差像素被单芯片化，多个IR像被单芯片化。如此，多种感光像素按每个种类被芯片化而搭载于智能设备10时，对各芯片在被摄体侧(物体侧)设置物镜、聚焦透镜及光圈等光学系统即可。
并且，在上述第1实施方式中，举出测距摄像装置14内置于智能设备10的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以在通常的智能设备即未内置测距摄像装置14的智能设备的外部安装测距摄像装置14。
并且，在上述第1实施方式中，举出UI系统设备44组装于智能设备10的方式例进行了说明，但也可以将UI设备44中包含的多个构成要件中的至少一部分安装于智能设备10的外部。并且，UI系统设备44中包含的多个构成要件中的至少一部分也可以作为独立的个体，通过与外部I/F52连接来使用。
并且，在图1所示的例子中，例示了智能设备10，但本发明的技术并不限定于此。即，对内置有测距摄像装置14的各种电子设备(例如，透镜可换式相机、透镜固定式相机、个人计算机和/或可穿戴终端装置等)也能够适用本发明的技术，即使是这些电子设备，也可获得与智能设备10相同的作用及效果。
并且，在上述第1实施方式中，例示了显示器46，但本发明的技术并不限定于此。例如，也可以与显示器46并用设置于智能设备10外部的显示器。
并且，在上述第1实施方式中，将光电转换元件26和信号处理电路34设为分体，但也可以利用光电转换元件26和信号处理电路34被单芯片化的层叠型摄像元件。并且，可以去除信号处理电路34的至少一部分，使CPU15A担负信号处理电路34的功能。
并且，在上述第1实施方式中，举出从光电转换元件驱动器32向光电转换元件26供给摄像定时信号的方式例进行了说明，但本发明的技术并不限定于此。例如，可以去除光电转换元件驱动器32，此时，使CPU15A担负光电转换元件驱动器32的功能即可。
并且，在上述第1实施方式中，作为本发明的技术所涉及的“图像使用型测距”的一例，例示了第2测距，即，根据从相位差像素获得的相位差图像来测定距离的相位差图像使用测距，但本发明的技术并不限定于此。例如，可以代替利用相位差像素的测距，进行利用立体相机的测距，即，根据立体图像来测定距离的立体图像使用测距，也可以进行利用脸部检测的测距，即，根据示出已知大小的物体的物体图像来测定距离的物体图像使用测距。在利用立体相机的测距中，通过利用从立体相机获得的一对图像(通过以立体摄像方式拍摄而获得的立体图像)的视差来测定被摄体为止的距离。并且，在利用脸部检测的测距中，通过利用检测出的脸部图像的大小相对于1帧量的图像的大小的比例等来测定被摄体为止的距离。在此，例示了脸部图像的大小，但本发明的技术并不限于此，只要是示出已知大小的物体(例如，特定的汽车)的物体图像即可。即使在如此利用立体图像使用测距和/或物体图像使用测距的情况下，也能够获得与利用相位差图像使用测距时相同的效果。
并且，在上述第1实施方式中，举出G滤波器、R滤波器及B滤波器还具有作为截止红外光的红外光截止滤波器的功能的方式例进行了说明，但本发明的技术并不限于此，也可以将分别与R像素、G像素及B像素对应的各滤色器设为使红外光也透射的滤色器，对一个滤色器配置基于可见光像素用光电二极管和IR像素用光电二极管(例如，InGaAs APD)的一对光电二极管。
并且，在上述第1实施方式中，举出并用可见光图像用划分区域26N1和第2测距系统划分区域26N3的方式例进行了说明，但本发明的技术并不限定于此。例如，可以代替可见光图像用划分区域26N1及第2测距系统划分区域26N3，设为选择性地生成并读出可见光像素数据和相位差像素数据的区域传感器。此时，在区域传感器以二维状排列有多个感光像素。作为区域传感器中包含的感光像素，例如利用不具有遮光部件的独立的一对光电二极管。生成并读出可见光像素数据时，通过感光像素的整个区域(一对光电二极管)进行光电转换，生成并读出相位差像素数据时(例如，进行被动方式的测距时)，通过一对光电二极管中的其中一个光电二极管进行光电转换。在此，一对光电二极管中的其中一个光电二极管是与在上述第1实施方式中说明的第1相位差像素L对应的光电二极管，一对光电二极管中的其中一个光电二极管是与在上述第1实施方式中说明的第2相位差像素R对应的光电二极管。另外，可以设为通过区域传感器中包含的所有感光像素选择性地生成并读出可见光像素数据和相位差像素数据，但并不限于此，也可以设为通过区域传感器中包含的一部分感光像素选择性地生成并读出可见光像素数据和相位差像素数据。
并且，在上述第1实施方式中，举出采用由特定IR像素接收到时间序列分布中强度第二大的IR反射光的定时作为第1测距用受光定时的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以不采用强度超过第1阈值的IR反射光(图16所示的例子中，镜面IR反射光)及小于第2阈值的噪声光的受光定时作为第1测距用受光定时，而是采用小于第1阈值且为第2阈值以上的强度的IR反射光(图16所示的例子中，对象被摄体IR反射光)作为第1测距用受光定时。此时，与上述第1实施方式同样地避免根据镜面IR反射光的受光定时进行第1测距及根据噪声光进行第1测距。
并且，在上述第1实施方式中，举出如图23所示那样进行第1测距之后进行图24A的步骤ST208的第2测距的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以由CPU15A并行进行第1测距和第2测距，作为特定处理进行包括基于第2测距的测距结果的处理的处理。在此，作为基于第2测距的测距结果的处理，例如可举出进行伴随基于通过进行第2测距而获得的第2距离的聚焦控制的摄像和/或使显示器46显示第2距离的处理等。如此，并行进行第1测距和第2测距，作为特定处理，进行包括基于第2测距的测距结果的处理的处理，由此相较于在进行第1测距之后进行第2测距的情况，能够更早地进行基于第2测距的测距结果即第2距离的处理。
并且，在上述第1实施方式中，未考虑基于环境光的噪声成分而设定了第1阈值及第2阈值，但本发明的技术并不限于此，也可以根据基于环境光的噪声成分而设定第1阈值及第2阈值。此时，例如，作为环境光中包含的IR光的强度的上限值，以成为比通过基于实机的试验和/或计算机模拟等预先导出的值高的值的方式设定第1阈值及第2阈值即可。因此，根据本结构，相较于不考虑基于环境光的噪声成分而设定第1阈值及第2阈值的情况，能够避免基于环境光的噪声成分作为对象被摄体IR反射光而被误检测的情况。
[第2实施方式]
在上述第1实施方式中，举出执行基于第2测距即图像使用型测距的测距结果的第2摄像处理的方式例进行了说明，但在本第2实施方式中，对进行伴随对比度AF的摄像来代替第2摄像处理的情况进行说明。另外，在本第2实施方式中，对与上述第1实施方式中的说明的构成要件相同的构成要件标注相同符号并省略说明，对与上述第1实施方式不同的部分进行说明。
作为一例，如图25所示，在本第2实施方式所涉及的智能设备500中，在存储装置15B中存储有测距摄像处理程序570。CPU15A从存储装置15B读出测距摄像处理程序570。然后，CPU15A执行从存储装置15B读出的测距摄像处理程序570，由此作为第1测距控制部15A1、第1距离获取部15A2、时间序列分布获取部15A3、判定部15A4、执行部15A5、对焦位置计算部15A6及对比度AF方式摄像控制部15A7进行动作。
作为一例，如图26所示，对比度AF方式摄像控制部15A7在使受光器18进行对比度AF方式的摄像时，对受光器18及对焦位置计算部15A6输出摄像开始信号。对比度AF方式摄像控制部15A7通过对受光器18输出摄像开始信号，使可见光图像用划分区域26N1(参考图5)以规定的帧速率(例如，60fps)进行摄像，使可见光像素数据处理电路34A生成表示摄像区域的第3可见光图像。可见光像素数据处理电路34A将第3可见光图像输出至图像存储器42。在图像存储器42中，存储有第3可见光图像，每次从可见光像素数据处理电路34A输入第3可见光图像时，图像存储器42内的第3可见光图像被更新。另外，第3可见光图像是本发明的技术所涉及的“被摄体图像”的一例。
并且，对比度AF方式摄像控制部15A7与摄像开始信号的输出并行地对受光器18及对焦位置计算部15A6输出电机控制信号。电机控制信号是用于使聚焦透镜30B沿着光轴L2往复动作(摆动)的信号，输入至受光器18的电机驱动器64。电机驱动器64通过根据所输入的电机控制信号驱动电机62来使聚焦透镜30B摆动(参考图8)。另一方面，对焦位置计算部15A6利用从对比度AF方式摄像控制部15A7输入摄像开始信号起至当前时点为止所输入的电机控制信号来计算聚焦透镜30B在光轴L2上的当前位置。
图像存储器42内的第3可见光图像每次被更新时，对比度AF方式摄像控制部15A7从图像存储器42获取第3可见光图像，并计算所获取的第3可见光图像的对比度值。然后，对比度AF方式摄像控制部15A7搜索第3可见光图像的对比度的最大值，在搜索到最大值的时点，对对焦位置计算部15A6输出最大值达到信号。最大值达到信号是表示第3可见光图像的对比度达到最大值的信号。
若输入最大值达到信号，则对焦位置计算部15A6利用从输入摄像开始信号起至当前时点为止所输入的电机控制信号，计算聚焦透镜30B在光轴L2上的当前位置作为对焦位置。对焦位置是指对焦于摄像区域中包含的被摄体(图26所示的例子中，对象被摄体98)的对焦位置。在此，对焦位置计算部15A6利用将电机控制信号作为独立变量且将对焦位置作为从属变量的运算式计算出对焦位置。另外，本发明的技术并不限定于此，对焦位置计算部15A6也可以利用将电机控制信号的时间序列数据和光轴L2上的聚焦透镜30B的位置建立对应关联而成的表来导出对焦位置。
作为一例，如图27所示，特定处理与上述第1实施方式相比，不同点在于，包含第3摄像处理来代替第2摄像处理。第3摄像处理是指进行伴随针对对焦位置的聚焦控制的摄像(伴随对比度AF的摄像)的处理。具体而言，在第3摄像处理中，执行部15A5对对比度AF方式摄像控制部15A7指示伴随对比度AF的摄像，对比度AF方式摄像控制部15A7根据来自执行部15A5的指示使受光器18进行伴随对比度AF的摄像。
并且，通过由执行部15A5执行特定处理中包含的图像选择画面显示处理来生成并显示于显示器46的图像选择画面相较于上述第1实施方式，一部分显示内容不同。即，在图像选择画面中，代替第2距离，显示有由对焦位置计算部15A6计算出的对焦位置(图27所示的例子中，表示从基准位置至聚焦透镜30B为止的距离的数值“Xmm”)。基准位置例如是指光电转换元件26的摄像面的位置或无限远对焦的状态下的聚焦透镜30B的位置。
并且，在图27所示的例子中，在图像选择画面中代替第2可见光图像而显示有第3可见光图像。并且，在图像选择画面中代替消息“主动方式”而显示有消息“主动AF方式”。而且，在图像选择画面中代替消息“被动方式”而显示有消息“对比度AF方式”。另外，在图27所示的例子中，对第1可见光图像建立对应关联而显示有“1.8m”的第1距离，但本发明的技术并不限定于此，也可以代替第1距离或与第1距离一同显示根据第1距离导出的对焦位置，即，从基准位置至聚焦透镜30B为止的距离。
另外，在本第2实施方式中，示出了“主动AF方式”和“对比度AF方式”的显示例，但并非必须是“主动AF方式”和“被动AF方式”的显示，只要用户能够理解AF方式的不同，则可以是任意显示。例如，进行利用激光测距的AF和对比度AF时，可以是“利用激光测距的AF”的显示和“利用对比度的AF”的显示，也可以显示表示AF方式的图标等。并且，也可以显示焦点位置来代替AF方式的显示。例如，可以是“焦点位置：跟前”和“焦点位置：远处”，也可以显示为“焦点位置：物体”和“焦点位置：映在物体的像”等。或者，也可以组合表示AF方式的字符及图标以及焦点位置中的两个以上来显示。
如以上说明，在智能设备500中，作为特定处理，由执行部15A5执行伴随对比度AF的摄像(第3摄像处理)。因此，根据本结构，在由时间序列分布生成部34B2生成的时间序列分布是特定的时间序列分布时进行伴随对比度AF的摄像，因此能够满足比主动AF方式更喜欢对比度AF方式的用户的需求。
另外，在上述各实施方式中，将纳入于视场角θ1内的摄像区域作为测距对象，但本发明的技术并不限定于此。例如，作为测距对象的摄像区域也可以是根据由用户经由接收设备47发出的指示来限定的特定的实空间区域。由此，能够对用户所希望的实空间区域进行测距。另外，在此，举出了根据由用户经由接收设备47发出的指示来限定摄像区域的方式例，但本发明的技术并不限定于此。例如，也可以根据从能够与智能设备10通信的外部装置(省略图示)发出的指示来限定摄像区域。
并且，也可以根据从用户或外部装置发出的指示，由CPU15A选择性地限定进行第1测距的测距对象区域和进行第2测距的测距对象区域。作为限定进行第1测距的测距对象区域的方法，可举出调节照射角度θ2的方法和/或限定在第1测距系统划分区域26N2内使用的IR像素的范围的方法。并且，作为限定进行第2测距的测距对象区域的方法，可举出调节视场角θ1的方法和/或限定在第2测距系统划分区域26N3内使用的相位差像素的范围的方法。
并且，作为测距对象的摄像区域可以是与由CPU15A从可见光图像检测出的对象被摄体图像(例如，表示对象被摄体98的图像)对应的特定的实空间区域。此时，例如可以对与通过进行利用机器学习(例如，深度学习)的图像识别处理来检测出的对象被摄体图像对应的实空间区域进行第1测距和/或第2测距。并且，对象被摄体图像可以是表示特定人物的脸部的图像，也可以是表示汽车或航空器等交通工具的图像，只要是表示物体的图像即可。
如此，通过对与由CPU15A从可见光图像检测出的对象被摄体图像对应的特定的实空间区域进行测距，相较于用户通过肉眼找出对象被摄体并进行对对象被摄体的测距的情况，能够容易地进行对对象被摄体的测距。
并且，在上述各实施方式中，作为一例，在图14所示的时间序列分布中，镜面IR反射光的受光定时比对象被摄体IR反射光的受光定时早，但并不限于此，例如如图28所示，即使在对象被摄体IR反射光的受光定时比镜面IR反射光的受光定时早时，本发明的技术也成立。即使在该情况下，也采用在时间序列分布中强度第二大的IR反射光的受光定时作为第1测距用受光定时。
并且，在上述各实施方式中，通过利用第1阈值及第2阈值(参考图16)来进行时间序列分布是否为特定的时间序列分布的判定，但本发明的技术并不限定于此。例如，可以根据受光定时来调整时间序列分布的强度。此时，作为一例，如图29所示，通过对时间序列分布适用滤波器(在图29所示的例子中，构成为随着受光定时的延迟而逐渐提高强度的滤波器)，作为一例，如图30所示，调整时间序列分布。由此，相较于时间序列分布受到受光定时的影响的情况，能够精度良好地从时间序列分布确定由作为测距对象的物体的材质引起的测距结果。
另外，如此对时间序列分布进行滤波时，对滤波之后的时间序列分布适用的第1阈值及第2阈值根据滤波器而改变。并且，伴随于此，时间序列分布是否符合上述特定的时间序列分布的判定方法也改变。例如，在上述第1实施方式中说明的第1阈值与第2阈值的大小关系成为“第1阈值＜第2阈值”，若将这些第1阈值及第2阈值适用于图30所示的时间序列分布，则在时间序列分布中包含比第2阈值大的强度(图30所示的例子中，对象被摄体IR反射光)，并包含小于第2阈值且为第1阈值以上的强度(图30所示的例子中，镜面IR反射光)时，由判定部15A4判定为滤波之后的时间序列分布是特定的时间序列分布。
并且，消除受光定时的影响的程度也可以通过滤波器(参考图29)及第1阈值来分散。例如，可以通过滤波器消除受光定时的一半影响，并通过第1阈值消除受光定时的一半影响。
并且，在上述第1实施方式中，举出在存储装置15B中存储有测距摄像处理程序70的方式例进行了说明，在上述第2实施方式中，举出在存储装置15B中存储有测距摄像处理程序570的方式例进行了说明，但本发明的技术并不限定于此。例如，如图31所示，也可以是测距摄像处理程序70或570(以下，无需区分测距摄像处理程序70及570来说明时，不标注符号而称为“测距摄像处理程序”)存储于存储介质900。作为存储介质900的一例，可举出SSD或USB存储器等任意的便携式存储介质。
存储于存储介质900的测距摄像处理程序安装于控制器15。CPU15A根据测距摄像处理程序执行测距摄像处理。
并且，也可以在经由通信网(省略图示)与控制器15连接的其他计算机或服务器装置等的存储部存储测距摄像处理程序，根据上述智能设备10的请求，下载测距摄像处理程序并安装于控制器15。
另外，无需在与控制器15连接的其他计算机或服务器装置等的存储部或存储装置15B存储所有测距摄像处理程序，可以存储测距摄像处理程序的一部分。
在图31所示的例子中，示出了在智能设备10内置有控制器15的方式例，但本发明的技术并不限定于此，例如控制器15也可以设置于智能设备10的外部。
在图31所示的例子中，CPU15A是单个CPU，但也可以是多个CPU。并且，也可以代替CPU15A适用GPU。
在图31所示的例子中，例示了控制器15，但本发明的技术并不限定于此，可以代替控制器15适用包含ASIC、FPGA和/或PLD的设备。并且，也可以代替控制器15利用硬件结构及软件结构的组合。
作为执行在上述各实施方式中说明的测距摄像处理的硬件资源，能够使用以下示出的各种处理器。作为处理器，例如可举出通过执行软件即程序，作为执行测距摄像处理的硬件资源发挥作用的通用的处理器即CPU。并且，作为处理器，例如可举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何处理器都内置或连接有存储器，任何处理器都通过使用存储器来执行测距摄像处理。
执行测距摄像处理的硬件资源可由这些各种处理器中的一个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU和FPGA的组合)构成。并且，执行测距摄像处理的硬件资源也可以是一个处理器。
作为由一个处理器构成的例子，第1，有由一个以上的CPU和软件的组合构成一个处理器，该处理器作为执行测距摄像处理的硬件资源发挥作用的方式。第2，有如SoC等为代表，使用由一个IC芯片实现包含执行测距摄像处理的多个硬件资源的整个系统的处理器的方式。如此，测距摄像处理作为硬件资源利用上述各种处理器的一个以上来实现。
而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合了半导体元件等电路元件的电路。并且，上述测距摄像处理仅仅是一例。因此，当然可以在不脱离宗旨的范围内删除不需要的步骤、或追加新的步骤或替换处理顺序。
以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，仅仅是本发明的技术的一例。例如，与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，可以在不脱离本发明的技术宗旨的范围内，对以上示出的记载内容及图示内容，删除不需要的部分或追加新的要素、或替换是毋庸置疑的。并且，为了避免复杂化并且便于理解本发明的技术所涉及的部分，在以上示出的记载内容及图示内容中，省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。
在本说明书中，“A和/或B”的含义与“A及B中的至少一个”相同。即，“A和/或B”意味着可以只是A，也可以只是B，还可以是A及B的组合。并且，在本说明书中，利用“和/或”结合三个以上的事项来表述时，也适用与“A和/或B”相同的概念。
就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参考而编入的各个文献、专利申请以及技术规格的情况相同地，通过参考而编入本说明书。
关于以上的实施方式，还公开以下的附录。
(附录1)
一种信息处理装置，其包含：
处理器；及
存储器，连接或内置于上述处理器，
所述处理器进行如下处理：
在时间序列分布中，由受光器接收到反射光的次数为1次时，通过利用根据照射定时和受光定时测定的第1距离来对摄像装置进行聚焦控制，在时间序列分布中由受光器接收到反射光的次数为多次时，通过利用根据拍摄测距对象区域而获得的图像测定的第2距离来对摄像装置进行聚焦控制，所述时间序列分布中，以时间序列规定在与基于光照射器的光的面照射对应的受光期间内由受光器按规定的时间间隔接收到的反射光的强度。
(附录2)
一种测距装置，其包含：
处理器；
光照射器，朝向测距对象区域进行光的面照射；及
受光器，接收光的来自测距对象区域的反射光，
所述处理器进行如下处理：
根据由光照射器朝向测距对象区域进行了光的面照射的照射定时和由受光器接收到光的来自测距对象区域的反射光的受光定时来测定测距对象区域内的物体为止的第1距离，
根据和在与基于光照射器的面照射对应的受光期间内的多个受光定时由受光器生成的多个信号中，根据多个信号的关系和多个信号的强度来选择的信号对应的受光定时和照射定时，由处理器测定第1距离。
(附录3)
一种信息处理装置，其包含：
处理器；及
存储器，连接或内置于上述处理器，
所述处理器进行如下处理：
根据由光照射器朝向测距对象区域进行了光的面照射的照射定时和由受光器接收到光的来自测距对象区域的反射光的受光定时来测定测距对象区域内的物体为止的第1距离，
根据和在与基于光照射器的面照射对应的受光期间内的多个受光定时由受光器生成的多个信号中，根据多个信号的关系和多个信号的强度来选择的信号对应的受光定时和照射定时，由处理器测定第1距离。
符号说明
10、500-智能设备，12-框体，12A-背面，12B-前表面，13-指示键，14-测距摄像装置，15-控制器，15A-CPU，15A1-第1测距控制部，15A2-第1距离获取部，15A3-时间序列分布生成部，15A4-判定部，15A5-执行部，15A6-第1对焦位置计算部，15A7-对比度AF方式摄像控制部，15A8-对焦位置计算部，15B-存储装置，15C-存储器，16-光照射器，17A、17B-遮光部件，18-受光器，19-微透镜，20、22、352-透光窗，21-扩束器，23-准直透镜，24-LD，25-LD驱动器，26、354-光电转换元件，26N1-可见光图像用划分区域，26N2-第1测距系统划分区域，26N3-第2测距系统划分区域，27-TOF相机，30A-物镜，30B-聚焦透镜，30C-光圈，31-对焦控制机构，32-光电转换元件驱动器，34-信号处理电路，34A-可见光像素数据处理电路，34B-第1测距系统处理电路，34B1-IR像素数据获取部，34B2-时间序列分布生成部，34B3-受光定时确定部，34B4-第1距离测定部，34C-第2测距系统处理电路，40-输入输出接口，41-成像透镜，42-图像存储器，44-UI系统设备，46-显示器，47-接收设备，48-触摸面板，50-总线，52-外部I/F，53-硬键部，54-通信I/F，56-网络，59-触摸面板显示器，60-移动机构，62-电机，64-电机驱动器，70、570-测距摄像处理程序，72-对焦位置导出表，100-镜子，100A-镜面，300L-左区域通过光，300R-右区域通过光，350-广角用受光器，900-存储介质，L-第1相位差像素，L1、L2-光轴，N-非相位差像素，PD-光电二极管，R-第2相位差像素，α-偏移量，θ1-视场角，θ2-照射角度。

Claims (20)

1.一种信息处理装置，其包含：
处理器；及
存储器，连接或内置于所述处理器，
所述处理器进行如下处理：根据由光照射器朝向测距对象区域进行了光的面照射的照射定时和由受光器接收到所述光的来自所述测距对象区域的反射光的受光定时来测定所述测距对象区域内的物体为止的第1距离，
在与所述面照射对应的受光期间，所述受光器中包含的特定像素以不同的定时生成多个信号时，所述处理器根据通过所述特定像素生成的多个信号的关系来测定所述第1距离。
2.根据权利要求1所述的信息处理装置，其中，
所述多个信号的关系是所述多个信号的强度的时间序列分布。
3.根据权利要求1所述的信息处理装置，其中，
所述多个信号中包含多个具有超过基准阈值的强度的信号时，所述处理器根据由所述受光器接收到与所述多个信号中的所述强度第二大的信号对应的所述反射光的所述受光定时来测定所述第1距离。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述多个信号中包含具有第1强度的第1信号及具有第2强度的第2信号时，所述处理器执行特定处理，所述第1强度为第1阈值以上，所述第2强度小于所述第1阈值且为比所述第1阈值小的第2阈值以上。
5.根据权利要求4所述的信息处理装置，其中，
所述第1阈值及所述第2阈值根据基于环境光的噪声成分而定义。
6.根据权利要求4或5所述的信息处理装置，其中，
所述第1阈值是随着所述受光定时延迟而减小的值。
7.根据权利要求4至6中任一项所述的信息处理装置，其中，
所述特定处理是根据由所述特定像素接收到与所述第2信号对应的所述反射光的所述受光定时来测定所述第1距离的处理。
8.根据权利要求4至7中任一项所述的信息处理装置，其中，
所述特定处理包括通知所述多个信号的强度中包含所述第1强度的处理。
9.根据权利要求4至8中任一项所述的信息处理装置，其中，
所述特定处理包括根据通过拍摄所述测距对象区域而获得的图像来测定所述物体为止的第2距离的图像使用型测距。
10.根据权利要求4至8中任一项所述的信息处理装置，其中，
所述处理器与根据所述照射定时及所述受光定时测定所述第1距离的动作并行地进行根据通过拍摄所述测距对象区域而获得的图像来测定所述物体为止的第2距离的图像使用型测距，
所述特定处理包括基于所述图像使用型测距的测距结果的处理。
11.根据权利要求9或10所述的信息处理装置，其中，
所述图像使用型测距是根据从相位差像素作为所述图像而获得的相位差图像来测定所述第2距离的相位差图像使用测距、根据通过立体摄像方式作为所述图像而获得的立体图像来测定所述第2距离的立体图像使用测距及根据从所述图像检测出的物体图像且表示大小已知物体的物体图像来测定所述第2距离的物体图像使用测距中的至少一个。
12.根据权利要求4至11中任一项所述的信息处理装置，其中，
所述特定处理包括根据通过由摄像器拍摄所述测距对象区域中包含的被摄体而获得的被摄体图像的对比度来对所述摄像器进行的聚焦控制。
13.根据权利要求1至12中任一项所述的信息处理装置，其中，
所述测距对象区域是根据所赋予的指示来限定的特定的实空间区域。
14.根据权利要求1至13中任一项所述的信息处理装置，其中，
所述测距对象区域是与由所述处理器从通过拍摄而获得的摄像图像检测出的对象被摄体图像对应的特定的实空间区域。
15.根据权利要求1至14中任一项所述的信息处理装置，其中，
所述处理器通过利用根据所述照射定时和所述受光定时测定出的所述第1距离来对摄像器进行聚焦控制。
16.根据权利要求1至15中任一项所述的信息处理装置，其中，
根据所述受光定时调整所述多个信号的强度。
17.根据权利要求1至16中任一项所述的信息处理装置，其中，
所述受光器具有配置成二维状的多个所述特定像素，
所述处理器根据所述照射定时和所述受光定时对所述多个特定像素测定所述第1距离。
18.一种摄像装置，其包含：
权利要求1至17中任一项所述的信息处理装置；及
聚焦透镜，
所述处理器进行使所述聚焦透镜向根据所述第1距离来确定的对焦位置移动的聚焦控制。
19.一种信息处理方法，其包括如下步骤：
光照射器朝向测距对象区域进行光的面照射；
由受光器接收所述光的来自所述测距对象区域的反射光；及
根据由所述光照射器朝向所述测距对象区域进行了所述光的面照射的照射定时和由所述受光器接收到所述反射光的受光定时来测定所述测距对象区域内的物体为止的第1距离，
在与所述面照射对应的受光期间，所述受光器中包含的特定像素以不同的定时生成多个信号时，根据所述多个信号的关系来测定所述第1距离。
20.一种程序，其用于使计算机执行包括如下步骤的处理：
光照射器朝向测距对象区域进行光的面照射；
由受光器接收所述光的来自所述测距对象区域的反射光；及
根据由所述光照射器朝向所述测距对象区域进行了所述光的面照射的照射定时和由所述受光器接收到所述反射光的受光定时来测定所述测距对象区域内的物体为止的第1距离，
在与所述面照射对应的受光期间，所述受光器中包含的特定像素以不同的定时生成多个信号时，根据所述多个信号的关系来测定所述第1距离。
CN202080087482.2A 2019-12-17 2020-11-10 信息处理装置、摄像装置、信息处理方法及程序 Pending CN114868037A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019227582 2019-12-17
JP2019-227582 2019-12-17
PCT/JP2020/041849 WO2021124730A1 (ja) 2019-12-17 2020-11-10 情報処理装置、撮像装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN114868037A true CN114868037A (zh) 2022-08-05

Family

ID=76476598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087482.2A Pending CN114868037A (zh) 2019-12-17 2020-11-10 信息处理装置、摄像装置、信息处理方法及程序

Country Status (4)

Country Link
US (1) US20220294990A1 (zh)
JP (2) JP7436509B2 (zh)
CN (1) CN114868037A (zh)
WO (1) WO2021124730A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11722630B2 (en) * 2021-05-18 2023-08-08 Snap Inc. Varied depth determination using stereo vision and phase detection auto focus (PDAF)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5142434B2 (ja) * 2001-09-28 2013-02-13 本田技研工業株式会社 車両用物体検知装置における軸ずれ調整装置
JP5710108B2 (ja) 2009-07-03 2015-04-30 日本信号株式会社 光測距装置
JP6384762B2 (ja) 2013-01-31 2018-09-05 パナソニックＩｐマネジメント株式会社 測距方法および測距システム
JP6942966B2 (ja) * 2016-03-16 2021-09-29 株式会社リコー 物体検出装置及び移動体装置
WO2018101049A1 (ja) 2016-11-29 2018-06-07 パナソニックＩｐマネジメント株式会社 固体撮像装置及び測距撮像装置
KR102235227B1 (ko) 2017-02-17 2021-04-02 호쿠요덴키 가부시키가이샤 물체 포착 장치, 포착 대상물, 및 물체 포착 시스템
JP7100518B2 (ja) 2017-08-31 2022-07-13 キヤノン株式会社 固体撮像素子及び撮像装置
EP3550328B1 (en) * 2018-04-04 2023-05-31 Melexis Technologies NV Pulsed-light detection and ranging apparatus and method of detection and ranging of an object in a pulsed light detection and ranging system

Also Published As

Publication number Publication date
JP7436509B2 (ja) 2024-02-21
WO2021124730A1 (ja) 2021-06-24
JPWO2021124730A1 (zh) 2021-06-24
US20220294990A1 (en) 2022-09-15
JP2024063018A (ja) 2024-05-10

Similar Documents

Publication Publication Date Title
CN109313267B (zh) 测距系统及测距方法
JP6784295B2 (ja) 距離測定システム、距離測定方法およびプログラム
US10419741B2 (en) Systems and methods for compression of three dimensional depth sensing
EP3007096A1 (en) Depth sensor based auto-focus system for an indicia scanner
US10652513B2 (en) Display device, display system and three-dimension display method
EP2700921A1 (en) Light distribution characteristic measurement apparatus and light distribution characteristic measurement method
US20240056682A1 (en) Information processing apparatus, information processing method, and program
US9277111B2 (en) Image capture apparatus and control method therefor
EP3009871B1 (en) Image acquisition device and image acquisition device focusing method
JP2013207415A (ja) 撮像システム及び撮像方法
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
JP2024063018A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
US10880540B2 (en) 3D depth image acquiring method and apparatus, and image acquisition device
JP2023175752A (ja) 処理装置、電子機器、処理方法、及びプログラム
JP2014157044A (ja) 距離検出カメラ
WO2020195755A1 (ja) 測距撮像システム、測距撮像方法、及びプログラム
JP7311617B2 (ja) 処理装置、電子機器、処理方法、及びプログラム
CN115150545B (zh) 获取三维测量点的测量系统
US20230131704A1 (en) Information processing apparatus, learning device, imaging apparatus, control method of information processing apparatus, and program
US20220397740A1 (en) Lens control device, imaging apparatus, operation method of lens control device, and program
JP2013242406A (ja) 撮像装置およびその制御方法
CN117044219A (zh) 摄像控制装置、摄像装置、摄像控制方法及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination