CN103139466B - 信息处理装置、成像装置、信息处理方法和计算机可读存储介质 - Google Patents

信息处理装置、成像装置、信息处理方法和计算机可读存储介质 Download PDF

Info

Publication number
CN103139466B
CN103139466B CN201210459021.0A CN201210459021A CN103139466B CN 103139466 B CN103139466 B CN 103139466B CN 201210459021 A CN201210459021 A CN 201210459021A CN 103139466 B CN103139466 B CN 103139466B
Authority
CN
China
Prior art keywords
unit
parameter
sound
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210459021.0A
Other languages
English (en)
Other versions
CN103139466A (zh
Inventor
石川拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103139466A publication Critical patent/CN103139466A/zh
Application granted granted Critical
Publication of CN103139466B publication Critical patent/CN103139466B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Abstract

公开了信息处理装置、成像装置、信息处理方法和程序。一种信息处理装置包括控制单元，该控制单元被配置为执行用于基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于成像单元的成像操作的设定的控制。

Description

信息处理装置、成像装置、信息处理方法和计算机可读存储 介质
技术领域
本公开涉及信息处理装置。更具体而言，本公开涉及被设计为控制成像操作的信息处理装置、成像装置和信息处理方法以及使得计算机执行该方法的程序。
背景技术
近年来，对诸如人之类的被摄体成像、生成图像(图像数据)并将所生成的图像(图像数据)记录为图像内容(图像文件)的信息处理装置(诸如数字静止相机之类的成像装置)已被广泛使用。在信息处理装置执行成像操作时，为了清楚地记录要记录的图像(图像数据)，适当地设定与成像操作有关的参数是重要的。由于此原因，已提出了适当地设定与成像操作有关的参数的多种技术。
例如，已提出了分析在被摄体成像操作期间获得的音频信号的特征量并且基于所分析的音频信号的特征量来控制图像处理参数的成像装置(例如参见2010-147587号日本未实审专利申请公布)。
发明内容
根据现有技术中的上述技术，可以利用在成像操作期间获得的音频信号来控制与被摄体成像操作有关的参数。
然而，可能有这样的情况，即，例如，成像范围中包括的对象物以外的对象物(即，不包括在成像范围中的对象物)生成声音。此外，还可能有这样的情况，即，在成像范围中包括的对象物之中，主对象物(捕捉图像的人所聚焦的对象物)以外的对象物生成声音。由于此原因，考虑到生成声音的对象物和除了生成声音的对象物以外的对象物之间的关系来适当地选择用于成像操作的设定，是重要的。
希望适当地选择用于成像操作的设定。
根据本公开的第一实施例，提供了一种信息处理装置，其信息处理方法以及用于使得计算机执行该方法的程序，该信息处理装置包括：控制单元，被配置为执行用于基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于成像单元的成像操作的设定的控制。这样，有如下效果：基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于成像单元的成像操作的设定。
在第一实施例中，信息处理装置可还包括：第一判定单元，被配置为基于由声音获得单元获得的周边声音来判定生成声音的对象物；以及第二判定单元，被配置为基于由成像单元生成的图像来判定图像中包括的对象物，并且控制单元可基于第一判定单元的判定结果和第二判定单元的判定结果来选择设定。这样，有如下效果：基于第一判定单元的判定结果和第二判定单元的判定结果来选择用于成像单元的成像操作的设定。
在第一实施例中，控制单元可被配置为基于作为由第一判定单元判定的对象物的第一对象物和作为由第二判定单元判定的对象物的第二对象物之间的比较结果来选择设定。这样，有如下效果：基于由第一判定单元判定的对象物(第一对象物)和由第二判定单元判定的对象物(第二对象物)之间的比较结果来决定用于成像单元的成像操作的设定。
在第一实施例中，控制单元可被配置为基于第一对象物来选择作为与设定有关的参数的第一参数，基于第二对象物来选择作为与设定有关的参数的第二参数，并且基于第一对象物是否与第二对象物一致来利用第一参数和第二参数中的任何一个选择设定。这样，有如下效果：基于第一对象物是否与第二对象物一致来利用第一参数和第二参数中的任何一个选择用于成像单元的成像操作的设定。
在第一实施例中，控制单元可被配置为当第一对象物与第二对象物一致时利用第一参数选择设定，并且当第一对象物不与第二对象物一致时利用第二参数选择设定。这样，有如下效果：当第一对象物与第二对象物一致时利用第一参数选择用于成像单元的成像操作的设定，并且当第一对象物不与第二对象物一致时利用第二参数选择用于成像单元的成像操作的设 定。
在第一实施例中，第一判定单元可被配置为判定第一对象物以及与第一对象物有关的移动状态和被摄体距离中的至少一个，并且控制单元可被配置为基于与第一对象物有关的移动状态和被摄体距离中的至少一个来校正第一参数。这样，有如下效果：基于与第一对象物有关的移动状态和被摄体距离中的至少一个来校正第一参数。
在第一实施例中，第二判定单元可被配置为判定第二对象物以及与第二对象物有关的移动状态和被摄体距离中的至少一个，并且控制单元可被配置为基于与第二对象物有关的移动状态和被摄体距离中的至少一个来校正第二参数。这样，有如下效果：基于与第二对象物有关的移动状态和被摄体距离中的至少一个来校正第二参数。
在第一实施例中，信息处理装置可还包括：被摄体距离获得单元，被配置为获得与由成像单元生成的图像中包括的每个对象物有关的被摄体距离，其中控制单元可被配置为基于在由成像单元生成的图像中是否包括与不同于与第一对象物有关的被摄体距离的被摄体距离有关的另一对象物来利用第一参数和第二参数中的任何一个选择设定。这样，有如下效果：基于在由成像单元生成的图像中是否包括与不同于与第一对象物有关的被摄体距离的被摄体距离有关的另一对象物来利用第一参数和第二参数中的任何一个选择用于成像单元的成像操作的设定。
在第一实施例中，第二判定单元可被配置为判定在由成像单元生成的图像中是否包括特定对象物，并且控制单元可被配置为基于在由成像单元生成的图像中是否包括特定对象物来利用第一参数和第二参数中的任何一个选择设定。这样，有如下效果：基于在由成像单元生成的图像中是否包括特定对象物来利用第一参数和第二参数中的任何一个选择用于成像单元的成像操作的设定。
在第一实施例中，第二判定单元可被配置为判定是否包括作为特定对象物的人脸。这样，有如下效果：判定是否包括人脸作为特定对象物。
根据本公开的第二实施例，提供了一种成像装置、其控制方法和使得计算机执行该方法的程序，该成像装置包括：声音获得单元，被配置为获 得周边声音；成像单元，被配置为对被摄体成像并且生成图像；以及控制单元，被配置为执行用于基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于成像单元的成像操作的设定的控制。这样，有如下效果：基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于成像单元的成像操作的设定。
根据本公开，能够实现可以适当地选择用于成像操作的设定的优良效果。
附图说明
图1是示出根据本公开的第一实施例的成像装置的内部配置示例的框图；
图2是示出根据本公开的第一实施例的成像装置的功能配置示例的框图；
图3是示意性示出根据本公开的第一实施例的图像判定信息存储单元上存储的内容的示例的图；
图4是示意性示出根据本公开的第一实施例的声音判定信息存储单元上存储的内容的示例的图；
图5是示意性示出根据本公开的第一实施例的参数校正信息存储单元上存储的内容的示例的图；
图6是示出根据本公开的第一实施例的程序线图存储单元上存储的程序线图的示例的图；
图7A和7B是简要示出根据本公开的第一实施例的作为成像装置的成像对象的被摄体与成像范围之间的关系的图；
图8A和8B是简要示出根据本公开的第一实施例的作为成像装置的成像对象的被摄体与成像范围之间的关系的图；
图9A和9B是示出根据本公开的第一实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图10A至10C是示出根据本公开的第一实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图11A和11B是示出根据本公开的第一实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图12是示出根据本公开的第一实施例的成像装置进行的相机控制参数决定处理的处理过程的示例的流程图；
图13A和13B是示出根据本公开的第二实施例的成像单元生成的图像与图像的深度图之间的关系的图；
图14A和14B是简要示出根据本公开的第二实施例的作为成像装置的成像对象的被摄体与成像范围之间的关系的图；
图15A和15B是简要示出根据本公开的第二实施例的作为成像装置的成像对象的被摄体与成像范围之间的关系的图；
图16A和16B是示出根据本公开的第二实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图17A和17B是示出根据本公开的第二实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图18A和18B是示出根据本公开的第二实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图19是示出根据本公开的第二实施例的成像装置进行的相机控制参数选择处理的处理过程的示例的流程图；
图20A和20B是简要示出根据本公开的第三实施例的作为成像装置的成像对象的被摄体与成像范围之间的关系的图；
图21A和21B是示出根据本公开的第三实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图22A和22B是示出根据本公开的第三实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；
图23A和23B是示出根据本公开的第三实施例的成像单元生成的图像与控制单元选择的相机控制参数之间的关系的图；并且
图24是示出根据本公开的第三实施例的成像装置进行的相机控制参数选择处理的处理过程的示例的流程图。
具体实施方式
以下，将对用于实现本公开的实施例(以下称为实施例)给出描述。将按以下顺序给出描述。
1.第一实施例(相机控制参数选择控制：基于成像装置周围的声音和成像单元生成的图像来决定相机控制参数的示例)
2.第二实施例(相机控制参数决定控制：基于在成像范围中是否包括具有不同被摄体距离的多个对象物来决定相机控制参数的示例)
3.第三实施例(相机控制参数决定控制：基于在成像范围中是否包括人来决定相机控制参数的示例)
第一实施例
成像装置的配置示例
图1是示出根据本公开的第一实施例的成像装置100的内部配置示例的框图。
成像装置100设有透镜组111、光圈112、光学系统控制单元113、快门单元121、快门控制单元122、成像元件131以及AFE(模拟前端)132。此外，成像装置100设有图像处理单元133、测光单元135、内容存储单元140、麦克风151、A/D(模拟/数字)转换单元152以及音频分析处理单元153。另外，成像装置100设有非易失性存储器160、操作接收单元170、显示单元180和主控制单元190。此外，成像装置100例如是由对被摄体成像、生成图像数据(图像)并将所生成的图像记录为图像内容(静止图像内容或电影内容)的数字静止相机实现的。另外，成像装置100是所附权利要求中记载的信息处理装置和成像装置的一个示例。
透镜组111是收集来自被摄体的入射光的透镜组，并且由透镜组收集的光经由光圈112入射在成像元件131上。透镜组111是由用于调整焦点的聚焦透镜、用于调整图像中包括的被摄体的倍率的变焦透镜等等构成的，并且具体布置配置将不在图中示出并且不在这里描述。此外，透镜组111中包括的透镜被光学系统控制单元113驱动以相对于被摄体在前后方向上移动。这样，实现聚焦功能和变焦功能。
光圈112调整通过透镜组111的入射光的光强度，并且经调整的光入射在成像元件131上。也就是说，光圈112调整通过透镜组111的入射光的光强度，并且要提供给成像元件131的光强度(即曝光)被决定。此外，光圈112被光学系统控制单元113驱动以调整光圈的孔径。
光学系统控制单元113基于来自主控制单元190的指令驱动透镜组111中包括的透镜和光圈112。此外，光学系统控制单元113获得透镜组111中包括的透镜的位置和光圈112的状态(打开或闭合状态)并将位置和状态顺次输出到主控制单元190。
快门单元121利用在垂直方向上移动的遮光罩打开和阻挡入射在成像元件131上的来自被摄体的入射光的光路，并且被快门控制单元122驱动。例如，当光路被打开时，快门单元121将来自被摄体的入射光提供到成像元件131。
快门控制单元122基于来自主控制单元190的指令驱动快门单元121。
成像元件131通过对来自被摄体的入射光执行光电转换来生成电信号(模拟信号)，并将所生成的电信号作为图像信号提供给AFE 132。作为成像元件131，例如可以使用CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)之类的。
此外，作为成像元件131，可以使用通过接收透过具有不同出射光瞳的部分的光来基于相位差检测方案(相位差AF(自动聚焦))执行焦点检测的成像元件。执行相位差AF的成像元件输出相位差检测信号以及图像信号(模拟信号)。由于此原因，图像处理单元133可基于从成像元件131输出的相位差检测信号来计算与从成像元件131输出的图像信号相对应的图像中的每个区域的被摄体距离。此外，被摄体距离指的是从成像装置100到被摄体的距离。
AFE 132基于来自主控制单元190的指令对从成像元件131提供来的图像信号(模拟信号)执行预定的信号处理，并将被执行了预定信号处理的图像信号转换成数字信号。此外，AFE 132将所生成的图像信号(数字信号)提供给图像处理单元133。例如，AFE 132对图像信号(模拟信 号)执行诸如噪声去除和信号放大之类的信号处理作为该预定信号处理。此外，AFE 132基于从主控制单元190提供来的基准时钟生成与成像元件131的成像操作有关的定时脉冲并将所生成的定时脉冲提供给成像元件131。
图像处理单元133基于来自主控制单元190的指令对从AFE 132提供来的图像信号(数字信号)执行预定的信号处理并生成图像数据(图像信号)。图像处理单元133随后对所生成的图像数据进行压缩并将压缩的图像数据提供给内容存储单元140。例如，图像处理单元133对从AFE 132提供来的图像信号(数字信号)执行诸如白平衡校正、伽马校正、黑电平校正、图像压缩、像素插值处理、颜色转换处理之类的信号处理作为该预定的信号处理。此外，图像处理单元133利用所生成的图像数据(图像信号)执行预定的计算处理，并且执行关于对比度、亮度、饱和度、白平衡、锐度等等的图像处理。
测光单元135是用于执行自动曝光处理的测光单元并且用于测量被摄体周围的亮度。也就是说，测光单元135可测量被摄体的曝光状态，其中该被摄体的图像被成像元件131形成为光学图像。
内容存储单元140基于来自主控制单元190的指令在其上存储从图像处理单元133提供来的图像数据作为图像内容(图像文件)。
麦克风151是成像装置100中内置的麦克风，并且来自成像装置100的周边的声音被输入到其中。然后，麦克风151将输入的周边声音转换成电信号(模拟信号)并将通过该转换生成的电信号作为音频信号(模拟信号)提供给A/D转换单元152。
A/D转换单元152将从麦克风151输出的音频信号(模拟信号)转换成数字信号并将通过该转换生成的音频信号(数字信号)输出到音频分析处理单元153。
音频分析处理单元153通过分析从A/D转换单元152提供来的音频信号来从音频信号中提取特征量并将所提取的特征量输出到主控制单元190。音频分析处理单元153是由能够提取音频信号的音量和频率分布作为音频信号的特征量的谱分析仪电路实现的。
非易失性存储器160是即使在未供应电力时也能够维持存储的内容的半导体存储器。作为非易失性存储器160，例如可以使用闪存或EEPROM(电可擦除可编程只读存储器)。
操作接收单元170是接收由用户执行的操作的操作接收单元并且根据接收到的操作内容向主控制单元190输出控制信号(操作信号)。操作接收单元170对应于快门按钮171(在图7A等等中示出)、模式拨盘之类的。模式拨盘是用于设定各种成像模式的操作构件。当利用模式拨盘设定特定的成像模式(例如声音/图像判定模式)，设定本公开的第一实施例中示出的成像模式。
快门按钮171是用于执行用于记录静止图像的各种操作(半按操作和全按操作)的按钮。当执行半按操作时，开始AF(自动聚焦)处理、AE(自动曝光)处理、AWB(自动白平衡处理)、EF(电子闪光灯)处理等等。此外，当执行全按操作时，执行用于将从成像元件131读取的图像信号(模拟信号)作为图像内容(图像文件)记录在内容存储单元140上的各种处理。
显示单元180是基于来自主控制单元190的指令显示从图像处理单元133输出的图像数据的显示面板(例如液晶取景器)。例如，显示单元180显示用于执行各种设定的设定画面和由成像元件131生成的图像(所谓的直通图像、实时取景图像)。作为显示单元180，可以使用诸如LCD(液晶显示器)或有机EL(电致发光)面板之类的显示面板。
主控制单元190基于存储在存储器(例如非易失性存储器160)上的控制程序控制成像装置100中的每个组件。主控制单元190例如是由微处理器构成的。
成像装置的功能配置示例
图2是示出根据本公开的第一实施例的成像装置100的功能配置示例的框图。
成像装置100设有操作接收单元210、成像单元220、图像处理单元230、记录控制单元240、图像判定单元250、声音获得单元260、声音判 定单元270、控制单元280以及内容存储单元290。此外，成像装置100设有图像判定信息存储单元310、声音判定信息存储单元320、参数校正信息存储单元330以及程序线图存储单元340。另外，操作接收单元210例如对应于图1中所示的操作接收单元170，并且内容存储单元290例如对应于图1中所示的内容存储单元140。
成像单元220对被摄体成像，基于来自控制单元180的指令生成图像(图像数据)，并将所生成的图像提供给图像处理单元230、图像判定单元250和控制单元280。此外，成像单元220基于由控制单元280选择的设定来执行成像操作。另外，成像单元220例如对应于图1中所示的透镜组111、光圈112、光学系统控制单元113、快门单元121、快门控制单元122、成像元件131和AFE 132。
图像处理单元230基于来自控制单元280的指令对从成像单元220提供来的图像(图像数据)执行预定的信号处理，并将被执行了信号处理的图像(图像数据)提供给记录控制单元240。此外，图像处理单元230例如对应于图1中所示的图像处理单元133。
记录控制单元240基于来自控制单元280的指令对从图像处理单元230提供来的图像(图像数据)进行压缩并使得内容存储单元290在其中记录压缩的图像(图像数据)作为图像内容(图像文件)。此外，记录控制单元240例如对应于图1中所示的图像处理单元133和主控制单元190。
图像判定单元250利用存储在图像判定信息存储单元310上的图像判定信息判定由成像单元220生成的图像中包括的对象物的类型，并将判定结果输出到控制单元280。
例如，使用匹配处理的判定方法可被用作用于判定对象物的类型的判定方法。匹配处理是如下的处理：比较作为比较对象的两个图像的特征量，并且基于比较结果计算出两个图像的特征量的相似度，并基于相似度判定两个图像是否彼此一致。例如，当计算出的相似度小于阈值时判定作为比较对象的两个图像彼此不一致，并且例如当计算出的相似度等于或大于阈值时判定作为比较对象的两个图像彼此一致。作为匹配处理，可以使 用基于其中记录了每个对象物(例如马、鱼或人脸)的亮度分布信息的模板与实际图像之间的匹配的判定方法(例如参见2004-133637号日本未实审专利申请公布)。此外，当作为判定对象的对象物是人脸(特定对象物)时，可以使用基于与图像中包括的肤色相对应的部分、人脸等等的特征量的判定方法、
此外，例如可以使用利用图像中的亮度的梯度强度和梯度方向来检测图像中包括的对象物(人体、动物、火车、车辆等等)的检测方法(例如参见2010-67102号日本未实审专利申请公布)。
此外，图像判定单元250判定对象物移动状态和被摄体距离。可通过执行构成在时间轴上相邻的两个图像的像素之间的匹配处理(即，用于判定相同对象物的区域的匹配处理)并且计算在这些图像之间移动的像素的数目来判定对象物移动状态。可例如基于所判定的图像中的对象物的大小来计一算对象物被摄体距离。如上所述，控制单元280可基于从成像单元220(成像元件131)输出的各种信息来计算被摄体距离。此外，图像判定单元250例如对应于图1中所示的主控制单元190。另外，图像判定单元250是所附权利要求中的第二判定单元的示例。
声音获得单元260获得来自成像装置100的周边的声音并将所获得的声音数据(声音)输出到声音判定单元270。此外，声音获得单元260例如对应于图1中所示的麦克风151。
声音判定单元270利用存储在声音判定信息存储单元320上的声音判定信息基于从声音获得单元260输出的声音数据判定生成声音的被摄体，并将判定结果输出到控制单元280。例如，声音判定单元270从输出自声音获得单元260的声音数据中提取特征量并将所提取的特征量与存储在声音判定信息存储单元320上的声音判定信息(与声音有关的特征量)相比较以计算相似度。然后，当计算出的相似度超过阈值时，声音判定单元270判定存在相似度超过阈值的与声音判定信息相关联的对象物。例如，从声音获得单元260输出的声音数据通过A/D转换处理被采样并被转换成数字数据。此外，按适当的时间间隔对数字数据执行诸如频率分析之类的处理，并将数字数据转换成表示频谱或声音的其他声学特征的参数。这 样，提取与声音有关的时间序列特征量(time-series feature amounts)。此外，利用存储在声音判定信息存储单元320上的声音判定信息(与声音有关的特征量)执行与所提取的时间序列特征量的匹配处理，并且将判定结果输出作为匹配处理的结果。此外，可能使用其他现有方法作为音频分析方法和音频识别方法。另外，声音获得单元260可判定所判定的对象物的移动状态和被摄体距离。可基于对象物在移动的同时生成的特有声音的特征量之类的来判定对象物的移动状态。可基于声音的音量之类的来判定对象物的被摄体距离。此外，声音判定单元270例如对应于图1中所示的A/D转换单元152、音频分析处理单元153和主控制单元190。此外，声音判定单元270是所附权利要求中的第一判定单元的示例。
控制单元280基于各种控制程序来控制成像装置100中的每个组件。例如，控制单元280执行控制以基于由声音获得单元260获得的周边声音和由成像单元220生成的图像来决定成像单元220的成像操作期间的设定。
具体而言，控制单元280基于声音判定单元270的判定结果和图像判定单元250的判定结果来决定成像单元220的成像操作期间的设定。也就是说，控制单元280基于由声音判定单元270判定的对象物(第一对象物)和由图像判定单元250判定的对象物(第二对象物)之间的比较结果来决定成像单元220的成像操作期间的设定。
在这种情况下，控制单元280基于第一对象物选择与设定有关的参数(第一参数)并且基于第二对象物选择与设定有关的参数(第二参数)。此外，控制单元280可基于与第一对象物有关的移动状态和被摄体距离中的至少一个来校正第一参数。控制单元280可基于与第二对象物有关的移动状态和被摄体距离中的至少一个来校正第二参数。然后，控制单元280基于第一对象物和第二对象物是否与彼此一致，利用第一参数和第二参数中的任何一个，选择成像单元220的成像操作期间的设定。具体而言，控制单元280在第一对象物和第二对象物与彼此一致时利用第一参数选择成像单元220的成像操作期间的设定。另一方面，控制单元280在第一对象物和第二对象物不与彼此一致时利用第二参数选择成像单元220的成像操 作期间的设定。此外，控制单元280例如对应于图1中所示的主控制单元190。
图像判定信息存储单元310存储被图像判定单元250用于判定处理的图像判定信息(与图像有关的特征量)，并将所存储的图像判定信息提供给图像判定单元250。将参考图3详细描述图像判定信息存储单元310上存储的内容。此外，图像判定信息存储单元310例如对应于图1中所示的非易失性存储器160。
声音判定信息存储单元320存储被声音判定单元270用于判定处理的声音判定信息(与声音有关的特征量)，并将所存储的声音判定信息提供给声音判定单元270。此外，将参考图4详细描述声音判定信息存储单元320上存储的内容。另外，声音判定信息存储单元320例如对应于图1中所示的非易失性存储器160。
参数校正信息存储单元330存储被控制单元280用于相机控制参数校正处理的参数校正信息，并将所存储的参数校正信息提供给控制单元280。此外，将参考图5详细描述参数校正信息存储单元330上存储的内容。另外，参数校正信息存储单元330例如对应于图1中所示的非易失性存储器160。
程序线图存储单元340存储被控制单元280用于相机控制参数决定处理的程序线图，并将所存储的程序线图提供给控制单元280。此外，将参考图6详细描述程序线图。另外，程序线图存储单元340例如对应于图1中所示的非易失性存储器160。
图像判定信息存储单元上存储的内容的示例
图3是示意性示出根据本公开的第一实施例的图像判定信息存储单元310上存储的内容的示例的图。
图像判定信息存储单元310存储用于判定成像单元220生成的图像中包括的对象物的类型的判定信息(与图像有关的判定信息)。图像判定信息存储单元310以彼此关联的方式存储对象物的类型311、特征量312和相机控制参数313。
对象物的类型311是成像单元220生成的图像中包括的对象物的类型。根据本公开的第一实施例，马、鱼、人脸等等将被示为作为判定对象的对象物的类型的示例。
特征量312是用于判定成像单元220生成的图像中包括的对象物的类型的判定信息(图像识别数据)。也就是说，图像判定单元250利用特征量312判定成像单元220生成的图像中包括的对象物的类型。
如上所述，例如可以使用基于其中记录了每个被摄体(例如马、鱼或人脸)的亮度分布信息的模板与实际图像之间的匹配的判定方法作为判定方法。当基于匹配的判定方法如上所述被用作判定方法时，其中记录了每个被摄体的亮度分布信息的模板被存储为特征量312。
相机控制参数313是在成像单元220的成像操作期间设定的相机控制参数。例如，关于程序线图存储单元340上存储的程序线图中的位置的信息被存储为相机控制参数313。
声音判定信息存储单元上存储的内容的示例
图4是示意性示出根据本公开的第一实施例的声音判定信息存储单元320上存储的内容的示例的图。
声音判定信息存储单元320存储用于判定生成由声音获得单元260获得的声音的对象物的类型的判定信息(与声音有关的判定信息)。声音判定信息存储单元320以彼此关联的方式存储对象物的类型321、特征量322和相机控制参数323。
对象物的类型321是生成由声音获得单元260获得的声音的对象物的类型。此外，图4示出了奔跑的马、瀑布、车辆等等作为充当判定对象的对象物的类型的示例。
特征量322是用于判定生成由声音获得单元260获得的声音的对象物的类型的判定信息(声音识别数据)。也就是说，声音判定单元270利用特征量322判定生成由声音获得单元260获得的声音的对象物的类型。为了简化描述，图4以虚拟方式利用字符示出了对象物生成的声音作为特征量。
如上所述，基于与每个对象物(例如马、鱼或人脸)生成的声音有关的时间序列特征量和与声音获得单元260获得的声音有关的时间序列特征量之间的匹配的判定方法可被用作判定方法。当基于匹配的判定方法如上所述被用作判定方法时，与每个被摄体生成的声音有关的时间序列特征量被存储为特征量322。
相机控制参数323是在成像单元220的成像操作期间设定的相机控制参数。例如，关于程序线图存储单元340上存储的程序线图中的位置的信息被存储为相机控制参数323。图3中所示的相机控制参数313是基于图像信息选择的相机控制参数，而相机控制参数323是基于声音信息选择的相机控制参数。
参数校正信息存储单元上存储的内容的示例
图5是示意性示出根据本公开的第一实施例的参数校正信息存储单元330上存储的内容的示例的图。
参数校正信息存储单元330存储用于校正由控制单元280选择的相机控制参数(第一参数)的参数校正信息。参数校正信息存储单元330在其上以彼此关联的方式存储对象物的类型331和参数校正信息332。
对象物的类型331是生成由声音获得单元260获得的声音的对象物的类型。根据本公开的第一实施例，高速移动的物体、低速移动的物体等等被示为作为判定对象的对象物的类型的示例。
参数校正信息332是用于基于生成由声音获得单元260获得的声音的对象物的类型来校正相机控制参数(第一参数)的信息。也就是说，控制单元280利用参数校正信息332校正基于由声音获得单元260获得的声音选择的相机控制参数(第一参数)。将参考图6详细描述相机控制参数(第一参数)。
程序线图
图6是示出根据本公开的第一实施例的程序线图存储单元340上存储的程序线图的示例的图。此外，程序线图(程序AE(自动曝光))被用 于根据被摄体的亮度决定光圈和快门速度。
在图6中所示的程序线图341中，垂直轴表示透镜的光圈值(AV)，并且水平轴表示快门速度(TV：时间值)。此外，斜线(示为虚线)表示曝光值(EV)。
如上所述，控制单元280利用由声音判定单元270判定的被摄体和存储在程序线图存储单元340上的程序线图，选择基于声音信息的相机控制参数(第一参数)。
此外，控制单元280利用由图像判定单元250判定的被摄体和存储在程序线图存储单元340上的程序线图，选择基于图像信息的相机控制参数(第二参数)。
例如，假定声音判定信息存储单元320以彼此关联的方式存储“马”作为对象物的类型321并且存储“程序线图341中的位置342”作为相机控制参数323。在这种情况下，当声音判定单元270判定的被摄体是马时，控制单元280选择与程序线图341中的位置342相对应的相机控制参数(第一参数)。此外，控制单元280根据被摄体(马)的速度，对这样基于声音信息决定的相机控制参数(第一参数)进行校正。被摄体的速度可由声音判定单元270判定。例如，声音判定单元270可以利用声音判定信息存储单元320中的声音判定信息识别快速奔跑的马(高速移动的物体)和缓慢奔跑的马(低速移动的物体)。
例如，当声音判定单元270检测到快速奔跑的马时，最好提升快门速度。由于此原因，控制单元280选择其位置342被移动到程序线图341中的实线345上的位置343的相机控制参数(第一参数)。另一方面，当声音判定单元270检测到缓慢奔跑的马时，例如最好降低快门速度。由于此原因，控制单元280选择其位置342被移动到程序线图341中的实线345上的位置344的相机控制参数(第一参数)。
如上所述，控制单元280可利用程序线图基于声音信息来决定相机控制参数(光圈值、快门速度、曝光值)。此外，控制单元280还可按相同的方式基于图像信息来选择相机控制参数。
根据本公开的第一实施例，将示出由声音判定信息存储单元320利用 相机控制参数323选择第一参数并且利用由声音判定单元270选择的对象物的速度来校正该参数的示例。然而，也可应用另外的配置，其中，例如，基于由测光单元135获得的亮度信息来决定与程序线图中的位置相对应的参数并且利用由声音判定单元270判定的对象物的速度来校正该参数。此外，这同样可应用到基于图像信息校正相机控制参数。
如上所述，控制单元280可利用对象物的移动状态和被摄体距离中的至少一个基于声音信息来校正相机控制参数。此外，控制单元280可利用对象物的移动状态和被摄体距离中的至少一个基于图像信息来校正相机控制参数。
此外，稍后将在本公开的第二实施例中描述在虚线349上从位置346到位置348的移动。
使用成像装置的成像状态的示例
图7A至8B是简要示出根据本公开的第一实施例的作为成像装置100的成像对象的被摄体与成像范围之间的关系的图。
图7A和8A示出了成像装置100和被摄体的侧视图。此外，图7B和8B示出了作为成像装置100的成像对象的被摄体的成像范围。
图7A和7B示出了当奔跑的马401及其周边(例如山脉402)是被摄体时的被摄体与成像范围之间的关系。
将基于如下假设给出描述：在图7A和7B中所示的示例中，由于成像装置100与奔跑的马401之间的距离相对较短，所以声音获得单元260能够获得奔跑的马401的奔跑声音(在图7A中示为“马蹄声”)。
这里，如图7B中所示，在成像范围405中不包括奔跑的马401，而在成像范围406中包括奔跑的马401。由于此原因，当成像范围406被成像单元220成像时，基于由声音获得单元260获得的声音确定的对象物(奔跑的马)与基于由成像单元220生成的图像确定的对象物(马)一致(基本一致)。然而，当成像范围405被成像单元220成像时，基于由声音获得单元260获得的声音确定的对象物(奔跑的马)不与基于由成像单元220生成的图像确定的对象物(山脉、草地)一致。如果例如仅基于由声 音获得单元260获得的声音来选择相机控制参数，则相机控制参数是利用由不包括在成像范围中的对象物生成的声音来选择的。由于此原因，担心不能对与成像范围405相对应的图像设定适当的相机控制参数。从而，根据本公开的第一实施例，利用声音信息和图像信息两者来选择相机控制参数。
图8A和8B示出了当停歇的马411及其周边(例如山脉412)是被摄体时被摄体与成像范围之间的关系。这里，将基于如下假设给出描述：在图8A和8B中所示的示例中，虽然成像装置100与停歇的马411之间的距离相对较短，但由于停歇的马411不生成声音，所以声音获得单元260不会获得与停歇的马411有关的声音。此外，还假设除马以外的对象物不生成声音。
这里，如图8B中所示，在成像范围415中不包括停歇的马411，而在成像范围416中包括停歇的马411。然而，即使当成像范围416被成像单元220成像时，声音获得单元260也不获得声音(与停歇的马411有关的声音)。由于此原因，基于由声音获得单元260获得的声音确定的对象物(无)与基于由成像单元220生成的图像确定的对象物(马)不一致。此外，当成像范围415被成像单元220成像时，基于由声音获得单元260获得的声音确定的对象物(无)与基于由成像单元220生成的图像确定的对象物(山脉、草地)不一致。在两种情况下，如果例如仅基于由声音获得单元260获得的声音来选择相机控制参数，则与图7A和7B中所示的示例中同样地，担心不能设定适当的相机控制参数。
被摄体与相机控制参数之间的关系的示例
图9A至11B是示出根据本公开的第一实施例的成像单元220生成的图像与控制单元280选择的相机控制参数之间的关系的图。
这里，图9A中所示的图像421是与图7B中所示的成像范围406相对应的图像。此外，图10A中所示的图像422是与图7B中所示的成像范围405和图8B中所示的成像范围415相对应的图像。另外，图11A中所示的图像423是与图8B中所示的成像范围416相对应的图像。
在对图9A中所示的图像421的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(奔跑的马)与基于由成像单元220生成的图像确定的对象物(马)一致(基本一致)，如图9B中所示。在这种情况下，控制单元280选择基于声音信息的相机控制参数(第一参数)作为用于成像操作的设定。
这里，假设图10A中所示的图像422是与图7B中所示的成像范围405相对应的图像。在这种情况下，在对图10A中所示的图像422的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(奔跑的马)不与基于由成像单元220生成的图像确定的对象物(草地、山脉)一致，如图10B中所示。在这种情况下，控制单元280选择基于图像信息的相机控制参数(第二参数)作为用于成像操作的设定。
此外，假设图10A中所示的图像422是与图8B中所示的成像范围415相对应的图像。在这种情况下，在对图10A中所示的图像422的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(无)不与基于由成像单元220生成的图像确定的对象物(草地、山脉)一致，如图10C中所示。在这种情况下，控制单元280选择基于图像信息的相机控制参数(第二参数)作为用于成像操作的设定。
此外，在图11A中所示的图像423的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(无)不与基于由成像单元220生成的图像确定的对象物(马)一致，如图11B中所示。在这种情况下，控制单元280选择基于图像信息的相机控制参数(第二参数)作为用于成像操作的设定。
另外，还可以假设处于停歇状态的马在叫(比如嘶叫)。例如，当在图11A和11B中所示的示例中马在叫(比如嘶叫)时，基于由声音获得单元260获得的声音确定的对象物(马)与基于由成像单元220生成的图像确定的对象物(马)一致。在这种情况下，控制单元280可选择基于声音信息的相机控制参数(第一参数)作为用于成像操作的设定。
成像装置的操作示例
图12是示出根据本公开的第一实施例的成像装置100进行的相机控制参数决定处理的处理过程的示例的流程图。
首先，控制单元280判定是否对快门按钮171执行了半按操作(步骤S901)，并且当未对快门按钮171执行半按操作时继续监视。当对快门按钮171执行了半按操作时(步骤S901)，声音获得单元260获得来自成像装置100的周边的声音(步骤S902)。此外，步骤S902是所附权利要求中的用于获得声音的过程的示例。
接下来，声音判定单元270判定生成由声音获得单元260获得的声音的对象物的类型(步骤S903)。随后，控制单元280利用判定结果选择基于声音信息的相机控制参数(第一参数)(步骤S904)。
随后，控制单元280判定是否对快门按钮171执行了全按操作(步骤S905)。当未执行全按操作时(步骤S905)，控制单元280判定对快门按钮171执行的半按操作是否已被释放(步骤S912)，并且当半按操作已被释放时返回到步骤S901。另一方面，当对快门按钮171执行的半按操作未被释放时(步骤S912)控制单元280返回到步骤S902。当对快门按钮171执行了全按操作时(步骤S905)，成像单元220对被摄体成像并且生成图像(步骤S906)。此外，步骤S906是所附权利要求中的用于获得图像的过程的示例。
随后，图像判定单元250判定由成像单元220生成的图像中包括的对象物的类型(步骤S907)。然后，控制单元280利用判定结果选择基于图像信息的相机控制参数(第二参数)(步骤S908)。
随后，控制单元280将声音判定单元270的判定结果与图像判定单元250的判定结果相比较并且判定这些判定结果是否彼此一致(或基本一致)(步骤S909)。也就是说，判定由声音判定单元270判定的对象物是否与由图像判定单元250判定的对象物一致(或基本一致)。这里，如果由声音判定单元270判定的对象物是“奔跑的马”，并且由图像判定单元250判定的对象物是“马”，则对象物彼此一致。也就是说，对象物彼此一致的情况是虽然其状态不同但对象物的类型相同的情况。
当声音判定单元270的判定结果与图像判定单元250的判定结果一致 (或基本一致)时(步骤S909)，控制单元280执行用于利用第一参数执行成像操作的控制(步骤S910)。也就是说，当判定结果彼此一致(或基本一致)时(步骤S910)，基于声音信息的相机控制参数(第一参数)被选择为用于成像操作的设定(步骤S910)。然后，基于第一参数执行成像操作。由成像操作生成的图像作为图像内容被存储在内容存储单元290上。
当声音判定单元270的判定结果与图像判定单元250的判定结果不一致时(步骤S909)，控制单元280执行用于利用第二参数执行成像操作的控制(步骤S911)。也就是说，当判定结果彼此不一致时(步骤S910)，基于图像信息的相机控制参数(第二参数)被选择为用于成像操作的设定(步骤S911)。然后，基于第二参数执行成像操作。由成像操作生成的图像作为图像内容被存储在内容存储单元290上。此外，步骤S909至S911对应于所附权利要求中的用于选择设定的过程的示例。
例如，当如图9A和9B中所示奔跑的马401被包括在成像范围中时，声音判定单元270的判定结果与图像判定单元250的判定结果一致(或基本一致)(步骤S909)。由于此原因，控制单元280选择基于声音信息的相机控制参数(第一参数)并且执行利用该相机控制参数(第一参数)执行成像操作的控制(步骤S910)。基于声音信息的相机控制参数(第一参数)如图6中所示是被进行了用于提升快门速度的校正(从位置342到位置343的校正)的参数。
例如，当如图10A至10C中所示奔跑的马401不被包括在成像范围中时(包括马生成奔跑声的情况和马不生成奔跑声的情况两者)，声音判定单元270的判定结果不与图像判定单元250的判定结果一致(步骤S909)。由于此原因，控制单元280选择基于图像信息的相机控制参数(第二参数)并且执行用于利用该相机控制参数(第二参数)执行成像操作的控制(步骤S911)。此外，基于图像信息的相机控制参数(第二参数)是根据由图像判定单元250判定的对象物的类型(草地、山脉)设定的参数。
例如，当如图11A和11B中所示停歇的马411被包括在成像范围中时 (同时马没有叫)，声音判定单元270的判定结果不与图像判定单元250的判定结果一致(步骤S909)。由于此原因，控制单元280选择基于图像信息的相机控制参数(第二参数)并且执行用于利用该相机控制参数(第二参数)执行成像操作的控制(步骤S911)。当声音获得单元260如上所述未获得声音时，不选择基于声音信息的相机控制参数(第一参数)。此外，在此示例中选择的基于图像信息的相机控制参数(第二参数)是根据由图像判定单元250判定的对象物的类型(马)来设定的参数。
如上所述，根据本公开的第一实施例，分析由声音获得单元260获得的声音和由成像单元220生成的图像，并且利用分析结果选择相机控制参数。这样，可以在设定最佳相机控制参数的同时执行成像操作。例如，当生成声音的对象物被包括在成像范围中时，可以在设定针对该对象物的最佳相机控制参数的同时执行成像操作。这样，可以在考虑到成像范围中包括的对象物生成的声音的情况下，容易地获得具有真实感的图像。即使当生成声音的对象物存在于成像范围之外时，也可以基于成像范围中的图像信息来设定适当的相机控制参数。也就是说，可以在考虑到生成声音的对象物和除了生成声音的对象物以外的对象物之间的关系的情况下来适当地选择用于成像操作的设定。
虽然以上描述是对位于山脉前方的马被例示为生成声音的对象物的本公开的第一实施例给出的，但本公开的第一实施例也可应用到不生成声音的对象物和生成声音的对象物都存在的另外状态。例如，本公开的第一实施例可应用到不生成声音的对象物存在且生成声音的对象物存在于不生成声音的对象物前面的状态。例如，本公开的第一实施例可应用到机场中的飞机、赛车场中的车辆等等被成像的情况。
第二实施例
在本公开的第一实施例中，示出了当图像中包括生成声音的对象物时考虑到声音来选择要用于成像操作的相机控制参数的示例。然而，还有这样的情况，其中，即使当图像中包括生成声音的对象物时，生成声音的对象物以外的对象物才是主对象物(例如捕捉图像的人所聚焦的对象物)。
从而，在本公开的第二实施例中，将示出如果图像中不仅包括生成声音的对象物而且也包括除生成声音的对象物以外的对象物，则选择基于图像信息的相机控制参数的示例。此外，根据本公开的第二实施例的成像装置的配置与图1和2中所示的示例中的基本相同。由于此原因，将省略对与本公开的第一实施例中共同的部分的一部分描述。
判定多个对象物的示例
图13A和13B是示出根据本公开的第二实施例的成像单元220生成的图像430和图像430的深度图(depth map)之间的关系的图。
图13A示出了成像单元220生成的图像430。图像430被假设为是在鱼(例如鲑鱼)431跳出水中的时刻在瀑布432的瀑布潭附近捕捉的图像。由于此原因，在图像430中包括悬浮在空中的鱼431。
图13B以直方图的形式示出了成像单元220生成的图像430的深度图。
图13B中所示的直方图是示出与图像430中包括的被摄体有关的被摄体距离的分布状态的直方图。
这里，控制单元280基于由成像单元220生成的图像和图像生成时的各种信息(例如透镜位置、聚焦位置)计算与图像有关的被摄体距离。例如，控制单元280可生成所谓的深度图并且基于深度图获得与每个区域有关的被摄体距离。这里，深度图是由表示被摄体距离的数据构成的图。作为用于生成深度图的方法，可以使用诸如TOF(飞行时间)方案和模糊量分析(离焦深度)之类的各种方法。例如，TOF方案是基于直到从光源发射的光被对象物反射并到达传感器为止的光延迟时间和光的速度来计算到被摄体的距离的方法。
当执行相位差AF的成像元件被用作成像元件131时，控制单元280可基于从成像元件输出的相位差检测信号来生成深度图。也就是说，控制单元280获得与由成像单元220生成的图像中包括的每个对象物有关的被摄体距离。此外，控制单元280是所附权利要求中的被摄体距离获得单元的示例。
例如，图像430如图13A中所示包括浮在空中的鱼431、存在于鱼431后方的瀑布432及其瀑布潭。由于此原因，从成像装置100到瀑布432和瀑布潭的距离比从成像装置100到鱼431的距离远。
当如上所述在图像中包括具有不同被摄体距离的多个对象物时，在表示被摄体距离分布状态的直方图中对于每个对象物形成山状形状。具体而言，如图13B中所示，形成了与相对靠近成像装置100的鱼431相对应的山状形状435和与相对远离成像装置100的瀑布432及其瀑布潭相对应的山状形状436。
当如上所述在直方图中存在多个山状形状并且例如有多个山状形状等于或大于虚线所示的阈值437时，可以判定存在多个对象物。然而，如果直方图中的多个山状形状对应于与存在于远处位置的对象物有关的山脉(例如作为背景的山脉)，则可不判定存在多个对象物。
例如，当等于或大于虚线所示的阈值438的山状形状存在时，可以在不考虑与山状形状相对应的对象物的存在性的情况下作出判定。
以下，将对用于选择基于图像信息的相机控制参数(第二参数)的方法给出描述。根据本公开的第二实施例，控制单元280利用计算出的被摄体距离和图像判定单元250的判定结果选择基于图像信息的相机控制参数(第二参数)。具体而言，当判定存在多个对象物时，控制单元280基于为每个对象物计算的被摄体距离，为每个对象物选择基于图像信息的相机控制参数(第二参数)。即使在这种情况下，也可以利用参数校正信息存储单元330上存储的参数校正信息来校正基于图像信息的相机控制参数(第二参数)。
例如，有这样的情况，即，图像判定信息存储单元310以彼此关联的方式存储“鱼”作为对象物的类型311并且存储程序线图341中的位置346作为相机控制参数313。在这种情况下，当图像判定单元250判定的对象物是鱼时，控制单元280选择与程序线图341中的位置346相对应的相机控制参数(第二参数)。此外，控制单元280根据对象物(鱼)的被摄体距离来校正如上所述基于图像信息选择的相机控制参数(第二参数)。
例如，当被摄体距离较短时，最好提升快门速度。由于此原因，控制单元280选择其位置346在程序线图341中的虚线349上移动到左侧的位置347的相机控制参数(第二参数)。另一方面，例如，当被摄体距离较长时，最好降低快门速度。由于此原因，控制单元280选择其位置346在程序线图341中的虚线349上移动到右侧的位置348的相机控制参数(第二参数)。
如上所述，控制单元280可利用程序线图选择基于图像信息的相机控制参数(光圈值、快门速度、曝光值)。
使用成像装置的成像状态的示例
图14A至15B是简要示出根据本公开的第二实施例的由成像装置100成像的被摄体与成像范围之间的关系的图。
图14A和15A示出了成像装置100和被摄体的侧视图。此外，图14B和15B示出了由成像装置100成像的被摄体的成像范围。
图14A和14B示出了当从水中跳出的鱼(例如鲑鱼)441、瀑布442及其瀑布潭的周边是被摄体时的被摄体与成像范围之间的关系。以下，将基于如下假设给出描述：在图14A和14B中所示的示例中，由于成像装置100与瀑布442之间的距离相对较短，所以声音获得单元260能够获得瀑布442的流动声(在图14A中示为“奔流声”)。
这里，如图14B中所示，在成像范围445中不包括鱼441，而在成像范围446中包括从水中跳出的鱼441。由于此原因，当成像范围446被成像单元220成像时，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(瀑布、鱼)一致(即，部分一致)。此外，当成像范围445被成像单元220成像时，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(瀑布)一致。
这里，本公开的第一实施例被描述为当基于由声音获得单元260获得的声音确定的对象物与基于由成像单元220生成的图像确定的对象物一致时选择基于声音信息的相机控制参数的示例。然而，当成像范围446被成 像单元220成像时，很有可能可对作为主对象物的从水中跳出的鱼441而不是作为背景的瀑布442执行成像操作。
也就是说，假设基于由成像单元220生成的图像确定的对象物(鱼)比基于由声音获得单元260获得的声音确定的对象物(瀑布)更重要。在这种情况下，担心例如当仅基于由声音获得单元260获得的声音来选择相机控制参数时，不能对成像范围446中包括的被摄体的图像设定适当的相机控制参数。从而，本公开的第二实施例将被描述为即使基于声音确定的对象物与基于图像确定的对象物一致，当在成像范围中还存在另一对象物时，则选择基于图像信息的相机控制参数的示例。
图15A和15B示出了当瀑布452及瀑布潭的周边是被摄体时被摄体与成像范围之间的关系。以下，将基于如下假设给出描述：在图15A和15B中所示的示例中，由于成像装置100与瀑布452之间的距离相对较短，所以声音获得单元260能够获得瀑布452的流动声(在图15A中表示为“奔流声”)。
这里，如图15B中所示，在成像范围455中包括瀑布452。在这种情况下，可以按与图14B中所示的成像范围445中相同的方式选择相机控制参数。
被摄体与相机控制参数之间的关系的示例
图16A至18B是示出根据本公开的第二实施例的成像单元220生成的图像与控制单元280选择的相机控制参数之间的关系的图。
这里，图16A中所示的图像461是与图14B中所示的成像范围446相对应的图像。此外，图17A中所示的图像462是与图14B中所示的成像范围445相对应的图像。另外，图18A中所示的图像463是与图15B中所示的成像范围455相对应的图像。
如图16B中所示，在对图16A中所示的图像461的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(鱼、瀑布)一致(部分一致)。然而，在成像单元220生成的图像中包括与不同于与一致对象物(瀑布)有关的 被摄体距离(长)的被摄体距离(短)有关的另一对象物(鱼)。在这种情况下，控制单元280选择基于图像信息的相机控制参数(第二参数)作为用于成像操作的设定。
如图17B中所示，在对图17A中所示的图像462的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(瀑布)一致。此外，在成像单元220生成的图像中不包括另一对象物，该另一对象物与不同于与一致对象物(瀑布)有关的被摄体距离的被摄体距离有关。在这种情况下，控制单元280选择基于声音信息的相机控制参数(第一参数)作为用于成像操作的设定。
如图18B中所示，在对图18A中所示的图像463的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(瀑布)一致。此外，在成像单元220生成的图像中不包括与不同于与一致对象物(瀑布)有关的被摄体距离的被摄体距离有关的另一对象物。在这种情况下，控制单元280选择基于声音信息的相机控制参数(第一参数)作为用于成像操作的设定。
如上所述，控制单元280基于在成像单元220生成的图像中是否包括与不同于与第一对象物有关的被摄体距离的被摄体距离有关的另一对象物来选择相机控制参数。
成像装置的操作示例
图19是示出根据本公开的第二实施例的成像装置100进行的相机控制参数决定处理的处理过程的示例的流程图。由于图19示出了图12的修改例，所以将对与图12中共同的组件给予相同的标号，并且将省略一部分描述。
在判定成像单元220生成的图像中包括的对象物的类型之后(步骤S907)，控制单元280计算成像范围中包括的每个对象物的被摄体距离(步骤S921)。随后，控制单元280基于计算出的被摄体距离和图像判定单元250的判定结果选择基于图像信息的相机控制参数(第二参数)(步 骤S922)。
当声音判定单元270的判定结果与图像判定单元250的判定结果一致(或基本一致)时(步骤S909)，控制单元280判定在成像范围中是否存在除了一致对象物以外的对象物(步骤S923)。当在成像范围中不存在除了一致对象物以外的对象物时(步骤S923)，控制单元280执行用于利用第一参数执行成像操作的控制(步骤S910)。另一方面，当在成像范围中存在除了一致对象物以外的对象物时(步骤S923)，控制单元280执行用于利用第二参数执行成像操作的控制(步骤S911)。
当例如如图9A中所示奔跑的马401被包括在成像范围中时，声音判定单元270的判定结果与图像判定单元250的判定结果一致(基本一致)(步骤S909)。此外，由于奔跑的马401的背景(草地、山脉)如上所述不被判定为另一对象物，所以不存在除奔跑的马401以外的对象物(步骤S923)。由于此原因，控制单元280以与本公开的第一实施例中相同的方式选择基于声音信息的相机控制参数(第一参数)并且执行用于利用相机控制参数(第一参数)来执行成像操作的控制(步骤S910)。基于声音信息的相机控制参数(第一参数)是如图6中所示的被执行了用于提升快门速度的校正(从位置342到位置343的校正)的参数。
当例如如图10A中所示奔跑的马401未被包括在成像范围中时(包括两种情况：包括马奔跑声的情况和不包括马奔跑声的情况)，声音判定单元270的判定结果不与图像判定单元250的判定结果一致(步骤S909)。由于此原因，控制单元280以与本公开的第一实施例中相同的方式选择基于图像信息的相机控制参数(第二参数)并且执行用于利用相机控制参数(第二参数)来执行成像操作的控制。这里，根据本公开的第二实施例选择的基于图像信息的相机控制参数(第二参数)是根据由图像判定单元250判定的与对象物(草地、山脉)有关的被摄体距离来设定的参数。
当例如如图11A中所示停歇的马411被包括在成像范围中(同时马没有叫)时，声音判定单元270的判定结果不与图像判定单元250的判定结果一致(步骤S909)。由于此原因，控制单元280选择基于图像信息的相机控制参数(第二参数)并且执行用于利用相机控制参数(第二参数)来 执行成像操作的控制(步骤S911)。这里，根据本公开的第二实施例选择的基于图像信息的相机控制参数(第二参数)是根据由图像判定单元250判定的与对象物(马)有关的被摄体距离来设定的参数。
当例如如图16A中所示瀑布442被包括在成像范围中时，声音判定单元270的判定结果与图像判定单元250的判定结果一致(部分一致)(步骤S909)。然而，如上所述，判定出存在除了瀑布442以外的对象物(鱼441)(步骤S923)。由于此原因，控制单元280选择基于图像信息的相机控制参数(第二参数)并且执行用于利用相机控制参数(第二参数)来执行成像操作的控制(步骤S911)。
由于在图16A和16B中所示的示例中存在两个对象物，因此两个参数(基于鱼441的参数和基于瀑布442及其瀑布潭的参数)被决定为基于图像信息的相机控制参数(第二参数)。例如，基于鱼441的参数是如图6中所示被执行了用于提升快门速度的校正(从位置346到位置347的校正)的参数。另一方面，基于瀑布442和瀑布潭的参数是如图6中所示被执行了用于降低快门速度的校正(从位置346到位置348的校正)的参数。
由于如上所述两个参数被选择为基于图像信息的相机控制参数(第二参数)，所以控制单元280执行用于利用这些参数中的任何一个来执行成像操作的控制(步骤S911)。在位于成像范围的中心的对象物被视为主对象物的设定的情况下，控制单元280执行用于利用基于鱼441的参数来执行成像操作的控制。
当例如如图17A中所示只有瀑布442被包括在成像范围中时，声音判定单元270的判定结果与图像判定单元250的判定结果一致(步骤S909)。由于不存在除了瀑布442(包括其瀑布潭)以外的对象物，所以判定不存在多个对象物(步骤S923)。由于此原因，控制单元280选择基于声音信息的相机控制参数(第一参数)并且执行用于利用相机控制参数(第一参数)来执行成像操作的控制(步骤S910)。
由于图18A和18B中所示的示例与图17A和17B相同，这里将省略描述。
如上所述，根据本公开的第二实施例，当不仅包括生成声音的对象物，而且包括除了生成声音的对象物以外的对象物时，选择基于图像信息的相机控制参数。这样，即使当除了生成声音并且也被包括在图像中的对象物以外的对象物是主对象物时，也可以针对主对象物设定最佳的相机控制参数并且执行成像操作。也就是说，可以在考虑到生成声音的对象物和除了生成声音的对象物以外的对象物之间的关系的情况下适当地选择用于成像操作的设定。
虽然本公开的第二实施例在以上被描述为位于鱼后方的瀑布是生成声音的对象物的示例，但本公开的第二实施例可应用到如下的另外状态：生成声音的对象物存在于背景中，并且另一对象物存在于生成声音的对象物前方。例如，本公开的第二实施例可应用到如下状态：大量观众存在于在舞台上存在的对象物(其不生成声音)的后方，并且这大量观众生成声音。
第三实施例
本公开的第一实施例被描述为在图像中包括生成声音的对象物时考虑到声音来选择用于成像操作的相机控制参数的示例。然而，即使当图像中包括生成声音的对象物(不是人)时，如果图像中包括人，则也有该人是主对象物的情况。
从而，本公开的第三实施例将被描述为如下示例：即使当图像中包括生成声音的对象物(不是人)时，如果图像中包括人，则基于图像信息的相机控制参数被用于成像操作。此外，根据本公开的第三实施例的成像装置的配置与图1和2中所示的示例基本相同。由于此原因，将省略与本公开的第一实施例中共同的组件的一部分描述。
使用成像装置的成像状态的示例
图20A和20B是简要示出根据本公开的第三实施例的成像装置100要成像的被摄体与成像范围之间的关系的图。图20A示出了成像装置100和被摄体的侧视图。此外，图20B示出了成像装置100要成像的被摄体的成 像范围。
图20A和20B示出了当站在瀑布472前方的人471和瀑布472的周边(瀑布潭和河)是被摄体时的被摄体与成像范围之间的关系。将基于如下假设给出描述：在图20A和20B中所示的示例中，由于成像装置100与瀑布472之间的距离相对较短，所以声音获得单元260能够获得瀑布472的流动声(在图20A中表示为“奔流声”)。
这里，如图20B中所示，瀑布472未被包括在成像范围475中，而瀑布472被包括在成像范围476和477中。因为此原因，由于成像范围476被成像单元220成像，所以基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(人、瀑布)一致(即，部分一致)。此外，当成像范围477被成像单元220成像时，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(瀑布)一致。
这里，本公开的第一实施例被描述为当基于由声音获得单元260获得的声音确定的对象物与基于由成像单元220生成的图像确定的对象物一致时选择基于声音信息的相机控制参数的示例。然而，可以认为很有可能当成像范围476被成像单元220成像时，可能在站在背景中的瀑布472前方的人471被视为主对象物的同时执行成像操作。
也就是说，可以认为基于由成像单元220生成的图像确定的对象物(人)比基于由声音获得单元260获得的声音确定的对象物(瀑布)更重要。在这种情况下，担心例如当仅基于由声音获得单元260获得的声音来选择相机控制参数时，对于成像范围476中包括的被摄体的图像，不能设定适当的相机控制参数。从而，本公开的第三实施例将被描述为如下示例：即使当基于声音确定的对象物与基于图像确定的对象物一致时，如果在成像范围中有人，则选择基于图像信息的相机控制参数。
在成像范围475中包括人471。即使在这种情况下，也以相同的方式选择基于图像信息的相机控制参数。
被摄体与相机控制参数之间的关系的示例
图21A至23B是示出根据本公开的第三实施例的成像单元220生成的图像与控制单元280选择的相机控制参数之间的关系的图。
图21A中所示的图像481是与图20B中所示的成像范围476相对应的图像。此外，图22A中所示的图像482是与图20B中所示的成像范围475相对应的图像。另外，图23A中所示的图像483是与图20B中所示的成像范围477相对应的图像。
如图21B中所示，在对图21A中所示的图像481的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(人、瀑布)一致(部分一致)。然而，在成像单元220生成的图像中包括人471的脸。在这种情况下，控制单元280选择基于图像信息的相机控制参数(第二参数)作为用于成像操作的设定。
如图22B中所示，在对图22A中所示的图像482的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(人、山脉)不一致。在这种情况下，控制单元280选择基于图像信息的相机控制参数(第二参数)作为用于成像操作的设定。
如图23B中所示，在对图23A中所示的图像483的成像操作期间，基于由声音获得单元260获得的声音确定的对象物(瀑布)与基于由成像单元220生成的图像确定的对象物(瀑布)一致。此外，在成像单元220生成的图像中不包括人脸。在这种情况下，控制单元280选择基于声音信息的相机控制参数(第一参数)作为用于成像操作的设定。
如上所述，控制单元280基于在成像单元220生成的图像中是否包括特定对象物(例如人脸)来选择相机控制参数。
成像装置的操作示例
图24是示出根据本公开的第三实施例的成像装置100进行的相机控制参数决定处理的处理过程的示例的流程图。由于图24示出了图12的修改例，所以将对与图12中共同的组件给予相同的标号，并且将省略一部 分描述。
当声音判定单元270的判定结果与图像判定单元250的判定结果一致(或基本一致)时(步骤S909)，控制单元280判定在成像范围中是否存在人(人脸)(步骤S931)。当在成像范围中不存在人(人脸)时(步骤S931)，控制单元280执行用于利用第一参数执行成像操作的控制(步骤S910)。另一方面，当在成像范围中存在人(人脸)时(步骤S931)，控制单元280执行用于利用第二参数执行成像操作的控制(步骤S911)。
在图9A至11B中所示的示例中执行与本公开的第一实施例中相同的决定处理，因为在成像范围中不包括人。
类似地，在图16A至18B中所示的示例中执行与本公开的第二实施例中相同的决定处理，因为在成像范围中不包括人。
当例如如图21A中所示瀑布472被包括在成像范围中时，声音判定单元270的判定结果与图像判定单元250的判定结果一致(部分一致)(步骤S909)。然而，如上所述判定在成像范围中存在人471(步骤S931)。由于此原因，控制单元280选择基于图像信息的相机控制参数(第二参数)并且执行用于利用相机控制参数(第二参数)来执行成像操作的控制(步骤S911)。在这种情况下，控制单元280执行用于利用基于人471的参数(例如利用被摄体信息选择的参数)来执行成像操作的控制(步骤S911)。
当例如如图22A中所示瀑布472未被包括在成像范围中时，声音判定单元270的判定结果不与图像判定单元250的判定结果一致(步骤S909)。由于此原因，控制单元280选择基于图像信息的相机控制参数(第二参数)并且执行用于利用相机控制参数(第二参数)来执行成像操作的控制(步骤S911)。即使在这种情况下，控制单元280也执行用于利用基于人471的参数来执行成像操作的控制(步骤S911)。
当例如如图23A中所示瀑布472被包括在成像范围中时，声音判定单元270的判定结果与图像判定单元250的判定结果一致(部分一致)(步骤S909)。在这种情况下，判定在成像范围中不存在人471(步骤S931)。由于此原因，控制单元280选择基于声音信息的相机控制参数 (第一参数)并且执行用于利用相机控制参数(第一参数)来执行成像操作的控制(步骤S910)。
如上所述，根据本公开的第三实施例，即使当图像中包括生成声音的对象物时，如果在图像中包括人，则也选择基于图像信息的相机控制参数。这样，即使当在图像中包括生成声音的对象物的情况下人是主对象物时，也可以针对人设定最佳的相机控制参数并且执行成像操作。也就是说，可以考虑到生成声音的对象物与除了生成声音的对象物以外的对象物之间的关系来适当地选择用于成像操作的设定。
本公开的上述实施例被描述为利用声音判定单元270的判定结果(例如对象物的速度)来校正基于由声音判定单元270判定的对象物选择的参数的示例。然而，可以利用图像判定单元250的判定结果(例如对象物的速度)来校正基于由声音判定单元270判定的对象物选择的参数。
此外，本公开的上述实施例被描述为利用图像判定单元250的判定结果(例如对象物的速度)或被摄体距离(对象物的被摄体距离)来校正基于由图像判定单元250判定的对象物选择的参数的示例。然而，可以利用声音判定单元270的判定结果(例如对象物的速度或被摄体距离)来校正基于由图像判定单元250判定的对象物选择的参数。
此外，控制单元280可基于由声音获得单元260获得的周边声音和由成像单元220生成的图像来通过另外的决定方法选择设定(用于成像单元220的成像操作的设定)。
例如，当声音判定单元270判定烟花声音时，控制单元280可将基于由图像判定单元250判定的对象物选择的参数校正为对于烟花最佳的参数。例如，当声音判定单元270判定烟花声音时，控制单元280可将烟花模式设定为成像模式并且在设定烟花模式的同时基于由图像判定单元250判定的对象物设定最佳参数。这样，当对顺次发射的烟花成像时，通过使快门按钮171保持在半按状态中，可以容易地设定针对烟花的最佳参数。
此外，本公开的上述实施例被描述为从对快门按钮171执行半按操作的时刻到执行全按操作的时刻的时段被视为声音判定时段并且在其期间对快门按钮171执行全按操作的时段被视为图像判定时段的示例。然而，通 过将在其期间设定静止图像捕捉模式的时段视为声音判定时段和图像判定时段，可以顺次执行声音判定处理和图像判定处理。此外，声音判定时段和图像判定时段可被定期或不定期地设定，或者在成像操作期间被设定在能够在其期间设定相机控制参数的另一时段中。
虽然本公开的实施例被描述为光圈值、快门速度和曝光值被决定为相机控制参数的示例，但本公开的实施例可应用到选择另外的相机控制参数的情况。例如，根据对象物的最佳成像参数和最佳图像处理参数可被预先存储为与每个对象物相关联，并且用于成像操作的设定可利用每个参数来选择。
虽然本公开的实施例被描述为成像装置100设有成像单元的示例，但本公开的实施例可应用到具有可脱离的成像单元的信息处理装置。此外，本公开的实施例可应用到诸如具有成像功能的移动电话或具有成像功能的移动终端设备之类的信息处理装置。
上述实施例是用于实现本公开的说明性示例，并且实施例中的项目与所附权利要求中的发明项目具有对应关系。类似地，所附权利要求中的发明项目与本公开的实施例中以相同方式指称的项目具有对应关系。然而，本公开不限于这些实施例，而是可通过在不脱离本公开的范围的情况下对实施例添加各种修改来实现。
此外，上述实施例中描述的处理过程可被理解为包括该系列过程的方法，或者可被理解为用于使得计算机执行该系列过程的程序或其上存储该程序的记录介质。作为记录介质，可以使用CD(致密盘)、MD(袖珍盘)、DVD(数字多功能盘)、存储卡、蓝光盘(注册商标)等等。
另外，本公开可被配置如下。
(1)一种信息处理装置，包括：控制单元，被配置为执行用于基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于所述成像单元的成像操作的设定的控制。
(2)根据(1)所述的信息处理装置，还包括：第一判定单元，被配置为基于由所述声音获得单元获得的周边声音来判定生成声音的对象物；以及第二判定单元，被配置为基于由所述成像单元生成的图像来判定所述 图像中包括的对象物，其中，所述控制单元被配置为基于所述第一判定单元的判定结果和所述第二判定单元的判定结果来选择所述设定。
(3)根据(2)所述的信息处理装置，其中，所述控制单元被配置为基于作为由所述第一判定单元判定的对象物的第一对象物和作为由所述第二判定单元判定的对象物的第二对象物之间的比较结果来选择所述设定。
(4)根据(3)所述的信息处理装置，其中，所述控制单元被配置为基于所述第一对象物来选择作为与所述设定有关的参数的第一参数，基于所述第二对象物来选择作为与所述设定有关的参数的第二参数，并且基于所述第一对象物是否与所述第二对象物一致来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
(5)根据(4)所述的信息处理装置，其中，所述控制单元被配置为当所述第一对象物与所述第二对象物一致时利用所述第一参数选择所述设定，并且当所述第一对象物与所述第二对象物不一致时利用所述第二参数选择所述设定。
(6)根据(4)或(5)所述的信息处理装置，其中，所述第一判定单元被配置为判定与所述第一对象物有关的移动状态和被摄体距离中的至少一个以及所述第一对象物，并且所述控制单元被配置为基于与所述第一对象物有关的移动状态和被摄体距离中的至少一个来校正所述第一参数。
(7)根据(4)至(6)的任何一个所述的信息处理装置，其中，所述第二判定单元被配置为判定与所述第二对象物有关的移动状态和被摄体距离中的至少一个以及所述第二对象物，并且所述控制单元被配置为基于与所述第二对象物有关的移动状态和被摄体距离中的至少一个来校正所述第二参数。
(8)根据(4)至(7)的任何一个所述的信息处理装置，还包括：被摄体距离获得单元，被配置为获得与由所述成像单元生成的图像中包括的每个对象物有关的被摄体距离，其中所述控制单元被配置为基于在由所述成像单元生成的图像中是否包括与不同于与所述第一对象物有关的被摄体距离的被摄体距离有关的另一对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
(9)根据(4)至(7)的任何一个所述的信息处理装置，其中所述第二判定单元被配置为判定在由所述成像单元生成的图像中是否包括特定对象物，并且其中所述控制单元被配置为基于在由所述成像单元生成的图像中是否包括所述特定对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
(10)根据(9)所述的信息处理装置，其中，所述第二判定单元被配置为判定是否包括作为所述特定对象物的人脸。
(11)一种成像装置，包括：声音获得单元，被配置为获得周边声音；成像单元，被配置为对被摄体成像并且生成图像；以及控制单元，被配置为执行用于基于由所述声音获得单元获得的周边声音和由所述成像单元生成的图像来选择用于所述成像单元的成像操作的设定的控制。
(12)一种信息处理方法，包括：获得来自信息处理装置的周边的声音；获得由成像单元生成的图像；以及基于所获得的声音和所获得的图像来选择用于所述成像单元的成像操作的设定。
(13)一种程序，使得计算机：获得来自信息处理装置的周边的声音；获得由成像单元生成的图像；以及基于所获得的声音和所获得的图像来选择用于所述成像单元的成像操作的设定。
本公开包含与2011年11月21日向日本专利局提交的日本优先权专利申请JP2011-253547中公开的主题相关的主题，特此通过引用将该申请的全部内容并入。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

Claims (9)

1.一种信息处理装置，包括：
控制单元，被配置为执行用于基于由声音获得单元获得的周边声音和由成像单元生成的图像来选择用于所述成像单元的成像操作的设定的控制；
第一判定单元，被配置为基于由所述声音获得单元获得的周边声音来判定生成声音的对象物；
第二判定单元，被配置为基于由所述成像单元生成的图像来判定所述图像中包括的对象物；以及
被摄体距离获得单元，被配置为获得与由所述成像单元生成的图像中包括的每个对象物有关的被摄体距离，
其中，所述控制单元被配置为基于所述第一判定单元的判定结果和所述第二判定单元的判定结果来选择所述设定，
其中，所述控制单元被配置为基于作为由所述第一判定单元判定的对象物的第一对象物和作为由所述第二判定单元判定的对象物的第二对象物之间的比较结果来选择所述设定，
其中，所述控制单元被配置为基于所述第一对象物来选择作为与所述设定有关的参数的第一参数，基于所述第二对象物来选择作为与所述设定有关的参数的第二参数，并且基于所述第一对象物是否与所述第二对象物一致来利用所述第一参数和所述第二参数中的任何一个选择所述设定，并且
其中，所述控制单元被配置为基于在由所述成像单元生成的图像中是否包括与不同于与所述第一对象物有关的被摄体距离的被摄体距离有关的另一对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
2.根据权利要求1所述的信息处理装置，
其中，所述控制单元被配置为当所述第一对象物与所述第二对象物一致时利用所述第一参数选择所述设定，并且当所述第一对象物与所述第二对象物不一致时利用所述第二参数选择所述设定。
3.根据权利要求1所述的信息处理装置，
其中，所述第一判定单元被配置为判定与所述第一对象物有关的移动状态和被摄体距离中的至少一个以及所述第一对象物，并且
其中，所述控制单元被配置为基于与所述第一对象物有关的移动状态和被摄体距离中的至少一个来校正所述第一参数。
4.根据权利要求1所述的信息处理装置，
其中，所述第二判定单元被配置为判定与所述第二对象物有关的移动状态和被摄体距离中的至少一个以及所述第二对象物，并且
其中，所述控制单元被配置为基于与所述第二对象物有关的移动状态和被摄体距离中的至少一个来校正所述第二参数。
5.根据权利要求1所述的信息处理装置，
其中，所述第二判定单元被配置为判定在由所述成像单元生成的图像中是否包括特定对象物，并且
其中，所述控制单元被配置为基于在由所述成像单元生成的图像中是否包括所述特定对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
6.根据权利要求5所述的信息处理装置，
其中，所述第二判定单元被配置为判定是否包括作为所述特定对象物的人脸。
7.一种成像装置，包括：
声音获得单元，被配置为获得周边声音；
成像单元，被配置为对被摄体成像并且生成图像；
控制单元，被配置为执行用于基于由所述声音获得单元获得的所述周边声音和由所述成像单元生成的所述图像来选择用于所述成像单元的成像操作的设定的控制；
第一判定单元，被配置为基于由所述声音获得单元获得的周边声音来判定生成声音的对象物；
第二判定单元，被配置为基于由所述成像单元生成的图像来判定所述图像中包括的对象物；以及
被摄体距离获得单元，被配置为获得与由所述成像单元生成的图像中包括的每个对象物有关的被摄体距离，
其中，所述控制单元被配置为基于所述第一判定单元的判定结果和所述第二判定单元的判定结果来选择所述设定，
其中，所述控制单元被配置为基于作为由所述第一判定单元判定的对象物的第一对象物和作为由所述第二判定单元判定的对象物的第二对象物之间的比较结果来选择所述设定，
其中，所述控制单元被配置为基于所述第一对象物来选择作为与所述设定有关的参数的第一参数，基于所述第二对象物来选择作为与所述设定有关的参数的第二参数，并且基于所述第一对象物是否与所述第二对象物一致来利用所述第一参数和所述第二参数中的任何一个选择所述设定，并且
其中，所述控制单元被配置为基于在由所述成像单元生成的图像中是否包括与不同于与所述第一对象物有关的被摄体距离的被摄体距离有关的另一对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
8.一种信息处理方法，包括：
获得来自信息处理装置的周边的声音；
获得由成像单元生成的图像；
基于所获得的声音和所获得的图像来选择用于所述成像单元的成像操作的设定；
获得由第一判定单元基于所获得的周边声音判定的生成声音的对象物；
获得由第二判定单元基于由所述成像单元生成的图像判定的所述图像中包括的对象物；
获得与由所述成像单元生成的图像中包括的每个对象物有关的被摄体距离，
其中，基于所述第一判定单元的判定结果和所述第二判定单元的判定结果来选择所述设定，
其中，基于作为由所述第一判定单元判定的对象物的第一对象物和作为由所述第二判定单元判定的对象物的第二对象物之间的比较结果来选择所述设定，
其中，基于所述第一对象物来选择作为与所述设定有关的参数的第一参数，基于所述第二对象物来选择作为与所述设定有关的参数的第二参数，并且基于所述第一对象物是否与所述第二对象物一致来利用所述第一参数和所述第二参数中的任何一个选择所述设定，并且
其中，基于在由所述成像单元生成的图像中是否包括与不同于与所述第一对象物有关的被摄体距离的被摄体距离有关的另一对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
9.一种其上存储有程序的计算机可读存储介质，所述程序在被执行时使得计算机：
获得来自信息处理装置的周边的声音；
获得由成像单元生成的图像；
基于所获得的声音和所获得的图像来选择用于所述成像单元的成像操作的设定；
获得由第一判定单元基于所获得的周边声音判定的生成声音的对象物；
获得由第二判定单元基于由所述成像单元生成的图像判定的所述图像中包括的对象物；
获得与由所述成像单元生成的图像中包括的每个对象物有关的被摄体距离，
其中，基于所述第一判定单元的判定结果和所述第二判定单元的判定结果来选择所述设定，
其中，基于作为由所述第一判定单元判定的对象物的第一对象物和作为由所述第二判定单元判定的对象物的第二对象物之间的比较结果来选择所述设定，
其中，基于所述第一对象物来选择作为与所述设定有关的参数的第一参数，基于所述第二对象物来选择作为与所述设定有关的参数的第二参数，并且基于所述第一对象物是否与所述第二对象物一致来利用所述第一参数和所述第二参数中的任何一个选择所述设定，并且
其中，基于在由所述成像单元生成的图像中是否包括与不同于与所述第一对象物有关的被摄体距离的被摄体距离有关的另一对象物，来利用所述第一参数和所述第二参数中的任何一个选择所述设定。
CN201210459021.0A 2011-11-21 2012-11-14 信息处理装置、成像装置、信息处理方法和计算机可读存储介质 Expired - Fee Related CN103139466B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-253547 2011-11-21
JP2011253547A JP2013110551A (ja) 2011-11-21 2011-11-21 情報処理装置、撮像装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN103139466A CN103139466A (zh) 2013-06-05
CN103139466B true CN103139466B (zh) 2017-08-25

Family

ID=48426469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210459021.0A Expired - Fee Related CN103139466B (zh) 2011-11-21 2012-11-14 信息处理装置、成像装置、信息处理方法和计算机可读存储介质

Country Status (3)

Country Link
US (1) US9172858B2 (zh)
JP (1) JP2013110551A (zh)
CN (1) CN103139466B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282284B2 (en) * 2013-05-20 2016-03-08 Cisco Technology, Inc. Method and system for facial recognition for a videoconference
CN104655637B (zh) * 2013-11-25 2021-07-27 杭州美盛红外光电技术有限公司 选择装置和选择方法
TWI563853B (en) * 2014-02-27 2016-12-21 Beseye Cloud Security Co Ltd Surveillance system and the operation process thereof
JP6366341B2 (ja) * 2014-04-28 2018-08-01 キヤノン株式会社 撮像装置
US9436870B1 (en) * 2014-06-06 2016-09-06 Amazon Technologies, Inc. Automatic camera selection for head tracking using exposure control
US10911645B2 (en) * 2014-09-19 2021-02-02 Nec Corporation Image processing device, image processing method, and recording medium
CN105763787A (zh) * 2014-12-19 2016-07-13 索尼公司 图像形成方法、装置以及电子设备
JP6521715B2 (ja) * 2015-04-22 2019-05-29 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
EP3734661A3 (en) 2015-07-23 2021-03-03 Artilux Inc. High efficiency wide spectrum sensor
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
TWI805011B (zh) 2015-08-04 2023-06-11 光程研創股份有限公司 光感測系統
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
CN108140656B (zh) 2015-08-27 2022-07-26 光程研创股份有限公司 宽频谱光学传感器
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
CN111868929B (zh) 2018-02-23 2021-08-03 奥特逻科公司 光检测装置及其光检测方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
WO2019199691A1 (en) 2018-04-08 2019-10-17 Artilux, Inc. Photo-detecting apparatus
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850265B1 (en) * 2000-04-13 2005-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
CN1841187A (zh) * 2005-04-01 2006-10-04 佳能株式会社 图像摄取设备及其控制方法
CN101068308A (zh) * 2007-05-10 2007-11-07 华为技术有限公司 一种控制图像采集装置进行目标定位的系统及方法
CN101378455A (zh) * 2007-08-31 2009-03-04 卡西欧计算机株式会社 根据取得的图像确定主要拍摄物的图像区域的装置及方法
CN101715102A (zh) * 2008-10-02 2010-05-26 宝利通公司 在点对点和多点音频/视频会议期间显示动态呼叫者身份
CN102148931A (zh) * 2010-02-09 2011-08-10 三洋电机株式会社 摄像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP4626692B2 (ja) 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
JP5235644B2 (ja) 2008-12-16 2013-07-10 キヤノン株式会社 撮像装置、画像処理方法、及び撮像装置の制御方法
JP5451749B2 (ja) * 2009-03-31 2014-03-26 パナソニック株式会社 撮像装置、集積回路、撮像方法、プログラム及び記録媒体
KR101710626B1 (ko) * 2010-11-04 2017-02-27 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850265B1 (en) * 2000-04-13 2005-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
CN1841187A (zh) * 2005-04-01 2006-10-04 佳能株式会社 图像摄取设备及其控制方法
CN101068308A (zh) * 2007-05-10 2007-11-07 华为技术有限公司 一种控制图像采集装置进行目标定位的系统及方法
CN101378455A (zh) * 2007-08-31 2009-03-04 卡西欧计算机株式会社 根据取得的图像确定主要拍摄物的图像区域的装置及方法
CN101715102A (zh) * 2008-10-02 2010-05-26 宝利通公司 在点对点和多点音频/视频会议期间显示动态呼叫者身份
CN102148931A (zh) * 2010-02-09 2011-08-10 三洋电机株式会社 摄像装置

Also Published As

Publication number Publication date
JP2013110551A (ja) 2013-06-06
US9172858B2 (en) 2015-10-27
CN103139466A (zh) 2013-06-05
US20130128070A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
CN103139466B (zh) 信息处理装置、成像装置、信息处理方法和计算机可读存储介质
CN110290289B (zh) 图像降噪方法、装置、电子设备以及存储介质
CN1926851B (zh) 通过深度信息优化捕获装置设置的方法和设备
CN101118366B (zh) 摄像设备及其控制方法
CN103733607B (zh) 用于检测运动物体的装置和方法
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN106664366B (zh) 图像处理装置、摄像装置以及图像处理方法
CN113630545B (zh) 一种拍摄方法及设备
CN107040726B (zh) 双摄像头同步曝光方法及系统
CN102103754A (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN106878605A (zh) 一种基于电子设备的图像生成的方法和电子设备
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
CN105516611A (zh) 摄像装置和摄影方法
CN104796600B (zh) 图像合成装置和图像合成方法
CN108322651A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
JP2008109344A (ja) 特定被写体像の検出方法およびデジタルカメラ
CN110248101A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN108093170B (zh) 用户拍照方法、装置及设备
CN102087401A (zh) 自动聚焦方法、记录该方法的记录介质以及自动聚焦设备
JP6033006B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
CN104144286A (zh) 拍摄装置和拍摄方法
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN114885096B (zh) 拍摄模式切换方法、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170825