CN114342350A - 成像控制装置、成像控制方法、程序以及成像设备 - Google Patents

成像控制装置、成像控制方法、程序以及成像设备 Download PDF

Info

Publication number
CN114342350A
CN114342350A CN202080060004.2A CN202080060004A CN114342350A CN 114342350 A CN114342350 A CN 114342350A CN 202080060004 A CN202080060004 A CN 202080060004A CN 114342350 A CN114342350 A CN 114342350A
Authority
CN
China
Prior art keywords
introducer
imaging
product
introduction
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060004.2A
Other languages
English (en)
Inventor
斋藤太一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114342350A publication Critical patent/CN114342350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

一种成像控制装置,其被设计成具有:标识单元,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;选择单元,基于介绍对象、对象介绍者以及成像设备中的至少两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及成像控制单元,对由选择单元选择为目标被摄对象的被摄对象执行成像控制。

Description

成像控制装置、成像控制方法、程序以及成像设备
技术领域
本技术涉及成像控制装置、成像控制方法、程序和成像设备,更特别地,涉及适合于被摄对象的成像控制的技术。
背景技术
已知用于执行与成像相关的各种类型的处理(例如对由成像设备捕获的运动图像的聚焦控制)的技术。
引文列表
专利文献
专利文献1:日本专利申请公开号2018-33013
发明内容
本发明要解决的问题
与此同时,如今,在视频发布网站、社交网络服务(SNS)等上发布自己用诸如数字摄像机或智能电话之类的成像设备拍摄的视频在用户中很流行。
在这种环境下,用户本身往往是被摄对象。用户很难自己操作成像设备,因此很难正确调整成像设备的操作。然后,经常使用诸如自动聚焦之类的自动功能,但有时难以正确操作自动功能。
然后,本公开提出了一种允许适当操作与成像相关的功能的技术。
对问题的解决方案
根据本技术的成像控制装置包括标识单元,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;选择单元,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及成像控制单元,执行适合于由选择单元选择为目标被摄对象的被摄对象的成像控制。
介绍对象例如是作为被摄对象的物品、产品等。例如,对象介绍者是作为被摄对象的人。然后,基于介绍对象、对象介绍者和成像设备中的任意两个之间的位置关系,通过估计介绍对象以及对象介绍者中的哪一个是主要被摄对象来确定成像控制。
作为成像控制,例如,自动聚焦控制、自动曝光(AE)控制(光圈控制、快门速度(SS)控制和增益控制)等被假定为成像单元的成像操作的控制。此外,作为成像控制,还考虑对捕获图像数据的图像处理的控制。例如,还假设诸如白平衡处理和对比度调整处理之类的信号处理控制。
注意,介绍对象、对象介绍者和成像设备中的至少任意两个之间的位置关系被假定为对象介绍者和介绍对象之间的位置关系、介绍对象和成像设备之间的位置关系、成像设备和对象介绍者之间的位置关系、对象介绍者、介绍对象以及成像设备之间的位置关系等。
在根据本技术的上述成像控制装置中,选择单元可以基于介绍对象和对象介绍者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
存在这样一种情况,即可以基于介绍对象和对象介绍者之间的位置关系来估计场景或情况,从而利用它来选择目标被摄对象。
在根据本技术的上述成像控制装置中,选择单元可以基于介绍对象和成像设备之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
存在这样一种情况,其中可以基于介绍对象和成像设备之间的位置关系来估计场景或情况,并且因此利用它来选择目标被摄对象。
在根据本技术的上述成像控制装置中,标识单元可以通过基于捕获图像数据识别介绍对象来标识介绍对象。
即,通过图像识别直接标识要介绍的物品等。
在根据本技术的上述成像控制装置中,标识单元可以基于捕获图像数据识别对象介绍者的手,并基于手的识别结果标识介绍对象。
例如,即使不能直接标识或未直接标识介绍对象,也可以基于手的识别结果间接标识介绍对象。
在根据本技术的上述成像控制装置中,标识单元可以假想地将手标识为介绍对象,作为要介绍的真实对象的替代物。
例如,在假设手保持介绍对象的情况的情况下,可以通过识别手来标识介绍对象。
在根据本技术的上述成像控制装置中,标识单元可以基于手的状态标识介绍对象。
例如,基于作为对象介绍者身体的一部分的手处于例如保持、捏住或抓住物品等的状态的事实来标识介绍对象。
在根据本技术的上述成像控制装置中,选择单元可以基于介绍对象以及介绍对象和对象介绍者之间的取决于对象介绍者的手的状态的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
在这种情况下,手的状态也是作为对象介绍者身体的一部分的手例如保持、捏住或抓住物品等的状态。基于伴随这些状态的位置关系,执行目标被摄对象选择。
在根据本技术的上述成像控制装置中,手的状态可以是对象介绍者的手与介绍对象接触的状态。
基于手与物品或类似物接触的事实,将物品或类似物标识为介绍对象。
在根据本技术的上述成像控制装置中,手的状态可以是对象介绍者的手指向介绍对象的状态。
基于手指向物品等的事实,将物品等标识为介绍对象。
在根据本技术的上述成像控制装置中,选择单元可以基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的作为位置关系的距离关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
位置关系可以视为它们之间的距离关系。在这种情况下,通过基于距离关系、其变化等估计介绍对象和对象介绍者中的哪一个是主要被摄对象来确定成像控制。
在根据本技术的上述成像控制装置中,距离关系可以是介绍对象和成像设备之间的距离。
存在这样一种情况,即可以基于介绍对象和成像设备之间的距离关系来估计场景或情况,从而利用它来选择目标被摄对象。
在根据本技术的上述成像控制装置中,距离关系可以是对象介绍者和介绍对象之间的距离。
存在这样一种情况,即可以基于介绍对象和对象介绍者之间的距离关系来估计场景或情况,从而利用它来选择目标被摄对象。
在根据本技术的上述成像控制装置中,距离关系可以是对象介绍者、介绍对象以及成像设备之间的距离。
存在这样一种情况,其中可以基于介绍对象、对象介绍者和成像设备之间的各自距离关系来估计场景或情况,因此利用它来选择目标被摄对象。
在根据本技术的上述成像控制装置中,选择单元可以基于介绍对象或对象介绍者中的至少一个的区域与捕获图像数据的整个帧的比率来检测距离关系。
例如,基于要介绍的对象在捕获图像上的比率已经变得大于预定的事实,将介绍对象确定为目标被摄对象,并且执行成像控制。
根据本技术的上述成像控制装置还可以包括呈现控制单元,其在成像设备和介绍对象之间的距离小于预定值的情况下执行向对象介绍者呈现成像控制困难的困难控制状态的呈现控制。
例如,可以向用户通知被摄对象太近而无法适当成像的状态。
根据本技术的上述成像控制装置还可以包括关联控制单元,其执行将与选择单元的选择结果相关的元数据与捕获图像数据相关联的关联控制。
例如,可以在稍后的时间点(例如在再现时)使用元数据来确定哪个是作为成像控制的目标的目标被摄对象。
本技术的成像设备包括成像单元和上述成像控制装置。例如,成像设备中的信息处理设备用作成像控制装置。
本技术的成像方法是一种成像方法,包括:标识处理,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;选择处理,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及成像控制处理,执行适合于在选择单元中选择为目标被摄对象的被摄对象的成像控制。这允许在成像时适当设定应经受成像控制的被摄对象。
根据本技术的程序是使成像控制装置执行与如上所述的成像控制方法相对应的处理的程序。这允许通过信息处理设备、微型计算机等实现上述成像控制装置。
附图说明
图1是在本技术的实施例中使用的设备的说明图。
图2是根据实施例的成像设备的框图。
图3是根据实施例的计算机设备的框图。
图4是根据第一实施例的场景确定的第一说明图。
图5是根据第一实施例的场景确定的第二说明图。
图6是根据第二实施例的场景确定的第一说明图。
图7是根据第二实施例的场景确定的第二说明图。
图8是根据第三实施例的场景确定的第一说明图。
图9是根据第三实施例的场景确定的第二说明图。
图10是根据第三实施例的场景确定的第三说明图。
图11是根据第三实施例的场景确定的第四说明图。
图12是根据第四实施例的场景确定的第一说明图。
图13是根据第四实施例的场景确定的第二说明图。
图14是根据每个实施例的处理示例的流程图。
图15是示出根据实施例的成像控制的示例的图。
图16是示出根据实施例的成像控制的示例的图。
图17是根据第一实施例的处理示例的流程图。
图18是根据第二实施例的处理示例的流程图。
图19是根据第三实施例的处理示例的流程图。
图20是根据第三实施例的修改的处理示例的流程图。
图21是根据第四实施例的处理示例的流程图。
具体实施方式
以下,将按以下顺序描述实施例。
<1.可用作成像控制装置的设备的配置>
<2.成像设备的配置>
<3.场景确定和成像控制的概述>
<4.实现实施例的处理>
<5.总结和修改>
注意,用相同的附图标记表示曾经描述的内容和结构,以省略说明。
本技术基于通过捕获运动图像而获得的捕获图像数据的内部来标识介绍对象和介绍介绍对象的对象介绍者。然后,例如,基于介绍对象、对象介绍者和成像设备中的至少任意两个之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。执行适合于被选择为目标被摄对象的被摄对象的区域的成像控制。
作为示例,本实施例描述了在拍摄要在视频发布站点、SNS等上发布的视频时对介绍对象或对象介绍者的图像区域执行适当成像控制的成像设备。
这里,作为要发布的视频的示例,将描述其中视频发布者介绍产品的产品评论视频作为示例。
然后,在产品评论视频中,待介绍产品和介绍产品的对象介绍者由成像设备成像。对象介绍者大多是视频发布者,是在产品评论视频中自己介绍产品的人。
在本实施例中,假设对象介绍者通过在固定成像设备的情况下拍摄自己的视频来拍摄产品评论视频的情况。
这里,待介绍对象是指物品。在本实施例中,将描述产品作为物品的示例。注意,这里提到的物品不一定是商业交易的对象,而是例如可以是他或她自己创作的作品等。
此外,在实施例中,假设产品评论视频包括表演场景和产品介绍场景。
表演场景是用于对对象介绍者的表演(例如对象介绍者的自我介绍和产品的概述)进行成像的场景。产品介绍场景是用于对产品的形状和操作、实际使用产品的方式等进行成像的场景。
根据本实施例的成像设备基于例如介绍对象、对象介绍者和成像设备中的至少任意两个之间的位置关系来确定产品评论视频是表演场景还是产品介绍场景,并根据每个场景选择目标被摄对象。然后,执行适合于所选目标被摄对象的成像控制。
<1.可作为成像控制装置应用的设备的配置>
下面描述主要通过成像设备实现根据本公开的成像控制装置的示例。根据本公开的实施例的成像控制装置采取被并入各种设备(特别地,成像设备)中的形式。
图1示出了可以是成像设备1的设备示例。
可以是成像设备1的设备是具有捕获运动图像的功能的设备,并且可以是数字摄像机1A、数字静止相机1B、诸如智能电话之类的移动终端1C等。例如,成像控制装置被并入上述成像设备1中。
注意,成像设备1不限于上述示例,并且可以是可以包括成像控制装置的任何设备或由成像控制装置控制的任何设备,并且可以是各种其他类型的设备。此外,成像控制装置可以作为单独的主体来提供,而不是并入成像设备1中。
在成像设备1中,成像设备1内的微型计算机等执行成像控制。
成像控制是指成像设备1的成像控制,并且是例如成像操作控制(其是对用于将被摄对象光集中到成像单元的图像传感器(成像元件)上的光学系统和光接收操作的控制)以及捕获图像处理控制(其是对捕获图像数据的信号处理的控制)。
对于成像操作控制,例如,假设自动聚焦控制、AE控制(光圈控制、SS控制和增益控制)、变焦控制等。
此外,对于捕获图像处理控制,例如,假设白平衡处理控制、对比度调整处理控制、图像效果处理控制等。
在成像设备1中,根据成像操作控制和捕获图像处理控制执行光接收和成像操作以及图像信号处理,并且输出捕获图像。即,捕获的图像被记录在记录介质中并显示在显示单元上。
如上所述,各种设备用作根据实施例的成像控制装置。下面描述作为数字摄像机1A的成像设备1被设置为本公开的成像控制装置的示例。
<2.成像设备的配置>
将参考图2描述作为成像设备1的数字摄像机1A的配置示例。
如图2所示,成像设备1包括光学系统11、驱动器单元12、成像单元13、相机信号处理单元16、记录控制单元17、呈现单元18、输出单元19、操作单元20、相机控制单元21、存储器单元23和传感器单元24。
光学系统11包括诸如变焦透镜和聚焦透镜之类的透镜、光圈机构等。光学系统11引导来自被摄对象的光(入射光)并将光集中到成像单元13上。
驱动器单元12配备有例如用于变焦透镜驱动马达的马达驱动器、用于聚焦透镜驱动马达的马达驱动器、用于光圈机构驱动马达的马达驱动器、用于快门驱动马达的快门驱动器等。
根据来自相机控制单元21和相机信号处理单元16的指示,驱动器单元12向相应的驱动器施加驱动电流,以使其执行聚焦透镜和变焦透镜的移动、光圈机构的光圈叶片的打开和关闭、快门操作等。
光圈机构由光圈机构驱动马达驱动,以控制入射到后面描述的成像单元13上的光量。聚焦透镜由用于聚焦调整的聚焦透镜驱动马达驱动。变焦透镜由用于变焦调整的变焦透镜驱动马达驱动。快门机构由快门驱动马达驱动以执行快门操作。
成像单元13包括例如互补金属氧化物半导体(CMOS)类型、电荷耦合器件(CCD)类型等的图像传感器14(成像元件)。图像传感器14包括用于捕获被摄对象的图像的成像像素和用于检测被摄对象的光学图像中的相位差的图像平面相位差像素。注意,图像传感器14可以不包括相位差像素。
成像单元13例如执行相关双采样(CDS)处理、自动增益控制(AGC)处理等,并且进一步对通过光电转换由图像传感器14接收的光而获得的电信号执行模数(A/D)转换处理。成像单元13将捕获的图像信号作为数字数据输出到相机信号处理单元16和相机控制单元21。
图像传感器14包括多个成像像素。每个成像像素存储与接收到的光的强度相对应的电荷。
图像传感器14可以被例如拜耳阵列滤色器覆盖。可以从通过光电转换由成像像素组接收的光而获得的电信号读取捕获的图像信号。
图像传感器14将捕获的图像信号输出到相机信号处理单元16和相机控制单元21。
图像传感器14可以包括图像平面相位差像素。图像平面相位差像素检测相位差信息。图像平面相位差像素检测一对相位差信号。成像单元13输出由图像平面相位差像素检测到的一对相位差信号。例如,在用于计算从成像设备1到介绍对象或对象介绍者的距离的相关计算中使用相位差信号。
注意,图像传感器14不必具有图像平面相位差像素。为了计算从成像设备1到待介绍产品或对象介绍者的距离,可以使用与图像传感器14分开布置的专用相位差传感器、飞行时间(TOF)传感器等。此外,对于从成像设备1到产品或对象介绍者的距离,可以确定与距离相对应的值,而不是检测距离本身。例如,捕获图像中的产品或对象介绍者的区域大小(包括在该区域中的像素的数量)、关于聚焦透镜的位置信息等是间接指示到成像设备1的距离的信息。
成像单元13将相位差信号输出到相机信号处理单元16和相机控制单元21。
相机信号处理单元16通过例如数字信号处理器(DSP)等配置为图像处理处理器。
相机信号处理单元16对来自成像单元13的数字信号(捕获图像信号)执行各种类型的信号处理。例如,相机信号处理单元16执行预处理、同步处理、YC生成处理、各种类型的校正处理、分辨率转换处理、编解码器处理等。
在预处理中,对来自成像单元13的捕获图像信号执行将R、G和B的黑电平掐位到预定信号电平的掐位处理、R、G和B色通道之间的校正处理等。
在同步处理中,执行分色处理,使得每个像素上的图像数据包括R、G和B的所有颜色分量。例如,对于使用拜耳阵列滤色器的成像元件,执行去马赛克化作为分色处理。
在YC生成处理中,从R、G和B的图像数据生成(分离)亮度(Y)信号和颜色(C)信号。
在分辨率转换处理中,在进行各种类型的信号处理之前或在进行信号处理之后,对图像数据执行分辨率转换处理。
在相机信号处理单元16中的编解码器处理中,例如,对经过上述各种类型的处理的图像数据执行用于记录和通信的编码处理以及文件生成。例如,以用于记录符合MPEG-4的视频和音频的MP4格式等生成图像文件MF。此外,作为静止图像文件,可以以诸如联合摄影专家组(JPEG)、标记图像文件格式(TIFF)或图形交换格式(GIF)之类的格式生成文件。
注意,相机信号处理单元16执行将从相机控制单元21发送的元数据添加到图像文件的处理。
元数据包括相机信号处理单元16中的各种类型的处理的参数和由稍后描述的传感器单元24获得的检测信息,并且例如被添加到构成视频的每个对应帧、整个对应视频、或者诸如场景单位之类的对应预定单体(single)。
在本实施例中,相机控制单元21(成像控制装置22)执行适合于识别产品介绍场景和表演场景的控制,如下文所述。假设还生成与此相关的元数据,并将其添加到图像文件。
具体地说,指示每个帧是产品介绍场景还是表演场景的信息、指示场景是否被成功识别或未识别的信息、关于待介绍对象和对象介绍者是否被标识(identify)的信息、指示在图像中标识的介绍对象和对象介绍者的区域的信息、错误标志(稍后参考图18等描述)等可以作为元数据被添加。
注意,尽管这里描述的是相机信号处理单元16执行元数据添加处理的示例,但是记录控制单元17或输出单元19执行元数据添加处理的示例也是可能的。
尽管在图2中未示出音频处理系统,但实际上包括音频记录系统和音频处理系统。图像文件可以包括音频数据以及作为视频的图像数据。
在执行音频记录的情况下,从诸如麦克风(未示出)之类的音频输入单元输入的音频信号在音频处理系统中被转换为数字音频信号,然后被发送到相机控制单元21。相机控制单元21执行控制以将数字音频信号与图像信号相关联地记录在诸如非易失性存储器之类的记录介质中。
记录控制单元17对诸如非易失性存储器之类的记录介质执行记录和再现。记录控制单元17执行例如将运动图像数据、静止图像数据等的图像文件、缩略图等记录在记录介质上的处理。
注意,记录控制单元17可以设置在成像控制装置22中。
记录控制单元17可以呈各种实际形式。例如,记录控制单元17可以被配置为闪存及其内置在成像设备1中的写入和读取电路,或者可以是卡记录和再现单元的形式,该卡记录和再现单元对可移除地安装在成像设备1中的记录介质(例如存储器卡(如便携式闪存))进行记录和再现访问。此外,可以将其实现为硬盘驱动器(HDD)等,作为并入成像设备1中的形式。
呈现单元18包括执行用于人物拍摄的各种显示的显示单元。显示单元例如是布置在成像设备1的外壳中的诸如液晶显示器(LCD)或有机电致发光(EL)显示器之类的显示设备的显示面板或取景器。
呈现单元18还包括诸如扬声器之类的音频输出单元。由相机控制单元21读取的数字音频信号由相机信号处理单元16转换为音频信号,然后由音频输出单元输出。
呈现单元18中的显示单元基于来自相机控制单元21的指令在显示屏幕上执行各种显示。例如,提供其分辨率已被相机信号处理单元16转换以供显示的捕获图像数据。响应于来自相机控制单元21的指令,显示单元基于捕获图像数据执行显示。因此,显示所谓的直通图像(被摄对象监视图像),这些图像是在待机或记录期间捕获的图像。
此外,显示单元显示在记录控制单元17中从记录介质读取的捕获图像数据的再现图像。
显示单元显示各种操作菜单、图标、消息等,即,基于来自相机控制单元21的指令在屏幕上执行作为图形用户界面(GUI)的显示。
输出单元19通过导线或无线电与外部设备执行数据通信和网络通信。
例如,捕获的图像数据(静止图像文件或运动图像文件)被发送并输出到外部的显示设备、记录设备、再现设备等。
此外,作为网络通信单元,输出单元19可以经由诸如因特网、家庭网络和局域网(LAN)之类的各种网络执行通信,以往返于网络上的服务器、终端等发送和接收各种数据。
操作单元20共同指示用于用户执行各种操作输入的输入设备。具体地,操作单元20指示设置在成像设备1的外壳处的各种操作元件(例如键、拨盘、触摸面板和触摸板)。
操作单元20检测用户的操作,并且将与输入操作相对应的信号发送到相机控制单元21。
相机控制单元21由包括中央处理器(CPU)的微型计算机(算术处理单元)构成。
存储器单元23存储在相机控制单元21的处理中使用的信息等。图中所示的存储器单元23综合地指示例如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。
存储器单元23可以是内置在作为相机控制单元21的微型计算机芯片中的存储器区域,或者可以由单独的存储器芯片构成。
相机控制单元21执行存储在存储器单元23的ROM、闪存等中的程序,以控制整个成像设备1。
例如,相机控制单元21控制控制成像单元13的快门速度所需的单元的操作、相机信号处理单元16中各种类型的信号处理的指示、透镜信息的获取、根据用户的操作的成像操作和记录操作、视频记录的开始和结束控制、再现记录的图像文件的操作、相机操作(例如透镜筒中的变焦、聚焦和曝光调整)、用户界面操作等。
存储器单元23中的RAM用于在相机控制单元21的CPU进行各种类型的数据处理期间作为工作空间临时存储数据、程序等。
存储器单元23中的ROM和闪存(非易失性存储器)用于存储用于CPU控制每个单元的操作系统(OS)、诸如图像文件之类的内容文件、用于各种操作的应用程序、固件等。
相机控制单元21具有作为成像控制装置22的功能。假设成像控制装置22具有例如作为标识单元22a、选择单元22b、成像控制单元22c、呈现控制单元22d和关联控制单元22e的功能。这些功能由作为微型计算机等的相机控制单元21中的软件(应用程序)实现。
标识单元22a基于由成像设备1的成像单元13获得的捕获图像数据的内部,执行标识作为被摄对象的产品和介绍待介绍对象的对象介绍者的处理。例如,标识单元22a通过对获取的捕获图像数据执行分析处理来标识产品和对象介绍者的脸部。
这里提及的产品的标识不仅包括从从出现在捕获图像数据中的被摄对象检测到的产品中选择待介绍产品,还包括根据例如对象介绍者的手的位置或状态等估计产品的位置。
选择单元22b基于例如待介绍产品、对象介绍者以及成像设备1中的任意两个之间的位置关系,选择产品和对象介绍者中的一个作为目标被摄对象。更具体地,对于目标被摄对象的选择,选择单元22b执行场景确定,即,确定当前正在拍摄的视频的场景是表演场景还是产品介绍场景,并且根据确定的场景,选择产品和对象介绍者中的一个作为目标被摄对象。
在本公开中,产品、对象介绍者以及成像设备1之间的位置关系被称为对象位置关系。例如,基于成像设备1和产品之间的距离、产品和对象介绍者之间的距离、成像设备1和对象介绍者之间的距离等来确定对象位置关系。
请注意,距离可以不是距离本身。可以使用与距离相关的值。例如,产品或对象介绍者的区域与捕获图像的整个帧的比率可以用作与距离相对应的值。此外,关于聚焦透镜的位置等的信息可以用作与距离相对应的信息。
成像控制单元22c执行适合于由选择单元22b选择为目标被摄对象的被摄对象的区域的成像控制。例如,成像控制单元22c执行适合于目标被摄对象的区域的成像操作控制(例如自动聚焦控制)和捕获图像处理控制(例如白平衡处理控制)。
在成像设备1和产品之间的距离小于预定值的情况下,呈现控制单元22d执行呈现控制,以向对象介绍者呈现成像控制困难的困难控制状态。例如,取决于条件,呈现控制单元22d可以控制呈现单元18中的显示单元上消息、图标等的输出的执行、警告灯的点亮或闪烁等。
关联控制单元22e执行关联控制,以将与选择单元22b的选择结果相关的元数据与捕获图像数据关联。
与选择单元22b的选择的结果相关的元数据可以是例如指示其是产品介绍场景还是表演场景的信息、指示场景被成功识别还是未识别的信息、关于是否标识了介绍对象和对象介绍者的信息、指示图像中标识的介绍对象和对象介绍者的区域的信息、关于目标被摄对象的信息(关于选择了哪个的信息,对象介绍者60或产品70)、关于待介绍对象或目标被摄对象是什么的信息(例如物品的类型)、指示确定不可能状态的错误标志(稍后参考图18等描述)等等。
例如,关联控制单元22e将与选择单元22b的选择结果相关的这种元数据发送到相机信号处理单元16,使得与选择单元22b的选择结果相关的元数据被包括在相机信号处理单元16中的图像文件中。
也就是说,关联控制单元22e根据选择单元22b的场景确定和目标被摄对象选择的结果,例如逐帧地向相机信号处理单元16提供信息。
关联控制单元22e以这种方式提供元数据,以使相机信号处理单元16执行将元数据添加到图像文件的处理,例如,使得与选择单元22b的选择的结果相关的元数据被记录在与捕获图像数据相同的记录介质中,或者被放入要记录和发送的同一文件中。当然,被配置为与图像文件分离的元数据文件,每条元数据可以与图像文件和图像文件中的捕获图像数据的帧相关联。
结果,与选择单元22b的选择结果相关的元数据(例如,指示产品介绍场景或表演场景的元数据)逐帧地与捕获图像数据相关联。
注意,与选择单元22b的选择的结果相关的元数据可以例如逐场景地与捕获图像数据相关联,而不是与帧相关联。
传感器单元24综合指示安装在成像设备1上的各种传感器。作为传感器单元24,例如,安装位置信息传感器、照度传感器、加速度传感器等。
由包括具有上述功能的成像控制装置22的数字摄像机1A执行用于实现本技术的处理。
同时,后面描述的由成像控制装置22进行的控制处理不仅可以在数字摄像机1A中实现,而且可以在诸如图1所示的智能电话之类的移动终端1C中实现。因此,还将描述移动终端1C的配置示例。
移动终端1C可以被设置为例如具有图3所示的配置的计算机设备30。
在图3中,计算机设备30的中央处理器(CPU)31根据存储在只读存储器(ROM)32中的程序或从存储单元39加载到随机存取存储器(RAM)33中的程序执行各种类型的处理。在RAM 33中,CPU31执行各种类型的处理所需的数据等也被适当地存储。通过例如应用程序,CPU 31配备有与上述成像控制装置22相同的功能配置。
CPU 31、ROM 32和RAM 33经由总线34互连。输入输出接口35也连接到总线34。
输入单元36、成像单元37、输出单元38、存储单元39和通信单元40连接到输入输出接口35。
输入单元36包括键盘、鼠标、触摸面板等。
成像单元37包括包含成像透镜、光圈、变焦透镜、聚焦透镜等的透镜系统、用于使透镜系统执行聚焦操作和变焦操作的驱动系统、检测由透镜系统获得的捕获图像光并通过执行光电转换生成捕获图像信号的固态成像元件阵列等。
输出单元38包括诸如液晶显示器(LCD)、阴极射线管(CRT)或有机电致发光(EL)面板之类的显示器、扬声器等。
例如,输出单元38基于来自CPU 31的指令在显示屏幕上执行用于各种类型的图像处理的图像、要处理的运动图像等的显示。此外,输出单元38显示各种操作菜单、图标、消息等,即,基于来自CPU 31的指令执行作为图形用户界面(GUI)的显示。
存储单元39包括硬盘驱动器(HDD)、固态存储器等,并存储各种类型的信息。
通信单元40经由诸如因特网之类的传输线执行通信处理,并且通过有线/无线通信、总线通信等执行与各种设备的通信。
对于输入输出接口35,还根据需要连接驱动器41,其中适当地安装诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质42。
驱动器41允许从可移除记录介质42读取诸如图像文件、各种计算机程序之类的数据文件等。读取的数据文件存储在存储单元39中,并且由输出单元38输出包括在数据文件中的视频和音频。此外,必要时将从可移除记录介质42读取的计算机程序等安装在存储单元39中。
例如,计算机设备30允许通过通信单元40或可移除记录介质42经由网络通信安装用于执行作为本公开的成像控制装置的处理的软件。或者,软件可以预先存储在ROM 32、存储单元39等中。
注意,计算机设备30不限于如图3中那样单独配置,而是可以通过系统化多个计算机设备来配置。多个计算机设备可以包括作为可由云计算服务使用的服务器组(云)的计算机设备。
<3.场景确定的概要>
以下,将描述本技术中的场景确定的概要。这里,根据每个场景对成像设备1的成像执行不同类型的成像控制。在本实施例中,聚焦控制目标的切换将被主要描述为成像控制的示例。
近年来,视频发布网站和SNS的普及使得个人可以轻松发布他们拍摄的视频,同时通过个人拍摄的视频介绍产品的产品评论视频的发布者的数量也在增加。
在许多情况下,此类产品评论视频主要包括:用于对对象介绍者的表演进行成像的表演场景,例如对象介绍者的自我介绍和产品概述,其通常在产品介绍场景之前或之后进行;以及用于对产品的形状和操作、实际使用产品的方式等进行成像的产品介绍场景。
在表演场景中,可取的是对介绍产品的对象介绍者执行聚焦控制。在用于说明特定产品的产品介绍场景中,可取的是对产品执行聚焦控制,以便可以容易地看到产品的形状等。
然而,在个人拍摄产品评论视频的情况下,介绍产品的对象介绍者经常自己执行拍摄视频的操作,即自拍,并且在成像设备1静止的情况下执行拍摄。因此,对于对象介绍者来说,通过在拍摄期间根据成像场景执行改变聚焦控制目标的操作来切换聚焦控制目标是困难的。
此外,在实际视频拍摄中,除了产品之外还出现对象介绍者等,使得成像设备1侧无法识别哪一个是待介绍产品,导致在产品介绍场景中未执行聚焦于应作为聚焦控制目标的产品的聚焦控制的问题。
因此,在本技术中,确定正在捕获的捕获图像是哪一场景,即表演场景还是产品介绍场景,标识适合于每个场景的被摄对象,然后执行诸如聚焦控制之类的成像控制。
将参考图4至13描述特定聚焦控制的概要。
图4和5以及图6和图7示出了介绍对象、对象介绍者和成像设备之间的距离关系。此外,图8至13示出了在拍摄产品评论视频时作为直通图像显示在显示单元上的捕获图像显示画面50。在捕获图像显示画面50上显示介绍产品70的对象介绍者60和待介绍产品70。对象介绍者60具有作为身体的一部分的手61和脸部62。
此外,在图4至13中,为了便于说明,将指示手61、脸部62和产品70的部分图示为由虚线包围的区域。
首先,将参考图4和5描述第一实施例。在第一实施例中,根据从对象位置关系产生的距离关系来执行场景确定。
第一实施例是基于从成像设备1到产品70的距离来确定场景、选择适合于每个场景的目标被摄对象以及执行成像控制的示例。
注意,当拍摄产品评论视频时,产品介绍者经常位于成像设备1的前面,并且在不移动的情况下在特定位置执行拍摄。本实施例可以应用于这种情况。
可以认为从成像设备1到产品70的距离Loc随场景而改变。例如,当拍摄产品评论视频时,对象介绍者60可以使手61中保持的产品70靠近成像设备1,以在突出产品70的同时说明产品70。
因此,基于产品70和成像设备1之间的位置关系,特别地,由距离Loc表示的距离关系,执行基于场景确定的被摄对象选择。
注意,这里提到的产品70是由成像控制装置22标识的介绍对象。此外,在无法识别产品70的情况下,还包括标识对象介绍者60的手61以代替产品70的情况。也就是说,在这样的情况下,要介绍的真实对象是产品70,但是代替产品70,对象介绍者60的手61被标识为介绍对象。这意味着,例如,在产品70太小而无法在图像中被标识的情况下,假设产品70被保持在手61中的情况,并且通过将手视为产品70来标识产品70在图像中的位置。
图4示出了从产品70到成像设备1的距离Loc的值是大于预定值Lth的值的情况。这是从成像设备1到产品70的距离相对长的状态。然后,这是对象介绍者60不使产品70靠近成像设备1以使产品70突出的状态,因此被认为是对象介绍者60进行表演的表演场景。
因此,成像控制装置22选择进行表演的对象介绍者60的脸部62作为目标被摄对象,并且执行针对脸部62的聚焦控制。这允许视频拍摄使观众注意到在表演场景中说话的对象介绍者60。
注意,尽管以对象介绍者60的脸部62作为目标被摄对象来执行聚焦控制,但是可以例如以对象介绍者60的眼睛作为目标被摄对象来执行聚焦控制。
另一方面,在从产品70到成像设备1的距离Loc的值是小于如图5中的预定值Lth1的值的情况下,可以估计对象介绍者60处于使产品70靠近成像设备1的状态,并且认为是对象介绍者60正在介绍产品70的产品介绍场景。
在这样的产品介绍场景中,成像控制装置22选择产品70作为目标被摄对象,并执行针对产品70的聚焦控制。因此,执行聚焦于对象介绍者60将要介绍的产品70的聚焦控制,从而允许视频拍摄使观众注意产品70。
如上所述,在第一实施例中,基于从成像设备1到产品70的距离确定场景,并且执行聚焦于适合于每个场景的目标被摄对象的聚焦控制。
将参考图6和7描述第二实施例。第二实施例也根据从对象位置关系得到的距离关系执行场景确定,但是第二实施例是基于对象介绍者60和产品70之间的距离确定场景,选择适合于每个场景的目标被摄对象并执行成像控制的示例。
如上述图4和5中那样,假设例如当拍摄产品评论视频时,对象介绍者60使手61中保持的产品70靠近成像设备1,以在使其突出的同时说明产品70。这也可视为图6和7中所示的距离Lho的变化。也就是说,可以认为对象介绍者60和产品70之间的距离Lho随场景而改变。
因此,基于对象介绍者60和产品70之间的位置关系,特别地,由距离Lho表示的距离关系,执行基于场景确定的被摄对象选择。
图6示出了距离Lho相对较小的情况。
在成像设备1中,可以测量从成像设备1到对象介绍者60的距离Lhc和从成像设备1到产品70的距离Loc,因此可以确定对象介绍者60和产品70之间的距离Lho(Lho=Lhc-Loc)。
在图6的情况下,示出了距离Lho是小于预定值Lth2的值的情况。这是从对象介绍者60到产品70的距离相对短的状态。
然后,这是对象介绍者60没有使产品70靠近成像设备1以使其突出的状态,因此被认为是对象介绍者60给出表演的表演场景。
因此,成像控制装置22选择给出表演的对象介绍者60的脸部62作为目标被摄对象,并且执行针对脸部62(或眼睛等)的聚焦控制。这允许视频拍摄使观众注意到在表演场景中说话的对象介绍者60。
另一方面,图7示出了距离Lho是大于预定值Lth2的值的情况。这是从对象介绍者60到产品70的距离变得相对长的状态。
然后,这是对象介绍者60使产品70靠近成像设备1以使其突出的状态,因此被认为是对象介绍者60介绍产品70的产品介绍场景。
在这样的产品介绍场景中,成像控制装置22选择产品70作为目标被摄对象,并执行针对产品70的聚焦控制。因此,执行聚焦于对象介绍者60将要介绍的产品70的聚焦控制,从而允许视频拍摄使观众注意产品70。
如上所述,在第二实施例中,基于从对象介绍者60到产品70的距离来确定场景,并且执行适合于对每个场景来说合适的目标被摄对象的聚焦控制。
该第二实施例和第一实施例都基于距离关系执行场景确定。然而,在如在第二实施例中仅使用对象介绍者60和产品70之间的距离Lho执行确定的情况下,产生了如下优点,即无论对象介绍者60的移动(位置)如何,都可以执行确定。
即,在第一实施例中的场景确定中,要求对象介绍者60相对于成像设备1不移动(保持相同的距离)。在对象介绍者60在手中拿着产品70前后移动的情况下,场景确定可能不准确。
另一方面,在第二实施例的情况下,执行确定时仅关注对象介绍者60和产品70之间的距离Lho,以便即使在对象介绍者60前后移动的情况下也可以保持场景确定的准确性。
顺便说一下,以上是关注于距离Lho并且将距离Lho与预定值Lth2进行比较的示例。然而,可以在关注于距离Lho和距离Loc之间的差值的变化的情况下执行场景确定。即,基于距离Lho和距离Loc之间的差(或比率)是否大于或等于或小于预定值来确定表演场景和产品介绍场景。
此外,在上述示例中,在产品介绍场景中假设使产品70靠近成像设备1的行为,但是有时假设相反的行为可能更好。
也就是说,对象介绍者60可以采取在表演场景中使产品70远离他或她,并且通过例如在产品介绍场景中手持产品70使产品70靠近对象介绍者60的行为。
为了应对这种行为,场景确定的逻辑可以颠倒。例如,如果距离Lho大于预定值Lth2,则将其视为表演场景,并且如果距离Lho小于或等于预定值Lth2,则将其视为产品介绍场景。
例如,可以允许用户选择使用哪个场景确定逻辑。
此外,对于每个距离,已经关注于在深度方向上距离成像设备1的距离(深度),但是可以考虑在垂直或水平方向上对象介绍者60和产品之间的距离。
第三实施例将参考图8至11来描述。第三实施例是其中基于对象介绍者60的手61的状态,特别地,手61和产品70之间的关系,标识产品70,并且执行场景确定的示例。
图8和9示出了基于对象介绍者60的手61的状态(例如保持产品70),使用对象介绍者60和产品70之间的位置关系来执行场景确定,并且执行适合于取决于每个场景而选择的目标被摄对象的聚焦控制。
这里,对象介绍者60的手61的状态不限于保持产品70的状态,而是包括手61与产品70接触的各种状态,例如捏紧、抓住以及将产品70放在手上。
在对象介绍者60未如图8所示保持产品70的状态下,它被认为是对象介绍者60给出表演的表演场景。
因此,以对象介绍者60的脸部62作为目标被摄对象来执行聚焦控制。这允许视频拍摄使观众注意到在表演场景中说话的对象介绍者60。
另一方面,在对象介绍者60如图9所示保持产品70的状态下,可以标识产品70,并且可以将其视为对象介绍者60具体介绍产品70的场景,即,产品介绍场景。
在产品介绍场景中,将说明产品70的特定方面,例如产品70的形状,从而以产品70为目标被摄对象执行聚焦控制等。
因此,执行聚焦于对象介绍者60将要介绍的产品70的聚焦控制,从而允许视频拍摄使观众注意产品70。
如上所述,在第三实施例中,基于对象介绍者60的手61的状态(例如保持产品70)确定场景,并且执行聚焦于适合于每个场景的目标被摄对象的聚焦控制。
此外,在第三实施例中,可以标识产品70,并且可以基于对象介绍者60的手61的手势(例如指向产品70)来确定场景,以执行适合于根据每个场景选择的目标被摄对象的成像控制。
这里提到的手势是对象介绍者60的手61的状态,并且可以静态地检测为手61的瞬时状态,或者可以动态地检测为手61的移动。
在对象介绍者60未做出如图10所示的诸如指向产品70之类的手势的状态下,它被认为是对象介绍者60给出表演的表演场景。
因此,以对象介绍者60的脸部62作为目标被摄对象来执行诸如聚焦控制之类的成像控制。这使得视频拍摄能够让观众注意到对象介绍者60说话。
另一方面,在如图11所示的对象介绍者60正在做出诸如指向产品70之类的手势的状态下,它被认为是对象介绍者60正在介绍产品70的产品介绍场景。
在产品介绍场景中,将标识出的产品70设定为目标被摄对象,并执行聚焦于产品70的聚焦控制。这允许视频拍摄使观众注意到对象介绍者60将要介绍的产品70。
在该示例中,通过基于对象介绍者60的手势(例如指向产品70)执行场景确定并对根据每个场景选择的目标被摄对象执行聚焦控制,可以执行适合于每个场景的聚焦控制。
目标被摄对象60和产品70之间的相对位置关系是根据通过手势指向产品70的手61的状态来定义的。因此,基于场景确定的被摄对象选择可以说是基于产品70和对象介绍者60之间的对象位置关系来执行的。
该示例适用于例如不能用手61保持产品70的情况、对象介绍者60在远位置处介绍产品70的情况等。
注意,在上述描述中,基于保持或指向产品70的对象介绍者60来执行待介绍产品70的标识和场景确定。可能存在产品70已经在图像中被标识的情况,并且可能存在产品70只能基于手的状态被标识的情况,并且它们中的任何一种都是可能的。
例如,即使产品70尚未被标识,通过识别对象介绍者60保持或指向特定对象的状态,产品70也可以被标识,并且可以执行场景确定。
此外,在产品70已被标识的状态下,通过识别对象介绍者60保持或指向产品70的状态,可以执行场景确定。
将参考图12和13描述第四实施例。第四实施例是这样一个示例,其中基于从对象位置关系产生的产品70的区域与捕获图像的整个帧的比率来确定场景,并且对适合于每个场景的目标被摄对象执行聚焦控制。
在对象介绍者60没有如图12所示使产品70靠近成像设备1的状态下,产品70与捕获图像显示画面50的比率不大。因此,被认为是不是对象介绍者60正在介绍产品70的状态的表演场景。
因此,基于产品70与捕获图像显示画面50的比率小于预定值的事实,确定其为表演场景,并且以例如对象介绍者60的脸部62作为目标被摄对象来执行聚焦控制。这使得视频拍摄能够让观众注意到对象介绍者60说话。
另一方面,在对象介绍者60例如如图13所示通过手持产品70使产品70靠近成像设备1的情况下,产品70与捕获图像显示画面50的比率变大。在这种情况下,假设对象介绍者60即将说明产品70。
因此,基于产品70与捕获图像显示画面50的比率变得大于预定值的事实,确定为产品介绍场景,并且以产品70作为目标被摄对象执行聚焦控制。这使得视频拍摄能够让观众关注产品70。
如上所述,在第四实施例中,基于产品70的面积与捕获图像的面积的比率来确定场景,以允许适合于对于每个场景合适的目标被摄对象的成像控制,例如聚焦控制。
随着产品70和成像设备1之间的距离的变化,即,成像设备1和产品70之间的位置关系的变化,产品70的面积与捕获图像的整个帧的比率的变化发生。因此,基于场景确定的被摄对象选择可以说是基于成像设备1和产品70之间的对象位置关系来执行的。注意,在这种情况下,可以将其视为对象介绍者60和产品70之间的对象位置关系的改变。
如上所述,适合于本技术中的每个场景的场景确定和成像控制可以在各种模式下完成。
<4.实现实施例的处理>
将参考图14至21描述为实现上述实施例中的成像控制而执行的成像控制装置的处理。
首先,将参考图14描述每个实施例中的总体处理过程。
在每个实施例中,成像设备1的成像控制装置22在捕获的图像数据中标识待介绍产品70和对象介绍者60,并基于对象位置关系执行场景确定。然后,根据确定的场景选择介绍对象和对象介绍者中的一个作为目标被摄对象,并且执行适合于所选目标被摄对象的聚焦控制。
即,成像控制装置22基于从捕获图像数据检测到的对象位置关系,选择产品70和对象介绍者60中的一个作为目标被摄对象,并执行适合于所选择的目标被摄对象的成像控制。
注意,对于根据本实施例的成像设备1的拍摄模式,提供了一种介绍视频模式,其中对根据上述确定的场景选择的目标被摄对象执行聚焦控制。假设成像控制装置22在以设定为介绍视频模式的拍摄模式开始视频记录的情况下执行图14中的处理。
例如,在开始记录视频之前,响应于对象介绍者60对成像设备1的模式设定操作来设定介绍视频模式。
下面描述由成像控制装置22执行的图14中的处理。
首先,在步骤S101中,成像控制装置22识别被摄对象。成像控制装置22从成像单元13获取一帧图像数据或多帧图像数据,并使用所获取帧的图像信号执行图像分析处理等,以识别例如对象介绍者60的手61和脸部62和产品70,如图4至13所示。
具体地,假设成像控制装置22通过例如估计对象介绍者60的姿势或提取图像数据中的肤色来识别对象介绍者60的手61和脸部62。
此外,对于待介绍产品70,成像控制装置22通过形状识别、模式识别等来识别图像中的对象部分,以将其与对象介绍者60、背景等区分开来,从而标识待介绍产品70。
此外,例如,成像控制装置22可以基于所识别的手61的状态来标识待介绍产品70。在成像控制装置22已经识别手61与产品70接触的状态(例如保持、捏或抓住产品70)的情况下,其将与手61接触的产品70标识为待介绍产品70。因此,在出现被布置在拍摄场所中的各种产品等的状态下,可以将被手61触摸的产品70标识为要在产品评论视频中介绍的产品70。即,基于产品70与手61接触的位置关系来标识待介绍产品。
此外,成像控制装置22可以识别使用对象介绍者60的手61做出用于标识产品70的手势的状态,并基于该手势标识待介绍产品70。例如,在识别手61指向产品70的手势的情况下,位于手61指向的方向的延长线上的产品70可以被标识为待介绍产品70。即,基于产品70位于手61所指方向上的位置关系来标识待介绍产品。
如上所述,成像控制装置22可以基于对象介绍者60和产品70之间的位置关系来标识待介绍产品70。
注意,这里待介绍产品70的标识不仅包括从已识别产品70标识待介绍对象,还包括通过基于对象介绍者60的手61的位置估计待介绍产品70的位置来进行标识。
在这种情况下,成像控制装置22标识对象介绍者60的手61,以估计待介绍产品70位于手61的位置处,以标识待介绍产品70的位置。例如,在产品70太小而无法在图像上识别的情况下,手61假设被视为产品70(假设产品70被保持在手中),并且手61被识别以代替作为要介绍的真实对象的产品70,从而可以标识产品70。
以这种方式,通过根据由成像控制装置22检测到的对象介绍者60的手61的状态标识待介绍产品70,或者将手61标识为作为要介绍的真实对象的产品70的替代物,即使在出现被布置在拍摄场所中的各种产品等的状态下,也可以标识要在产品评论视频中介绍的产品70。
随后,在步骤S102中,成像控制装置22使用获取的被摄对象的识别结果执行场景确定处理。
成像控制装置22基于每个被识别被摄对象和成像设备1之间的对象位置关系来确定当前场景是表演场景还是产品介绍场景。作为特定场景确定处理,假设上述第一至第四实施例的示例。稍后将参考图17至21顺序描述对应于各个实施例的场景确定处理示例。
在步骤S103中,成像控制装置22根据场景确定处理的结果对处理进行分支。
当在场景确定处理中确定为产品介绍场景时,成像控制装置22将处理从步骤S103推进到步骤S104,并选择在步骤S101中标识的产品70作为目标被摄对象。
然后,在步骤S105中,成像控制装置22执行适合于作为目标被摄对象的产品70的区域的成像控制。例如,作为成像控制的示例,执行控制以使得执行针对产品70的聚焦控制。注意,以下描述使用聚焦控制作为成像控制的示例进行说明。
因此,在产品介绍场景中,成像设备1处于执行聚焦于产品70的成像的状态。成像控制装置22执行控制,以便在成像设备1的显示单元上,呈现使用关于帧中产品70的区域的检测信息在整个画面(帧)中经过了聚焦控制的捕获图像。
注意,作为成像操作控制,成像控制装置22还可以执行光圈控制,以根据对产品70的聚焦控制来减小F值,以缩小景深以模糊产品70的前景和背景。
另一方面,当在场景确定处理中确定为表演场景时,成像控制装置22将处理从步骤S103推进到步骤S108,并选择在步骤S101中标识的对象介绍者60作为目标被摄对象。
然后,在步骤S109中,成像控制装置22执行聚焦控制以聚焦于作为目标被摄对象的对象介绍者60的脸部62。因此,在表演场景中,执行聚焦在对象介绍者60的脸部62上的成像。成像控制装置22执行控制,以便在成像设备1的显示单元上,呈现使用关于帧中脸部62的区域的检测信息在整个画面(帧)中经过了聚焦控制的捕获图像。
在上述步骤S105或步骤S109中的处理之后,成像控制装置22还将处理推进到步骤S106,并且执行呈现控制,以通过屏上显示、打开/关闭特定指示单元(例如LED)、语音等呈现指示当前确定的场景或经过了聚焦控制的产品70是什么的信息。
例如,成像控制装置22可以显示指示其是产品介绍场景或表演场景的图标或消息。
此外,成像控制装置22可以在捕获的图像上叠加并显示围绕产品部分的聚焦框,以指示正在对产品70执行聚焦控制(如果是产品介绍场景的话),并且可以在捕获图像上叠加并显示围绕脸部部分的聚焦框,以指示正在对脸部62执行聚焦控制(如果是表演场景的话)。
然后,在步骤S107中,成像控制装置22执行元数据关联。例如,成像控制装置22生成关于当前帧上的场景信息、错误标志、成像控制参数等的元数据。
场景信息是指示是表演场景还是产品介绍场景的信息。错误标志是稍后参考图14描述的信息。成像控制参数是与上述成像操作控制和捕获图像处理控制相关的参数。
然后,成像控制装置22将生成的元数据作为当前帧的元数据发送到相机信号处理单元16,使得元数据与捕获的图像数据相关联。此后,成像控制装置22返回到步骤S101以执行处理。
注意,元数据通过例如通过相机信号处理单元16的处理被并入到与相应帧相关联的图像文件中而与捕获的图像数据相关联,但不限于此。例如,其中指示了与捕获图像数据(图像文件)相关联的ID和对应帧的元数据文件可以与捕获图像数据分开形成,以被记录或发送。在任何形式中,仅要求捕获的图像数据和元数据可以在稍后的时间点彼此关联。
此外,尽管在图12中未示出视频记录处理,但是在执行图12中的处理的时段期间,相机信号处理单元16对从成像单元13获得的每一帧执行用于视频记录的处理。将在图12中的步骤S107中由成像控制装置22生成的元数据与捕获图像数据的帧相关联地记录在记录介质中。因此,场景确定信息、适当成像控制的参数等与捕获的图像数据相关联。
成像控制装置22重复执行图14中的处理,直到例如对象介绍者60执行完成视频记录的操作,或者对象介绍者60将拍摄模式改变为除介绍视频模式之外的模式。
上述处理允许通过每个实施例中的成像控制装置22对适合于场景的目标被摄对象执行聚焦控制。
因此,通过在需要注意待介绍产品70的产品介绍场景中聚焦待介绍产品70,以及在需要注意对象介绍者60的表演的表演场景中聚焦对象介绍者60的情况下执行成像,可以有效地对每个场景中需要观众注意的对象执行聚焦控制。
注意,在本实施例中,作为示例,响应于对象介绍者60对成像设备1的模式设定操作来设定介绍视频模式,但是可以在各种模式下进行介绍视频模式的设定。
例如,假设图1中的数字摄像机1A具有成像设备主体2和具有显示单元的显示壳体3,并且通过相对于成像设备主体2移动显示壳体3,可以将显示壳体3的显示单元转动到与成像透镜相同的一侧。这样的成像设备1可以基于该状态确定正在执行自拍,并且基于此,可以设定介绍视频模式。也就是说,当检测到显示壳体3的显示单元转向与成像透镜相同侧的状态时,成像控制装置22将拍摄模式设定为介绍视频模式。
注意,在产品评论视频的拍摄中,对象介绍者60自己拍摄视频是常见的,如图4所示。因此,通过允许对象介绍者60在记录产品评论视频期间通过显示在显示单元上的内容识别成像控制的当前状态,在记录产品评论视频期间,对象介绍者60自己可以确定视频的重拍、继续等。
此外,本实施例描述了这样的示例,其中成像控制装置22基于在步骤S101的处理中识别的手61的状态来标识待介绍产品70,但是可以基于由音频输入单元获得的音频数据来标识待介绍产品70。
例如,通过预先将产品70与名称关联,成像控制装置22可以从从成像设备1收集的语音中获取音频数据,对所获取的音频数据执行语言分析,并且标识与通过语言分析获取的名称相对应的产品70。
此外,成像控制装置22可以基于对象介绍者60的视线方向来标识待介绍产品70。
例如,在步骤S101中,成像控制装置22可以通过使用获取的帧信息执行图像分析处理来识别对象介绍者60的视线方向,并将位于所识别视线方向的延长线上的产品70标识为待介绍产品70。
此外,在开始以介绍视频模式记录产品评论视频之前,可以通过对象介绍者60的操作来登记待介绍产品70。例如,成像控制装置22从捕获的图像数据识别产品70,并在显示单元上显示识别的产品70。对象介绍者60执行操作以从显示的产品70中选择待介绍产品70。成像控制装置22响应于选择操作从识别出的产品70登记要介绍的产品70。
或者,成像控制装置22可以在不使对象介绍者60进行选择的情况下登记识别的产品70。
在这种情况下,在记录产品评论视频期间,成像控制装置22将在步骤S101中识别的产品70之中的在记录之前登记的产品70标识为介绍对象。
此外,本实施例已经将对目标被摄对象的成像控制描述为聚焦控制,但是对目标被摄对象的成像控制可以是各种其他类型的处理。
例如,当成像控制装置22在步骤S102中确定它是产品介绍场景时,它按照步骤S103、S104和S105的顺序推进处理,并且执行AE控制,使得选择的产品70的区域的曝光变得适当。当成像控制装置22在步骤S102中确定它是表演场景时,它按照步骤S103、S108和S109的顺序推进处理,并且执行AE控制,使得选择的目标被摄对象60的脸部62的区域的曝光变得适当。
此外,在步骤S105和S109中,成像控制装置22可以执行适合于目标被摄对象的捕获图像处理控制作为成像控制。具体而言,可以进行白平衡处理控制、对比度调整控制等。
使用关于帧中目标被摄对象的区域的检测信息,成像控制装置22执行自动白平衡控制,使得目标被摄对象的区域的白平衡变得适当,或者执行图像质量校正处理等作为对比度调整,使得目标被摄对象的区域的对比度变得合适。
例如,当成像控制装置22在步骤S102中确定它是产品介绍场景时,它按照步骤S103、S104和S105的顺序推进处理,并对所选择的产品70执行捕获图像处理控制。当成像控制装置22在步骤S102中确定它是表演场景时,它按照步骤S103、S108和S109的顺序推进处理,并且对选择的目标被摄对象60的脸部62执行捕获图像处理控制。
此外,在成像控制装置22确定当前场景是产品介绍场景的情况下,可以执行处理以使产品70有效地吸引注意。
例如,当成像控制装置22在步骤S102中确定它是产品介绍场景时,它按照步骤S103、S104和S105的顺序推进处理,并且可以执行图像处理以模糊除所选产品70之外的背景部分,作为适合于目标被摄对象的捕获图像处理控制。
例如,在图15中的捕获图像显示画面50上,模糊地显示除产品70之外的部分。在图15中,模糊显示的被摄对象由点划线表示。
此外,如图16所示,可以通过围绕所选产品70布置多条集中线来突出产品70。这里,集中线是指围绕区域从其中心径向布置的多条线。
例如,当成像控制装置22在步骤S102中确定它是产品介绍场景时,它按照步骤S103、S104和S105的顺序推进处理,并且作为适合于目标被摄对象的捕获图像处理控制,将获取的捕获图像数据与集中线效果数据组合以生成集中线效果图像,其中多条集中线布置在产品70周围。
此外,可以对作为产品介绍场景中的目标被摄对象的产品70执行适合于产品70的类型的成像控制。
此时,当在步骤S101中标识产品70时,成像控制装置22已经通过图像分析处理等确定了产品70的类型。然后,当成像控制装置22在步骤S102的场景确定处理中确定当前场景是产品介绍场景时,它按照步骤S103和S104的顺序推进处理,并选择产品70作为目标被摄对象。
此后,成像控制装置22将关于在步骤S101中确定的产品70的类型的信息发送到存储有与产品70的类型相关联的成像控制信息的云服务器,并从云服务器获取适合于产品70的成像控制信息。
在步骤S105中,成像控制装置22基于从云服务器获取的成像控制信息执行适合于产品70的成像控制。
注意,与产品70的类型相关联的成像控制信息可以预先存储在成像设备1中。
对于产品70的类型和与该类型相关联的成像控制,可以考虑各种示例。例如,在产品70的类型是具有可以发生闪烁现象的显示单元的电视设备、数字相机设备等的情况下,考虑用于改变到不发生闪烁现象的快门速度的SS控制。
注意,当在产品介绍场景的情况下执行这些类型的控制处理时,在当前场景被确定为表演场景而不是产品介绍场景的情况下,成像控制装置22被认为按照步骤S103、S108和S109的顺序推进处理,并执行聚焦控制以聚焦在对象介绍者60的脸部62上,如上述实施例中所述。例如,假设不执行其他部分的模糊、集中线效果、适合于产品类型的控制等。
下面描述每个实施例中的场景确定处理。
图17示出了根据第一实施例的场景确定处理的示例。第一实施例是使用从成像设备1到产品70的距离Loc执行场景确定的示例,如图4和5所示。
首先,在步骤S201中,成像控制装置22计算从成像设备1到待介绍产品70的距离Loc。例如,当获取捕获图像数据的帧时,获取相位差信号,并且使用所获取的相位差信号执行相关操作,以计算从成像设备1到待介绍产品70的距离Loc。
注意,成像控制装置22可以基于对比度AF中聚焦透镜的位置来计算从成像设备1到产品70的距离Loc,或者可以使用利用相位差传感器、红外传感器等的专用测距传感器的检测信息来计算从成像设备1到产品70的距离Loc。
在步骤S202中,成像控制装置22确定从成像设备1到产品70的距离Loc是否大于或等于最短成像距离。
在从成像设备1到被摄对象的距离中,最短成像距离是指可以在不模糊被摄对象的情况下执行聚焦控制的最短距离。因此,在距离Loc短于这里提及的最短成像距离的情况下,即使对产品70执行聚焦控制时,产品70也会模糊。例如,在对象介绍者60使产品70过度靠近成像设备1以强调其的情况下,距离Loc变得比最短成像距离短。
在这种情况下,无法执行适当的成像。因此,在距离Loc短于最短成像距离的情况下,成像控制装置22将处理从步骤S202推进到步骤S203,并将错误标志设定为打开。
这里,错误标志是指示其是否处于可以执行场景确定的适当成像状态的标志。错误标志为打开表示超出聚焦可控制范围、无法执行无模糊视频拍摄以及无法执行基于场景确定的目标被摄对象选择的确定不可能状态。
在步骤S203中打开错误标志的情况下,成像控制装置22将处理从图14中的步骤S204前进到步骤S106,并执行控制以呈现确定不可能状态。例如,通过在屏幕上显示指示确定不可能状态的图标或消息、打开/关闭诸如LED之类的特定指示单元、错误声音或语音等,执行用于呈现确定不可能状态的呈现控制。
注意,在显示捕获图像的显示单元不面对对象介绍者60侧的情况下,合意的是使用除显示单元、语音等以外的指示单元向对象介绍者60执行呈现控制。
然后,在图14的步骤S107中,成像控制装置22生成指示错误标志为打开的元数据。生成的元数据被发送到相机信号处理单元16,并与例如捕获图像数据的对应帧相关联地记录在记录介质中。此后,成像控制装置22返回到图14中的步骤S101以执行上述处理。
在图15的步骤S202中距离Loc大于最短成像距离的情况是不特别需要如上所述的错误处理的情况。
在步骤S210中,成像控制装置22确定错误标志是否打开。如果错误标志为打开,则在步骤S205中关闭错误标志,然后处理进入步骤S206。
此外,如果在步骤S210中确定错误标志为关闭,则成像控制装置22将处理推进到步骤S206,而不执行步骤S205中的处理。
在步骤S206中,成像控制装置22确定计算的距离Loc是否小于预定值Lth1。
如从上述图4和5的描述中所理解的,预定值Lth1是用于确定当前场景是表演场景还是产品介绍场景的参考值。例如,如果距离Loc小于预定值Lth1,则确定为产品介绍场景,并且如果距离Loc大于或等于预定值Lth1,则确定为表演场景。
预定值Lth1可以由执行拍摄的人根据需要设定,或者可以预先在成像设备1中设定。或者,例如,在开始成像之前或成像期间,可以执行处理以根据实际测量的距离数据为当前成像设定预定值Lth1。例如,可以通过测量到对象介绍者60的距离并执行从该距离的适当距离的减法等来确定预定值Lth1。
当成像控制装置22在步骤S206中确定距离Loc短于预定值Lth1时,其在步骤S207中确定当前场景是产品介绍场景。
然后,成像控制装置22按照步骤S204以及图14中的步骤S103和S104的顺序推进处理,选择在步骤S101中标识的产品70作为目标被摄对象,并且在步骤S105中例如对作为目标被摄对象的产品70执行聚焦控制作为成像控制。当然,如上所述,成像控制装置22可以与聚焦控制分开或除了聚焦控制之外,执行诸如防止闪烁现象的SS控制、亮度处理和图像效果处理之类的各种类型的控制作为成像控制。
此后,成像控制装置22执行步骤S106和S107中的处理。
如果成像控制装置22在图17的步骤S206中没有确定距离Loc小于预定值Lth1,则在步骤S208中确定当前场景是表演场景。
之后,成像控制装置22按照步骤S204以及图14中的步骤S103和S108的顺序推进处理,选择在步骤S101中标识的对象介绍者60作为目标被摄对象,并且例如在步骤S109中执行对作为目标被摄对象的对象介绍者60的脸部62的聚焦控制等作为成像控制。然后,成像控制装置22执行步骤S106和S107中的处理。
如上所述,根据第一实施例,通过基于从成像设备1到产品70的距离Loc执行场景确定,执行基于对象介绍者60和待介绍产品70之间的对象位置关系的场景确定。
将参考图18描述根据第二实施例的场景确定处理。第二实施例是使用从对象介绍者60到产品70的距离Lho执行场景确定的示例,如图6和7所示。
在步骤S251中,成像控制装置22计算从成像设备1到产品70的距离Loc和从成像设备1到对象介绍者60的距离Lhc。此外,通过计算距离Lhc-距离Loc来确定对象介绍者60和产品70之间的距离Lho。
在步骤S252中,成像控制装置22确定从成像设备1到产品70的距离Loc或从成像设备1到对象介绍者60的距离Lhc是否大于或等于最短成像距离。
如果距离Loc或距离Lhc短于最短成像距离,则无法执行适当的成像。因此,成像控制装置22将处理从步骤S252推进到步骤S258,将错误标志设定为打开,并确定其处于确定不可能状态。
在这种情况下,成像控制装置22将处理从步骤S259前进到图14中的步骤S106,并执行控制以呈现确定不可能状态。
然后,在图14的步骤S107中,成像控制装置22生成指示错误标志为打开的元数据,并且此后返回到步骤S101以执行上述处理。以上类似于参考图17描述的第一实施例。
在图18的步骤S252中距离Loc大于或等于最短成像距离的情况下,成像控制装置22在步骤S253中确定错误标志是否打开。如果错误标志为打开,则在步骤S254中关闭错误标志,然后处理进入步骤S255。
此外,如果在步骤S253中确定错误标志为关闭,则成像控制装置22将处理推进到步骤S255,而不执行步骤S254中的处理。
在步骤S255中,成像控制装置22确定计算的距离Lho是否小于预定值Lth2。
如从上述图6和7的描述中所理解的,预定值Lth2是用于确定当前场景是表演场景还是产品介绍场景的参考值。例如,如果距离Lho小于预定值Lth2,则确定为表演场景,并且如果距离Lho大于或等于预定值Lth2,则确定为产品介绍场景。
预定值Lth2可以由执行拍摄的人根据需要设定,或者可以预先在成像设备1中设定。或者,例如,在开始成像之前或成像期间,可以执行处理以根据实际测量的距离数据为当前成像设定预定值Lth2。例如,可以基于在到达产品介绍之前的时间点(例如,在成像开始时)测量的场景距离Lhc和距离Loc来适当地确定预定值Lth2。
当成像控制装置22在步骤S255中确定距离Lho小于预定值Lth2时,其在步骤S257中确定当前场景是表演场景。
然后,成像控制装置22按照步骤S259以及图14中的步骤S103和S108的顺序推进处理,选择在步骤S101中标识的对象介绍者60作为目标被摄对象,并且例如在步骤S109中执行对作为目标被摄对象的对象介绍者60的脸部62的聚焦控制等作为成像控制。然后,成像控制装置22执行步骤S106和S107中的处理。
如果成像控制装置22在图18的步骤S255中没有确定距离Lho小于预定值Lth2,则在步骤S256中确定当前场景是产品介绍场景。
然后,成像控制装置22按照步骤S259以及图14中的步骤S103和S104的顺序推进处理,选择在步骤S101中标识的产品70作为目标被摄对象,并且在步骤S105中执行例如对作为目标被摄对象的产品70的聚焦控制等作为成像控制。此后,成像控制装置22执行步骤S106和S107中的处理。
如上所述,根据第二实施例,通过基于从对象介绍者60到产品70的距离Lho执行场景确定,执行基于对象介绍者60和待介绍产品70之间的对象位置关系的场景确定。
注意,如上所述,在对象介绍者60介绍产品70的场景中,对象介绍者60可以通过手61使产品70靠近他或她自己来介绍产品70。当假定这样的行为时,可以颠倒步骤S255的逻辑。
即,成像控制装置22基于距离Lho已经变得小于预定值的事实来确定当前场景是产品介绍场景,并且如果距离Lho大于或等于预定值,则确定当前场景是表演场景。
注意,在第一和第二实施例中,成像控制装置22基于从成像设备1到产品70的距离Loc或对象介绍者60和产品70之间的距离Lho来执行场景确定,但是,可以基于从成像设备1到对象介绍者60的距离来执行场景确定。
将参考图19描述根据第三实施例的场景确定处理。第三实施例是根据对象介绍者60的身体的一部分的状态执行场景确定的示例。这里,作为示例,将描述根据对象介绍者60的手61的状态执行场景确定的示例。
在步骤S301,成像控制装置22确定对象介绍者60的手61的状态。即,成像控制装置22通过使用在图14的步骤S101中获取的图像数据帧执行图像分析处理来确定手61是否处于对象标识状态。
这里,对象标识状态是指可以从对象介绍者60的手61标识待介绍产品70的状态,并且是例如手61与产品70接触的状态(例如,手61保持、捏住或抓住产品70)、用手61做出用于标识产品70的手势的状态(例如,对象介绍者60的手61指向产品70)等。
注意,认为成像控制装置22通过使用获取的图像数据帧执行图像分析处理来确定手61是否处于对象标识状态。然而,通过获取多帧图像数据并执行图像分析处理等,可以从帧之间的图像数据的变化中检测手61的移动,以基于移动来确定手61是否处于对象标识状态。
当成像控制装置22在步骤S302中确定手61处于对象标识状态时,它在步骤S303中确定当前场景是产品介绍场景。
此后,成像控制装置22按照如图14所示的步骤S103和S104的顺序推进处理,选择在步骤S101中标识的产品70作为目标被摄对象,并在步骤S105中执行聚焦控制以聚焦于作为目标被摄对象的产品70。然后,成像控制装置22执行步骤S106和S107中的处理。
注意,在手61处于手61与产品70接触的对象标识状态(例如,其保持产品70)的情况下,成像控制装置22可以在步骤S105中执行适合于与产品70接触的手61的区域的聚焦控制等。
对对象介绍者60的手61的区域执行聚焦控制允许视频拍摄也聚焦在与手61接触的产品70上。这在产品70太小而不能对产品70本身执行聚焦控制的情况下特别有效。
另一方面,当成像控制装置22在步骤S302中确定手61不处于对象标识状态时,它在步骤S304中确定当前场景是表演场景。
之后,成像控制装置22按照图14中步骤S103和S108的顺序推进处理,选择在步骤S101中标识的对象介绍者60作为目标被摄对象,并在步骤S109中对作为目标被摄对象的对象介绍者60的脸部62执行聚焦控制。然后,成像控制装置22执行步骤S106和S107中的处理。
如上所述,根据第三实施例,通过基于对象介绍者60的手61是否处于对象标识状态来执行场景确定,执行基于对象介绍者60的手61和待介绍产品70之间的对象位置关系的场景确定。
注意,第三实施例可以采取以下形式。将参考图20描述第三实施例的修改。
该示例是基于对象位置关系,使用作为对象介绍者60的身体的一部分的手61的状态以及基于对象位置关系的从成像设备1到产品70的距离来执行场景确定的示例。
首先,在步骤S401中,成像控制装置22确定对象介绍者60的手61的状态。也就是说,成像控制装置22通过使用在图14的步骤S101中获取的图像数据帧执行图像分析处理来确定手61是否处于诸如保持产品70之类的对象标识状态。
当成像控制装置22在步骤S402中确定手61不处于对象标识状态时,它在步骤S403中确定当前场景是表演场景。
之后,成像控制装置22完成图20中的处理,按照图14中的步骤S103和S108的顺序推进处理,选择在步骤S101中标识的对象介绍者60作为目标被摄对象,并在步骤S109中对作为目标被摄对象的对象介绍者60的脸部62的区域执行聚焦控制。然后,成像控制装置22执行步骤S106和S107中的处理。
当成像控制装置22在图20的步骤S402中确定手61处于对象标识状态时,它将处理推进到步骤S404,并计算从成像设备1到待介绍产品70的距离Loc。
在步骤S405中,成像控制装置22确定计算的距离Loc是否小于预定值。
当成像控制装置22在步骤S405中确定距离Loc小于预定值Lth1时,它在步骤S406中确定当前场景是产品介绍场景。
之后,成像控制装置22完成图20中的处理,按照图14中的步骤S103和S104的顺序推进处理,选择在步骤S101中标识的产品70作为目标被摄对象,并且在步骤S105中对作为目标被摄对象的产品70执行聚焦控制。然后,成像控制装置22执行步骤S106和S107中的处理。
当成像控制装置22在步骤S405中确定距离Loc大于或等于预定值Lth1时,其在步骤S403中确定当前场景是表演场景。
之后,成像控制装置22完成图20中的处理,按照图14中步骤S103和S108的顺序推进处理,选择在步骤S101中标识的对象介绍者60作为目标被摄对象,并在步骤S109中对作为目标被摄对象的对象介绍者60的脸部62执行聚焦控制。然后,成像控制装置22执行步骤S106和S107中的处理。
如上所述,通过基于对象介绍者60的手61的状态和从产品70到成像设备1的距离Loc执行场景确定,执行基于对象介绍者60和待介绍产品70之间的对象位置关系的场景确定。
例如,在产品评论视频中,即使没有出示和介绍产品70,对象介绍者60也可能用手61保持产品70(即,它可能处于对象标识状态)。在这种情况下,如果基于对象介绍者60的手61的状态(例如保持)对手61执行聚焦控制,则即使实际上是表演场景,也可以对产品70执行聚焦控制。
因此,通过在除了考虑对象介绍者60的手61的状态之外,还考虑从成像设备1到产品70的距离Loc的状态的情况下执行场景确定,可以执行诸如对象介绍者的意图被更多地反映的聚焦控制之类的成像控制。也就是说,可以提高由成像控制装置22进行的场景确定的准确度。
注意,在场景确定中,本示例中的成像控制装置22在步骤S404中计算从成像设备1到将介绍的产品70的距离Loc,但是,在手61处于诸如保持产品70之类的对象标识状态的情况下,它可以计算从成像设备1到对象介绍者60的手61的距离。
这是因为在手61与产品70接触(例如,手61保持产品70)的状态下,可以基于从成像设备1到手61的距离来估计从成像设备1到产品70的距离。
此外,此时,成像控制装置22可以在步骤S105中对与产品70接触的手61执行聚焦控制。这也允许聚焦于产品70的视频拍摄。
此外,尽管在本示例中未描述,但是在从成像设备1到产品70的距离Loc小于最短成像距离的情况下,成像控制装置22可以将指示确定不可能状态的错误标志设定为打开,并在成像设备1的显示单元上执行错误显示。
将参考图21描述根据第四实施例的场景确定处理。第四实施例是其中基于待介绍产品70的区域与捕获图像的整个帧的比率来执行场景确定的示例。在这种情况下的比率对应于对象位置关系。
首先,在步骤S501中,成像控制装置22计算待介绍产品70与捕获图像的整个帧的比率。即,成像控制装置22计算产品70的面积与捕获图像的整个帧的面积的比率P。
此后,在步骤S502中,成像控制装置22确定产品70的面积与捕获图像的整个帧的面积的比率P是否大于预定值thP。这里提到的预定值thP是用于确定当前场景是表演场景还是产品介绍场景的参考值。基于比率P大于预定值thP的事实,确定为产品介绍场景。
如果产品70的面积与捕获图像的整个帧的面积的比率P大于预定值thP,则成像控制装置22在步骤S503中确定当前场景是产品介绍场景。
可以说,产品70的面积与捕获图像的整个帧的面积之比P的增大表示产品70与成像设备1之间的距离减小。因此,可以估计对象介绍者60将要介绍产品70,从而使产品70靠近成像设备1。
因此,在本实施例中基于产品70的面积比P的场景确定也可以说是间接地基于产品70和成像设备1之间的距离关系的场景确定。即,在本实施例中,以不同于距离的物理量检测产品70和成像设备1之间的位置关系。
之后,成像控制装置22按照步骤S503以及图14中的步骤S103和S104的顺序推进处理,选择在步骤S101中标识的产品70作为目标被摄对象,并且在步骤S105中对作为目标被摄对象的产品70执行聚焦控制。然后,成像控制装置22执行步骤S106和S107中的处理。
如果在图21的步骤S502中,产品70的面积与捕获图像的整个帧的面积的比率P小于或等于预定值thP,则成像控制装置22在步骤S504中确定当前场景是表演场景。
之后,成像控制装置22按照步骤S504以及图14中的步骤S103和S108的顺序推进处理,选择在步骤S101中标识的对象介绍者60作为目标被摄对象,并且在步骤S109中对作为目标被摄对象的对象介绍者60的脸部62执行聚焦控制。然后,成像控制装置22执行步骤S106和S107中的处理。
根据上述第四实施例,基于待介绍产品70与捕获图像的整个帧的比率来执行场景确定,使得基于对象介绍者60的手61和待介绍产品70之间的对象位置关系来执行场景确定。
注意,在本实施例中,成像控制装置22基于待介绍产品70与捕获图像的整个帧的比率来执行场景确定,但是可以基于对象介绍者60的区域与捕获图像的整个帧的比率来执行场景确定。
例如,在步骤S501中,成像控制装置22计算对象介绍者60的区域的面积与捕获图像的面积的比率P1,并且在步骤S502中,确定比率P1是否小于预定值thP’。这里提到的预定值thP’是用于确定当前场景是表演场景还是产品介绍场景的参考值。基于比率P1小于预定值thP’的事实,确定为产品介绍场景。
如果对象介绍者60的面积与捕获图像的面积的比率P1小于预定值thP’,则成像控制装置22在步骤S503中确定当前场景是产品介绍场景。
此外,如果比率P1大于或等于预定值thP’,则成像控制装置22在步骤S504中确定当前场景是表演场景。
这是因为,根据对象介绍者60的面积与捕获图像的面积的比率P1变得大于或等于预定值thP′的事实,可以估计对象介绍者60正在接近成像设备1以提供表演。
此外,成像控制装置22可以基于要介绍的产品70在捕获图像上的比率P和对象介绍者60在捕获图像上的比率P1两者来执行场景确定。
例如,如果产品70的面积与捕获图像的面积之比P变得大于预定值thP,并且对象介绍者60的面积与捕获图像的面积之比P1变得小于预定值thP′,成像控制装置22可以确定当前场景是产品介绍场景,否则,则可以确定当前场景是表演场景。
此外,成像控制装置22可以不仅基于产品70或对象介绍者60在捕获图像上的比率,而且基于产品70和对象介绍者60之间的面积比率,来执行场景确定。
<5.总结和修改>
根据上述实施例的安装在成像设备1中的成像控制装置22包括:标识单元22a,其标识作为由成像设备1的成像单元13获得的捕获图像数据中的被摄对象的介绍对象(产品70)和介绍介绍对象(产品70)的对象介绍者60;选择单元22b,其基于介绍对象(产品70)、对象介绍者60以及成像设备1中的至少任意两个之间的位置关系选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象;以及对由选择单元22b选择为目标被摄对象的被摄对象执行成像控制的成像控制单元22c(参见图14和图17至21)。
因此,例如,即使对象介绍者60处于不能操作成像设备1的状态,例如在距离安装成像控制装置22的成像设备1一定距离处进行用于产品评论视频等的表演,成像控制装置22也根据手61的移动(例如移动、保持或指向产品)自动执行适合于场景的成像控制。这允许对象介绍者60拍摄经过反映了对象介绍者60的意图的成像控制的视频,而无需在表演拍摄期间操作成像设备1。
注意,介绍对象、对象介绍者以及成像设备1中的至少任意两个之间的位置关系包括如在第二和第三实施例中的对象介绍者60和介绍对象之间的位置关系,以及如第一和第四实施例中的介绍对象与成像设备1之间的位置关系,以及成像设备1和对象介绍者60之间的位置关系。与成像设备1和对象介绍者60之间的位置关系相对应的示例包括例如如下示例:基于对象介绍者60的面积与捕获图像的面积之比P1是否小于第四实施例中描述的预定值thP’来执行场景确定(目标被摄对象的选择)。当然,场景确定(目标被摄对象的选择)可通过将图6中的距离Lhc与适当阈值进行比较来执行。
此外,位置关系的示例可以是对象介绍者、介绍对象和成像设备这三者之间的位置关系。
在根据每个实施例的成像控制装置22中,选择单元22b基于对象位置关系对捕获图像执行场景确定处理,并且可以根据在场景确定处理中确定的场景,选择待介绍产品70和对象介绍者60中的一个作为目标被摄对象(参见图14中的步骤S102)。
这允许对适合于每个场景的目标被摄对象适当地执行成像控制,例如聚焦控制。因此,在视频拍摄期间,可以在不直接操作成像设备1的情况下执行反映了对象介绍者60的意图的视频拍摄。
例如,在产品评论视频中,可以在作为介绍产品70的场景的产品介绍场景中以产品70作为目标被摄对象来执行聚焦控制等,在作为对象介绍者60进行表演的场景的表演场景中,可以使用对象介绍者60作为目标被摄对象来执行聚焦控制等。因此,可以执行适合于当前场景中应当注意的被摄对象的聚焦控制等。
在根据第一实施例的成像控制装置22中,选择单元22b基于介绍对象(产品70)和成像设备1之间的位置关系,选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象。即,成像控制装置22基于产品70和成像设备1之间的位置关系执行场景确定处理(参见图14和图17中的S102)。
例如,选择单元22b基于产品70相对于成像设备1的位置关系,选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象。
这允许对象介绍者60拍摄经过反映了对象介绍者60的意图的成像控制的视频,而无需在拍摄期间操作成像设备1。
特别地,在第一实施例中,选择单元22b基于从介绍对象(产品70)和成像设备1之间的位置关系得到的从成像设备1到介绍对象(产品70)的距离Loc选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象。
例如,在产品评论视频中,对象介绍者60可以使产品70靠近成像设备1的成像透镜,以使观众注意待介绍产品70。在这种情况下,例如,基于从要介绍的产品70到成像设备1的距离变得小于预定值的事实,确定当前场景为产品介绍场景,允许在产品介绍场景中执行适合于被选为目标被摄对象的产品70的区域的成像控制,例如聚焦控制。特别地,距离测量允许场景确定和适当的控制,便于控制。
在根据第二实施例的成像控制装置22中,选择单元22b基于介绍对象(产品70)和对象介绍者60之间的位置关系,选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象。即,成像控制装置22基于产品70和对象介绍者60之间的位置关系执行场景确定处理(参见图14和图17中的步骤S102)。
产品70和对象介绍者60之间的位置关系可以基于产品70和对象介绍者60到成像设备1的各自距离来确定。
因此,基于产品70和对象介绍者60之间的位置关系选择目标被摄对象允许对象介绍者60拍摄经过反映了对象介绍者60的意图的成像控制的视频,而无需在拍摄期间操作成像设备1。
此外,基于介绍对象(产品70)和对象介绍者60之间的位置关系的场景确定和目标被摄对象选择受对象介绍者60的前后移动的影响较小,这样可以保持场景确定和目标被摄对象选择的准确性。
特别地,在第二实施例中,选择单元22b基于从介绍对象(产品70)和成像设备1之间的位置关系得到的从对象介绍者60到介绍对象(产品70)的距离Lho选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象。
这允许通过容易地掌握对象介绍者60和产品70之间的位置关系来确定场景,并且允许通过设定适合于场景的目标被摄对象来进行控制。
在根据第三实施例的成像控制装置22中,选择单元22b基于对象介绍者60的身体的一部分的状态选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象,并且执行适合于所选择的目标被摄对象的成像控制,例如聚焦控制(参见图19)。特别地,基于取决于对象介绍者60的手61的状态的介绍对象(产品70)和对象介绍者60之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
例如,选择单元22b基于对象介绍者60的手61与介绍对象(产品70)接触的状态,选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象,以及执行适于所选目标被摄对象的区域的成像控制,例如聚焦控制。
对象介绍者60的手61不与产品70接触的状态被认为是对象介绍者60正在进行诸如开场白之类的表演的表演场景。在这种情况下,以对象介绍者60作为目标被摄对象对脸部62执行聚焦控制。这可以使得在表演场景中突出给出表演的对象介绍者60。
另一方面,在对象介绍者60的手61与产品70接触(例如,保持产品70)的状态下,被成像的场景被认为是用于介绍产品70的产品介绍场景。因此,对待介绍产品70执行聚焦控制,以便可以突出待介绍产品70。
因此,通过基于对象介绍者60的手61的状态确定产品70和对象介绍者60中的一个作为目标被摄对象,可以根据每个场景执行适合于每个被摄对象的成像控制。因此,可以进行更多地反映对象介绍者60的意图的视频拍摄。
此外,在第三实施例中,选择单元22b基于对象介绍者60的手61指向介绍对象(产品70)的状态,选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象,以及对所选择的目标被摄对象执行成像控制,例如聚焦控制(参见图20)。
例如,对象介绍者60的手61不进行诸如指点之类的手势的状态被认为是对象介绍者60正在进行表演的表演场景。在这种情况下,以对象介绍者60作为目标被摄对象对脸部62执行聚焦控制。这可以使给出表演的对象介绍者60突出。
另一方面,对象介绍者60的手61正在做出诸如指向产品70之类的手势的状态被认为是对象介绍者60介绍产品70的产品介绍场景。因此,通过对待介绍产品70执行聚焦控制,可以突出待介绍产品70。
如上所述,还可以基于由对象介绍者60的手61的诸如指点之类的手势的状态来执行场景确定,并且可以根据每个场景执行适合于每个被摄对象的成像控制。因此,可以进行更多地反映对象介绍者60的意图的视频拍摄。
在根据第四实施例的成像控制装置22中,选择单元22b基于作为位置关系的介绍对象(产品70)的区域与捕获图像的整个帧的比率以及对象介绍者60的区域与捕获图像的整个帧的比率中的一个或两个比率选择介绍对象(产品70)和对象介绍者60中的一个作为目标被摄对象(参见图21)。
例如,在产品评论视频中,对象介绍者60可以使产品70靠近成像设备1的成像透镜,以使观众注意待介绍产品70。此时,由于对象位置关系的改变,要介绍的产品70在捕获图像上的比率增大。
然后,例如,基于要介绍的产品70在捕获图像上的比率已经变得大于预定值的事实,将当前场景确定为产品介绍场景,并且,可以对在产品介绍场景中选择为目标被摄对象的产品70执行诸如聚焦控制之类的成像控制。
第一和第二实施例描述了其中将对象介绍者60、介绍对象(产品70)以及成像设备1之间的位置关系视为距离关系的示例。距离关系的确定允许通过距离之间的比较或距离与预定值(阈值)之间的比较来相对容易地确定场景和选择目标被摄对象。
此外,距离关系可以是对象介绍者60、介绍对象(产品70)和成像设备1之间的距离。即,可以基于对象介绍者60和介绍对象之间的距离Lho、介绍对象和成像设备1之间的距离Loc以及成像设备1和对象介绍者60之间的距离Lhc中的两个或全部来执行场景确定和目标被摄对象选择。
作为基于三者之间的各自距离的场景确定的可能示例,如果对象介绍者60和产品70之间的距离Lhc太长,即使当产品70和成像设备1之间的距离Loc小于或等于预定值Lth1时,也确定其不是介绍场景(例如,对象介绍者60将获得另一产品)。
或者,对于表演场景,可以进一步将其设定为对象介绍者60和成像设备1之间的距离Lhc在特定范围内的条件。
在根据每个实施例的成像控制装置22中,标识单元22a基于捕获的图像数据标识介绍对象(产品70)(参见图14中的S101)。即,标识单元22a例如对从成像单元13获取的捕获图像数据执行图像分析处理等,以从图像数据中出现的被摄对象标识要介绍的产品70。因此,标识对应于被成像的被摄对象的产品70。
在每个实施例中,成像控制装置22可以基于捕获的图像数据检测对象介绍者60的手61,并且基于检测到的手61的位置标识介绍对象(产品70)。这允许即使在不能基于图像数据检测到产品70的情况下,也通过从手61的位置估计产品70的位置来标识要介绍的产品70。
在根据每个实施例的成像控制装置22中,已经描述了其中标识单元22a基于对象介绍者60的身体部分(手61)的状态来标识介绍对象(产品70)的示例(参见图14中的S101)。
这允许从例如作为对象介绍者60的身体的一部分的手61的状态(例如保持、抓住、捏或指向产品70)来标识待介绍产品70。因此,即使在捕获图像数据中出现多个产品70的情况下,也可以基于手61的状态来标识待介绍产品70。
此外,在根据每个实施例的成像控制装置22中,标识单元22a可以假想地将手61标识为介绍对象,作为要介绍的真实对象的替代物。通过在标识待介绍产品70时将手标识为介绍对象的替代物,便利了标识处理。
在成像中,各种被摄对象出现在成像画面上,因此很难确定哪个产品70是要在例如产品评论视频中介绍的对象。因此,通过从通过图像分析处理等容易检测到的对象介绍者60的手61的状态标识待介绍产品70,可以容易地从捕获图像中出现的产品70标识介绍对象。
在根据每个实施例的成像控制装置22中,已经描述了其中成像控制是成像操作控制(即,用于将被摄对象光集中到成像单元13的图像传感器14和成像单元13上的光学系统的成像操作的控制)的示例(参见图14中的步骤S105和S109)。
例如,执行适合于目标被摄对象的自动聚焦控制、AE控制(光圈控制、SS控制和增益控制)等。因此,可以在视频拍摄期间不直接操作成像设备1的情况下执行反映对象介绍者60意图的成像操作。
例如,通过对适合于当前场景的目标被摄对象执行自动聚焦控制,可以在产品评论视频中执行聚焦于产品介绍场景中的产品70和表演场景中的对象介绍者60的成像。
在根据实施例的成像控制装置22中,已经描述了其中成像控制是捕获图像处理控制(即,对捕获图像数据的图像处理的控制)的示例(参见图12中的S105和S109)。例如,对捕获的图像数据执行适合于目标被摄对象的区域的白平衡处理控制、对比度调整处理控制、图像效果处理控制等。
因此,执行适合于当前场景的图像信号处理,并且在视频拍摄期间在不直接操作成像设备1的情况下执行反映对象介绍者60的意图的信号处理。
根据每个实施例的成像控制装置22将与选择单元22b的选择的结果相关的元数据与捕获的图像数据相关联(参见图14)。
这有助于在再现和编辑期间对捕获图像数据提取表演场景和提取产品介绍场景作为视频。
此外,作为元数据的与捕获图像数据相关联的信息还包括关于指示选择单元22b处于确定不可能状态的错误标志的信息。因此,例如,通过删除在记录之后附加了错误标志的帧,可以高效地删除其中不能执行适当视频拍摄的部分。
也就是说,与选择单元22b的选择的结果相关的元数据提高了将捕获图像数据编辑为视频的效率,并促进了用于检查的再现工作。
此外,根据实施例的成像设备1被提供为通过包括上述成像控制装置22来实现上述效果的成像设备。
成像设备1包括呈现单元18,并且呈现单元18呈现选择单元22b处于确定不可能状态的事实(参见图14中的步骤S106、图17中的步骤S202、S203和S204等)。
因此,在呈现单元18的显示单元上显示确定不可能状态。此外,可以从呈现单元18的音频输出发出提供确定不可能状态的通知的声音。
因此,对象介绍者60可以注意到成像设备1处于确定不可能状态。例如,在对象介绍者60在拍摄期间没有注意到成像设备1已经处于确定不可能状态的情况下,视频拍摄可能没有经过反映对象介绍者60的意图的成像控制。在这种情况下,对象介绍者60需要从头开始拍摄视频,并且消耗额外的工作和时间。因此,通过通知对象介绍者60确定不可能状态,以便他或她在中间注意到它,可以提高对象介绍者60的便利性。
注意,通过来自呈现单元18的扬声器的声音通知确定不可能状态,即使当成像设备1的显示单元不面对对象介绍者60侧时,也可以使对象介绍者60意识到错误。
更具体地说,当从成像设备1到介绍对象(产品70)的距离Loc小于最短成像处理时,呈现单元18呈现控制不可能状态。
例如,当待介绍产品70处于比最短成像距离短的距离时,聚焦透镜不能移动以聚焦在产品70上,并且产品70经历模糊。然后,通过通知对象介绍者60确定不可能状态,以使他或她在中间注意到它,提高了对象介绍者60的便利性。
特别地,向对象介绍者60显示控制不可能状态(参见图14中的步骤S106等)允许对象介绍者60视觉识别它以注意到确定不可能状态。此外,通过成像设备1的显示单元上的显示的通知而不是通过声音的通知可以防止在拍摄期间记录不必要的声音。
根据实施例的程序是用于使例如CPU、DSP等或包括它们的设备执行图14和图17至21中的处理的程序。
即,根据实施例的程序是用于使成像控制装置执行如下处理的程序:标识处理,基于由成像设备1的成像单元13获得的捕获图像数据将介绍对象(例如,产品70)以及介绍介绍对象的对象介绍者60分别标识为被摄对象;选择处理,基于介绍对象(产品70)、对象介绍者60和成像设备1中的至少任意两个之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及成像控制处理,执行适合于在选择处理中选择为目标被摄对象的被摄对象的成像控制。
如上所述的程序允许在诸如数字摄像机1A之类的成像设备1、具有视频拍摄功能的数字静止相机1B或诸如智能电话之类的移动终端1C中实现上述成像控制装置22。
如上所述的程序可以预先记录在作为内置在诸如计算机设备之类的设备中的记录介质的HDD、包括CPU的微型计算机中的ROM等中。
或者,该程序可以临时或永久地存储(记录)在可移除记录介质上,例如软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘(注册商标)、磁盘、半导体存储器或存储器卡。这种可移除记录介质可以作为所谓的软件包提供。
此外,如上所述的程序可以从可移除记录介质安装到个人计算机等,或者经由诸如局域网(LAN)或因特网之类的网络从下载站点下载。
此外,如上所述的程序适合于广泛提供根据实施例的成像控制装置。例如,通过将程序下载到个人计算机、便携式信息处理设备、移动电话、游戏设备、视频设备、个人数字助理(PDA)等,可以使个人计算机等用作本公开的成像控制装置。
注意,本说明书中描述的效果仅仅是示例和非限制性的,并且可以包括其他效果。
此外,本描述中描述的实施例的描述仅仅是示例,并且本技术不限于上述实施例。因此,不用说,除了上述实施例之外,在不脱离本技术的技术思想的情况下,可以根据设计等进行各种改变。
本技术还可以具有以下配置。
(1)一种成像控制装置,包括:
标识单元,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;
选择单元,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制单元,执行适合于由选择单元选择为目标被摄对象的被摄对象的成像控制。
(2)根据上述(1)的成像控制装置,其中
选择单元基于介绍对象和对象介绍者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
(3)根据上述(1)的成像控制装置,其中
选择单元基于介绍对象和成像设备之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
(4)根据上述(1)至(3)中任一项所述的成像控制装置,其中
标识单元通过基于捕获图像数据识别介绍对象来标识介绍对象。
(5)根据上述(1)至(4)中任一项所述的成像控制装置,其中
标识单元基于捕获图像数据识别对象介绍者的手,并基于手的识别结果标识介绍对象。
(6)根据上述(5)的成像控制装置,其中
标识单元假想地将手标识为介绍对象,作为要介绍的真实对象的替代物。
(7)根据上述(5)或(6)所述的成像控制装置,其中
标识单元基于手的状态标识介绍对象。
(8)根据上述(5)至(7)中任一项所述的成像控制装置,其中
选择单元基于介绍对象以及介绍对象和对象介绍者之间的取决于对象介绍者的手的状态的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
(9)根据上述(7)或(8)所述的成像控制装置,其中
手的状态是对象介绍者的手与介绍对象接触的状态。
(10)根据上述(7)或(8)所述的成像控制装置,其中
手的状态是对象介绍者的手指向介绍对象的状态。
(11)根据上述(1)的成像控制装置,其中
选择单元基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的作为位置关系的距离关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
(12)根据上述(11)的成像控制装置,其中
距离关系是介绍对象和成像设备之间的距离。
(13)根据上述(11)的成像控制装置,其中
距离关系是对象介绍者和介绍对象之间的距离。
(14)根据上述(11)的成像控制装置,其中
距离关系是对象介绍者、介绍对象以及成像设备之间的距离。
(15)根据上述(11)的成像控制装置,其中
选择单元基于介绍对象或对象介绍者中的至少一个的区域与捕获图像数据的整个帧的比率来检测距离关系。
(16)根据上述(1)至(15)中任一项所述的成像控制装置,还包括:
呈现控制单元,在成像设备和介绍对象之间的距离小于预定值的情况下执行向对象介绍者呈现成像控制困难的困难控制状态的呈现控制。
(17)根据上述(1)至(16)中任一项所述的成像控制装置,还包括:
关联控制单元,执行将与选择单元的选择结果相关的元数据与捕获图像数据相关联的关联控制。
(18)一种成像设备,包括:
成像单元;
标识单元,基于由成像单元获得的捕获图像数据标识介绍对象和介绍介绍对象的对象介绍者;
选择单元,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制单元,对由选择单元选择为目标被摄对象的被摄对象执行成像控制。
(19)一种成像控制方法,包括:
标识处理,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;
选择处理,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制处理,执行适合于在选择单元中选择为目标被摄对象的被摄对象的成像控制。
(20)一种使成像控制装置执行以下处理的程序:
标识处理,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;
选择处理,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制处理,执行适合于在选择单元中选择为目标被摄对象的被摄对象的成像控制。
参考标志清单
1成像设备
11光学系统
13成像单元
14图像传感器
18呈现单元
22成像控制装置
22a标识单元
22b选择单元
22c成像控制单元
22d呈现控制单元
22e关联控制单元
61手
62脸部
70产品

Claims (20)

1.一种成像控制装置,包括:
标识单元,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;
选择单元,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制单元,执行适合于由选择单元选择为目标被摄对象的被摄对象的成像控制。
2.根据权利要求1所述的成像控制装置,其中
选择单元基于介绍对象和对象介绍者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
3.根据权利要求1所述的成像控制装置,其中
选择单元基于介绍对象和成像设备之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
4.根据权利要求1所述的成像控制装置,其中
标识单元通过基于捕获图像数据识别介绍对象来标识介绍对象。
5.根据权利要求1所述的成像控制装置,其中
标识单元基于捕获图像数据识别对象介绍者的手,并基于手的识别结果标识介绍对象。
6.根据权利要求5所述的成像控制装置,其中
标识单元假想地将手标识为介绍对象,作为要介绍的真实对象的替代物。
7.根据权利要求5所述的成像控制装置,其中
标识单元基于手的状态标识介绍对象。
8.根据权利要求5所述的成像控制装置,其中
选择单元基于介绍对象以及介绍对象和对象介绍者之间的取决于对象介绍者的手的状态的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
9.根据权利要求7所述的成像控制装置,其中
手的状态是对象介绍者的手与介绍对象接触的状态。
10.根据权利要求7所述的成像控制装置,其中
手的状态是对象介绍者的手指向介绍对象的状态。
11.根据权利要求1所述的成像控制装置,其中
选择单元基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的作为位置关系的距离关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象。
12.根据权利要求11所述的成像控制装置,其中
距离关系是介绍对象和成像设备之间的距离。
13.根据权利要求11所述的成像控制装置,其中
距离关系是对象介绍者和介绍对象之间的距离。
14.根据权利要求11所述的成像控制装置,其中
距离关系是对象介绍者、介绍对象以及成像设备之间的距离。
15.根据权利要求11所述的成像控制装置,其中
选择单元基于介绍对象或对象介绍者中的至少一个的区域与捕获图像数据的整个帧的比率来检测距离关系。
16.根据权利要求1所述的成像控制装置,还包括:
呈现控制单元,在成像设备和介绍对象之间的距离小于预定值的情况下执行向对象介绍者呈现成像控制困难的困难控制状态的呈现控制。
17.根据权利要求1所述的成像控制装置,还包括:
关联控制单元,执行将与选择单元的选择结果相关的元数据与捕获图像数据相关联的关联控制。
18.一种成像设备,包括:
成像单元;
标识单元,基于由成像单元获得的捕获图像数据标识介绍对象和介绍介绍对象的对象介绍者;
选择单元,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制单元,对由选择单元选择为目标被摄对象的被摄对象执行成像控制。
19.一种成像控制方法,包括:
标识处理,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;
选择处理,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制处理,执行适合于通过选择处理选择为目标被摄对象的被摄对象的成像控制。
20.一种使成像控制装置执行以下处理的程序:
标识处理,基于由成像设备的成像单元获得的捕获图像数据将介绍对象和介绍介绍对象的对象介绍者分别标识为被摄对象;
选择处理,基于介绍对象、对象介绍者以及成像设备中的至少任意两者之间的位置关系,选择介绍对象和对象介绍者中的一个作为目标被摄对象;以及
成像控制处理,执行适合于通过选择处理选择为目标被摄对象的被摄对象的成像控制。
CN202080060004.2A 2019-09-03 2020-06-12 成像控制装置、成像控制方法、程序以及成像设备 Pending CN114342350A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019160511 2019-09-03
JP2019-160511 2019-09-03
PCT/JP2020/023241 WO2021044692A1 (ja) 2019-09-03 2020-06-12 撮像制御装置、撮像制御方法、プログラム、撮像装置

Publications (1)

Publication Number Publication Date
CN114342350A true CN114342350A (zh) 2022-04-12

Family

ID=74853134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060004.2A Pending CN114342350A (zh) 2019-09-03 2020-06-12 成像控制装置、成像控制方法、程序以及成像设备

Country Status (5)

Country Link
US (1) US20220337743A1 (zh)
EP (1) EP4016988A4 (zh)
JP (1) JPWO2021044692A1 (zh)
CN (1) CN114342350A (zh)
WO (1) WO2021044692A1 (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377296B1 (en) * 1999-01-28 2002-04-23 International Business Machines Corporation Virtual map system and method for tracking objects
US20030011791A1 (en) * 2001-04-05 2003-01-16 Nikon Corporation Method for image data print control, electronic camera and camera system
JP2005351925A (ja) * 2004-06-08 2005-12-22 Fuji Photo Film Co Ltd 撮像装置及び合焦制御方法
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US20080025710A1 (en) * 2006-07-25 2008-01-31 Fujifilm Corporation Image taking system
US20080118156A1 (en) * 2006-11-21 2008-05-22 Sony Corporation Imaging apparatus, image processing apparatus, image processing method and computer program
US20090244354A1 (en) * 2008-03-28 2009-10-01 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the imaging apparatus
CN101930162A (zh) * 2009-06-22 2010-12-29 富士胶片株式会社 成像设备及其控制方法
CN102262333A (zh) * 2010-05-28 2011-11-30 索尼公司 成像装置、成像系统、成像装置的控制方法和程序
JP2014206711A (ja) * 2013-04-16 2014-10-30 キヤノン株式会社 撮像装置およびその制御方法
US20150172531A1 (en) * 2013-12-12 2015-06-18 Canon Kabushiki Kaisha Image capturing apparatus, communication apparatus, and control method therefor
JP2016208096A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 情報処理装置、情報処理方法及び画像転送システム
CN108093181A (zh) * 2018-01-16 2018-05-29 奇酷互联网络科技(深圳)有限公司 图片拍摄方法、装置、可读存储介质及移动终端
CN108521862A (zh) * 2017-09-22 2018-09-11 深圳市大疆创新科技有限公司 用于跟踪拍摄的方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4078047B2 (ja) * 2001-07-17 2008-04-23 フジノン株式会社 プレゼンテーションシステム
JP2003168021A (ja) * 2001-11-29 2003-06-13 Canon Inc 画像伝送システム、通信制御装置及び通信制御方法
JP2004112511A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 表示制御装置および方法
JP2004298988A (ja) * 2003-03-31 2004-10-28 Honda Motor Co Ltd 移動ロボットの画像送信装置
US8300081B1 (en) * 2008-12-11 2012-10-30 Adobe Systems Incorporated Blending video feeds for visual collaboration
JP2011087183A (ja) * 2009-10-16 2011-04-28 Olympus Imaging Corp 撮影装置、画像処理装置、およびプログラム
JP5539514B2 (ja) * 2010-06-30 2014-07-02 富士フイルム株式会社 撮影装置、プログラム、及び撮影方法
JP6267961B2 (ja) * 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 映像提供方法および送信装置
US20170330045A1 (en) * 2015-10-28 2017-11-16 Dario B. Crosetto Method and apparatus to build new electronic instruments and devices: the 3d-flow opra to solve applications of fast, real-time, multi-dimension object pattern recognition algorithms (opra) and the 3d-cbs (3-d complete body screening) to accurately measure minimum abnormal biological processes of diseases at an early curable stage such as cancer improving diagnosis and prognoses for maximizing reduction of premature deaths and minimize the cost per each life saved
JP2018033013A (ja) 2016-08-25 2018-03-01 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US20210056251A1 (en) * 2019-08-22 2021-02-25 Educational Vision Technologies, Inc. Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377296B1 (en) * 1999-01-28 2002-04-23 International Business Machines Corporation Virtual map system and method for tracking objects
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
US20030011791A1 (en) * 2001-04-05 2003-01-16 Nikon Corporation Method for image data print control, electronic camera and camera system
JP2005351925A (ja) * 2004-06-08 2005-12-22 Fuji Photo Film Co Ltd 撮像装置及び合焦制御方法
US20080025710A1 (en) * 2006-07-25 2008-01-31 Fujifilm Corporation Image taking system
US20080118156A1 (en) * 2006-11-21 2008-05-22 Sony Corporation Imaging apparatus, image processing apparatus, image processing method and computer program
US20090244354A1 (en) * 2008-03-28 2009-10-01 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the imaging apparatus
CN101930162A (zh) * 2009-06-22 2010-12-29 富士胶片株式会社 成像设备及其控制方法
CN102262333A (zh) * 2010-05-28 2011-11-30 索尼公司 成像装置、成像系统、成像装置的控制方法和程序
JP2014206711A (ja) * 2013-04-16 2014-10-30 キヤノン株式会社 撮像装置およびその制御方法
US20150172531A1 (en) * 2013-12-12 2015-06-18 Canon Kabushiki Kaisha Image capturing apparatus, communication apparatus, and control method therefor
JP2016208096A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 情報処理装置、情報処理方法及び画像転送システム
CN108521862A (zh) * 2017-09-22 2018-09-11 深圳市大疆创新科技有限公司 用于跟踪拍摄的方法和设备
CN108093181A (zh) * 2018-01-16 2018-05-29 奇酷互联网络科技(深圳)有限公司 图片拍摄方法、装置、可读存储介质及移动终端

Also Published As

Publication number Publication date
WO2021044692A1 (ja) 2021-03-11
JPWO2021044692A1 (zh) 2021-03-11
EP4016988A4 (en) 2022-11-02
EP4016988A1 (en) 2022-06-22
US20220337743A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
KR101772177B1 (ko) 사진을 획득하기 위한 방법 및 장치
JP4930302B2 (ja) 撮像装置、その制御方法およびプログラム
EP2962455B1 (en) Image processing apparatus, image processing method, and program
JP2008288975A (ja) 撮像装置、撮像方法および撮像プログラム
CN110569822A (zh) 图像处理方法及装置、电子设备和存储介质
JP6460721B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
JP2015012480A (ja) 画像処理装置及び画像処理方法
US20100329552A1 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
JP2009171220A (ja) 撮像装置及びその制御方法
CN108513069B (zh) 图像处理方法、装置、存储介质及电子设备
US11551465B2 (en) Method and apparatus for detecting finger occlusion image, and storage medium
KR20100055938A (ko) 장면 정보 표시 방법 및 장치, 및 이를 이용한 디지털 촬영장치
JP2010074815A (ja) 画像処理装置、画像処理方法、および、プログラム
JP2021176243A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2014146989A (ja) 撮像装置、撮像方法および撮像プログラム
JP6230386B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN108259767B (zh) 图像处理方法、装置、存储介质及电子设备
US20220191401A1 (en) Image processing device, image processing method, program, and imaging device
JP2008236015A (ja) 画像処理装置、撮像装置及びそのプログラム
EP4016988A1 (en) Imaging control device, imaging control method, program, and imaging device
US20220159190A1 (en) Image processing device, image processing method, program, and imaging device
CN113506321A (zh) 图像处理方法及装置、电子设备和存储介质
CN107431756B (zh) 自动图像帧处理可能性检测的方法和装置
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination