CN104639813B - 摄像装置及摄像方法 - Google Patents

摄像装置及摄像方法 Download PDF

Info

Publication number
CN104639813B
CN104639813B CN201410637316.1A CN201410637316A CN104639813B CN 104639813 B CN104639813 B CN 104639813B CN 201410637316 A CN201410637316 A CN 201410637316A CN 104639813 B CN104639813 B CN 104639813B
Authority
CN
China
Prior art keywords
image
subject
user
shot
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410637316.1A
Other languages
English (en)
Other versions
CN104639813A (zh
Inventor
加来亘
高谷庆太
渡辺和宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104639813A publication Critical patent/CN104639813A/zh
Application granted granted Critical
Publication of CN104639813B publication Critical patent/CN104639813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2108—Intermediate information storage for one or a few pictures for one picture only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种摄像装置及摄像方法。第一摄像单元拍摄被摄体的图像以生成图像数据。第二摄像单元在拍摄所述被摄体的图像前后的预定时间段，拍摄用户的图像，所述用户拍摄所述被摄体的图像。获得单元通过分析由所述第二摄像单元拍摄的图像中的、在拍摄所述被摄体的图像之前的所述用户的状态和在拍摄所述被摄体的图像之后的所述用户的状态中的各个，来获得第一分类信息。记录单元将所述第一分类信息与所述图像数据相关联地记录。

Description

摄像装置及摄像方法
技术领域
本发明涉及一种摄像装置及摄像方法。
背景技术
已知一种将与摄像期间的状态相关的信息添加到拍摄的图像并记录具有该信息的拍摄的图像的摄像装置。当国际公布第2006/028172号公报中公开的记录装置被设置为随同运动图像一起拍摄静止图像的模式时，该记录装置开始运动图像的临时存储。当按下快门按钮时，记录装置记录拍摄的静止图像，并且还由拍摄静止图像之前临时存储的运动图像、通过转换拍摄的静止图像获得的运动图像以及在按下快门按钮之后拍摄的运动图像生成一个运动图像，并记录所生成的运动图像。在国际公布第2006/028172号公报中公开的技术使得能够识别摄像前后的被摄体的状态。
日本特开第2010-148052号公报中公开的配设有照相机的移动终端从由前置摄像头(front-facing camera)拍摄的用户的图像确定拍摄被摄体的图像的用户的面部表情，并且基于所确定的信息进行后置摄像头的快门操作。照相机移动终端根据用户的面部表情的程度，将由后置摄像头拍摄的图像分类，并且显示图像。由此，日本特开第2010-148052号公报中公开的技术使得能够识别在由后置摄像头拍摄图像时的用户的面部表情。
然而，国际公布第2006/028172号公报没有公开拍摄用户的图像的技术，并且由此不能够识别摄像期间的用户的状态。日本特开第2010-148052号公报公开了一种与在从进行快门操作起的确定时间期间的最高微笑度相关联地存储图像数据的技术，但是其并没有考虑摄像前的用户的面部表情(状态)。使用在日本特开第2010-148052号公报中公开的技术不能够识别出用户的面部表情(状态)及其在摄像前后的改变。
发明内容
本发明是鉴于这样的情况而做出的，并且提供了一种与传统技术相比能够更详细地识别在拍摄被摄体的图像时的用户的状态的技术。
根据本发明的一个方面，提供了一种摄像装置，其包括：第一摄像单元，其被构造成拍摄被摄体的图像以生成图像数据；第二摄像单元，其被构造成在拍摄所述被摄体的图像前后的预定时间段拍摄用户的图像，所述用户拍摄所述被摄体的图像；获得单元，其被构造成通过分析由所述第二摄像单元拍摄的图像中的、在拍摄所述被摄体的图像之前的所述用户的状态和在拍摄所述被摄体的图像之后的所述用户的状态中的各个，来获得第一分类信息；以及记录单元，其被构造成将所述第一分类信息与所述图像数据相关联地记录。
根据本发明的另一个方面，提供了一种摄像装置，其包括：摄像单元，其被构造成拍摄被摄体的图像以生成图像数据；声音收集单元，其被构造成在拍摄所述被摄体的图像前后的预定时间段收集用户的声音，以生成声音数据，所述用户拍摄所述被摄体的图像；获得单元，其被构造成通过分析与在拍摄所述被摄体的图像之前收集的声音相对应的声音数据的部分、和与在拍摄所述被摄体的图像之后收集的声音相对应的声音数据的部分中的各个，来获得分类信息；以及记录单元，其被构造成将所述分类信息与所述图像数据相关联地记录。
根据本发明的又另一个方面，提供了一种摄像装置的摄像方法，该摄像方法包括：第一摄像步骤，拍摄被摄体的图像以生成图像数据；第二摄像步骤，在拍摄所述被摄体的图像前后的预定时间段拍摄用户的图像，所述用户拍摄所述被摄体的图像；获得步骤，通过分析在所述第二摄像步骤中拍摄的图像中的、在拍摄所述被摄体的图像之前的所述用户的状态和在拍摄所述被摄体的图像之后的所述用户的状态中的各个，来获得第一分类信息；以及记录步骤，将所述第一分类信息与所述图像数据相关联地记录。
根据本发明的另一个方面，提供了一种摄像装置的摄像方法，该摄像方法包括：摄像步骤，拍摄被摄体的图像以生成图像数据；声音收集步骤，在拍摄所述被摄体的图像前后的预定时间段收集用户的声音，以生成声音数据，所述用户拍摄所述被摄体的图像；获得步骤，通过分析与在拍摄所述被摄体的图像之前收集的声音相对应的声音数据的部分和与在拍摄所述被摄体的图像之后收集的声音相对应的声音数据的部分中的各个，来获得分类信息；以及记录步骤，将所述分类信息与所述图像数据相关联地记录。
根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1A是示出根据第一实施例的数字照相机100的外观图。
图1B是示出根据第一实施例的数字照相机100的外观图。
图2是示出数字照相机100的示例结构的框图。
图3A是示出数字照相机100在分类添加模式下的摄像处理的流程图。
图3B是示出数字照相机100在分类添加模式下的摄像处理的流程图。
图4是详细示出图3B的步骤S317中的分类添加处理的流程图。
图5是示出由数字照相机100记录的运动图像文件500的示意性结构图。
图6是示出由数字照相机100记录的静止图像文件600的示意性结构图。
具体实施方式
以下将参照附图详细描述本发明的实施例。应当注意，本发明的技术范围由权利要求限定，并非由以下描述的任意实施例限定。此外，并非在实施例中描述的所有的特征的组合都是实现本发明所必需的。
[第一实施例]
如果将拍摄的图像数据与同摄像期间的用户的状态相关的信息相关联地记录，则之后用户在查看图像数据时能够享受地回忆起摄像期间的情形，或基于摄像期间的情形搜索图像数据。然而，根据上述日本特开第2010-148052号公报公开的技术而与图像数据相关联的信息，由于以下原因，不足以指示用户的状态。用户针对快门操作前后的各种情形做出各种方式的反应(面部表情、声音、活动等)，并且在快门操作前后之间用户的状态可能显著改变。
例如，快门操作前后的用户的状态具有如下四种模式中的任意一种。
(1)在摄像期间(包括快门操作前后)用户始终微笑。
(2)用户在摄像之前微笑，但在摄像之后停止微笑。
(3)用户在摄像之前不微笑，但在摄像之后微笑。
(4)用户在摄像期间(包括快门操作前后)始终不微笑。
模式(1)暗示了例如用户在愉快的情形下拍摄了图像。模式(2)暗示了如下的可能性，即用户在愉快的情形下拍摄了图像，但是在查看拍摄图像数据的录像回放(recreview)显示时，注意到没有拍到好的照片。模式(3)暗示了如下的可能性，即尽管摄像情形本身不是使用户微笑那么愉快，但是用户在查看拍摄图像数据的录像回放显示时注意到拍到了好的照片(或愉快的照片)。模式(4)暗示了例如用户在严肃的氛围中拍摄了图像。
为便于摄像期间的情形的详细识别，本实施例描述了由快门操作前后用户拍摄的视频分析用户的状态、并记录分析结果的技术。摄像装置进行伴随着这种分析和记录的摄像的操作模式被称为“分类添加模式”。
下面将描述将根据本发明的摄像装置应用于数字照相机的实施例。图1A及图1B是各自示出根据第一实施例的数字照相机100的外观图。图1A是后视图，并且图1B是正面透视图(从左上方观察)。
在图1A及图1B中，后置摄像头74配备在数字照相机100的机体的背面，并且拍摄用户的图像。当后置摄像头74拍摄运动图像时，麦克风75收集要包括在拍摄的运动图像数据中的环境声音(主要是用户的声音)。显示单元28是用于显示图像以及各种信息的显示单元。快门按钮61是如下的操作单元，其用于指示数字照相机100通过配备在数字照相机100的机体的前面上的镜头103拍摄被摄体的图像。模式选择开关60是用于在各种模式之间切换的操作单元。连接器112是连接线缆111与数字照相机100之间的连接器。操作单元70是由用于从用户接收各种操作的诸如各种开关、按钮以及触摸屏等的操作部件组成的操作单元。控制器轮73是在操作单元70中包括的、可旋转的操作部件。电源开关72是用于在电源接通和电源关断之间切换的电源开关。
记录介质200是诸如存储卡或硬盘等的记录介质。记录介质插槽201是用于容纳记录介质200的插槽。容纳在记录介质插槽201中的记录介质200能够与数字照相机100通信。盖202是记录介质插槽201的盖。
图2是示出数字照相机100的示例结构的框图。在图2中，摄像镜头103和204各自包括聚焦透镜。快门101和205各自具有光圈功能。摄像单元22和206各自包括用于将光学图像转换为电子信号的CCD、CMOS元件等。A/D转换器23及207各自将模拟信号转换为数字信号。A/D转换器23将从摄像单元22输出的模拟信号转换为数字信号，并且A/D转换器207将从摄像单元206输出的模拟信号转换为数字信号。在数字照相机100中，摄像镜头103、快门101、摄像单元22以及A/D转换器23构成了用于拍摄被摄体的图像的第一摄像系统，并且摄像镜头204、快门205、摄像单元206以及A/D转换器207构成了用于拍摄用户(拍摄被摄体的图像的用户)的图像的第二摄像系统。挡板102和203分别遮盖数字照相机100的第一和第二摄像系统，以防止摄像镜头103和204等沾污或损毁。
图像处理单元24对来自A/D转换器23和207的数据或来自存储器控制单元15的数据进行诸如像素插值或减少的预定缩放处理、颜色转换处理等。图像处理单元24还使用拍摄的图像数据进行预定的计算处理，并且系统控制单元50基于获得的计算结果进行曝光控制和距离测量控制。由此执行通过镜头(through-the-lens(TTL))自动聚焦(AF)处理、自动曝光(AE)处理以及闪光预发射(EF)处理。图像处理单元24还使用拍摄的图像数据进行预定计算处理，并且基于获得的计算结果执行TTL自动白平衡(AWB)处理。
从A/D转换器23和207输出的数据经由图像处理单元24和存储器控制单元15或经由存储器控制单元15被直接写入存储器32。存储器32存储通过摄像单元22和206获得并被A/D转换器23和207转换为数字数据的图像数据，以及用于在显示单元28上显示的图像数据。存储器32具有充足的存储容量以存储预定数量的静止图像或预定时长的运动图像及声音。存储器32还用作用于图像显示的存储器(视频存储器)。
D/A转换器13将存储在存储器32中的用于显示的图像数据转换为模拟信号，并且将模拟信号提供给显示单元28。写入存储器32中的用于显示的图像数据由此经由D/A转换器13被显示在显示单元28上。显示单元28在诸如LCD的显示设备上产生对应于来自D/A转换器13的模拟信号的显示。
非易失性存储器56是电可擦除可记录存储器，并且例如是EEPROM等。非易失性存储器56存储用于系统控制单元50的操作的程序、常数等。这里提及的程序是后述的用于执行该实施例中的各种流程图的程序。
系统控制单元50控制整个数字照相机100。系统控制单元50执行记录在上述非易失性存储器56中的程序，以实现后述的本实施例中的各种处理。系统存储器52是RAM。将从非易失性存储器56中读取的程序、用于系统控制单元50的操作的常数和变量等展开到系统存储器52中。系统控制单元50还控制存储器32、D/A转换器13、显示单元28等，以进行显示控制。系统计时器53是用于测量针对各控制而使用的时间或内置时钟的时间的计时器单元。
模式选择开关60、第一快门开关62、第二快门开关64以及操作单元70是用于向系统控制单元50输入各种操作指令的操作单元。模式选择开关60将系统控制单元50的操作模式切换为静止图像记录模式、运动图像记录模式、分类添加模式、再现模式等的任意一种。第一快门开关62通过配备在数字照相机100上的快门按钮61的操作的中途的半按(摄像准备指令)来接通，并且生成第一快门开关信号SW1。系统控制单元50根据第一快门开关信号SW1，开始由第一摄像系统进行的AF处理、AE处理、AWB处理、EF处理等的操作。第二快门开关64通过快门按钮61的操作的完成时的全按(摄像指令)来接通，并且生成第二快门开关信号SW2。系统控制单元50根据第二快门开关信号SW2，开始由第一摄像系统进行的从自摄像单元22读取信号到将图像数据写入记录介质200为止的一系列摄像处理的操作。
例如，当用户选择性地操作显示在显示单元28上的各种功能图标时，操作单元70上的操作部件被根据场景分配合适的功能以用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像转发按钮、跳过按钮、缩小按钮、属性改变按钮等。例如，当按下了菜单按钮时，在显示单元28上显示能够进行各种设置的菜单画面。用户能够使用显示单元28上显示的菜单画面和4方向按钮、设置按钮等直观地进行各种设置。控制器轮73(参见图1A)是操作单元70中包括的可旋转操作部件，并且当例如指定选择项目时，与方向按钮一起使用。当旋转控制器轮73时，根据旋转操作的量来生成电脉冲信号，并且系统控制单元50基于生成的脉冲信号控制数字照相机100中的各单元。能够由脉冲信号确定控制器轮73已旋转的角度、控制器轮73已旋转了多少转等。控制器轮73可以是任意操作部件，只要能够检测到其旋转操作即可。作为示例，控制器轮73可以是根据用户的旋转操作而旋转并生成脉冲信号的转盘操作部件。作为另一示例，控制器轮73可以是由触摸传感器构成的操作部件，该触摸传感器并不旋转，而是检测用户的手指等在控制器轮73上的旋转操作(即，触摸轮)。
电源控制单元80包括电池检测电路、DC-DC转换器、用于切换要通电的块的开关电路等，并且检测是否安装了电池、电池的类型以及电池剩余电量。电源控制单元80基于检测结果和来自系统控制单元50的指令，控制DC-DC转换器，以在需要的时间段内向包括记录介质200的各单元供给需要的电压。电源单元30包括诸如碱性电池或锂电池的一次电池、诸如镍镉电池、镍氢电池或锂电池等的二次电池、AC适配器等。
接口(I/F)18是与诸如存储卡或硬盘等的记录介质200的接口。记录介质200是诸如存储卡的记录介质，并且由半导体存储器、磁盘等构成。
图3A和图3B是各自示出数字照相机100在分类添加模式下的摄像处理的流程图。通过系统控制单元50将存储在非易失性存储器56中的程序展开在系统存储器52中并执行程序，来实现该流程图中的各处理。从模式选择开关60被切换到分类添加模式时的状态，开始流程图中的处理。
在步骤S301中，系统控制单元50控制第二摄像系统以开始拍摄用户的运动图像的处理，并且控制存储器控制单元15以将拍摄的运动图像数据记录在存储器32中。系统控制单元50还基于由麦克风75收集的声音来生成声音数据。记录在存储器32中的运动图像数据的最大时长被设置为例如8秒(SW2被开启之前4秒，SW2被开启之后4秒)。在记录在存储器32中的运动图像数据的时长超过最大时长的情况下，系统控制单元50控制存储器控制单元15顺序删除具有较早摄像时间的帧。
尽管在本实施例中，用户的运动图像是带有声音的运动图像并且声音数据包括在运动图像数据中，但是声音数据和运动图像数据可以被分开处理。此外，数字照相机100可以仅获得声音数据而不获得运动图像数据。在这种情况下，在本实施例中的诸如“运动图像数据”和“运动图像文件”的表述被适当地读作“声音数据”和“声音文件”。
在步骤S302中，系统控制单元50控制显示单元28显示来自第一摄像系统的摄像单元22的图像数据(被摄体的图像数据)(即通图像(through image)显示)。在步骤S303中，系统控制单元50确定第一快门开关信号SW1是否为ON(开启)。在第一快门开关信号SW1是OFF(关闭)的情况下，系统控制单元50重复步骤S303的处理。在第一快门开关信号SW1是ON的情况下，系统控制单元50进行到步骤S304。
在步骤S304中，系统控制单元50控制第一摄像系统以准备摄像。此处提及的摄像准备是用于使得能够正确摄像的处理，并且包括AF处理、AE处理、AWB处理、EF处理等的操作。
在步骤S305中，系统控制单元50确定第二快门开关信号SW2是否是ON。在第二快门开关信号SW2是OFF的情况下，处理进行到步骤S306。在第二快门开关信号SW2是ON的情况下，处理进行到步骤S307。
在步骤S306中，系统控制单元50确定第一快门开关信号SW1是否是ON。在第一快门开关信号SW1是OFF的情况下，处理返回到步骤S303。在第一快门开关信号SW1是ON的情况下，处理返回到步骤S305。
在步骤S307中，系统控制单元50从系统计时器53获得当前时间，并且将获得的当前时间记录为第二快门开关信号SW2被开启的时间。在步骤S308中，系统控制单元50控制系统计时器53以计数从当第二快门开关信号SW2被开启时起经过的时间。
在步骤S309中，系统控制单元50控制第一摄像系统以拍摄被摄体的静止图像。在步骤S310中，系统控制单元50控制显示单元28显示(录像回放显示)在步骤S309中拍摄的静止图像。录像回放显示是为了用户检查拍摄的图像而将图像数据在显示单元28上显示预定时间(回放时间)的处理。
在步骤S311中，系统控制单元50从系统计时器53获得当前时间，并且确定从第二快门开关信号SW2被开启时起是否经过了2秒。在尚未经过2秒的情况下，处理进行到步骤S312。在经过了2秒的情况下，处理进行到步骤S315。
在步骤S312中，系统控制单元50确定第一快门开关信号SW1是否是ON。在第一快门开关信号SW1是OFF的情况下，处理返回到步骤S311。在第一快门开关信号SW1是ON的情况下，处理进行到步骤S313。
在步骤S313中，系统控制单元50进行控制以删除在第二快门开关信号SW2被开启后由第二摄像系统拍摄的用户的运动图像。在步骤S314中，系统控制单元50生成在第二快门开关信号SW2被开启之前的4秒内通过第二摄像系统拍摄的运动图像数据的文件(运动图像文件)，并且使处理进行到步骤S318。
在步骤S315中，系统控制单元50从系统计时器53获得当前时间，并且确定从第二快门开关信号SW2被开启时起是否经过了4秒。在尚未经过4秒的情况下，系统控制单元50重复步骤S315的处理。在经过了4秒的情况下，系统控制单元50使处理进行到步骤S316。
在步骤S316中，系统控制单元50生成由第二摄像系统拍摄的8秒(摄像前后的预定时间段)的运动图像数据的运动图像文件，该8秒由第二快门开关信号SW2被开启前的4秒和第二快门开关信号SW2被开启后的4秒组成。
在步骤S317中，系统控制单元50进行对在步骤S316中生成的运动图像文件进行分析并且基于分析结果记录信息的处理(分类添加处理)。后面将参照图4详细描述分类添加处理。
在步骤S318中，系统控制单元50将由第一摄像系统拍摄的被摄体的静止图像数据的文件(静止图像文件)与由第二摄像系统拍摄的用户的运动图像数据的运动图像文件彼此相关联地记录。后面将参照图5和图6描述静止图像文件与运动图像文件彼此相关联地记录的形式。
在步骤S319中，系统控制单元50确定是否满足给定的结束条件。给定的结束条件的示例包括：系统控制单元50检测到模式选择开关60至其他摄像模式的切换；以及系统控制单元50检测到电源开关72的按下。在不满足给定的结束条件的情况下，处理返回到步骤S301。在满足给定的结束条件的情况下，流程图的处理结束。
图4是详细示出图3B的步骤S317中的分类添加处理的流程图。通过系统控制单元50将存储在非易失性存储器56中的程序展开在系统存储器52中并执行该程序，来实现该流程图中的各处理。
在步骤S401中，系统控制单元50对步骤S316中生成的运动图像文件(用户的运动图像数据)进行声音分析。例如，系统控制单元50检测与第二快门开关信号SW2被开启之前的4秒相对应的部分以及与第二快门开关信号SW2被开启之后的4秒相对应的部分中的各个的音量水平，并且确定检测到的音量水平是否超过阈值。在音量水平超过阈值的情况下，系统控制单元50确定用户是兴奋的。在音量水平未超过阈值的情况下，系统控制单元50确定用户不是兴奋的。可以使用在内容再现装置等的技术领域中公知的任意技术来实现这种声音分析。
在步骤S402中，系统控制单元50确定在第二快门开关信号SW2被开启之前(在拍摄被摄体的图像之前)的4秒中用户是否是兴奋的。在确定用户是兴奋的情况下，处理进行到步骤S403。在确定用户不是兴奋的情况下，处理进行到步骤S406。
在步骤S403中，系统控制单元50确定在第二快门开关信号SW2被开启之后(在拍摄被摄体的图像之后)的4秒中用户是否是兴奋的。在确定用户是兴奋的情况下，在步骤S404中系统控制单元50确定标志类型是“1”。在确定用户不兴奋的情况下，在步骤S405中系统控制单元50确定标志类型是“2”。类似地，在步骤S406中，系统控制单元50确定在第二快门开关信号SW2被开启之后的4秒中用户是否是兴奋的。在确定用户是兴奋的情况下，在步骤S407中系统控制单元50确定标志类型是“3”。在确定用户不兴奋的情况下，在步骤S408中系统控制单元50确定标志类型是“4”。
由此基于摄像前的用户的状态(声音)和摄像后的用户的状态(声音)的组合来确定标志(第二分类信息)。在此，代替编号，可以使用诸如分类名称的文本数据作为第二分类信息。
在一些实施例中，数字照相机100中的非易失性存储器56存储指示组合与标志(或分类名称等)之间的对应关系的表格数据，该组合是摄像前的用户的状态(声音)和摄像后的用户的状态(声音)的组合。系统控制单元50参照表格数据，能够获得与用户的状态(声音)相对应的标志(分类名称等)。
在步骤S409中，系统控制单元50将在步骤S404、S405、S407或S408中确定的标志(标志“1”、“2”、“3”和“4”中的任意一个)添加到运动图像文件的属性，以记录标志。后面将参照图5描述将标志添加到运动图像文件的属性的形式。标志“1”、“2”、“3”和“4”各自指示与声音相关的“兴奋”的状态及其改变，作为在摄像前后的用户的状态。
在步骤S409中，取代运动图像文件的属性，可以将标志添加至被摄体的静止图像文件的属性，或者除了运动图像文件的属性以外，还可以将标志添加至被摄体的静止图像文件的属性。由于在步骤S318中将静止图像文件和运动图像文件互相关联，因此即使在标志被添加到运动图像文件的属性的情况下，标志最终也与静止图像文件相关联，并且能够被用于搜索静止图像文件等。
接下来，在步骤S410中，系统控制单元50对在步骤S316中生成的运动图像文件(用户的运动图像数据)进行视频分析。例如，系统控制单元50针对与第二快门开关信号SW2被开启前的4秒相对应的部分及与第二快门开关信号SW2被开启后的4秒相对应的部分中的各个，计算用户的面部图像的微笑度，并且确定微笑度是否超过阈值。在微笑度超过阈值的情况下，系统控制单元50确定用户在微笑。在微笑度未超过阈值的情况下，系统控制单元50确定用户没有微笑。可以使用摄像装置等的技术领域中公知的任意技术来实现这种视频分析。
在步骤S411中，系统控制单元50确定在第二快门开关信号SW2被开启前的4秒中用户是否微笑。在确定用户微笑的情况下，处理进行到步骤S412。在确定用户没有微笑的情况下，处理进行到步骤S415。
在步骤S412中，系统控制单元50确定在第二快门开关信号SW2被开启后的4秒中用户是否微笑。在确定用户微笑的情况下，在步骤S413中系统控制单元50确定标志类型是“5”。在确定用户没有微笑的情况下，在步骤S414中系统控制单元50确定标志类型是“6”。类似地，在步骤S415中，系统控制单元50确定在第二快门开关信号SW2被开启后的4秒中用户是否微笑。在确定用户微笑的情况下，在步骤S416中系统控制单元50确定标志类型是“7”。在确定用户没有微笑的情况下，在步骤S417中系统控制单元50确定标志类型是“8”。
由此基于摄像前的用户的状态(面部表情)和摄像后的用户的状态(面部表情)的组合来确定标志(第一分类信息)。在此，代替编号，可以使用诸如分类名称的文本数据作为第一分类信息。
在一些实施例中，数字照相机100中的非易失性存储器56存储指示组合与标志(或分类名称等)之间的对应关系的表格数据，该组合是摄像前的用户的状态(面部表情)和摄像后的用户的状态(面部表情)的组合。系统控制单元50参照表格数据，能够获得与用户的状态(面部表情)相对应的标志(或分类名称等)。
在步骤S418中，系统控制单元50将在步骤S413、S414、S416或S417中确定的标志(标志“5”、“6”、“7”和“8”中的任意一个)添加到运动图像文件的属性，以记录标志。然后系统控制单元50结束本流程图的处理。后面将参照图5描述将标志添加到运动图像文件的属性的形式。标志“5”、“6”、“7”和“8”各自指示与面部表情相关的“微笑”的状态及其改变，作为摄像前后的用户的状态。
在步骤S418中，取代运动图像文件的属性，可以将标志添加至被摄体的静止图像文件的属性，或者除了运动图像文件的属性以外，还可以将标志添加至被摄体的静止图像文件的属性。由于在步骤S318中将静止图像文件和运动图像文件互相关联，因此即使在标志被添加到运动图像文件的属性的情况下，标志最终也与静止图像文件相关联，并且能够被用于搜索静止图像文件等。
用户可以基于各种准则，使用作为上述处理的结果而添加到运动图像文件或静止图像文件的标志，以提取图像。作为示例，在用户想要提取具有愉快氛围的图像的情况下，用户搜索与标志“1”或“5”相关联的静止图像文件。作为另一示例，在用户想要提取未期望的好图像的情况下，用户搜索与标志“3”或“7”相关联的静止图像文件。作为又一个示例，在用户想要提取多种类型的图像(例如，用户想要创建由多种类型的图像构成的相册)的情况下，用户提取标志类型不同的多个图像。
尽管在本流程图中，对运动图像文件进行声音分析和视频分析两者并且添加了各标志，但是也可以只使用声音分析和视频分析中一者的分析结果。此外，尽管在声音分析中确定音量水平是否超过阈值，但是针对分析，也可以确定是否检测到特定频率分量和特定小节(phrase)。同样，视频分析也不限于确定用户是否微笑。数字照相机100可以进行检测用户的状态的任意处理，例如检测特定面部表情或检测预定姿势等。
尽管在本流程图的步骤S411、S412和S415的确定处理中，要添加的标志被分为4种类型，但是用于确定要添加的标志的准则不限于图4中示出的那些。此外，并非所有4种类型都是必需的。例如，在第二快门开关信号SW2被开启前用户是微笑的并且在第二快门开光信号SW2被开启后用户是微笑的情况下，系统控制单元50可以将标志“5”添加到运动图像文件的属性，而在其他情况下，基于与图4不同的准则来添加标志。还同样适用于步骤S402、S403和S406的确定处理。
数字照相机100在视频分析中，可以确定用户的视线是否在显示单元28内。当显示被摄体的即通图像时以及当显示被摄体的录像回放图像时进行这样的确定处理。这使得能够确定用户的反应(兴奋或微笑)是由显示在显示单元28上的被摄体的图像(在第二快门开关信号SW2被开启前为即通图像，在第二快门开关信号SW2被开启后为录像回放图像)引起的还是由其他原因引起的。可以使用摄像装置等的技术领域中公知的任意技术来实现这种视频分析。如步骤S418中，数字照相机100将与视线分析结果相关的标志添加到运动图像文件或静止图像文件的属性，以记录标志。
图5是示出由数字照相机100记录的运动图像文件的示意性结构图。运动图像文件500包括运动图像信息文件510和运动图像数据文件503，运动图像信息文件510包括属性信息区域501和缩小图像数据区域502。
属性信息区域501是用于记录诸如数据大小和摄像日期及时间等信息的区域。读取、再现或选择所需的运动图像特有信息也记录在属性信息区域501中。运动图像特有信息包括记录时间、记录开始时刻(日期和时间)、记录结束时刻(日期和时间)、每秒钟播放的帧数、针对各场景的信息以及与声音相关的信息。属性信息区域501中还记录分别用于记录在图4的步骤S409和S418中添加的标志的“声音标志类型”和“视频标志类型”。在属性信息区域501中还记录指示与运动图像文件500相关联地记录的静止图像文件(在通过第二摄像系统拍摄运动图像的同时，通过第一摄像系统拍摄的被摄体的静止图像文件)的“相关静止图像文件信息”。在属性信息区域501中还记录指示静止图像文件的图像的拍摄时间的“SW2开启时刻”。
缩小图像数据区域502是用于记录在列表显示时显示的缩小图像数据的区域。在本实施例中，在缩小图像数据区域502中记录由当第二快门开关信号SW2被开启时的帧的数据生成的缩小图像数据。
运动图像数据文件503是用于记录要被记录在运动图像文件500中的所有运动图像数据的区域。运动图像数据文件503与运动图像信息文件510相关联，并且当播放运动图像数据文件503中的运动图像数据时使用运动图像信息文件510中的信息。
图6是示出由数字照相机100记录的静止图像文件600的示意性结构图。静止图像文件600包括属性信息区域601、缩小图像数据区域602和主图像数据区域603。
属性信息区域601是用于记录诸如图像数据大小和摄像日期及时间(SW2开启时刻)等的信息的区域。在属性信息区域601中还记录指示与静止图像文件600相关联地记录的运动图像文件(在通过第一摄像系统拍摄静止图像时，通过第二摄像系统拍摄的用户的运动图像文件)的“相关运动图像文件信息”。如前所述，与用户的状态相关的各标志也可以被记录在静止图像文件600中。在这种情况下，“声音标志类型”和“视频标志类型”也被记录在属性信息区域601中。
缩小图像数据区域602是用于记录在列表显示时显示的缩小图像数据的区域。主要图像数据区域603是用于记录被摄体的图像数据的区域。
如图5和图6中所示，在根据本实施例的数字照相机100拍摄的运动图像文件和静止图像文件中，将文件互相关联的信息记录在各自的属性信息区域中。因此，当选择了一个文件时，数字照相机100能够呈现其相关的文件。由此，当用户选择并显示静止图像文件时，同步拍摄的用户的运动图像文件能够被呈现给用户，或者与该静止图像文件相关联的运动图像文件能够与静止图像文件一起播放。
尽管在本实施例中第一摄像系统仅拍摄并记录静止图像，但是如国际公布第2006/028172号公报所公开的，数字照相机100可以由在拍摄静止图像之前拍摄的运动图像、通过转换静止图像获得的运动图像以及在拍摄静止图像之后拍摄的运动图像生成一个运动图像，并将生成的运动图像记录为运动图像文件。在这种情况下，在图5中示出的运动图像文件数据形式中，由第一摄像系统拍摄的运动图像文件和由第二摄像系统拍摄的运动图像文件互相关联。
如上所述，根据第一实施例，数字照相机100拍摄并分析在拍摄被摄体的图像前后的用户的运动图像数据，并且以与被摄体的图像数据直接或间接关联的方式记录与分析结果相关的信息。结果，与传统技术相比，能够更详细地识别用户在拍摄被摄体的图像时的状态。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。所附权利要求的范围应当被赋予最宽的解释，以使其涵盖所有这些变型以及等同的结构和功能。

Claims (12)

1.一种摄像装置，所述摄像装置包括：
第一摄像单元，其被配置为拍摄被摄体的图像以生成图像数据；
第二摄像单元，其被配置为在拍摄所述被摄体的图像前后的预定时间段，拍摄用户的图像，所述用户拍摄所述被摄体的图像；
获得单元，其被配置为通过分析由所述第二摄像单元拍摄的图像中的、在拍摄所述被摄体的图像之前的所述用户的状态和在拍摄所述被摄体的图像之后的所述用户的状态，基于在拍摄所述被摄体的图像之前的所述用户的状态与在拍摄所述被摄体的图像之后的所述用户的状态的组合，来获得第一分类信息；以及
记录单元，其被配置为将所述第一分类信息与由所述第一摄像单元拍摄的图像数据相关联地记录。
2.根据权利要求1所述的摄像装置，其中，所述获得单元执行以下中的至少任意一者：
在拍摄所述被摄体的图像之前的所述用户的状态包括微笑、并且在拍摄所述被摄体的图像之后的所述用户的状态包括微笑的情况下，获得第一信息作为所述第一分类信息；
在拍摄所述被摄体的图像之前的所述用户的状态包括微笑、并且在拍摄所述被摄体的图像之后的所述用户的状态不包括微笑的情况下，获得第二信息作为所述第一分类信息；
在拍摄所述被摄体的图像之前的所述用户的状态不包括微笑、并且在拍摄所述被摄体的图像之后的所述用户的状态包括微笑的情况下，获得第三信息作为所述第一分类信息；以及
在拍摄所述被摄体的图像之前的所述用户的状态不包括微笑、并且在拍摄所述被摄体的图像之后的所述用户的状态不包括微笑的情况下，获得第四信息作为所述第一分类信息。
3.根据权利要求1或2中的任一项所述的摄像装置，所述摄像装置还包括：
存储单元，其被配置为基于在拍摄所述被摄体的图像之前的所述用户的状态与在拍摄所述被摄体的图像之后的所述用户的状态的组合，来存储被预先设置的并且要添加到由所述第一摄像单元拍摄的图像数据的所述第一分类信息。
4.根据权利要求1所述的摄像装置，所述摄像装置还包括：
显示单元；
控制单元，其被配置为进行控制，以在拍摄所述被摄体的图像之前，由所述第一摄像单元获得所述被摄体的即通图像并将所述即通图像显示在所述显示单元上，并且在拍摄所述被摄体的图像之后，将所述图像数据显示在所述显示单元上；以及
确定单元，其被配置为确定由所述第二摄像单元拍摄的所述用户的视线是否朝向所述显示单元，
其中，当根据所述控制单元的控制显示所述即通图像时以及当根据所述控制单元的控制显示所述图像数据时，所述确定单元进行所述确定，并且
所述记录单元将指示所述确定单元的确定结果的信息与所述图像数据相关联地记录。
5.根据权利要求1所述的摄像装置，其中，所述记录单元将由所述第二摄像单元获得的运动图像数据与所述图像数据相关联地记录。
6.根据权利要求1所述的摄像装置，其中，所述第一分类信息是基于对所述用户的面部表情的分析或基于对所述用户的姿势的分析。
7.根据权利要求1所述的摄像装置，其中，所述记录单元将基于在拍摄所述被摄体的图像的时刻由所述第二摄像单元获得的图像的缩小图像数据、与由所述第二摄像单元获得的运动图像数据相关联地记录。
8.根据权利要求1所述的摄像装置，所述摄像装置还包括：
声音收集单元，其被配置为在预定时间段收集所述用户的声音，以生成声音数据，
其中，所述获得单元通过分析与在拍摄所述被摄体的图像之前收集的声音相对应的声音数据的部分、和与在拍摄所述被摄体的图像之后收集的声音相对应的声音数据的部分，基于在拍摄所述被摄体的图像之前的所述用户的状态与在拍摄所述被摄体的图像之后的所述用户的状态的组合，来获得第二分类信息，并且
所述记录单元将所述第二分类信息与由所述第一摄像单元拍摄的图像数据相关联地记录。
9.根据权利要求8所述的摄像装置，其中，对所述声音数据的分析包括确定所述声音数据的音量水平是否超过阈值，并且
所述第二分类信息包括指示所述获得单元的确定结果的信息。
10.一种摄像装置，所述摄像装置包括：
摄像单元，其被配置为拍摄被摄体的图像以生成图像数据；
声音收集单元，其被配置为在拍摄所述被摄体的图像前后的预定时间段收集用户的声音，以生成声音数据，所述用户拍摄所述被摄体的图像；
获得单元，其被配置为通过分析与在拍摄所述被摄体的图像之前收集的声音相对应的声音数据的部分、和与在拍摄所述被摄体的图像之后收集的声音相对应的声音数据的部分，基于在拍摄所述被摄体的图像之前的所述用户的状态与在拍摄所述被摄体的图像之后的所述用户的状态的组合，来获得分类信息；以及
记录单元，其被配置为将所述分类信息与所述图像数据相关联地记录。
11.一种摄像装置的摄像方法，所述摄像方法包括：
第一摄像步骤，拍摄被摄体的图像以生成图像数据；
第二摄像步骤，在拍摄所述被摄体的图像前后的预定时间段拍摄用户的图像，所述用户拍摄所述被摄体的图像；
获得步骤，通过分析在所述第二摄像步骤中拍摄的图像中的、在拍摄所述被摄体的图像之前的所述用户的状态和在拍摄所述被摄体的图像之后的所述用户的状态，基于在拍摄所述被摄体的图像之前的所述用户的状态与在拍摄所述被摄体的图像之后的所述用户的状态的组合，来获得第一分类信息；以及
记录步骤，将所述第一分类信息与由所述第一摄像步骤拍摄的图像数据相关联地记录。
12.一种摄像装置的摄像方法，所述摄像方法包括：
摄像步骤，拍摄被摄体的图像以生成图像数据；
声音收集步骤，在拍摄所述被摄体的图像前后的预定时间段收集用户的声音，以生成声音数据，所述用户拍摄所述被摄体的图像；
获得步骤，通过分析与在拍摄所述被摄体的图像之前收集的声音相对应的声音数据的部分、和与在拍摄所述被摄体的图像之后收集的所述声音相对应的声音数据的部分，基于在拍摄所述被摄体的图像之前的所述用户的状态与在拍摄所述被摄体的图像之后的所述用户的状态的组合，来获得分类信息；以及
记录步骤，将所述分类信息与所述图像数据相关联地记录。
CN201410637316.1A 2013-11-06 2014-11-05 摄像装置及摄像方法 Active CN104639813B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013230525A JP6180285B2 (ja) 2013-11-06 2013-11-06 撮像装置、撮像方法、及びプログラム
JP2013-230525 2013-11-06

Publications (2)

Publication Number Publication Date
CN104639813A CN104639813A (zh) 2015-05-20
CN104639813B true CN104639813B (zh) 2018-02-16

Family

ID=53006771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410637316.1A Active CN104639813B (zh) 2013-11-06 2014-11-05 摄像装置及摄像方法

Country Status (3)

Country Link
US (1) US9648195B2 (zh)
JP (1) JP6180285B2 (zh)
CN (1) CN104639813B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6428240B2 (ja) * 2014-12-17 2018-11-28 カシオ計算機株式会社 商品登録装置、商品認識方法、およびプログラム
US10170157B2 (en) * 2015-06-07 2019-01-01 Apple Inc. Method and apparatus for finding and using video portions that are relevant to adjacent still images
KR102445699B1 (ko) * 2016-02-18 2022-09-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN111163258B (zh) * 2018-11-07 2023-04-18 中兴通讯股份有限公司 一种图像存储控制方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028172A1 (ja) * 2004-09-08 2006-03-16 Sony Corporation 記録装置および方法、再生装置および方法、並びにプログラム
CN101163199A (zh) * 2006-08-02 2008-04-16 索尼株式会社 图像拍摄设备和方法、表情评价设备、及程序
JP2010148052A (ja) * 2008-12-22 2010-07-01 Kyocera Corp カメラ付き携帯端末
CN101998052A (zh) * 2009-08-07 2011-03-30 奥林巴斯映像株式会社 摄影装置
CN102857689A (zh) * 2011-06-28 2013-01-02 佳能株式会社 摄像设备及其控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
JP4208613B2 (ja) * 2003-03-17 2009-01-14 キヤノン株式会社 撮像装置
US20050071865A1 (en) * 2003-09-30 2005-03-31 Martins Fernando C. M. Annotating meta-data with user responses to digital content
JP2006157268A (ja) * 2004-11-26 2006-06-15 Nikon Corp 電子カメラ
JP5679687B2 (ja) * 2010-03-29 2015-03-04 キヤノン株式会社 情報処理装置およびその動作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028172A1 (ja) * 2004-09-08 2006-03-16 Sony Corporation 記録装置および方法、再生装置および方法、並びにプログラム
CN101163199A (zh) * 2006-08-02 2008-04-16 索尼株式会社 图像拍摄设备和方法、表情评价设备、及程序
JP2010148052A (ja) * 2008-12-22 2010-07-01 Kyocera Corp カメラ付き携帯端末
CN101998052A (zh) * 2009-08-07 2011-03-30 奥林巴斯映像株式会社 摄影装置
CN102857689A (zh) * 2011-06-28 2013-01-02 佳能株式会社 摄像设备及其控制方法

Also Published As

Publication number Publication date
US9648195B2 (en) 2017-05-09
JP2015091048A (ja) 2015-05-11
CN104639813A (zh) 2015-05-20
US20150124121A1 (en) 2015-05-07
JP6180285B2 (ja) 2017-08-16

Similar Documents

Publication Publication Date Title
JP5268595B2 (ja) 画像処理装置、画像表示方法及び画像表示プログラム
KR101719590B1 (ko) 촬상장치 및 그 제어방법
US7847850B2 (en) Image displaying apparatus, image displaying method, and non-transitory computer-readable storage medium
CN104320571B (zh) 电子设备及用于电子设备的方法
US20070159533A1 (en) Image filing method, digital camera, image filing program and video recording player
US20080024632A1 (en) Photographing apparatus and photographing method
CN101132480A (zh) 图像修剪设备
US20080069540A1 (en) Image reproducing apparatus, image reproducing method, and computer-readable storage medium
US20110085778A1 (en) Imaging device, image processing method, and program thereof
JP5388611B2 (ja) 撮像装置およびその制御方法、プログラム
CN104639813B (zh) 摄像装置及摄像方法
US20080317295A1 (en) Imaging device, recording medium having recorded therein imaging control program, and imaging control method
CN104065857A (zh) 摄像装置以及影像内容生成方法
US8355050B2 (en) Image replay system, digital camera, and image replay device
CN103797786A (zh) 电子照相机、图像处理装置以及图像处理程序
KR20090131220A (ko) 영상 장치 및 그 제어 방법
US20080068483A1 (en) Image reproducing apparatus and image reproducing method
US8780250B2 (en) Image processing apparatus that processes image data to which a plurality of pieces of classification information are added, method of controlling image processing apparatus, and storage medium
JP4054167B2 (ja) 撮像装置
JP6564275B2 (ja) 画像処理装置、及び画像処理方法
US7911508B2 (en) Recording/reproducing apparatus and recording/reproducing apparatus control method
JP5293769B2 (ja) 撮像装置及びそのプログラム
JP2010171849A (ja) 画像再生装置および電子カメラ
JP4882525B2 (ja) 画像再生システム、デジタルカメラ、および画像再生装置
JP4764787B2 (ja) 撮像装置、撮像装置の表示制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant