CN1841187B - 图像摄取设备及其控制方法 - Google Patents

图像摄取设备及其控制方法 Download PDF

Info

Publication number
CN1841187B
CN1841187B CN2006100670390A CN200610067039A CN1841187B CN 1841187 B CN1841187 B CN 1841187B CN 2006100670390 A CN2006100670390 A CN 2006100670390A CN 200610067039 A CN200610067039 A CN 200610067039A CN 1841187 B CN1841187 B CN 1841187B
Authority
CN
China
Prior art keywords
mentioned
sound
information
image
capture apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006100670390A
Other languages
English (en)
Other versions
CN1841187A (zh
Inventor
金田雄司
真继优和
加藤政美
森克彦
佐藤博
御手洗裕辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1841187A publication Critical patent/CN1841187A/zh
Application granted granted Critical
Publication of CN1841187B publication Critical patent/CN1841187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3264—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

本发明提供一种图像摄取设备及其控制方法，收集作为被摄物体的人物的声音和图像，进行所收集到的声音的识别，当识别结果为识别出该声音表达预定的语句时，进行所收集到的图像的识别，当识别结果为识别出该图像是表示预定的表情的人物的脸时，记录该图像、声音。

Description

图像摄取设备及其控制方法
技术领域
本发明涉及图像摄取技术。
背景技术
关于图像摄取设备的控制，以往有例如这样的技术(参照日本特开2002-165122号公报)：在按下快门时，再现预先登录好的声音信号，在再现结束的同时进行摄影。该技术通过用声音对被摄物体指示摄影时刻，被摄物体在声音再现结束时作出表情，能够拍摄最佳的图像。
但是，为了使摄像更简便地进行，最好连快门的按下也省略掉。另外，有时也希望不使被摄物体在意照相机的摄影时刻，而在适当的时刻拍摄自然的表情或动作。
发明内容
本发明是为实现这样的目的而完成的，目的在于提供一种用于更简便地进行摄像的技术。
为达到本发明的目的，倒如，本发明的图像摄取设备具有以下结构。
即，提供一种图像摄取设备，其特征在于，包括：第1收集装置，从上述图像摄取设备的摄像环境收集表示声音或图像的第1信息；第2收集装置，从上述图像摄取设备的摄像环境收集表示声音或图像的第2信息；第一识别装置，识别上述第1信息；第二识别装置，识别上述第2信息；以及摄像装置，当上述第一识别装置的识别结果与第一预定信息匹配以及上述第二识别装置的识别结果与第二预定信息匹配时，进行拍摄对象的摄像。
为达到本发明的目的，例如，本发明的图像摄取设备具有以下结构。
即，提供一种图像摄取设备，其特征在于，包括：声音收集装置，收集摄像环境中的声音；声音识别装置，识别由上述声音收集装置收集的声音；动图像收集装置，收集拍摄对象的动图像；判断装置，基于由上述动图像收集装置收集到的动图像的各帧的图像，判断上述拍摄对象是否满足摄像条件；摄像装置，当由上述声音收集装置收集到的声音是预定的声音，且上述拍摄对象满足摄像条件时，进行上述拍摄对象的摄像。
为达到本发明的目的，例如，本发明的图像摄取设备的控制方法具有以下结构。
即，提供一种图像摄取设备的控制方法，其特征在于，包括：第1收集步骤，从上述图像摄取设备的摄像环境收集表示声音或图像的第1信息；第2收集步骤，从上述图像摄取设备的摄像环境收集表示声音或图像的第2信息；第一识别步骤，识别上述第1信息；第二识别步骤，识别上述第2信息；以及摄像步骤，当上述第一识别步骤的识别结果与第一预定信息匹配以及上述第二识别步骤的识别结果与第二预定信息匹配时，进行拍摄对象的摄像。
为达到本发明的目的，例如，本发明的图像摄取设备的控制方法具有以下结构。
即，提供一种图像摄取设备的控制方法，其特征在于，包括：声音收集步骤，收集摄像环境中的声音；声音识别步骤，识别在上述声音收集步骤收集的声音；动图像收集步骤，收集拍摄对象的动图像；判断步骤，基于由上述动图像收集步骤收集到的动图像的各帧的图像，判断上述拍摄对象是否满足摄像条件；摄像步骤，当由上述声音收集步骤收集到的声音是预定的声音，且上述拍摄对象满足摄像条件时，进行上述拍摄对象的摄像.
本发明的其他特征和优点可以通过下面参照附图对优选实施例进行的说明而得到明确，在以下所有附图中，对相同或相似的部分标记相同的参照标号。
附图说明
附图包含在说明书内构成其一部分，表示本发明的实施方式，并与其记述一起用于说明本发明的原理。
图1是表示本发明的实施例1的图像摄取设备的硬件结构的框图。
图2是表示图像摄取设备的功能结构的框图。
图3是表示传感数据分析部101的功能结构的框图。
图4是表示为说明声音识别处理而使用的声音波形的一例的图。
图5是表示为说明个人识别处理而使用的图像的一例的图。
图6是表示为说明身体动作识别处理而使用的图像的一例的图。
图7是表示为说明身体动作识别处理而使用的图像的一例的图。
图8是表示为说明表情识别处理而使用的图像的一例的图。
图9是表示模式的选择画面显示例的图。
图10是图像摄取设备为拍摄被摄物体而进行的一系列处理的流程图。
图11是图像摄取设备为拍摄被摄物体而进行的一系列处理的流程图。
具体实施方式
以下参照附图详细说明本发明的优选实施例。
在以下的各实施例中，说明在图像摄取设备的周边环境(摄像环境)中收集第1摄像环境信息、第2摄像环境信息，当所收集的第1摄像环境信息、第2摄像环境信息满足预定的条件时才开始摄像的图像摄取设备。以下，作为该第1摄像环境信息、第2摄像环境信息，表示了其一例，但并不限定于此，这可以通过以下的说明而更加明确。
[实施例1]
图1是表示本发明的实施例1的图像摄取设备的硬件结构的框图。如该图所示，本实施例的图像摄取设备由CPU700、桥连接器(bridge)701、CPU总线702、RAM704、视频输入部709、视频输入接口部710、声音输入部707、声音输入接口部708、EEPROM705、操作部706、系统总线703构成。首先，对上述各部进行简单说明。
CPU700使用存储在RAM704、EEPROM705中的程序、数据，进行图像摄取设备整体的控制，并执行图像摄取设备所进行的后述各处理。
桥连接器701是用于连接CPU总线702和系统总线703的结构，其中，CPU总线702用于以较高速度进行数据传送，系统总线703进行比CPU总线702低的速度的数据传送。另外，桥连接器701还具有存储器控制器的功能，具有进行对与桥连接器701连接的RAM704的访问控制的DMA(Direct Memory Access：存储器直接访问)功能。
RAM704是由SDRAM(Synchronous DRAM)/DDR(Double DataRate)/RDRAM(Rambus DRAM)等大容量高速存储器构成的，具有用于暂时存储程序和数据的区域，并且具有CPU700执行各种处理时使用的工作区。
EEPROM705存储有用于使CPU700执行后述的各种处理的程序和数据，并且也具有用于暂时存储各种数据的区域。所拍摄的图像和声音作为数据记录在该区域中。
操作部706是能够通过图像摄取设备的操作者进行操作而向CPU700输入各种指示的、作为操作接口发挥功能的结构，其具有操作按钮，通过按下按钮，视频输入部709、声音输入部707开始进行动作，开始图像、声音的输入。
视频输入部709包括CCD(Charge-Coupled Devices)/CMOS(Complimentary Metal Oxide Semiconductor)传感器等光电变换器件、控制该光电变换器件的驱动电路、以及负责各种图像修正的信号处理电路。通过该结构，视频输入部709拍摄现实空间的动图像，并将所拍摄的动图像的各帧的图像信号输出到视频输入接口部710。
视频输入接口部710将从视频输入部709输出的各帧的图像信号变换成数字图像数据，进行缓存。然后，例如使用桥连接器701所具有的DMA功能，顺次传送到RAM704中的预定地址。
声音输入部707例如是麦克风，收集图像摄取设备周围的声音，将其作为模拟信号输出到声音输入接口部708。声音输入接口部708将该声音信号变换成数字声音数据，并对其进行缓存。然后，例如使用桥连接器701所具有的DMA功能，顺次传送到RAM704中的预定地址。
下面对使用具有上述结构的图像摄取设备拍摄被摄物体(这里将人作为被摄物体)的情况进行简单说明。图像摄取设备的操作者操作操作部706，使视频输入部709和声音输入部707开始动作后，如上述那样，各帧的图像数据和声音数据顺次存储到RAM704中。
CPU700顺次检查存储在RAM704中的图像数据、声音数据，在一者满足预定的摄像条件时，即识别到被摄物体(拍摄对象)的摄影意图时，转移到摄像的准备状态，进而在另一者满足了预定条件时，即识别到摄影的指示时，将此时所参照的图像数据和声音数据传送给EEPROM705。由此，能够拍摄进行了摄影指示时的图像(此处所谓“拍摄”是指将图像记录到EEPROM705中)，并且能够对此时的声音数据也进行记录。
图2是表示图像摄取设备的功能结构的框图。传感数据取得部100取得数字图像数据和数字声音数据，其中，所述数字图像数据是对从成像光学系统和固体摄像元件得到的图像信号进行A/D转换而得到的，所述数字声音数据是将从麦克风得到的声音转换成电信号而得到的。
传感数据分析部101对传感数据取得部100取得的图像、声音进行后述的各种识别处理。传感数据分析部101可以由例如FPGA(FieldProgrammable Gate Array：场可编译门阵列)、或ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)等专用硬件构成。
图3是表示传感数据分析部101的功能结构的框图。如该图所示，传感数据分析部101包括表情识别部110、身体动作识别部111、个人识别部112、以及声音识别部113。即，包括使用图像信息进行识别处理的部分(表情识别部110、身体动作识别部111、个人识别部112)、和使用声音信息进行识别处理的部分(声音识别部113)。
使用图像信息的识别，是个人识别、姿态手势等身体动作识别、表情识别。
首先说明个人识别处理。图5是表示为说明个人识别处理而使用的图像的一例的图。关于个人的识别，是以下这样的方法：例如在图像中进行肤色检索后，在肤色范围220内通过使用了眼睛模板221、嘴模板等的匹配来确定眼睛、嘴的候选，并根据各个候选位置的空间配置关系，进行眼睛、嘴的位置、即脸部位置的检测，接下来，基于眼睛、嘴的位置，设定若干个特征点，在这些特征点中，如“利用计算机的脸部识别-测量-”(日本电子信息通信学会杂志Vol.j80-ANo.8 pp.1215-1230 Aug.1997)中所记载的那样，通过进行伽柏小波变换(Gabor Wavelet Transformation)，抽取图案的局部周期性、方向性等特征量，将该特征量与预先登录了的数据进行比较，由此进行个人识别。个人识别部112进行这样的个人识别处理。另外，个人识别的方法并不限于此。
接下来，说明身体动作识别。图6、图7是表示为说明身体动作识别处理而使用的图像的一例的图。有这样的一种方法：如图6所示，当被摄物体240进行手的姿势241时，如图7所示那样，以检测到人的脸部260的位置为基准，从其周边范围内使用检测手姿势的模板262识别被摄物体的手的姿势261。另外，关于姿态手势等的识别技术，有“基于动作变化的利用View-based Aspect Model的动作识别”(日本电子信息通信学会杂志Vol.j84-D2 No.10 pp.2212-2223Oct.2001)等。另外，此处所示的身体动作，可以是姿势等某瞬间的特定身体部位的形状，也可以是姿态手势等连续的一连串动作。身体动作识别部111进行这样的身体动作识别处理。另外，关于身体动作识别的方法，不限于此。
接下来，说明表情识别处理。图8是表示为说明表情识别处理而使用的图像的一例的图。表情识别，例如“基于人和计算机的面部表情的识别III-利用计算机的面部表情识别技术(2)：面部的表情动作的识别-”(日本电子信息通信学会杂志Vol.85 No.12 pp.936-941 Dec.2002)所记载的那样，是这样的方法：根据图8所示的眼睛、嘴的位置，抽取出各个眼睛、嘴的位置的周边范围内的眼尾、眼角、嘴端点等多个特征点后，算出描述脸部特征的形状或配置的变化的特征参数，准备输入层和神经网络来识别表情，其中，上述输入层将上述特征参数作为输入；上述神经网络，将在P.Ekman and W.V.Friesen的“Facial Action Coding System(FACS)”(Consulting PsychologistsPress，1978)中提出的动作单元(Action Unit)的检测的有无作为输出。另外，关于表情，除了喜怒哀乐外，也可以识别闭眼等。表情识别部110进行这样的处理。另外，表情识别处理并不限于这些方法，也可以使用其他方法。
如以上说明的那样，表情识别部110、身体动作识别部111、个人识别部112根据图像信息进行各个识别处理。在以上说明的基于图像信息的识别处理中，并不一定使用构成图像的全部像素，例如如果生成按每个像素间取后的缩略图图像，使用该缩略图图像进行识别处理，则识别处理时所参照的像素数少于原来的图像，所以能够更加高速地进行识别处理。
接下来，说明使用了声音信息的识别处理。图4是表示为说明声音识别处理而使用的声音波形的一例的图。以往已知有这样的方法：如该图所示，对于在时刻t[s]与t+1[s]之间得到的一定帧长的声音信号200，如在“声音识别研究的动向”(Vol.j83-D2 No.2 pp.433-457Feb.2000)中记载的那样，通过采用使用了HMM(Hidden MarkovModel)的概率模型等，识别由“あ”、“い”等元音构成的单词、语句、以及特定说话者.例如进行所得到的声音信息是否为“请进行拍摄”这样的语句的判定.在声音识别处理中可以使用任意的识别处理，可以进行由元音构成的单词、语句的识别，以及这之外的“好！”等发声的识别，甚至可以进行特定说话者的识别.声音识别部113进行这样的声音识别处理.
返回到图2，当由传感数据分析部101进行的上述识别处理完成后，传感数据分析部101，判断识别的结果是否为识别到来自被摄物体的摄影意图(所谓摄影意图，是指被摄物体有现在想要进行摄影这样的被摄物体自身的想法)，在识别到摄影意图时，进行指示使得摄影准备信号发生部102产生摄影准备信号。摄影准备信号发生部102，按照该指示将摄影准备信号输出给摄影信号发生部103。
该摄影准备信号相当于以往的照相机中、在半按下快门按钮时照相机内所产生的控制信号，例如，相当于AF或AE的动作控制信号、或图像传感数据的缓冲存储器存储等控制信号。
并且，传感数据分析部101在识别到摄影意图后，还对传感数据取得部100取得的图像、声音进行上述识别处理，这一次判断是否识别到来自被摄物体的摄影指示，当识别到摄影指示时，进行指示使得摄影信号发生部103产生摄影信号。摄影信号发生部103接收该指示，并接收来自摄影准备信号发生部102的摄影准备信号后，产生摄影信号，进行指示使得将识别所使用的图像、声音存储到存储部104中，因此，存储部104接受该指示，对所指示的图像、声音进行存储。
该摄影信号相当于以往的照相机中、在按下快门按钮时照相机内所产生的控制信号，在本实施例的情况下，例如相当于在被摄物体的人物表情为笑脸的瞬间，将图像数据和声音信号存储到存储器等中。
存储部104相当于例如闪速存储器(flash memory)，但不限于此。
图10是以上说明的、图像摄取设备为拍摄被摄物体而进行的一系列处理的流程图。用于使CPU700执行符合该图的流程的处理的程序和数据，被存储在EEPROM705中，CPU700使用这些程序和数据进行处理，由此，本实施例的图像摄取设备执行以下说明的各处理。
在图10的流程图中，图像摄取设备的操作者操作操作部706，选择用于转移到上述摄影准备状态的模式，和用于从摄影准备状态转移到实际进行摄影的状态的模式。例如，操作部706设有液晶画面，在此显示如图9所示那样的GUI，使操作者选择任一个模式。关于选择方法，可以是例如以触摸屏的形式构成该液晶画面，在液晶画面上进行触摸，也可以是用操作部706所具备的按钮组进行选择。图9是表示模式的选择画面显示例的图。这里，为转移到上述摄影准备状态而选择声音识别模式，为从摄影准备状态转移到实际进行摄影的状态而选择表情识别模式。
当CPU700检测到上述各模式的选择指示后，CPU700将所设定的各模式的数据暂时存储在RAM704中(步骤S300)。
然后，因为选择了声音识别模式，所以控制声音输入部707，开始声音的收集(步骤S301)。由此，图像摄取设备周围的声音信息作为声音信号从声音输入部707输入到声音输入接口部708，所以声音输入接口部708将其转换成数字声音数据，输出到RAM704。
CPU700对已取入到RAM704中的该声音数据进行上述声音识别处理，判断被摄物体发出的声音是否为预定的语句(sentence)(符合预先作为数据而登录在EEPROM705中的语句数据的语句)、例如是否为“请进行拍摄”这样的语句(步骤S303)。
其结果，当判断为没有发出预定的语句时，使处理返回到步骤S301，反复进行以后的处理。另一方面，当判断为发出了预定的语句时，进入步骤S304，CPU700产生摄影准备信号(步骤S304)，使图像摄取设备成为摄影准备状态。关于用于使图像摄取设备成为摄影准备状态的处理，如上所述。
然后，CPU700这次对视频输入部709进行控制，开始图像的收集(步骤S305)。由此，现实空间的动图像以帧单位作为图像信号从视频输入部709输入到视频输入接口部710，因此，视频输入接口部710将其转换成数字图像数据，输出到RAM704。
然后，CPU700对该图像数据进行上述识别处理，但此处设定了表情识别模式，所以识别图像中的被摄物体的面部表情(步骤S306)，判断其是否为预定的表情，例如是否为笑脸(步骤S307)。
其结果，当不是预定的表情时，使处理返回到步骤S305，反复进行以后的处理。另一方面，当是预定的表情时，使处理进入步骤S308，CPU700产生摄影信号(步骤S308)，使图像摄取设备成为摄影状态。然后，CPU700将在步骤S306中进行识别处理时所使用过的图像的数据、在步骤S302中进行识别处理时使用过的声音的数据，从RAM704移动到EEPROM705中，由此进行图像、声音的记录处理(步骤S309)。
通过以上的处理，不必进行例如快门的按下等操作，仅以声音信息、图像信息就能进行被摄物体的拍摄，因此，与以往相比能够更加简便地进行被摄物体的拍摄。
另外，在本实施例中，视频输入部709是在步骤S303中判断为发出了预定的语句后才开始动作的，但不限于此，也可以是在声音输入部707开始动作的同时进行动作。
另外，在本实施例中，是将图像、声音一起记录的，但也可以仅记录一者。
[实施例2]
在本实施例中，为了转移到上述摄影准备状态而选择个人识别模式，并且，为了从摄影准备状态转移到实际进行摄影的状态而选择身体动作识别模式。
图11是当设定了这样的模式时，图像摄取设备为拍摄被摄物体而进行的一系列处理的流程图。用于使CPU700执行符合该图的流程的处理的程序和数据，被存储在EEPROM705中，CPU700使用该程序和数据进行处理，由此，本实施例的图像摄取设备执行以下说明的各处理。
当CPU700检测到上述各模式的选择指示后，CPU700将所设定的各模式的数据暂时存储在RAM704中(步骤S500)。
然后，因为个人识别模式被选中了，所以控制视频输入部709，开始图像的收集(步骤S501)。由此，现实空间的动图像以帧单位作为图像信号从视频输入部709输入到视频输入接口部710，因此，视频输入接口部710将其转换成数字图像数据，输出到RAM704。
然后，CPU700对该图像数据进行上述识别处理，但此处设定了个人识别模式，所以识别图像中的被摄物体的脸是哪一人的脸(步骤S502)，判断其是否为预定的个人的脸(步骤S503)。
其结果，当不是预定的脸时，使处理返回到步骤S501，反复进行以后的处理。另一方面，当是预定的脸时，使处理进入步骤S504，CPU700产生摄影准备信号(步骤S504)，使图像摄取设备成为摄影准备状态。关于用于使图像摄取设备成为摄影准备状态的处理，如上所述。
然后，CPU700再继续进行数字图像数据的收集(步骤S505)，对取入到RAM704中的图像数据进行上述识别处理，但此处设定为身体动作识别模式，因此识别图像中的被摄物体的身体动作(步骤S506)，判断其是否为预定的身体动作，例如是否取“V”手势的姿势(步骤S507)。
其结果，当不是预定的身体动作时，使处理返回步骤S505，反复进行以后的处理。另一方面，当是预定的身体动作时，使处理进入步骤S808，CPU700产生摄影信号(步骤S508)，使图像摄取设备成为摄影状态。然后，CPU700将在步骤S506中进行识别处理时所使用过的图像的数据从RAM704移动到EEPROM705中，由此进行图像的记录处理(步骤S509)。
另外，当在开始本流程的处理的同时也开始声音输入部707的动作的情况下，也可以使得将与取得在步骤S506中进行识别处理时所使用过的图像的数据的时刻大致同时取得的声音的数据，也记录在EEPROM705中。
另外，在上述各实施例中，分别单独使用图像信息、声音信息，由CPU700进行向摄影准备状态的转移、向摄影状态的转移，但也可以组合它们来进行转移。例如，除通过基于图像的脸部识别进行个人识别外，也可以并用通过声音来进行说话者识别的方式。即，上述各实施例的本质在于，使用图像信息、声音信息，由CPU700进行向摄影准备状态的转移、向摄影状态的转移，而关于如何使用它们，并不作特别限定。
[其他实施例]
另外，本发明的目的显然也可以通过下述方式来达到，即，将记录了实现上述实施例的功能的软件的程序代码的记录介质(或存储介质)，提供给系统或者装置，该系统或者装置的计算机(或者CPU、MPU)读出并执行存储在存储介质中的程序代码。在这种情况下，从记录介质中读出的程序代码本身就实现上述实施方式的功能，记录了该程序代码的记录介质就构成本发明。
而且，不仅通过计算机执行读出的程序代码，能够实现上述实施方式的功能，根据该程序代码的指示，在计算机上运行的操作系统(OS)等进行实际处理的一部分或全部，通过该处理实现上述实施方式的功能的情况显然也包含在本发明的范围内。
进而，在从存储介质读出的程序代码，被写入到插在计算机中的功能扩展卡或连接在计算机上的功能扩展单元所具备的存储器中后，根据该程序代码的指示，该功能扩展卡或功能扩展单元所具有的CPU等进行实际处理的一部分或全部，通过该处理来实现上述实施方式的功能的情况显然也包含在本发明的范围内。
将本发明适用于上述记录介质时，与之前说明的流程对应的程序代码就被存储在该记录介质中。
以上，通过优选实施方式对本发明进行了详细的说明，在不脱离本发明的精神和范围的前提下，本发明可以进行各种不同的变更，并且应该理解为，本发明不受上述特定的实施方式的限定，其范围由所附的权利要求限定。

Claims (8)

1.一种图像摄取设备，其特征在于，包括：
第1收集装置，从上述图像摄取设备的摄像环境收集表示声音或图像的第1信息；
第2收集装置，从上述图像摄取设备的摄像环境收集表示声音或图像的第2信息；
第一识别装置，识别上述第1信息；
第二识别装置，识别上述第2信息；以及
摄像装置，当上述第一识别装置的识别结果与第一预定信息匹配以及上述第二识别装置的识别结果与第二预定信息匹配时，进行拍摄对象的摄像。
2.根据权利要求1所述的图像摄取设备，其特征在于：
还包括选择装置，选择上述第1收集装置收集的上述第1信息的类型和上述第2收集装置收集的上述第2信息的类型。
3.根据权利要求1所述的图像摄取设备，其特征在于：
上述第1信息表示来自上述拍摄对象的声音，上述第2信息表示上述拍摄对象的表情，以及
上述摄像装置，在上述声音是表达预定的语句的声音，且上述表情是预定的表情时，进行上述拍摄对象的摄像。
4.根据权利要求1所述的图像摄取设备，其特征在于：
上述第1信息表示作为上述拍摄对象的人的外观，上述第2信息表示上述人的身体动作，
上述摄像装置，在关于上述人的外观的信息是预定的信息，且上述身体动作是预定的动作时，进行上述拍摄对象的摄像。
5.根据权利要求4所述的图像摄取设备，其特征在于：
上述人的外观包括脸或表情。
6.一种图像摄取设备，其特征在于，包括：
声音收集装置，收集摄像环境中的声音；
声音识别装置，识别由上述声音收集装置收集的声音；
动图像收集装置，收集拍摄对象的动图像；
判断装置，基于由上述动图像收集装置收集到的动图像的各帧的图像，判断上述拍摄对象是否满足摄像条件；
摄像装置，当由上述声音收集装置收集到的声音是预定的声音，且上述拍摄对象满足摄像条件时，进行上述拍摄对象的摄像。
7.一种图像摄取设备的控制方法，其特征在于，包括：
第1收集步骤，从上述图像摄取设备的摄像环境收集表示声音或图像的第1信息；
第2收集步骤，从上述图像摄取设备的摄像环境收集表示声音或图像的第2信息；
第一识别步骤，识别上述第1信息；
第二识别步骤，识别上述第2信息；以及
摄像步骤，当上述第一识别步骤的识别结果与第一预定信息匹配以及上述第二识别步骤的识别结果与第二预定信息匹配时，进行拍摄对象的摄像。
8.一种图像摄取设备的控制方法，其特征在于，包括：
声音收集步骤，收集摄像环境中的声音；
声音识别步骤，识别在上述声音收集步骤收集的声音；
动图像收集步骤，收集拍摄对象的动图像；
判断步骤，基于由上述动图像收集步骤收集到的动图像的各帧的图像，判断上述拍摄对象是否满足摄像条件；
摄像步骤，当由上述声音收集步骤收集到的声音是预定的声音，且上述拍摄对象满足摄像条件时，进行上述拍摄对象的摄像。
CN2006100670390A 2005-04-01 2006-03-31 图像摄取设备及其控制方法 Active CN1841187B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP106801/2005 2005-04-01
JP2005106801A JP2006287749A (ja) 2005-04-01 2005-04-01 撮像装置、及びその制御方法

Publications (2)

Publication Number Publication Date
CN1841187A CN1841187A (zh) 2006-10-04
CN1841187B true CN1841187B (zh) 2010-05-12

Family

ID=37030266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100670390A Active CN1841187B (zh) 2005-04-01 2006-03-31 图像摄取设备及其控制方法

Country Status (3)

Country Link
US (1) US7639282B2 (zh)
JP (1) JP2006287749A (zh)
CN (1) CN1841187B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
CN101075868B (zh) * 2006-05-19 2010-05-12 华为技术有限公司 一种远程身份认证的系统、终端、服务器和方法
JP4908967B2 (ja) * 2006-08-10 2012-04-04 キヤノン株式会社 画像入力装置、画像出力装置及び転送方法
JP2008158788A (ja) * 2006-12-22 2008-07-10 Fujifilm Corp 情報処理装置および情報処理方法
JP4845755B2 (ja) 2007-01-30 2011-12-28 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US7995106B2 (en) * 2007-03-05 2011-08-09 Fujifilm Corporation Imaging apparatus with human extraction and voice analysis and control method thereof
JP2008219450A (ja) * 2007-03-05 2008-09-18 Fujifilm Corp 撮像装置およびその制御方法
JP4315212B2 (ja) * 2007-05-02 2009-08-19 カシオ計算機株式会社 撮像装置、撮像制御プログラム及び撮像制御方法
JP4974788B2 (ja) * 2007-06-29 2012-07-11 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP4853425B2 (ja) * 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
JP2009089174A (ja) * 2007-10-01 2009-04-23 Fujifilm Corp デジタルカメラおよびその撮影方法
JP5053950B2 (ja) * 2008-07-29 2012-10-24 キヤノン株式会社 情報処理方法、情報処理装置、プログラムおよび記憶媒体
JP5361547B2 (ja) * 2008-08-07 2013-12-04 キヤノン株式会社 撮像装置及び撮影方法、プログラム
JP5391638B2 (ja) * 2008-10-15 2014-01-15 日本電気株式会社 撮像方法及び撮像装置
US8432455B2 (en) * 2008-12-31 2013-04-30 Nokia Corporation Method, apparatus and computer program product for automatically taking photos of oneself
JP2010219692A (ja) * 2009-03-13 2010-09-30 Olympus Imaging Corp 撮像装置及びカメラ
JP5457092B2 (ja) * 2009-07-03 2014-04-02 オリンパスイメージング株式会社 デジタルカメラ及びデジタルカメラの合成画像表示方法
KR101138313B1 (ko) * 2009-07-03 2012-04-25 주식회사 솔고 바이오메디칼 웃음 인식 자동문 시스템
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
CN101742114A (zh) * 2009-12-31 2010-06-16 上海量科电子科技有限公司 通过手势识别来决定拍摄操作的方法及装置
JP5430428B2 (ja) * 2010-02-01 2014-02-26 オリンパスイメージング株式会社 撮影機器
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
JP2012060469A (ja) * 2010-09-09 2012-03-22 Sanyo Electric Co Ltd 撮像装置
JP2012094060A (ja) * 2010-10-28 2012-05-17 Sharp Corp 電子装置
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2011139498A (ja) * 2011-02-14 2011-07-14 Fujifilm Corp 撮像装置およびその制御方法
JP2013110551A (ja) * 2011-11-21 2013-06-06 Sony Corp 情報処理装置、撮像装置、情報処理方法およびプログラム
CN103474070B (zh) * 2012-11-07 2016-06-08 宁波市鄞州乐可机电科技有限公司 一种声音传输装置
JP6244643B2 (ja) * 2013-04-15 2017-12-13 オムロン株式会社 表情推定装置、制御方法、制御プログラム、および記録媒体
CN104750236A (zh) * 2013-12-27 2015-07-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104238756B (zh) * 2014-09-28 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104978960A (zh) * 2015-07-01 2015-10-14 陈包容 一种基于语音识别拍照的方法及装置
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
CN107193571A (zh) * 2017-05-31 2017-09-22 广东欧珀移动通信有限公司 界面推送的方法、移动终端及存储介质
CN109947977A (zh) * 2019-03-13 2019-06-28 广东小天才科技有限公司 一种结合图像的意图识别方法及装置、终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069348A (ja) * 1998-08-20 2000-03-03 Canon Inc 撮像装置
JP2000307917A (ja) * 1999-04-23 2000-11-02 Sharp Corp 情報記録装置
CN1506741A (zh) * 2002-12-12 2004-06-23 ��ʿ��Ƭ��ʽ���� 数字照相机
CN1520161A (zh) * 2002-12-12 2004-08-11 富士胶片株式会社 面部识别方法、面部提取方法及摄像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04361493A (ja) * 1991-06-07 1992-12-15 Canon Inc 映像信号再生装置
JP3171744B2 (ja) * 1994-03-15 2001-06-04 シャープ株式会社 音声及び動画の検索装置
AUPO918697A0 (en) * 1997-09-15 1997-10-09 Canon Information Systems Research Australia Pty Ltd Enhanced information gathering apparatus and method
US20020113687A1 (en) * 2000-11-03 2002-08-22 Center Julian L. Method of extending image-based face recognition systems to utilize multi-view image sequences and audio information
JP3754290B2 (ja) 2000-11-29 2006-03-08 三洋電機株式会社 カメラ
JP2002290799A (ja) * 2001-03-26 2002-10-04 Konica Corp 画像処理システム、プリント受付装置、撮像装置及び撮像トリガー装置
US7493559B1 (en) * 2002-01-09 2009-02-17 Ricoh Co., Ltd. System and method for direct multi-modal annotation of objects
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
JP2004294498A (ja) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
JP2005027002A (ja) * 2003-07-02 2005-01-27 Fuji Photo Film Co Ltd 通信機能付カメラ
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000069348A (ja) * 1998-08-20 2000-03-03 Canon Inc 撮像装置
JP2000307917A (ja) * 1999-04-23 2000-11-02 Sharp Corp 情報記録装置
CN1506741A (zh) * 2002-12-12 2004-06-23 ��ʿ��Ƭ��ʽ���� 数字照相机
CN1520161A (zh) * 2002-12-12 2004-08-11 富士胶片株式会社 面部识别方法、面部提取方法及摄像装置

Also Published As

Publication number Publication date
US7639282B2 (en) 2009-12-29
US20060222214A1 (en) 2006-10-05
CN1841187A (zh) 2006-10-04
JP2006287749A (ja) 2006-10-19

Similar Documents

Publication Publication Date Title
CN1841187B (zh) 图像摄取设备及其控制方法
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
US20090051787A1 (en) Apparatus and method for photographing image using digital camera capable of providing preview images
CN104919396B (zh) 在头戴式显示器中利用身体握手
CN101262561B (zh) 成像设备及其控制方法
US20030214524A1 (en) Control apparatus and method by gesture recognition and recording medium therefor
CN104584531A (zh) 图像处理装置以及图像显示装置
CN108182270A (zh) 搜索内容发送及搜索方法、智能笔、搜索终端及存储介质
JP2022020703A (ja) 手書き装置および音声・手書き通信システム
CN109949392A (zh) 动画发送系统
JP2021136666A (ja) 撮像装置、デバイス、制御方法、およびプログラム
JP6876312B1 (ja) 学習モデル生成方法、コンピュータプログラム及び情報処理装置
CN115525188A (zh) 拍摄方法和电子设备
JP4429081B2 (ja) 情報処理装置及び情報処理方法
US20180126561A1 (en) Generation device, control method, robot device, call system, and computer-readable recording medium
US11163822B2 (en) Emotional experience metadata on recorded images
US20080122867A1 (en) Method for displaying expressional image
KR102482841B1 (ko) 인공지능 미러링 놀이 가방
JP4649944B2 (ja) 動画像処理装置、動画像処理方法およびプログラム
JPH08101739A (ja) 記憶ペンユニット
JP2023046127A (ja) 発話認識システム、通信システム、発話認識装置、移動体制御システム、発話認識方法及びプログラム
CN109257544A (zh) 图像记录装置、图像记录方法以及记录介质
JP4228673B2 (ja) 映像処理装置、映像処理方法及びプログラム
JP5389594B2 (ja) 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置
JPH1023319A (ja) 画像撮影装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant