CN102006403A - 摄像装置及再生装置 - Google Patents

摄像装置及再生装置 Download PDF

Info

Publication number
CN102006403A
CN102006403A CN2010102649812A CN201010264981A CN102006403A CN 102006403 A CN102006403 A CN 102006403A CN 2010102649812 A CN2010102649812 A CN 2010102649812A CN 201010264981 A CN201010264981 A CN 201010264981A CN 102006403 A CN102006403 A CN 102006403A
Authority
CN
China
Prior art keywords
sound
radio reception
image
photography
camera head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102649812A
Other languages
English (en)
Inventor
奥智岐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN102006403A publication Critical patent/CN102006403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Abstract

本发明提供一种摄像装置及再生装置，摄像装置包括：至少一个摄像部，通过摄影取得图像；至少一个收音部，与摄像部的摄影同时进行收音以取得声音；以及至少一个显示部，显示图像。并且，根据显示部显示图像的方向与摄像部摄影的方向的相对关系和图像中的特定被摄体的检测结果，对收音部取得的声音进行声音补正处理。

Description

摄像装置及再生装置
本申请基于2009年8月28日申请的特愿2009-198247号以及2010年7月1日申请的特愿2010-150959号。
技术领域
涉及能够进行声音及影像的记录的摄像装置，以及能够进行声音及影像的再生的再生装置。特别地，涉及基于摄影时摄像装置的状态及摄影取得的影像，记录声音的摄像装置和处理输出的声音的再生装置。
背景技术
目前，作为能够进行影像以及声音的记录的摄像装置，摄像机得到广泛普及。在这种摄像机中，包括具有监视器的显示部，该监视器显示摄像机的摄像部捕捉的摄影区域(被摄体)。摄影者使用该显示部的监视器确认摄影区域，同时进行构图的设定、对焦控制等。
一般而言，监视器显示图像的方向是摄影者侧，即与摄影方向(被摄体侧)相反的一侧。但是，近年来，能够进行旋转显示部以使监视器的显示方向朝向与摄影方向相同的方向，摄影者在确认监视器上显示的摄影区域的同时对自身进行摄影的所谓“自拍”的摄像机也有很多。在进行“自拍”的情况下，假设摄影者希望进行以自身或包含自身的多个人物为中心的运动图像的摄影，关于声音的收音，增强摄影方向的声音进行收音是较为理想的。
例如，提出了如下方法，即在显示部上安装有麦克风(下面记作麦克)的相机中，根据麦克的朝向(是摄影方向，还是其相反方向)进行麦克收音的声音的听感补正，由此抑制记录的声音随着摄影时麦克的朝向而发生变化的情况。
在进行“自拍”的情况下，能够进行各种各样的摄影方法，例如，将摄像机固定到三角架上进行摄影的方法，或者摄影者持有摄像机同时将摄像部朝向自己自身进行摄影的方法等。即，相对于摄像机的被摄体(摄影者)的状态(例如摄像机与被摄体的距离)会出现各种各样的状态。但是，在上述方法中，对于麦克收音的声音，进行仅仅根据麦克朝向的听感补正。因此，根据相对于摄像机的被摄体的状态的不同，在进行“自拍”的情况下，有时无法得到符合摄影者意图的声音。
此外例如还提出了以下方法，即基于摄影区域内包含的特定对象的大小改变麦克的方向性，进行增强收音的声音的特定频带等的声音处理，由此进行符合摄影者意图的声音记录。
在该方法中，能够根据摄影区域内包含的被摄体的大小和变焦倍率，补正麦克收音的声音。但是，在该发明中，无论是“自拍”还是通常的摄影，都进行相同的声音处理。因此，根据声音处理的内容的不同，在进行“自拍”的情况下，有时无法得到符合摄影者意图的声音。
发明内容
本发明的摄像装置包括以下部件：
至少一个摄像部，通过摄影取得图像；
至少一个收音部，与所述摄像部的摄影同时进行收音以取得声音；
特定被摄体检测部，从所述图像中检测特定被摄体；
至少一个显示部，显示所述图像；
方向关系检测部，检测所述显示部显示所述图像的方向与所述摄像部摄影的方向的相对关系；以及
声音补正部，根据所述特定被摄体检测部的特定被摄体的检测结果和所述方向关系检测部检测出的关系，对所述收音部取得的所述声音进行声音补正处理。
本发明的再生装置包括以下部件：
再生部，对摄影取得的图像和与该图像的摄影同时进行收音取得的声音进行再生；
方向关系检测部，检测所述图像摄影的方向与摄像时所述图像显示的方向的相对关系；以及
声音补正部，根据所述图像中的特定被摄体和所述方向关系检测部检测出的关系，对所述再生部再生的所述声音进行声音补正处理。
附图说明
图1是表示本发明涉及的摄像装置的结构的概要的模块图。
图2A是表示本发明涉及的摄像装置的外观的概要的解说图。
图2B是表示本发明涉及的摄像装置的外观的概要的解说图。
图3是表示本发明涉及的摄像装置的运动图像摄影时的基本动作的概要的流程图。
图4是表示本发明涉及的摄像装置的运动图像摄影时的运动图像记录处理的基本动作的概要的流程图。
图5是表示本发明涉及的摄像装置的转动部25的内部结构的概要的模块图。
图6是表示面部检测装置的结构的概要的模块图。
图7是表示由缩小图像生成部得到的层次图像的一个例子的解说图。
图8是表示面部检测处理的处理动作的解说图。
图9是表示本发明的实施例1涉及的声音处理部11的内部结构的概要的模块图。
图10是表示本发明的实施例1涉及的立体声麦克的收音方向的示意图。
图11是表示本发明涉及的立体声化处理部的内部结构的概要的模块图。
图12A是表示麦克与声源的位置关系的示意图。
图12B是表示麦克与声源的位置关系的示意图。
图13是表示方向性控制部115的内部结构的概要的模块图。
图14是表示麦克与声源的位置关系的示意图。
图15是表示本发明的实施例2涉及的再生装置的内部结构的模块图。
图16是表示本发明的实施例3涉及的摄像装置的结构的概要的模块图。
图17是表示本发明的实施例3涉及的摄像装置的外观的概要的解说图。
图18是表示本发明的实施例3涉及的摄像装置的主要部分结构的模块图。
图19A是表示本发明的实施例4涉及的摄像装置的外观的概要的解说图。
图19B是表示本发明的实施例4涉及的摄像装置的外观的概要的解说图。
图20是表示本发明的实施例5涉及的摄像装置的结构的概要的模块图。
图21是表示本发明的实施例5涉及的摄像装置的外观的概要的解说图。
图22是表示本发明的实施例6涉及的摄像装置包括的控制切换部112的主要部分结构的模块图。
具体实施方式
本发明的意义和效果通过以下所示的实施方式的说明变得更为明确。但是，以下的实施方式只不过是本发明的实施方式的一种，本发明和各结构要件的词语的意义不受以下的实施方式中记载的内容的限制。
<实施例1>
参照附图说明在能够进行声音或影像的记录、再生的数码相机或数码摄像机等摄像装置中实施本发明的方式。该摄像装置如果是能够对运动图像进行摄影的装置，则也可以是能够进行静止图像的摄影的装置。
(摄像装置的结构)
图1是表示本发明涉及的摄像装置的内部结构的概要的模块图。图1的摄像装置包括：将入射的光转换为电信号的CCD(Charge CoupledDevice，电荷耦合设备)或CMOS(Complementary Metal OxideSemiconductor，互补型金属氧化物半导体)传感器等图像传感器(固体摄像元件)1；透镜部3，具有使被摄体的光学像在图像传感器1上成像的变焦透镜、使变焦透镜的焦距即光学变焦倍率发生变化的电机、和用于使变焦透镜的焦点与被摄体一致的电机；AFE(Analog Front End，模拟前端)5，将从图像传感器1输出的模拟图像信号转换为数字图像信号；立体声麦克7，由将到来的声音独立收音并转换为模拟声音信号的麦克7L及7R构成；图像处理部9，对从AFE5输出的数字图像信号进行灰度补正等各种图像处理；声音处理部11，将从立体声麦克7输出的模拟声音信号转换为数字声音信号，根据摄影时的状况进行声音补正处理等；压缩处理部13，在对静止图像进行摄影的情况下对来自图像处理部9的图像信号进行JPEG(Joint Photographic Experts Group，联合图像专家组)等压缩编码处理，在对运动图像进行摄影的情况下对从图像处理部9输出的图像信号和来自声音处理部11的声音信号进行MPEG(Moving Picture Experts Group，运动图像专家组)等压缩编码处理；驱动器部49，将由压缩处理部13压缩编码的压缩编码信号记录到SD(Secure Digital，安全数字)存储卡等外部存储器47中；扩展处理部17，对由驱动器部49从外部存储器47读出的压缩编码信号进行扩展解码；视频输出电路部19，将扩展处理部17解码得到的图像信号转换为模拟信号；视频输出端子21，输出由视频输出电路部19转换了的信号；显示部23，具有进行基于来自视频输出电路部19的信号的图像显示的LCD(Liquid Crystal Display，液晶显示器)等监视器；转动部25，用于使显示部23转动；声音输出电路部29，将由扩展处理部17解码得到的声音信号转换为模拟信号；声音输出端子31，输出由声音输出电路部29转换了的信号；扬声器部33，基于来自声音输出电路部29的声音信号对声音进行再生输出；定时产生器(TG)35，输出用于使各模块的动作定时一致的定时控制信号；CPU(Central Processing Unit，中央处理器)37，控制摄像装置内整体的驱动动作；存储器39，记录用于各个动作的各个程序，同时进行程序执行时的数据的暂时保管；操作部41，包含用于输入录像的开始及停止的指示的按钮，输入来自摄影者的指示；总线线路43，用于在CPU37与各模块之间进行数据的交换；以及总线线路45，用于在存储器39与各模块之间进行数据的交换。另外，CPU37也可以根据图像处理部9检测的图像信号，驱动透镜部3的电机进行焦点、快门的控制。
(摄像装置的基本动作运动图像摄影、再生时)
接着，说明该摄像装置的运动图像摄影时的基本动作。图2A及图2B是表示本发明涉及的摄像装置的外观的概要的解说图。该摄像装置有通常摄影模式和自拍模式这两种摄影模式。
在用通常摄影模式进行运动图像摄影的情况下，如图2A所示，显示部23的监视器(图2B的灰色部分)朝向的方向(显示图像的方向。在图2A中是纸面内侧方向。以下记作显示方向)与透镜部3朝向的方向(摄影方向。在图2A中是纸面外侧方向。以下记作摄影方向)是相反的方向(显示方向与摄影方向以指定程度(例如角度)以上相分离的状态。下同)。
另一方面，在用自拍模式进行运动图像摄影的情况下，如图2B所示，显示方向(纸面外侧方向)与摄影方向(纸面外侧方向)是大致相同的方向(显示方向与摄影方向比指定程度(例如角度)更接近的状态。下同)。
图3及图4是表示该摄像装置的运动图像摄影时的基本动作的概要的流程图。首先，摄影者将摄像装置设定为用于运动图像摄影并打开电源后，将摄像装置的驱动模式即图像传感器1的驱动模式设定为预览(preview)模式(S400)。在预览模式中，作为通过图像传感器1的光电转换动作得到的模拟信号的图像信号在AFE5中转换为数字信号，由图像处理部9进行图像处理，在显示部23上显示。
图5是表示转动部25的内部结构的模块图。转动部25包括检测显示部23的转动的转动检测部251以及根据显示部23的转动角度进行监视器的显示控制的监视器显示控制部252。转动检测部251例如能够通过使用特开平6-302169号公报中揭示的杠杆式微型开关来实现。此外，转动部25也可以包括用于检测显示部23的转动角的旋转编码器(rotary encoder)，逐次检测显示部23的转动角，在该转动角超过指定值的情况下判断为显示部23发生了转动。在预览模式时，显示部23通过转动部25进行转动，朝向与图2B所示的透镜部3朝向的方向大致相同的方向(S402中“是”)后，选择自拍模式(S404)，将表示选择了自拍模式的摄影模式信息输出到声音处理部11(S406)。
在自拍模式的情况下，显示部23的监视器作为结果显示相对于通常摄影模式时上下方向及左右方向分别逆转了的图像。为此，监视器显示控制部252控制显示部23以使预览用的图像的上下方向及左右方向分别逆转后在显示部23的监视器上显示(S408)。另外，在选择了自拍模式的情况下，将表示摄影模式已设定为自拍模式的信息显示在显示部23上，同时显示表示对由立体声麦克7收音的声音进行的声音补正处理的内容的信息。所述信息例如是表示立体声录音或单声道录音等录音方式的信息，或者表示声音增强处理的内容的信息等。这些信息的显示可以用文字进行，也可以用图标等对象显示。此外，可以使摄影者能够任意设定选择自拍模式所必需的显示部23的转动角度。在显示部23未转动的情况下(S402中“否”)，认为选择了通常摄影模式(S410)，将表示已选择通常摄影模式的摄影模式信息输出到声音处理部11(S412)。此时，也可以将表示已设定为通常摄影模式的信息显示在显示部23上。
接着，摄影者设定光学变焦的变焦倍率，以使摄影区域成为对作为摄影对象的被摄体(在自拍模式的情况下是摄影者自身)而言所需的摄影区域(S414)。此时，基于输入到图像处理部9的图像信号，由CPU37控制透镜部3进行最佳的曝光控制(Automatic Exposure；AE，自动曝光)和对焦控制(Auto Focus；AF，自动对焦)(S416)。
随后，按下操作部41的录像开始按钮，指示进行录像动作后(S418中“是”)，执行运动图像记录处理(S420)。随后，到操作部41的录像停止按钮(也可以兼用作录像开始按钮)被按下(S422中“是”)为止，反复进行运动图像记录处理。
图4是表示运动图像记录中的声音收音处理动作的流程图。
利用立体声麦克7收音的声音(S500)作为模拟声音信号输出到声音处理部11，利用A/D转换被转换为数字声音信号(S502)。在正在使用通常摄影模式进行摄影的情况下(S504中“否”)，A/D转换后的数字声音信号输出到压缩处理部13，基于压缩编码方式(例如MP3：MPEG-1/2Audio Layer-3等方式)进行压缩编码(S506)，与摄影的运动图像一起通过驱动器部49记录到外部存储器47中(S508)。
在正在使用自拍模式进行摄影的情况下(S504中“是”)，在摄影区域内检测出面部后(S510中“是”)，对数字声音信号进行根据检测出的面部的位置、大小以及透镜部3的变焦倍率等的声音补正处理(S512)。
此时，也可以与进行了声音补正处理的声音信号一起，记录未进行声音补正处理的声音信号和作为索引的取得该声音信号时的变焦倍率信息、摄影模式信息(也可以解释为表示转动部25的转动状态的信息)等。此外，在图3所示的流程图中，在运动图像记录过程中不能进行摄影模式的变更，但也可以使得在录像过程中能够切换通常摄影模式和自拍模式。在此情况下，可以在每个指定时间(例如每一帧)时检测显示部23的转动状态，根据检测结果切换摄影模式。
在以此方式进行摄像动作时，通过TG35对AFE5、图像处理部9、声音处理部11、压缩处理部13以及扩展处理部17提供定时控制信号，进行与由图像传感器1进行的每一帧的摄像动作同步的动作。
此外，再生外部存储器47中记录的运动图像是在通过操作部41进行指示后，通过驱动器部49读出外部存储器47中记录的压缩信号并提供给扩展处理部17。并且，在扩展处理部17中，基于例如MPEG等压缩编码方式进行扩展解码，取得图像信号及声音信号。并且，将图像信号提供给显示部23以再生图像，同时将声音信号经由声音输出电路部29提供给扬声器部33以再生声音。据此，基于外部存储器47中记录的压缩信号的运动图像与声音一起得到再生。
(面部检测处理)
在此，说明该摄像装置的面部检测处理。图像处理部9包括面部检测装置91，能够从输入的图像信号中检测出人物的面部。面部检测装置91的结构及动作在下面进行说明。
图6是表示面部检测装置91的结构的概要的模块图。面部检测装置91包括：缩小图像生成部911，基于通过AFE5得到的图像信号生成一个或多个缩小图像；面部判断部912，使用由输入图像及其缩小图像构成的各个层次图像和存储器18中记录的面部检测用的权重表，判断输入图像中是否存在面部；以及检测结果输出部913，输出面部判断部912的检测结果。检测结果输出部913在检测出面部的情况下，输出检测出的面部的以输入图像为基准的大小与位置以及根据面部的大小估计的从透镜部3到面部的距离。
此外，存储器18中记录的权重表将与用于从摄影区域中检测面部的判断区域具有相同大小的各边缘(edge)特征图像(例如水平方向边缘图像和垂直方向边缘图像等)的像素位置用边缘特征图像的种类、边缘特征图像的各像素的行编号及列编号进行定义。这种权重表是从大量的教师样本(面部及非面部的样本图像)中求出的。这种权重表例如能够利用称为Adaboost的公知的学习方法来生成(Yoav Freund，Robert E.Schapire，“Adecision-theoretic generalization of on-line learning and an application toboosting”，European Conference on Computational Learning Theory，September 20，1995.)。
另外，Adaboost是适应性推进(boosting)学习方法的一种，是以大量教师样本为基础，从多个弱识别器候补中选择多个对识别有效的弱识别器，对它们赋予权重以进行结合，由此实现高精度的识别器的学习方法。在此，所谓弱识别器，是指与完全偶然相比识别能力高，但并非满足足够精度的高精度的识别器。在进行弱识别器的选择时，在存在已经选择了的弱识别器的情况下，对于由已选择的弱识别器作出误识别的教师样本进行重点学习，由此从剩余的弱识别器候补中选择效果最好的弱识别器。
图7表示由缩小图像生成部911得到的层次图像的一个例子。所谓层次图像，是指将摄像装置取得的图像按照任意的缩小率R(0＜R＜1，理想地，最好是0.8或0.9等接近1的值)缩小了的多个图像。在图7中，P1表示输入图像，P2～P5分别表示缩小为R倍、R2倍、R3倍、R4倍的缩小图像。F1表示判断区域。判断区域例如设定为纵24像素、横24像素的大小。判断区域的大小在输入图像及其缩小图像中都是相同的。面部检测处理使用与各层次图像中设定的判断区域对应的多个边缘特征图像和权重表进行。在本实施例中，如箭头所示，在层次图像上使判断区域从左向右移动的水平方向扫描从图像的上方开始向下方进行，由此进行模式匹配，进行与判断区域匹配的面部图像的检测。不过，扫描顺序并不限定于此。除了输入图像P1之外生成多个缩小图像P2～P5是因为使用一种权重表来检测大小不同的多个面部。
图8是用于说明面部检测处理的图。由面部判断部912进行的面部检测处理对各层次图像进行，但处理方法相同，因此在此仅说明对输入图像P1进行的面部检测处理。图8中表示输入图像P1和在输入图像内设定的判断区域F1。
在每个层次图像中进行的面部检测处理使用与图像内设定的判断区域对应的图像和权重表进行。面部检测处理包括从较粗略的判断依次向较精细的判断转移的多个判断步骤，在某个判断步骤中，在未检测出面部的情况下，不转至下面的判断步骤，而判断为该判断区域中不存在面部。在所有判断步骤中，仅在检测出面部的情况下，判断为该判断区域中存在面部，扫描判断区域并转至下一判断区域中的判断。并且，在检测出面部时，根据使用了哪一个层次图像，能够估计以输入图像为基准的面部的大小及从透镜部3到面部的距离。通过采用这种方式，检测出的面部的位置、大小及到具有该面部的人物的距离由检测结果输出部913输出。另外，关于这种面部检测处理，特开2007-257358号公报中进行了详细揭示。
(声音补正处理)
接着，说明本实施例涉及的声音补正处理。图9是表示本实施例的声音处理部11的结构的模块图。
如图9所示，声音处理部11包括：A/D转换部110，将作为从麦克7L及7R输出的模拟声音信号的声音信号L及声音信号R转换为数字声音信号；控制方法决定部111，接收来自图像处理部9的面部检测信号以及来自转动检测部251的摄影模式信息以决定声音补正处理的必要性和内容；控制切换部112，接收从控制方法决定部111输出的表示声音补正处理的必要性和内容的信号，切换从麦克7L及7R输出的两个声音信号的输出目的地；特定频带增强部113，增强从控制切换部112输出的两个声音信号的特定频带；立体声感增强部114，增强从控制切换部112输出的两个声音信号的立体声感；方向性控制部115，在从控制切换部112输出的两个声音信号内，增强从特定的方向到来的声音；以及声音加法部116，将分别在立体声感增强部114和方向性控制部115中进行了处理的各个声音信号L及R以指定比例(例如1∶1等)进行相加。
图10是立体声麦克7的收音方向性的示意图。麦克7L及7R分别是全方向性(无方向性)的麦克。图10所示的L及R分别模拟麦克7L及7R的收音方向性。全方向性麦克具有与麦克的方向和角度无关地仅反映从麦克周围到来的声音的大小的性质。因此，到来的全部声音按照其大小(音量)进行收音。
在声音补正处理开始后，控制方法决定部111参照从转动检测部251输出的摄影模式信息，判断是否选择自拍模式。此外，判断是否从图像处理部9输出面部检测信号。
在选择通常摄影模式的情况下，或者在选择自拍模式、并且未从图像处理部9输出面部检测信号的情况下，控制方法决定部111向控制切换部112输出不对收音的声音进行声音补正处理的命令，控制切换部112将从A/D转换部110输出的声音信号L及R输出到压缩处理部13。
在选择自拍模式、并且从图像处理部9输出面部检测信号的情况下，根据通过面部检测处理检测出的面部在图像中的位置及在图像中所占的大小，输出方向性控制的命令。
在从图像处理部9输出多个面部检测信号(换言之，通过面部检测处理检测出多个人物的面部)的情况下，假设摄影者希望对人物大小最大的人物进行摄影，因此进行方向性控制以增强从人物大小最大的人物存在的方向到来的声音。关于该方向性控制在后面描述。图像中最大出现的人物可以通过在面部检测装置91中哪一个层次图像中检测出了面部来求出。具体而言，在本实施例中的面部检测方法中，如上所述，通过使用了各层次图像和判断区域的模式匹配来检测人物的面部。判断区域的大小在对任一层次图像进行模式匹配的情况下都是相同的大小，因此，在缩小率较高的层次图像中检测出的面部是摄影图像中较大的面部。
此外，也可以预先对希望摄影的人物的面部进行摄影并记录到外部存储器47中，作为摄影对象人物进行登记，由此在面部检测处理时比较与该静止图像中包含的人物相同的人物是否包含在摄影图像中，在一致的人物包含在摄影图像中的情况下，增强从该人物存在的方向到来的声音。关于是对从人物大小最大的人物存在的方向到来的声音进行方向性控制，还是对从预先登记的摄影对象人物存在的方向到来的声音进行方向性控制，摄影者在摄影前及摄影过程中能够适当地切换优先级。此外，也可以对这两者进行方向性控制。
在通过面部检测处理检测出的面部的大小大于等于指定大小(例如，图像中的面部所占的面积为30％或50％等)的情况下，假设摄影者希望主要对从该人物发出的声音进行收音，因此控制方法决定部111向控制切换部112输出指示如下动作的命令：在从立体声麦克7收音的声音内，进行与人类的声音相对应的声音频带(例如，800～1200Hz)的增强处理，同时对从影像中拍摄的人物存在的方向到来的声音进行方向性控制。
控制切换部112将从A/D转换部110输出的声音信号L及R输出到特定频带增强部113以及方向性控制部115。特定频带增强部113以及方向性控制部115对输出的声音信号分别进行特定频带增强处理及方向性控制，并输出到声音加法部116。声音加法部116将从特定频带增强处理部113以及方向性控制部115分别输出的声音信号以指定比例(例如1∶1的比例)进行相加，并输出到压缩处理部13。
此外，在人物的大小小于指定大小的情况下，假设摄影者希望将周围的环境与人物一起进行收音，因此控制方法决定部111向控制切换部112输出指示如下动作的命令：对从立体声麦克7收音的声音进行立体声感增强处理，同时对从影像中拍摄的人物存在的方向到来的声音进行方向性控制。
控制切换部112将从A/D转换部110输出的声音信号L及R分别输出到立体声感增强部114以及方向性控制部115。立体声感增强部114以及方向性控制部对输出的声音信号分别进行立体声感增强处理及方向性控制，并输出到声音加法部116。声音加法部116将从立体声感增强处理部114以及方向性控制部115分别输出的声音信号以指定比例(例如1∶1的比例)进行相加，并输出到压缩处理部13。
另外，在本实施例中，由特定频带增强部113、立体声感增强部114以及方向性控制部115进行了处理的声音信号由声音加法部116进行适当相加，但也可以例如对由特定频带增强部113进行了处理的声音信号由方向性控制部116进行方向性控制。
以上述方式，对与图像同时取得的声音进行与显示方向及摄影方向的关系(例如摄影模式)和图像中的特定被摄体的状态(例如人物的位置及面部的大小)相适应的声音补正处理，因此能够得到与摄影者的摄影意图相适应的声音。
(关于立体声感增强处理)
在此，说明实施例1中的立体声化处理的一个例子。在此，作为立体声化处理，说明利用加法型方向性控制增强左右两个方向的声音的处理。
图11是表示该情况的立体声感增强部114的内部结构的概要的模块图。立体声感增强部114包括延迟从左声道(Lch)输入的声音信号的延迟电路114L和延迟从右声道(Rch)输入的声音信号的延迟电路114R，将输入原样的右声道的声音信号与延迟电路114L延迟了的左声道的声音信号合成后作为右声道的声音信号输出，并将输入原样的左声道的声音信号与延迟电路114R延迟了的右声道的声音信号合成后作为左声道的声音信号输出。
如图12A所示，在声音从相对于两个麦克7L及7R而言右侧的声源A到来的情况下，声音从声源起到分别到达麦克7L及7R为止，偏差了路程差Da。在此情况下，如果对于由离声源较近的麦克7R收音的右声道的声音信号，通过延迟电路114R添加与路程差Da相对应的延迟，与由离声源较远的麦克7L收音的左声道的声音信号相加，则对声源方向的声音进行同步相加，增强从声源A所在的方向到来的声音。相反，如果减去添加了延迟的声音信号，则抵消从声源所在的方向到来的声音。
另外，如图12B所示，在声音从相对于两个麦克7L及7R而言左侧的声源B到来的情况下，如果对于由麦克7L收音的声音信号，通过延迟电路114L添加与路程差Db相对应的延迟，与由麦克7R收音的声音信号相加或相减，则增强或抵消从声源B所在的方向到来的声音。
(关于方向性控制处理)
接着，说明实施例1中的方向性控制的一个例子。关于方向性控制处理提出了各种各样的方法。上述立体声化处理中说明的加法型、减法型这样的包括声音信号的延迟与加法处理、减法处理的方法也是其中一种。除此之外，有使用麦克风阵列的波束形成(ビ一ムフオ一ミング)或二维扇形滤波器等方法。在此，说明基于用两个麦克检测出的声音信号之间的相位信息增强从特定方向到来的声音的方法。
图13是该方法中能够使用的方向性控制部115的模块图。如图13所示，方向性控制部115包括：两个FFT部61L、61R，对右声道声音信号及左声道声音信号独立进行高速傅立叶变换(Fast Fourier Transform；FFT)；相位差检测部62，检测由FFT部61L、61R进行了FFT的右声道声音信号及左声道声音信号的相位差；各频带控制量决定部63，根据由相位差检测部62检测出的相位差信息为各个频带决定方向性的控制量；两个各频带增益控制部64L、64R，基于各频带控制量决定部663决定的控制量，独立地对进行了FFT的右声道声音信号及左声道声音信号进行各频带增益控制；以及IFFT部65L及65R，对由各频带增益控制部64L、64R进行了增益控制的各个右声道声音信号及左声道声音信号进行逆高速傅立叶变换(Inverse Fourier Transform；IFFT)。
在FFT部61L、61R中，右声道声音信号及左声道声音信号输入后进行FFT，并为每个频带计算相位信息。如图14所示，到声音分别到达麦克7L及7R为止，存在时间差。在相位差检测部62中根据右声道声音信号及左声道声音信号的相位信息计算相位差。根据该相位差，能够导出声音分别到达麦克7L及7R为止的时间差。声音分别到达麦克7L及7R为止的时间差根据声音的到来方向而不同，因此能够根据该时间差确定声音的到来方向。具体而言，根据该时间差导出路程差d，根据该路程差d和麦克7L及7R的设置间隔w导出角度θ。根据该角度θ能够确定声音的到来方向。在各频带控制量决定部63中，判断由相位差检测部62计算的声音成分的到来方向是否是目的方向，例如图像中的指定被摄体的方向。被摄体的方向能够根据透镜部3的透镜角(换言之，对摄影方向能够摄影的左右方向的范围)和检测出图像中的被摄体的位置来确定。在各频带控制量决定部63中，判断为是来自目的方向以外方向的声音成分(换言之，声音的到来方向与图像中的被摄体的位置大致一致的情况)的情况下，使进行了FFT的频谱在各频带增益控制部64L、64R中减少，在判断为是来自目的方向的声音成分的情况下使之增大。随后，对变化了的频谱在IFFT部65L、65R中进行IFFT，恢复为时间信号并输出。
在该方法中，通过将两个麦克的设置间隔w为半波长的频率作为声音增强处理的上限频率，能够根据相位差计算正确的声音成分的到来方向即声源方向。
(关于索引)
记录变焦倍率信息的索引在压缩记录声音信号时，为作为其处理单位的每一帧进行记录。例如在按照MPEG-AAC作为48kHz的采样信号进行记录的情况下，作为处理单位的一帧根据作为1024个样本的1024÷(48×103)≈2.13×10-2，相当于约21.3毫秒。因此，可以与记录开始同步地每21.3毫秒记录一次影像的变焦倍率信息。此外，在杜比(Dolby)数字方式中一帧为1536个样本，在作为48kHz的采样信号进行记录的情况下，根据1536÷(48×103)＝3.2×10-2，可以每32毫秒记录一次影像的变焦倍率信息。
<实施例2>
在实施例1中，以图1所示的结构的摄像装置为例说明了本发明中的声音处理方法，但并不限定于摄像装置，在与液晶显示器或等离子体电视等连接的DVD播放器或录像机等能够进行声音及影像的输出的再生装置中，也能利用本发明中的声音处理方法。图15中，作为例子表示包括执行本发明中的声音处理方法的声音处理装置(相当于“声音处理部11”)的再生装置。
与图1所示的摄像装置同样，图15所示的再生装置包括：驱动器部49、扩展处理部17、视频输出电路部19、视频输出端子21、显示部23、声音输出电路部29、声音输出端子31、扬声器部33、TG35、CPU37、存储器39、操作部41、总线线路43、总线线路45以及外部存储器47。并且，与图1的摄像装置不同，代替图像处理部9，包括处理由扩展处理部17取得的图像信号的图像处理装置9a；代替声音处理部11，包括处理由扩展处理部17取得的声音信号的声音处理装置11a。图像处理装置9a包括图6所示的面部检测装置91，声音处理装置11a与图9的声音处理部11具有相同的结构。外部存储器47不仅能够保存实施例1及后述的实施例3～5中记录的图像信号及进行了声音补正处理的声音信号，而且能够保存摄影模式信息(也可以解释为表示转动部25的转动状态的信息、表示实施例3及4的显示系统转动部25A及光学系统转动部25B的转动状态的信息、表示实施例5的进行摄影的摄像部511、512及进行显示的显示部23的信息)以及未进行声音补正处理的声音信号和作为索引的取得该声音信号时的变焦倍率信息等。并且，根据从图像处理装置9a的面部检测装置91输出的面部检测信号、摄影模式信息以及从外部存储器47输出的未进行声音补正处理的声音信号与变焦倍率信息，在声音处理装置11a中能够进行本发明中的声音处理方法。
另外，在外部存储器47中记录的图像信号及声音信号如实施例1及后述的实施例3～5以外的摄像装置中记录的运动图像那样不包含变焦倍率信息的情况下，在声音处理装置11a中可以基于成为对象的被摄体在图像中的大小进行声音补正处理。
此外，在实施例1或后述的实施例3～5的摄像装置中，可以在摄影时由图像处理部9进行面部检测，将检测结果记录在外部存储器47上。在此情况下，本实施例的再生装置中，声音处理装置11a能够从外部存储器47中取得面部检测信号，所以图像处理装置9a可以不进行面部检测。
<实施例3>
在实施例1中，示意了在显示部23能够进行转动的摄像装置中实施本发明的例子，但能够实施本发明的摄像装置的结构并不限定于该例子。具体而言，例如，对于显示部23以外的部件转动的摄像装置也能实施本发明。首先，作为实施例3，参照附图说明在显示部23与图像传感器1和透镜部3等光学系统部件(以下记作摄像部51)分别能够转动的摄像装置中实施本发明的例子。
图16是表示本实施例涉及的摄像装置的内部结构的概要的模块图，是与关于实施例1所示的图1相对应的图。此外，图17是表示本实施例涉及的摄像装置的外观的概要的解说图，是与关于实施例1所示的图2A及图2B相对应的图。另外，对于图16中与图1相同的部分、图17中与图2A及图2B相同的部分赋予相同的符号，省略其详细说明。
如图16所示，与图1所示的摄像装置同样，本实施例的摄像装置包括：图像传感器1、透镜部3、AFE5、立体声麦克7、图像处理部9、声音处理部11、压缩处理部13、扩展处理部17、视频输出电路部19、视频输出端子21、显示部23、声音输出电路部29、声音输出端子31、扬声器部33、TG35、CPU37、存储器39、操作部41、总线线路43、总线线路45、外部存储器47以及驱动器部49。并且，与图1的摄像装置不同，包括使显示部23转动的显示系统转动部25A和使摄像部51转动的光学系统转动部25B。
此外，如图17所示，与上述的转动部25(参照图2A及图2B)同样，显示系统转动部25A是使显示部23能够转动的部件。另一方面，光学系统转动部25B是使摄像部51能够转动的部件。另外，在图17中，显示系统转动部25A的转动轴A与光学系统转动部25B的转动轴B表示为大致垂直，但也可以是大致平行或其他的关系。
此外，图18是表示本实施例涉及的摄像装置的主要部分结构的模块图，是表示与声音处理部11能够进行的声音补正处理有关的部分的图。除了上述显示系统转动部25A以及光学系统转动部25B，本实施例的摄像装置还包括检测显示部23及摄像部51的相对关系的方向关系检测部253、和根据方向关系检测部253检测出的关系进行监视器的显示控制的监视器显示控制部252。此外，显示系统转动部25A使用与上述转动部25相同的方法检测显示部23的转动(例如，指定角度以上的转动的有无或转动角)。此外，光学系统转动部25B也使用与上述转动部25相同的方法检测摄像部51的转动(例如，指定角度以上的转动的有无或转动角)并输出。
方向关系检测部253通过参照显示系统转动部25A以及光学系统转动部25B的输出结果，求出显示方向(在图17中是纸面内侧方向)与摄影方向(在图17中是纸面外侧方向)的相对关系。
此外，方向关系检测部253可以使用与实施例1的转动检测部251相同的方法来进行摄影模式的选择。具体而言，例如，在显示方向与摄影方向是相反的方向的情况(例如图17所示的状态的情况)下，选择通常摄影模式。另一方面，在显示方向与摄影方向是大致相同的方向的情况(例如，从图17所示的状态开始，显示部23及摄像部51中的任一方发生了转动的情况)下，选择自拍模式。
监视器显示控制部252及声音处理部11根据方向关系检测部253选择的摄影模式，执行与实施例1相同的动作(例如，显示部23中显示的预览用的图像的上下方向及左右方向的控制、表示摄影模式的信息的显示、声音补正处理等)。此外，图像处理部9也执行与实施例1相同的动作(例如面部检测处理等)。
如上所述，在不仅显示部23能够转动，而且摄像部51能够转动的情况下，也能够对与图像同时取得的声音进行与显示方向及摄影方向的关系(例如摄影模式)、和图像中的特定被摄体的状态(例如，人物的位置及面部的大小)相适应的声音补正处理。因此，能够得到符合摄影者的摄影意图的声音。
另外，也可以将本实施例的方向关系检测部253及监视器显示控制部252解释为CPU37的一部分。
<实施例4>
接着，作为实施例4，参照附图说明在摄像部51能够转动(包括实施例3中描述的光学系统转动部25B)，显示部23不转动(不包括实施例1中描述的转动部25及实施例3中描述的显示系统转动部25A)的摄像装置中实施本发明的例子。
图19A及图19B是表示本实施例涉及的摄像装置的外观的概要的解说图，是与关于实施例1所示的图2A及图2B和关于实施例3所示的图17相对应的图。另外，在图19A及图19B中，对于与图2A及图2B和图17相同的部分赋予相同的符号，省略其详细说明。另外，本实施例的摄像装置的结构解释为从图16所示的实施例3的摄像装置中去除了显示系统转动部25A的结构，省略其详细说明和图示。此外，本实施例的摄像装置包括的光学系统转动部25B解释为与关于实施例1所示的转动部25(参照图5)相同的结构，省略其详细说明和图示。
如图19A及图19B所示，本实施例的摄像装置包括转动轴B与监视器(图中的灰色部分)大致平行的光学系统转动部25B，是使摄像部51能够转动的装置。另外，图19A及图19B中例示了光学系统转动部25B的转动轴B与监视器的上边及下边大致平行(纸面的左右方向)的结构，但也可以是大致垂直(纸面的上下方向)或其他的关系。此外，在图19A及图19B中，例示了在摄像装置的与设置监视器的面相反侧的面上设置立体声麦克7的结构，但在摄像装置的任一面上设置立体声麦克7都是可以的。
例如，与光学系统转动部25B的转动检测部251(参照图5)相对应的部分如图19A所示在显示方向(纸面外侧方向)与摄影方向(纸面内侧方向)为相反方向的情况下选择通常摄影模式。另一方面，如图19B所示，在显示方向(纸面外侧方向)与摄影方向(纸面外侧方向)为大致相同方向的情况下选择自拍模式。
此外，与光学系统驱动部25B的监视器显示控制部252(参照图5)相对应的部分及声音处理部11根据与光学系统驱动部25B的转动检测部251(参照图5)相对应的部分选择的摄影模式，执行与实施例1相同的动作(例如，显示部23中显示的预览用图像的上下方向及左右方向的控制、表示摄影模式的信息的显示、声音补正处理等)。此外，图像处理部9也执行与实施例1相同的动作(例如面部检测处理部等)。
如上所述，在摄像部51能够转动的情况下，也能够对与图像同时取得的声音进行与显示方向及摄影方向的关系(例如摄影模式)、和图像中的特定被摄体的状态(例如，人物的位置及面部的大小)相适应的声音补正处理。因此，能够得到符合摄影者的摄影意图的声音。
<实施例5>
接着，作为实施例5，参照附图说明在摄像部和显示部23不转动(不包括实施例1中描述的转动部25和实施例3中描述的显示系统转动部25A及光学系统转动部25B)、包括能够切换是否需要摄影的多个摄像部的摄像装置中实施本发明的例子。
图20是表示本实施例涉及的摄像装置的内部结构的概要的模块图，是与关于实施例1所示的图1相对应的图。此外，图21是表示本实施例涉及的摄像装置的外观的概要的解说图，是与关于实施例1所示的图2A及图2B相对应的图。另外，对图20中与图1相同的部分和图21中与图2A及图2B相同的部分赋予相同的符号，省略其详细说明。
如图20所示，与图1所示的摄像装置同样，本实施例的摄像装置包括：AFE5、立体声麦克7、图像处理部9、声音处理部11、压缩处理部13、扩展处理部17、视频输出电路部19、视频输出端子21、显示部23、声音输出电路部29、声音输出端子31、扬声器部33、TG35、CPU37、存储器39、操作部41、总线线路43、总线线路45、外部存储器47以及驱动器部49。并且，与图1的摄像装置不同，包括：包括图像传感器101及透镜部301的第一摄像部511、和包括图像传感器102及透镜部302的第二摄像部512。
第一摄像部511及第二摄像部512例如按照经由操作部41输入的用户指示，由任一方进行摄影。具体而言，CPU37基于经由操作部41输入的用户指示，决定第一摄像部511及第二摄像部512分别是否需要摄影。
如图21所示，显示部23的显示方向(纸面外侧方向)与第一摄像部511的摄影方向(透镜部301朝向的方向。纸面内侧方向)是相反的方向。即，第一摄像部511摄影的情况相当于上述各实施例中的通常摄影模式。另一方面，显示部23的显示方向(纸面外侧方向)与第二摄影部512的摄影方向(透镜部301朝向的方向。纸面外侧方向)是大致相同的方向。即，第二摄像部512摄影的情况相当于上述各实施例中的自拍模式。另外，在图21中，例示了在摄像装置的与设置监视器的面相反侧的面上设置立体声麦克7的结构，但在摄像装置的任一面上设置立体声麦克7都是可以的。
在本实施例中，例如CPU37进行与实施例1的转动检测部251及监视器显示控制部252(参照图5)相同的动作。即，CPU37进行显示部23中显示的预览用的图像的上下方向及左右方向的控制、表示摄影模式的信息的显示指示、对声音处理部11的摄影模式的通知等。此外，声音处理部11进行基于例如CPU37通知的摄影模式的声音补正处理等处理。此外，图像处理部9执行与实施例1相同的动作(例如面部检测处理等)。
如上所述，在能够切换不转动的多个摄像部(第一摄像部511及第二摄像部512)是否需要动作的情况下，也能对与图像同时取得的声音进行与显示方向及摄影方向的关系(例如摄影模式)和图像中的特定被摄体的状态(例如人物的位置及面部的大小)相适应的声音补正处理。因此能够得到与摄影者的摄影意图相适应的声音。
另外，作为本实施例，示意了在包括两个摄像部(第一摄像部511及第二摄像部512)的摄像装置中实施本发明的例子，对于包括大于等于三个的摄像部的摄像装置，也同样可以实施本发明。
此外，本实施例是在包括能够切换是否需要摄影的多个摄像部511、512的摄像装置中实施本发明的例子，对于包括能够切换是否需要显示的多个显示部的摄像装置，也能与本实施例同样地实施本发明。此外，对分别包括能够切换是否需要摄影的多个摄像部和能够切换是否需要显示的多个显示部的摄像装置，也能与本实施例同样地实施本发明。它们与对显示部及摄像部中的一方或双方能够转动的摄像装置能够实施本发明(参照实施例1、实施例3及实施例4)是同样的，因此省略详细的说明。
此外，并不限定于摄像部及显示部，也可以包括多个能够切换是否需要收音的立体声麦克。进而，还可以与进行摄影的摄像部或进行显示的显示部的切换或它们的转动联动地切换进行收音的立体声麦克。
<实施例6>
如图17、图19A及图19B、图21所示的摄像装置那样，在摄像部51独立于立体声麦克7转动或切换是否摄影的情况下，会出现摄像部51取得的图像与立体声麦克7取得的各个声音的声道不对应的情况。例如，在使图19A及图19B的纸面左侧的麦克收音的声音属于右声道，纸面右侧的麦克收音的声音属于左声道的情况下，在图19A所示的状态(显示方向与摄影方向是相反的方向。通常摄影模式。)下，图像与声音的声道相对应，但在图19B所示的状态(显示方向与摄影方向为大致相同的方向。自拍模式。)下，变得不对应。
具体说明该情况。在上述例子中图19A的通常摄影模式的情况下，朝向摄影方向(纸面内侧方向)时左侧(纸面左侧)的麦克收音的声音成为左声道，右侧(纸面右侧)的麦克收音的声音成为右声道。即，图像与声音的声道是对应的。与此相对，在图19B的自拍模式的情况下，朝向摄影方向(纸面外侧方向)时右侧(纸面左侧)的麦克收音的声音成为左声道，左侧(纸面右侧)的麦克收音的声音成为右声道。即，图像与声音的声道变得不对应。
对此，作为实施例6参照附图说明解决该问题的结构的例子。另外，本实施例可以解释为上述的实施例1及实施例3～5的变形例。
在本实施例中，例如上述的控制切换部112(参照图9)进行控制声音的声道的处理。参照图22说明该控制切换部112的具体例子。图22是表示本实施例涉及的摄像装置中包括的控制切换部112的主要部分结构的模块图。如图22所示，控制切换部112基于作为表示摄像部51的摄影方向与立体声麦克7收音的方向的关系的信息的图像声音关系信息，决定对输入的各声道的声音(Lch输入、Rch输入)进行输出的声道(Lch输出、Rch输出)。
图像声音关系信息可以由例如CPU37基于摄影模式信息(也可以解释为表示转动部25、显示系统转动部25A及光学系统转动部25B的转动状态的信息、表示进行摄影的摄像部511、512及进行显示的显示部23的信息)和进行收音的立体声麦克的配置等生成。另外，在如图17、图19A及图19B、图21所示的摄像装置那样，通过摄影模式决定图像与声音的声道是否对应的情况下，也可以将图像声音关系信息作为摄影模式信息。
例如，在上述的例子中图19A的通常摄影模式的情况下，图像与声音的声道相对应，因此不互换输入声道与输出声道地(将Lch输入作为Lch输出，将Rch输入作为Rch输出)进行输出。与此相对，在图19B的自拍模式的情况下，图像与声音的声道变得不对应，因此互换输入声道与输出声道地(将Lch输入作为Rch输出，将Rch输入作为Lch输出)进行输出。
以上述方式，在由于摄像部及显示部的转动或多个摄像部的摄影及多个显示部的显示的切换，会产生图像与声音的声道不对应的结构中，也能在收音后进行补正以使图像与声音的声道相对应。
另外，如实施例5所述，通过包括能够切换是否需要收音的多组立体声麦克，根据摄影模式切换收音的立体声麦克，也能够使图像与声音的声道相对应。
此外，通过采用实施例1所示的摄像装置那样只有显示部23转动的结构，或者摄像部51与立体声麦克7联动地转动的结构，能够无须适用本实施例。
<变形例>
对于本发明的实施方式的摄像装置及再生装置，可以由微计算机等控制装置执行图像处理部9或图像处理装置9a、声音处理部11、声音处理装置11a等的动作。进而，可以通过将这种控制装置实现的功能的全部或一部分作为程序记载，并在程序执行装置(例如计算机)上执行该程序，来实现该功能的全部或一部分。
此外，并不限定于上述情况，图1、图16及图20所示的摄像装置，图1、图6、图16、图18及图20所示的图像处理部9，图1、图9、图16、图18及图20所示的声音处理部11，图15所示的再生装置15、图像处理装置9a及声音处理装置11a可以由硬件或硬件与软件的组合实现。此外，在使用软件构成摄像装置、图像处理部9、图像处理装置9a、声音处理部11及声音处理装置11a的一部分的情况下，关于由软件实现的部件的模块表示该部件的功能模块。
以上对本发明的一实施例进行了说明，本发明并不限定于这些实施例，在其主旨范围内可以进行变形及变更。

Claims (12)

1.一种摄像装置，其特征在于包括以下结构：
至少一个摄像部，通过摄影取得图像；
至少一个收音部，与所述摄像部的摄影同时进行收音以取得声音；
特定被摄体检测部，从所述图像中检测特定被摄体；
至少一个显示部，显示所述图像；
方向关系检测部，检测所述显示部显示所述图像的方向与所述摄像部摄影的方向的相对关系；以及
声音补正部，根据由所述特定被摄体检测部得到的特定被摄体的检测结果和所述方向关系检测部检测出的关系，对所述收音部取得的所述声音进行声音补正处理。
2.根据权利要求1所述的摄像装置，其特征在于，
还包括转动部，该转动部能够使所述显示部及所述摄像部中的至少一个转动；
在所述方向关系检测部基于该转动部检测出所述显示部显示所述图像的方向与所述摄像部摄影的方向比指定程度更加接近，并且所述特定被摄体检测部从所述图像中检测出特定被摄体的情况下，
所述声音补正部对所述收音部取得的所述声音进行所述声音补正处理。
3.根据权利要求1所述的摄像装置，其特征在于，
还包括通知部，该通知部通知所述声音补正处理的内容；
在所述声音补正部对所述收音部取得的所述声音进行所述声音补正处理时，所述通知部通知该声音补正处理的内容。
4.根据权利要求1所述的摄像装置，其特征在于，
所述声音补正部进行对所述收音部取得的所述声音中从所述特定被摄体存在的方向到来并被收音的成分进行增强的处理，作为所述声音补正处理之一。
5.根据权利要求1所述的摄像装置，其特征在于，
还包括确定部，该确定部在所述特定被摄体检测部检测出多个特定被摄体的情况下，确定该多个特定被摄体中最大的特定被摄体；
所述声音补正部进行对所述收音部取得的所述声音中从所述确定部确定的特定被摄体存在的方向到来并被收音的成分进行增强的处理，作为所述声音补正处理之一。
6.根据权利要求1所述的摄像装置，其特征在于，
还包括比较部，该比较部在所述特定被摄体检测部检测出多个特定被摄体的情况下，对该多个特定被摄体的各自的特征与预先取得的特定被摄体图像的特征进行比较；
在由所述比较部确定特征一致的特定被摄体存在的情况下，所述声音补正部进行对所述收音部取得的所述声音中从该特定被摄体存在的方向到来的成分进行增强的处理，作为所述声音补正处理之一。
7.根据权利要求1所述的摄像装置，其特征在于，
所述声音补正部进行如下处理中的至少一个处理，作为所述声音补正处理之一：
信号水平调整处理，对所述收音部取得的所述声音中从特定位置到来并被收音的成分的水平进行调整；
频带水平调整处理，对所述声音的特定频带的水平进行调整。
8.根据权利要求1所述的摄像装置，其特征在于，
所述特定被摄体是人物的面部。
9.根据权利要求1所述的摄像装置，其特征在于，
还包括图像声音关系检测部，该图像声音关系检测部检测所述摄像部摄影的方向与至少两个所述收音部收音的各个方向的相对关系；
在所述收音部对属于不同声道的各个所述声音进行收音时，
所述声音补正部根据所述图像声音关系检测部检测出的关系，补正所述收音部取得的声音所属的声道。
10.根据权利要求9所述的摄像装置，其特征在于，
还包括转动部，该转动部能够使所述摄像部独立于所述收音部地转动；
所述图像声音关系检测部基于该转动部检测相对于所述摄像部摄影的方向至少两个所述收音部收音的各个方向有无互换，
在所述图像声音关系部检测出所述互换的情况下，所述声音补正部将检测出所述互换的各个所述收音部取得的所述声音所属的声道互换。
11.一种再生装置，其特征在于，包括以下结构：
再生部，对摄影取得的图像和与该图像的摄影同时进行收音取得的声音进行再生；
方向关系检测部，检测所述图像摄影的方向与摄像时所述图像显示的方向的相对关系；以及
声音补正部，根据所述图像中的特定被摄体和所述方向关系检测部检测出的关系，对所述再生部再生的所述声音进行声音补正处理。
12.根据权利要求11所述的再生装置，其特征在于，
还包括以下结构：
至少一个摄像部，通过摄影取得所述图像；
至少一个收音部，与所述摄像部的摄影同时进行收音以取得所述声音；
至少一个显示部，显示所述图像；
转动部，能够使所述显示部及所述摄像部中的至少一个转动；
记录部，将表示该转动部的转动状态的转动信息与所述图像及所述声音一起进行记录；以及
特定被摄体检测部，从所述图像中检测特定被摄体，
在所述方向关系检测部根据所述记录部中记录的所述转动信息检测出所述显示部显示所述图像的方向与所述摄像部摄影的方向比指定程度更加接近，并且所述特定被摄体检测部从所述图像中检测出特定被摄体的情况下，
所述声音补正部对所述再生部再生的所述声音进行所述声音补正处理。
CN2010102649812A 2009-08-28 2010-08-26 摄像装置及再生装置 Pending CN102006403A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-198247 2009-08-28
JP2009198247 2009-08-28
JP2010150959A JP2011071962A (ja) 2009-08-28 2010-07-01 撮像装置及び再生装置
JP2010-150959 2010-07-01

Publications (1)

Publication Number Publication Date
CN102006403A true CN102006403A (zh) 2011-04-06

Family

ID=43625053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102649812A Pending CN102006403A (zh) 2009-08-28 2010-08-26 摄像装置及再生装置

Country Status (3)

Country Link
US (1) US8401364B2 (zh)
JP (1) JP2011071962A (zh)
CN (1) CN102006403A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379278A (zh) * 2012-04-25 2013-10-30 索尼公司 显示控制装置和显示控制方法
CN111050269A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 音频处理方法和电子设备
WO2022000174A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 音频处理方法、音频处理装置、电子设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011101110A (ja) * 2009-11-04 2011-05-19 Ricoh Co Ltd 撮像装置
JP5656586B2 (ja) * 2010-11-26 2015-01-21 キヤノン株式会社 撮像装置とその制御方法並びに音声処理装置及び方法
WO2012091938A1 (en) 2010-12-30 2012-07-05 Dolby Laboratories Licensing Corporation Ranking representative segments in media data
JP5855346B2 (ja) * 2011-03-25 2016-02-09 オリンパス株式会社 音声処理装置、音声処理方法、およびプログラム
US20130321625A1 (en) * 2011-03-28 2013-12-05 Nikon Corporation Electronic device and information transmission system
JP5170278B2 (ja) * 2011-04-07 2013-03-27 ソニー株式会社 表示制御装置、表示制御方法、プログラム、および表示制御システム
CN103458210B (zh) * 2013-09-03 2017-02-22 华为技术有限公司 一种录制方法、装置及终端
JP2015169828A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 撮像装置
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
JP6515562B2 (ja) * 2015-02-10 2019-05-22 リコーイメージング株式会社 撮像装置
JP2016189584A (ja) * 2015-03-27 2016-11-04 パナソニックＩｐマネジメント株式会社 撮像装置
JP6598543B2 (ja) * 2015-07-16 2019-10-30 キヤノン株式会社 発光制御装置およびその制御方法
US10104282B2 (en) 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US9986150B2 (en) * 2015-09-30 2018-05-29 Ricoh Co., Ltd. Algorithm to estimate yaw errors in camera pose
CN108510987B (zh) * 2018-03-26 2020-10-23 北京小米移动软件有限公司 语音处理方法及装置
US11151993B2 (en) * 2018-12-28 2021-10-19 Baidu Usa Llc Activating voice commands of a smart display device based on a vision-based mechanism
JP6793369B1 (ja) * 2019-11-20 2020-12-02 パナソニックＩｐマネジメント株式会社 撮像装置
JP6739064B1 (ja) * 2020-01-20 2020-08-12 パナソニックＩｐマネジメント株式会社 撮像装置
US11843853B2 (en) * 2020-04-03 2023-12-12 Canon Kabushiki Kaisha Image pickup apparatus including display device capable of providing an appropriate display image and control method therefor
CN111580771B (zh) * 2020-04-10 2021-06-22 三星电子株式会社 显示装置及该显示装置的控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312790A (ja) * 1996-05-21 1997-12-02 Sharp Corp 音声記録制御装置
CN101189913A (zh) * 2005-06-01 2008-05-28 松下电器产业株式会社 多声道拾音装置、多声道声音再现装置以及多声道拾音再现装置
JP2009159109A (ja) * 2007-12-25 2009-07-16 Sony Corp 自動撮像装置及び自動撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3106029B2 (ja) 1993-04-14 2000-11-06 シャープ株式会社 カメラ一体型映像音声記録装置
JP3338220B2 (ja) * 1994-12-22 2002-10-28 アイワ株式会社 音響装置
JP3426105B2 (ja) * 1997-04-25 2003-07-14 任天堂株式会社 ビデオゲームシステムおよびビデオゲーム用記憶媒体
JPH11136553A (ja) 1997-10-29 1999-05-21 Canon Inc 撮像装置
JP4498296B2 (ja) 2006-03-23 2010-07-07 三洋電機株式会社 物体検出装置
US8218033B2 (en) 2007-09-10 2012-07-10 Sanyo Electric Co., Ltd. Sound corrector, sound recording device, sound reproducing device, and sound correcting method
JP2009065587A (ja) 2007-09-10 2009-03-26 Sanyo Electric Co Ltd 音声記録装置及び音声再生装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09312790A (ja) * 1996-05-21 1997-12-02 Sharp Corp 音声記録制御装置
CN101189913A (zh) * 2005-06-01 2008-05-28 松下电器产业株式会社 多声道拾音装置、多声道声音再现装置以及多声道拾音再现装置
JP2009159109A (ja) * 2007-12-25 2009-07-16 Sony Corp 自動撮像装置及び自動撮像方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379278A (zh) * 2012-04-25 2013-10-30 索尼公司 显示控制装置和显示控制方法
CN103379278B (zh) * 2012-04-25 2017-12-19 索尼公司 显示控制装置和显示控制方法
CN107682615A (zh) * 2012-04-25 2018-02-09 索尼公司 显示控制装置和显示控制方法
CN107743189A (zh) * 2012-04-25 2018-02-27 索尼公司 显示控制装置和显示控制方法
US10129482B2 (en) 2012-04-25 2018-11-13 Sony Corporation Imaging apparatus and display control method for self-portrait photography
US10432867B2 (en) 2012-04-25 2019-10-01 Sony Corporation Imaging apparatus and display control method for self-portrait photography
US11202012B2 (en) 2012-04-25 2021-12-14 Sony Corporation Imaging apparatus and display control method for self-portrait photography
CN111050269A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 音频处理方法和电子设备
WO2022000174A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 音频处理方法、音频处理装置、电子设备

Also Published As

Publication number Publication date
JP2011071962A (ja) 2011-04-07
US20110052139A1 (en) 2011-03-03
US8401364B2 (en) 2013-03-19

Similar Documents

Publication Publication Date Title
CN102006403A (zh) 摄像装置及再生装置
EP2619761B1 (en) Enriching digital photographs
JP5685732B2 (ja) 映像抽出装置、プログラム及び記録媒体
JP2009156888A (ja) 音声補正装置及びそれを備えた撮像装置並びに音声補正方法
KR101626004B1 (ko) 디지털 영상처리장치에서 ｒａｗ포맷을 선택적으로 지원하는 방법 및 장치
US20060215052A1 (en) Image recording and reproducing device and key assignment changing method
KR101737081B1 (ko) 디지털 촬영 장치 및 그 제어 방법과 이를 기록한 기록 매체
US20120218377A1 (en) Image sensing device
JP2009065587A (ja) 音声記録装置及び音声再生装置
US8687076B2 (en) Moving image photographing method and moving image photographing apparatus
CN103248815A (zh) 摄像装置、摄像方法
JP2011250340A (ja) 撮像装置およびその制御方法
CN106791339A (zh) 成像系统及其控制方法
JP2005159731A (ja) 撮像装置
JP2019106604A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US20120026381A1 (en) Digital image signal processing method, digital image signal processing apparatus and recording medium having recorded thereon the method
JP2012119803A (ja) 超広角映像の記録及び再生装置
JP5668466B2 (ja) 画像処理装置、その制御方法およびプログラム
CN102591107B (zh) 信息处理设备和信息处理方法
KR101009832B1 (ko) 디지털 카메라에서 이미지 합성 장치 및 방법
JP2006339728A (ja) 撮像装置及びそのプログラム
JP2005202037A (ja) 立体カメラ
JP5762168B2 (ja) 撮像装置及び再生装置
KR101411908B1 (ko) 얼굴 인식을 수행하는 디지털 영상 처리 장치의 제어 방법및 이 방법을 채용한 디지털 영상 처리 장치
JP2011114769A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110406