CN101729771B - 相机、声音播放装置以及声音播放方法 - Google Patents

Abstract

本发明提供相机、声音播放装置以及声音播放方法，该相机能在根据多个图像播放合成静态图像或动态图像的时候，进行成为没有不适感的音响效果的声音收录，该播放装置以及播放方法能在根据多个图像播放合成静态图像或动态图像的时候，以没有不适感的音响效果来播放声音。该相机具有对被摄体进行连续摄影的摄像部(2)和能变更来自被摄体方向的声音的收音范围的左右声音收录部(7)，能将通过摄像部(2)连续获得的多个图像合成起来，生成合成图像，在对多个图像进行连续摄影时，根据图像动作在左右声音收录部(7)中变更收音范围(33a、33b)。

Description

相机、声音播放装置以及声音播放方法

技术领域

本发明涉及相机和声音播放装置，更详细而言，涉及摄影时能录音的相机以及该相机所摄影的摄影图像的声音播放装置以及声音播放方法。

背景技术

近些年来大画面电视机普及开来，在大画面电视机上播放显示摄影图像进行欣赏。另外，由于电视机的画质提升、消耗电力降低，因而还如海报那样显示摄影图像，将图像作为适于用户生活空间的室内装饰进行欣赏。进而，用于取入所摄影的图像数据，用于显示能播放幻灯片的数字图像的市场上的数字相框(Digital photo frame)也普及开来。这样，最近人们通过摄影图像来装点着生活。

对于以适于用户生活空间的室内的感觉来进行图像显示，大多使用壮美的风景或美丽的花鸟风月等安抚心灵的内容，这就要求不同于以往的动态图像的摄影手法以及所摄影的图像的显示方法。

对于所摄影的图像显示，提出了合成多个图像，进行全景图像显示。例如，专利文献1中公开了一种图像显示装置，其通过获取成为合成图像的图像之一的整体尺寸来表现全景图像整体，进行具有扣人心弦的显示。另外，还提出了使用全景图像合成多个图像，在纵横比为16∶9的大型画面上对全景图像进行静态图像显示。

[专利文献1]日本特开平5-308553号公报

另外，当以适于用户生活空间的室内的感觉来显示摄影图像时，如果播放摄影时所录音的声音则会感到怀念，还能沉浸在过去的回忆中。以往提出有各种摄影时收录声音的技术。例如在专利文献2中公开了由单声道声音图像向立体声声音图像转换的声源稳定化装置。即，该声源稳定化装置使用图像知识数据库的信息，从所分割的图像来解析图像内的物体、该物体的动作(位置)和相机的操作等，从声音信息中分离被认为是由物体发出的声源，将所分离的声源重新配置在适于视频的声场空间上。

[专利文献2]日本特开2000-295700号公报

这样，例如通过进行图像合成，能获得适合大画面的图像。而且在播放该图像时，通过播放摄影时所收录的声音，摄影者(或者欣赏者)能获得安抚效果和沉浸在回忆中。但是，在摄影者改变相机朝向对被摄体进行连续摄影时，会导致声源位置移动，无法进行适合图像欣赏的声音播放。

关于这点，在上述专利文献1所公开的图像显示装置中完全不涉及声音播放。另外，在专利文献2公开的装置中，将单声道声音图像转换为立体声声音图像。另外，对于当今市面上销售的数码相机，想到了例如运动会或联欢会上能收录小孩子声音的用途，可对应于视野内的声音，但是并没有考虑到如全景摄影那样合成了多个图像的情况或播放动态图像的情况。

发明内容

本发明是鉴于这种情况而完成的，其目的在于提供一种根据多个图像播放合成静态图像或动态图像的时候，能进行成为没有不适感的音响效果的声音录音的相机、播放由相机所录音的立体声声音的播放装置以及播放立体声声音的声音播放方法。

根据本发明的一个方面，提供了一种相机，其特征在于，该相机具有：

摄像部，其对被摄体进行连续摄影；

立体声的声音收录部，其进行声音的录音；

收音变更部，其能变更上述声音收录部的收音范围；

图像合成部，其根据通过上述摄像部连续摄影得到的多个图像，生成合成图像；以及

控制部，在对上述多个图像进行摄影时，该控制部根据相机的动作、或者从上述摄像部输出的且根据相机的动作生成的图像数据，来变更上述收音变更部的收音范围。

根据本发明的另一个方面，提供了一种声音播放装置，该声音播放装置对利用如下相机录音的声音数据进行再现，所述相机具有：摄像部，其对被摄体进行连续摄影；立体声的声音收录部，其进行声音的录音；以及图像合成部，其根据通过上述摄像部连续摄影得到的多个图像，生成合成图像，其特征在于，该声音播放装置具有：

存储部，其存储连续摄影得到的图像数据，并将在连续摄影时判定出相机的动作之后对声音进行录音的声音收录部的输出信号存储成声音数据；

显示部，其播放显示上述图像数据；以及

控制部，其在上述显示部上显示上述图像数据并且在播放上述声音数据时判定出上述相机的动作之后，按照判定信号控制向声音生成部输入的声音数据。

根据本发明的还一个方面，提供了一种声音播放方法，对利用如下相机录音的声音数据进行再现，所述相机具有：摄像部，其对被摄体进行连续摄影；立体声的声音收录部，其进行声音的录音；以及图像合成部，其根据通过上述摄像部连续摄影得到的多个图像，生成合成图像，其特征在于，该声音播放方法具有：

存储步骤，其存储连续摄影得到的图像数据，并将在连续摄影时判定出相机的动作之后对声音进行录音的声音收录部的输出信号存储成声音数据；以及

控制步骤，其在显示部上显示上述图像数据并且在播放上述声音数据时判定出上述相机的动作之后，按照该判定信号控制向声音生成部输入的声音数据。

根据本发明，能够提供一种在根据立体声录音得到的多个图像来播放合成图像或动态图像时，能进行成为没有不适感的音响效果的声音录音的相机。另外，还能提供一种在根据多个图像来播放合成静态图像和动态图像时，以没有不适感的音响效果来进行声音播放的声音播放装置以及播放声音的声音播放方法。

附图说明

图1是表示本发明第1实施方式所涉及的相机和外部设备的构成的框图。

图2是说明本发明第1实施方式所涉及的相机的使用状态的图，(a)表示摄影时的情形，(b)表示向电视机等外部设备传送图像的情形。

图3是说明本发明第1实施方式所涉及的相机中的图像和声音的记录的图。

图4是表示本发明第1实施方式中根据连续摄影的图像来生成全景图像的情形的图，(a)是根据3帧图像生成全景图像的图，(b)表示进行在各帧中央部存在指向性的收音的情况下的声音播放，(c)是表示在全景图像中央部的图像的方向上收音的情况的图。

图5是表示本发明第1实施方式所涉及的相机中相机控制的动作的流程图。

图6是表示本发明第1实施方式的摄影/收音记录的动作的流程图。

图7是表示本发明第1实施方式中人作为主要被摄体的情况下的图像。

图8是表示本发明第1实施方式所涉及的相机中左右声音收录部的构成的框图。

图9是表示本发明第1实施方式所涉及的相机中进行图像端部图像记录的情形的图，(a)是表示相机与被摄体的位置关系的图，(b)是表示相机所摄影的连续图像的各帧的图。

图10是表示本发明第1实施方式的从右强调录音到左强调录音的动作的流程图。

图11是表示本发明第2实施方式的相机控制动作的流程图。

图12是表示本发明第2实施方式所涉及的相机中左右声音收录部的构成的框图。

图13是表示本发明第2实施方式所涉及的相机中，进行全景中央部图像的方向上的声音强调播放的情形的图，(a)是表示相机与被摄体的位置关系的图，(b)是表示与相机摄影的连续图像的各帧合成后的全景图像的图。

图14是表示本发明第2实施方式的全景中央部图像的方向上的声音强调的动作的流程图。

图15是说明本发明第1、第2实施方式的变形例所涉及的相机中图像和声音的记录的图，(a)是表示由相机进行摄影和声音收录的情形的图，(b)是表示在相机10a的位置上进行摄影的图像的图，(c)是表示在相机10b的位置上进行摄影的图像的图。

图16是表示在本发明第1、第2实施方式的变形例所涉及的相机中，使相机在纵长方向上移动并进行连续摄影的情形的图。

图17是表示改进了本发明第1实施方式后的第3实施方式所涉及的相机10和外部设备20的构成的框图。

图18是表示改进了图8后的第4实施方式所涉及的构成的框图。

图19是表示改进了图12后的第5实施方式所涉及的构成的框图。

符号说明

1    信号处理和控制部2   摄像部

3    变化判定部    4     记录部

6    操作判定部    7     左右声音收录部

8    显示部        9     时钟部

10   相机          10a   相机

10b  相机          12    通信部

15   用户(摄影者)  15a   眼睛

15b  眼睛          15c   耳朵

20   外部设备      21    信号处理和控制部

22   通信部        23    显示/播放部

24   显示优先部    25    遥控接收部

31a  视场角        31b   视场角

33a   收音范围  33b  收音范围

35    可听范围  41a  右侧麦克风

41b   左侧麦克风42a  AD转换器

42b   AD转换器  43a  加法器

43b   乘法器    43c  加法器

43d   加法器    43e  乘法器

43f   加法器    51a～51c图像

52a～52c声源位置53a～53c声源

55  树          56a～56c图像

57  人          58a～58c收音范围

59  树          61a～61c图像

62  全景图像

具体实施方式

下面，按照附图并使用应用了本发明的数码相机说明优选实施方式。本实施方式所涉及的数码相机在连续摄影的同时以符合状况的指向性来收录声音，成为在播放声音时没有不适感的音响效果。

图1是表示本发明第1实施方式所涉及的相机10和外部设备20的构成的框图。相机10是数码相机，具有信号处理和控制部1、摄像部2、变化判定部3、记录部4、操作判定部6、左右声音收录部7、显示部8、时钟部9和通信部12。

相机10内的信号处理和控制部1通过相机10专用的信号处理LSI等构成，控制相机10整体并且对从摄像部2输出的图像数据进行图像处理。摄像部2通过摄影透镜、将由该摄影透镜形成的被摄体像转换为图像数据的摄像元件等构成。

记录部4在通过信号处理和控制部1对从摄像部2输出的图像数据进行图像处理和压缩处理之后进行记录。变化判定部3使用从摄像部2输出的图像数据，判定相机的视野变化。即，如果相机10从右向左移动，则图像会从左向右移动，相机10若从左向右移动则图像会从右向左移动，变化判定部3检测该动作。根据变化判定部3的判定结果，进行考虑到相机10的动作的声音的收录(也称为集录)。另外，变化判定部3使用图像数据，检测人脸部的存在，在存在脸部部分的情况下，还通过其位置以及口、鼻、耳等进行人体或动物等的脸部器官位置的判定。

左右声音收录部7具有配置在相机主体左右的立体声麦克风7a，分别记录左右声音。另外，该左右声音收录部7能对来自立体声麦克风的声音信号进行信号处理，变更声音的收录范围。即，能够在收音(也被称为集音)时变更指向性。从左右声音收录部7输出的立体声声音数据在信号处理和控制部1进行了信号处理之后，与图像数据一起记录在记录部4中。

操作判定部6具有释放按钮等操作部件以及与之联动的开关等。通过操作判定部6所判定出的操作状态被发送给信号处理和控制部1，信号处理和控制部1执行对应操作状态的处理。时钟部9具有日期时间等日历/计时功能，输出摄影时的摄影日期时间信息等。摄影日期时间信息与图像数据一起记录在记录部4中。

显示部8根据从摄像部2输出的图像数据，实时取景显示被摄体像以用于取景，另外，播放显示记录部4中所记录的图像数据。通信部12进行与电视机等外部设备20之间的发送和接收。作为通信单元，能通过无线LAN、靠近无线通信、红外线通信、基于USB(Universal Serial Bus：通用串行总线)电缆等的有线通信等实现，并发送由相机10所摄影的图像数据和声音数据。另外，近些年来，为了向高画质显示器发送图像/声音，倾向于使用HDMI(High-Definition Multimedia Interface：高清晰多媒体接口)等，通信部12具有HDMI端子，也可以是这种情况下的有线通信。

电视机和图片浏览器(Digital photo frame和Photo Viewer：数码相框和照片浏览器)等外部设备20具有信号处理和控制部21、通信部22、显示/播放部23、显示优先部24和遥控(remote control)接收部25。信号处理和控制部21与相机10的信号处理和控制部1同样地由外部设备20专用的信号处理LSI等构成，控制外部设备20整体，并且对通过通信部22接收的图像数据和立体声声音数据的播放显示进行控制。

通信部22与相机10进行通信，从相机10接收图像数据和立体声声音数据。与相机10的通信部12同样地能进行无线LAN、靠近无线通信、红外线通信、基于USB电缆、HDMI电缆等的有线通信等的通信。显示优先部24判定图像的优先度。即，进行是否为最初显示在内置于相机10内的显示部8上的优先图像的判定。

显示/播放部23具有薄型且大画面的监视器和扬声器，进行从相机10接收的图像数据和立体声声音数据的播放显示。在播放时，信号处理和控制部21按照显示优先部24中是否为优先图像的判定结果，进行播放控制。并且，在外部设备20是电视机的情况下，还进行通常的电视机播出等显示。

遥控接收部25通过红外线通信从遥控(remote control)装置接收指示信号。通过遥控装置，例如能从相机10接受或播放或中断所指定的图像和声音。

接着使用图2说明该相机10的使用方法。如图2(a)所示，用户15具有相机10，通过摄像部2的摄影透镜对被摄体像进行摄影，并且还能通过立体声麦克风7a记录来自前方的声音。如图2(b)所示，这样摄影得到的图像和声音通过相机10的通信部12和外部设备20的通信部22，被发送到外部设备20。外部设备20通过显示/播放部23播放显示所接收到的图像和声音。

接着使用图3和图4说明本实施方式的相机10的摄影与声音记录。图3表示通过相机10进行摄影和声音收录的情形。用户最开始在相机10a的位置开始摄影，朝相机10b的位置移动相机10，其间进行连续性摄影。此时，通过重叠所获得的多个图像的相似部分进行合成，从而如图4(a)所示，能获得静态全景图像。在该例子中，合成3幅图像51a、51b、51c，生成静态全景图像。

图4(b)与图4(a)同样，是合成了3幅图像51a、51b、51c的静态全景图像。摄影时，如果记录了各图像51a、51b、51c的画面中央部方向的声音，则播放时声源53a、53b、53c的位置会从左向右移动，成为不自然的声音播放。

于是，在本实施方式中，当在相机10a的位置上进行摄影的情况下，如图3所示，在视场角31a中靠右边的收音范围33a收音，当在相机10b的位置进行摄影的情况下，在视场角31b中靠左边的收音范围33b收音。将这样摄影得到的图像合成为全景图像，播放声音，则图像51a的摄影时的声音的声源位置52a和图像51c的摄影时的声音的声源位置52b大致处于全景图像的中央。即，如图4(c)所示，从全景图像大致中央的声源位置52c传来所收音的声音。几乎不存在图4(b)中所说明的声源位置的移动，能以自然的感觉进行声音播放。

这样，在本实施方式中，通过校正来抑制声音的变化，不会感到是将按照时间序列摄影的图像贴合起来制作的图像。并且，在本实施方式中是将3幅图像贴合，但是，当然也可以花费时间记录多幅图像，从其中选择多幅图像合成图像，播放声音。

接着，使用图5所示的流程图说明本实施方式的动作。该流程图中由相机10的信号处理和控制部1进行处理。

进入图5所示的相机控制的动作，首先进行是否为摄影模式的判定(S101)。该相机10具有摄影模式和播放模式。在步骤S101中判定的结果为摄影模式的情况下，进行图像的取入，进行脸部检测(S102)。在该步骤中，获得从摄像部2输出的图像数据以用于实时取景显示，使用该获得的图像数据，由变化判定部3进行脸部检测。接着进行图像显示(S103)。这里，根据在步骤S102中获得的图像数据，在显示部8上显示被摄体像。摄影者能在观察该被摄体像的同时进行取景。

进行了图像显示后，进行是否检测到了脸部的判定(S104)。在步骤S102中进行脸部检测，此时在本步骤中判定是否从图像之中检测出了脸部的一部分。在该判定的结果是判定为检测到了脸部的情况下，检测脸部位置和口、耳、目等人或动物等的脸部器官的位置(S105)。在此，检测到的脸部位置在对焦和曝光控制时使用。

如果进行了人或动物等的脸部位置和口的位置判定，或在步骤S104的判定结果中判定为不存在脸部的情况下，接着进行是否开始记录的判定(S106)。此时检测释放按钮的操作状态，判定是否开始动态摄影和全景摄影等。在该判定的结果是不开始记录的情况下，返回步骤S104，执行上述动作。

在步骤S106的判定结果为开始记录的情况下，进行摄影/收音记录(S107)。在该子程序内，连续进行图像和声音的记录，并且随时一并进行画面的动作检测等，按照该动作检测结果变更收音范围。摄影/收音动作持续进行到在该子程序内进行结束判定为止。后面将使用图6所示的动作来描述该摄影/收音记录的子程序。

在步骤S101中判定的结果是没有设定摄影模式的情况下，进行是否设定了播放模式的判定(S112)。在该判定的结果是没有设定播放模式的情况下，返回步骤S101。另一方面，在步骤S111的判定结果是设定了播放模式的情况下，进行播放(S112)。

在该步骤S112中，从记录部4读出所记录的摄影图像，以缩略图形式在显示部8显示图像，当通过操作部选择了图像时，则放大显示该图像。另外，当在显示图像的同时一并记录着立体声声音数据的情况下，对其(立体声声音数据)进行播放。并且，如果在相机10内没有设置扬声器，则仅播放图像，不播放声音。

如果进行了图像的播放，则接着进行是否进行发送的判定(S113)。此时，为了向电视机等外部设备20发送图像，进行是否操作了指示发送用的操作部件的判定。在该判定的结果是发送的情况下，进行显示图像的发送(S114)。在该步骤中，将在步骤S112中正在显示的图像发送给外部设备20。并且，在选择了多幅图像的情况下，也能一并发送这些图像。在发送了显示图像时，在步骤S113的判定结果为未发送，或者在步骤S117中摄影/收音记录已结束，则结束相机控制流程，如果电源仍然导通，则返回步骤S101，执行上述动作。

接着，使用图6所示的流程图说明步骤S107中的摄影/收音记录的子程序。

进入该流程后，首先进行是否为全景摄影的判定(S1)。此时，进行这样的判定：是否通过操作部件设定了全景摄影模式。可以在摄影之后判定是否为对应全景的摄影，制作全景，然而在本实施方式中，为了简化动作，说明使用操作判定部6通过用户设定来进行全景摄影模式的情况。

在步骤S1中判定的结果是没有设定全景摄影模式的情况下，进行与通常的动态图像等相同的连续摄影(S11)。接着，判定是否为望远摄影(S12)。此时，判定是否通过变焦操作向望远侧进行了操作。在该判定的结果为望远的情况下，进行中央集中收音(S13)，另一方面，在判定的结果并非望远的情况下，进行强调左右的立体声感觉的收音(S14)。即，按照相机10的摄影透镜2a的视场角，切换为：重点录音中央，或拓宽收音范围来进行强调立体声感觉的录音。并且，通过左右声音收录部7来进行该收音范围的变更。

如果进行了中央集中录音或立体声强调录音，则接下来进行是否结束通常摄影的判定(S15)。此时，进行是否通过释放按钮进行了结束操作的判定。在该判定的结果是没有结束的情况下，返回步骤S11，继续进行摄影。另一方面，在是结束的情况下，结束摄影/收音记录的子程序，返回原本的动作。

在步骤S1的判定结果是全景摄影模式的情况下，首先进行摄像，记录图像端部图像(S2)。端部图像的记录例如是记录在其他存储器区域中，或是将端部图像的特征保留于标签上等进行的，使得能在这些处理之后进行使用。通过进行该端部图像记录，在将相机10移动到箭头方向的情况下，如图9(a)所示，画面内的端部图像(图9(b)的例子中为树55)依次在图像56a→图像56b→图像56c内移动，能生成以端部图像(树55)为中心的全景图像。而且，即便移动了相机10，也始终进行在端部图像(树55)的方向上具有声音收录的指向性的录音(记录像方向上的录音)，减轻了声音播放时的不自然程度。

开始端部图像记录，进行连续摄影(S3)。接着，最开始判定是否在中央存在既定大小的脸部(S4)。此时，通过变化判定部3判定是否在画面大致中央处存在既定大小的脸部、例如画面宽度的1/5的脸部。这是由于，在图7所示的场景之中，当从左侧开始摄影时，如果人57占据了既定以上的大小，则该人57为主要被摄体的可能性就很高。

这种情况下，由于存在人57在观察风景的同时说话的可能性，因而在摄影最开始时(步骤S105的定时)判定到存在脸部的情况下，从步骤S4分支到步骤S21，进行脸部方向跟踪强调录音(S21)。在脸部方向跟踪强调录音中，按照相机10的动作依次变更收音范围58a～58c，在人57的方向上收音。这就能进行适合以人57为主体的摄影的收音。

在步骤S4中判定的结果是最开始在中央不存在既定大小的脸部的情况下，进行画面的动作判定(S5)。如图9所示，通过相机10对准方向的变化来判定摄影图像是从左向右移动还是从右向左移动。接着进行画面动作是否为从左向右的判定(S6)。在该判定的结果是画面动作从左向右的情况下，将声音收录的强调方向从右强调转为左强调(S8)。另一方面，在画面动作是从右向左的情况下，从左强调录音转为右强调录音(S7)。

使用图10所示的流程图说明步骤S8中从右强调录音转为左强调录音的动作。进入该动作时，首先读出画面右端的像(S21)。接着进行记录像方向上的录音(S22)。此时，如在图4和图9中说明的那样，最开始朝画面右侧的方向收音，随着画面移动逐渐朝画面左侧进行收音。该收音动作是通过左右声音收录部7进行的。

并且，对于步骤S7中从左强调录音转为右强调录音，只要进行与从右强调录音转为左强调录音相反的动作即可。另外，在图10所示的动作中，按照像在画面内的移动来移动收音方向，但是也可以仅检测画面动作的方向，单纯按照动作的方向，以数秒内移动120度的程度来变更收音范围。即，设想用户以既定的速度改变视场角，在不使用来自摄像部2的图像的情况下，也能够切换声音收录方向。

如果进行了步骤S7、S8或S21的强调录音，则接着判定摄影是否结束(S10)。在该步骤中，判定释放按钮的操作状态。在该判定结果为并非摄影结束的情况下，返回步骤S3，继续进行摄影。另一方面，在判定结果为结束的情况下，结束摄影/收音记录的子程序，返回原本的动作。

如上所述，本实施方式所涉及的相机10在全景摄影模式等连续摄影图像时，按照相机10的动作来移动收音范围。因此，在合成图像并播放显示时，声音的声源位置不会不自然地移动，能够以没有不适感的音响效果进行声音播放。

接着，说明用于改变收音范围的左右声音收录部7的构成和动作。如图8所示，左右声音收录部7由立体声麦克风7a、AD转换器42、加法/乘法器43构成。

立体声麦克风7a由右侧麦克风41a和左侧麦克风41b构成，配置在相机主体10的前表面侧。立体声麦克风7a与AD转换器42连接，对声音信号进行数字化。即，从右侧麦克风41a侧的AD转换器42a输出声音数据。另外，从左侧麦克风41b侧的AD转换器42b输出数字声音数据。

AD转换器42的输出端与加法/乘法器43连接，运算左右的声音差值。即，输出右侧麦克风41a侧的声音数据的AD转换器42a连接于加法器43a的正侧输入端和加法器43d的负侧输入端。另外，输出左侧麦克风41b的声音数据的AD转换器42b连接于加法器43a的负侧输入端和加法器43d的正侧输入端。

加法器43a的输出与乘法器43b的输入端连接，加法器43d的输出端与乘法器43e的输入端连接。乘法器43b和乘法器43e的控制端与信号处理和控制部1连接，输入乘法器43b、43e的增益。加法器43c的输入端连接着AD转换器42a的输出端和乘法器43b的输出端。加法器43f的输入端连接着AD转换器42b的输出端和乘法器43e的输出端。

加法/乘法器43的输出端是作为左右声音收录部7的输出部，与记录部4连接。即，加法器43c的输出端和加法器43f的输出端分别输出右侧声音数据和左侧声音数据，各声音数据通过这些输出端记录在记录部4内。

这样就构成了左右声音收录部7，能够对以立体声输入的左右声音数据中的任一个进行强调。由左右声音收录部7的2个麦克风41a、41b所输入的声音信号通过AD转换器42a、42b被转换为数字声音数据，通过加法器43a运算出右侧声音数据减去左侧声音数据的值，通过加法器43d运算出左侧声音数据减去右侧声音数据的值。即，通过加法器43a、43d运算出左右声音数据的差值。此时，所运算的差值是左右声音的差异，通过强调该差值，能够获得强调了向右或向左的扩散的声音数据，该相加运算是为此进行的前处理。

通过加法器43a、43d求出的差值在乘法器43b、43e中分别根据来自信号处理和控制部1的增益相乘，并在加法器43c、43f中将该相乘结果与右侧声音数据以及左侧声音数据相加。并且，由于加法器43a、43d的输出为正，因此实质上是相加。此时，如果增大乘法器43b、43e中某一个的增益，则会强调增益较大侧的声音，能够获得强调了向右或向左的扩散的声音输出。另外，通过增大双方的增益，能够获得重视中央的声音输出。信号处理和控制部1在步骤S7、S8、S13、S14、S21的定时针对乘法器43b、43e控制增益，从而能够改变扩散感。

这样，本实施方式的左右声音收录部7就能够使用一对相同性能的麦克风，使收音范围的方向从右向左或从左向右变化。另外，由于判定画面动作来控制左右声音收录部7的强调录音，因此即便摄影视野发生变化，也能够模拟地从一定的声源位置播放声音。

如上所述，根据本发明第1实施方式，由于按照画面动作改变收音范围，因此在根据多幅图像播放合成静态图像时，能够以没有不适感的音响效果进行声音播放。

接着使用图11至图14说明本发明第2实施方式。在本发明第1实施方式中，在相机10摄影时按照相机的动作来改变收音范围。在第2实施方式中，在摄影时不改变收音范围就进行立体声录音，在播放全景图像等合成图像时，按照相机的动作来改变声源的位置。本实施方式的构成与图1所示的第1实施方式的构成相同，因而省略说明。

使用图11所示的相机控制的流程图说明本实施方式的动作。在进入相机控制的动作时，首先进行是否设定为摄影模式的判定(S201)。步骤S201～S203与图5所示的第1实施方式的相机控制的动作相同，省略详细说明。其中，在步骤S202中取入图像时进行脸部检测，而在本实施方式中进行了省略。当然也可以进行脸部检测以进行曝光控制和自动调焦。

如果在步骤S203进行了图像显示(实时取景显示)，接着与步骤S106同样地进行是否开始记录的判定(S204)。此时，判定是否操作了释放按钮。在该判定的结果是未开始记录的情况下，返回步骤S201，执行上述动作。

在步骤S204的判定结果为开始记录的情况下，开始连续摄影，并且同时开始立体声录音(S206)。接着进行动作判定(S207)。在该步骤中，根据图像数据基于图像变化来判定相机10的动作。在该判定结果是存在动作的情况下，记录动作特征(S208)。此时，动作特征与图像数据一起记录在记录部4中。

在进行了动作特征记录后，或者在步骤S207的判定结果为不存在动作的情况下，接着进行是否结束记录的判定(S209)。在该步骤中，根据释放按钮的操作状态进行判定。如果该判定的结果为并非记录结束，则返回步骤S206，继续进行连续摄影。另一方面，如果判定的结果为记录结束，则结束该动作，重新返回步骤S201。

在步骤S201的判定结果并非摄影模式的情况下，接着进行是否设定了播放模式的判定(S211)。此时，判定是否操作了播放按钮等操作部件而由用户进行了播放开始指示。在该判定的结果为没有设定为播放模式的情况下，返回步骤S201。另一方面，如果判定的结果为设定了播放模式的情况下，接着进行是否为全景播放的判定(S212)。

在该步骤S212中，判定是否在步骤S208中与图像数据一并记录了动作特征。即，在记录了动作特征的情况下，通过合成多个帧能够获得全景图像。另外，在判定是否为全景播放时，也能够包括是否由用户设定了全景播放模式来进行判断。

在步骤S212中判定的结果并非全景播放的情况下，进行通常的动态图像播放(S213)，进行立体声播放(S214)。此时，播放在步骤S206中录像的动态图像和录音的声音。

在步骤S212中判定的结果是全景播放的情况下，进行图像连接播放(S221)。即，在该步骤中，将在步骤S206中摄影的连续图像的共同部分贴合起来以静态图像方式生成全景图像。接着，通过全景中央部图像的方向上的声音强调来播放声音(S222)。在该步骤中，判定所完成的全景图像中央部的图像，根据该图像位置和步骤S208中记录的动作特征数据，校正在各位置处获得的声音，以声源位置处于全景图像中央部的方式进行声音播放。

在该步骤S222中的声音强调下的声音播放是在图12所示的左右声音收录部7中进行控制的。在进行步骤S206中的立体声录音时，左右声音收录部7不进行声音强调，原样将左右的立体声声音记录在记录部4中，在步骤S222中通过声音强调来进行播放。后面将使用图12叙述左右声音收录部7中的声音播放。

另外，在进行步骤S222中的声音强调播放时，在第1实施方式中，如图9所示，以画面内端部的图像(图9(b)的例子中为树55)为目标取得声音的方向平衡。因此，需要在全景图像的中央部包含端部图像，在本实施方式中，即便在全景图像中央部不存在作为目标的端部图像，也能够使用检测相机处理时的角速度的传感器(例如陀螺传感器等)进行声音强调播放。后面将使用图13和图14叙述该声音强调播放。

如果进行了步骤S222中的采用声音强调的播放或步骤S214中的立体声播放，则接下来进行是否结束播放的判定(S215)。此时，根据是否再次操作了播放按钮等操作部件等而由用户作出了播放结束指示等来进行判定。在该判定的结果是不结束播放的情况下，返回步骤S212，继续进行播放动作。

在步骤S215的判定结果为结束播放的情况下，接下来进行是否进行发送的判定(S226)。此时，判定是否操作了发送按钮等操作部件而将显示中的播放图像发送给外部设备20。在该判定结果为发送的情况下，向外部设备20发送显示图像(S277)。如果发送了显示图像，或者步骤S226中的判定结果不是发送的情况下，结束相机控制的动作，从步骤S201起重新执行相机控制的动作。

接着，使用图12说明在步骤S222中进行全景中央部图像的方向上的声音强调处理的左右声音收录部7的构成。

图12是表示左右声音收录部7的构成的框图。该左右声音收录部7在播放时调整左右声音播放的平衡，进行声音强调处理。相比图8所示的第1实施方式，不同之处在于在AD转换器42与加法/乘法器43之间连接着记录部4，而各电路内的构成与第1实施方式的左右声音收录部7相同。

即，对右侧麦克风41a的声音信号进行AD转换的AD转换器42a的输出端与记录部4连接，通过该AD转换器42a进行AD转换且记录在记录部4中的声音数据输出到加法器43a、43c、43d。另外，对左侧麦克风41b的声音信号进行AD转换的AD转换器42b的输出端与记录部4连接，通过该AD转换器42b进行AD转换且记录在记录部4中的声音数据输出到加法器43a、43d、43f。

在上述第1实施方式中，声音收录部7在摄影时进行强调收音，变更收音范围，然而在本实施方式之中，摄影时通过AD转换器对来自立体声麦克风7a的声音进行数字化，在不变更该声音数据的收音范围的情况下原样记录在记录部4中。而且，在播放时根据从记录部4读出的声音数据，利用加法/乘法器43控制声音播放时左右的平衡。即，按照画面的移动来改变施加给乘法器43b、43e的增益，以仿佛声源存在于全景图像中央部图像的方向上那样进行声音播放。

接着，使用图13和图14说明步骤S222中全景中央部图像的方向上的声音强调的子程序。如上所述，在第1实施方式中，在检测全景图像中央部的图像的方向时，以画面内的端部图像(树55)为基准。在本实施方式中，即便在不存在这种端部图像的情况下，也能检测全景图像中央部的图像的方向。

图13(a)表示用于生成全景图像而连续摄影图像的情形。即，最开始在相机10a的位置(定时T1)开始摄影。此时，如果用相机10摄影，则如图13(b)所示，能够获得视场角θ的图像61a。接着，如果在中途的定时T2摄影，则作为目标物的树59会映入，能获得图像61b。而当到达终端，在相机10b的位置上(定时T3)摄影最后的图像，则能够获得图像61c。并且，这些图像61a～61c在步骤S206中(参见图11)获得并记录。

如果排列由相机10连续获得的图像61a～61c，则如图13(b)所示，通过合成这些图像，能够获得全景图像62。在该全景图像中央部存在作为目标图像的树59。本实施方式中，即便在全景图像的最开始和最后的图像中不存在共同的图像(树59)，由于在合成获得的全景图像的中央部存在树59，因而也能根据到该树进入视野为止的定时的差异，进行声音播放时的方向校正。

也就是说，如图13(a)所示，相机10a在定时T1获得视场角θ的图像并开始摄影，在相机10b的位置(定时T3)获得视场角θ的全景用图像的最后图像。在其间的定时T2，获得全景图像的中央图像。关于在定时T1和定时T2之间移动了何种角度Φ，能够根据视场角θ和在视场角内移动的图像的速度来判定。

如果图像在ΔT的时间内从视场角一端移动到另一端，则根据由角速度传感器获得的角速度v，可知将相机10移动了何种角度θ。在摄影中，在步骤S208中作为动作特征判定出该角速度v，并将该角速度v与图像一起记录。因此，通过使定时T1和定时T2的差值T2-T1乘以角速度v，能够确定应进行校正的收音角度。

接着，使用图14所示的流程图说明全景中央部图像的方向上的声音强调的子程序。进入该流程中，首先进行合成全景图像时的中央帧的判定(S501)。在该步骤中，图13的例子中，将位于全景图像中央部的图像61b判定为中央帧。接着，将中央帧的摄影定时设为T2(S502)。

接着，读出在定时T获得的声音(S503)。在该步骤中，从记录部4读出与所读出的图像数据对应的声音数据，将该声音的定时设为T。接着通过(T2-T)×θ/ΔT来求出校正角(S504)。在该步骤中，如使用图13所说明的那样，通过对各定时T与中央部的差值(T2-T)乘以角速度(v＝θ/ΔT)来求出校正角。

在运算出校正角后，接下来使用该校正角进行校正角声音强调(S505)。在该步骤中，按照校正角来改变施加给图12所示的左右声音收录部7的乘法器43b、43e的增益。由此，能够进行仿佛声源位置位于全景图像大致中央部的方向上的强调播放。

在进行了校正角声音强调之后，接着进行是否结束的判定(S506)。此时，按照播放按钮等操作部件的操作状态来判定播放是否结束。在该判定的结果为不结束的情况下，返回步骤S503，继续进行采用声音强调的声音播放。另一方面，在步骤S506中判定的结果是结束的情况下，返回原本的流程。

如上所述，在本实施方式的第2实施方式中，摄影时进行立体声录音，播放时按照画面动作进行采用声音强调的播放，以仿佛声源位置在中央部的方式进行声音播放。因此，能够防止在通过静态图像播放显示全景图像时，声源位置移动而成为不自然的声音播放的情况。

另外，在本实施方式中，即便端部图像(树55)不存在于最初和最后的画面内，也能通过运算求出校正角。因此，即便在相比第1实施方式更广的范围内进行全景摄影时，也能运算校正角，即便摄影方向较大地变化，也不必担心声音发生变化。

并且，本发明以声源仿佛位于中央部图像的方向上的方式进行声音强调，该方向除了中央部之外还能够适当进行变更。这种情况下，还能够手动设定T2的定时。

接着，使用图15和图16说明本发明第1和第2实施方式的变形例。即，在第1和第2实施方式中，连续进行摄影，使用由此获得的多个图像合成全景图像，以静态图像进行显示。相对于此，本变形例中设想到依次播放连续摄影的图像，按照动态图像那样进行播放的情况。根据本变形例，能够减少伴随相机视野变更而产生的不需要的声音的变化。

使用图15说明本变形例中相机10的摄影和声音记录。图15(a)表示通过相机10进行摄影和声音收录的情形。用户15最开始在相机10b的位置开始摄影，朝相机10a的位置移动相机10。此时，如果在相机10a的位置摄影图像，则能获得图15(b)所示的图像，如果在相机10b的位置摄影图像，则能获得图15(c)所示的图像。

如果对图15(b)、(c)所示的海边广阔的情景以连拍或动态图像进行摄影时一并进行录音，则会收录相当于各相机10的位置前方的视场角的狭窄范围内的声音。但是在该范围内，能够在脸部不动作的情况下，仅移动人的眼睛15a、15b。也就是说，相机10按照画面的移动变化对前方的声音进行收音，而摄影者的耳朵15c则有时会听到可听范围35的声音。

当播放在这种状况下录音的声音时，如果随着相机10的动作而不停变化，则无法相应地欣赏图像和声音。于是，在本变形例中，即便画面移动，声源也处于画面内的既定场所，声音仿佛从该处传来。

本变形例如第1实施方式那样还能应用于摄影时，此处说明应用于第2实施方式的例子。这种情况下，在图11所示的相机控制的动作中，只要在步骤S221、S222中在播放动态图像而不是静态图像全景图像时进行声音强调播放即可。即，进行这样的播放：一边播放显示动态图像，一边始终在记录仿佛相机朝向全景情况下的画面中央时的声音。

例如图16所示，考虑到了一边沿着大树树干从下方到顶点缓慢地向上看一边拍摄动态图像的情况。这种情况下，如果蝉在树干上鸣叫，则在拍摄最下方时会从画面中央听到蝉鸣，而随着画面朝向顶端，以从画面下侧听到蝉鸣的方式进行声音强调播放。由此，能够从相同的声源位置听到蝉鸣，因此不会感到不自然的感觉。当然，与第1、第2实施方式相同地，即便是向左右移动的连续摄影，也能获得同样的效果。

通过采用这种构成来进行动作，能够进行稳定的环境声音播放，能进行具有丰富气氛的音响效果的声音收录和播放。相机10的用户不必一定倾听所观察方向的范围内的声音。从存储的再现的观点而言，相比严密意义上的声音再现，更优选能沉迷于回忆的声音播放。希望进行能够顺畅再现存留于记忆之中的声音的声音收音。于是，在本变形例中，在进行最佳收音的同时，重视了摄影者在摄影时听到并存留于记忆中的环境声音的记录和播放。由此，能够在不慌忙切换声音的情况下专心进入回忆之中，能播放具有安抚效果的图像和声音。

图17是表示改进了本发明第1实施方式后的第3实施方式所涉及的相机10和外部设备20的构成的框图。相机10是数码相机，具有带信号处理功能的控制部c1、摄像部2、使用了陀螺仪等的变化检测部3、记录部4、用户能操作的带开关功能的操作检测部6、立体声声音收录部7、显示部8、时钟部9、通信部c12、立体声声音生成部13。这里仅说明不同于第1实施例的构成。

进而，电视机和数字相框(Digital photo frame或Photo Viewer)等外部设备20具有信号处理和控制部21、通信部d 22、显示/播放部23和遥控(remote control)接收部25。具有信号处理功能的控制部d 21与相机10的控制部1同样地通过外部设备20专用的信号处理LSI等构成，控制外部设备20整体，并且对通过通信部22接收的图像数据和立体声声音数据的播放显示进行控制。此处，通过控制部c1进行本发明第1实施方式所示的判定操作的事项和判定变化的事项。

相机10内的信号处理和控制部1由相机10专用的信号处理LSI等构成，控制相机10整体并对从摄像部2输出的图像数据进行图像处理。具有信号处理功能的控制部21与相机10的控制部1同样地通过外部设备20专用的信号处理LSI等构成，控制外部设备20整体，并且对通过通信部22接收的图像数据和立体声声音数据的播放显示进行控制。此处，本发明第1实施方式所示的显示优先部24是通过控制部d21来执行的。

图18是表示本发明第1实施方式的左右声音收录部7中，改进了图8后的第4实施方式所涉及的构成的框图。

在立体声声音收录部7内，立体声麦克风7a由右侧麦克风41a和左侧麦克风41b构成，配置在相机主体10的前表面侧。立体声麦克风7a通过放大器410a与AD转换器42连接，将声音信号数字化。即，从右侧麦克风41a侧的AD转换器42a输出数字声音数据。另外，从左侧麦克风41b侧的AD转换器42b输出数字声音数据。

进而，在图18中，本发明第1实施方式的控制部c1设置有加法/乘法器43和具备声音编码处理功能的声音编码处理部44。图18是表示改进了图8后的第4实施方式所涉及的构成的框图。从该声音编码处理部44输出的信号被记录在记录部4。

在图19中，本发明第1实施方式的信号处理和控制部1设置有加法/乘法器43和具备声音解码处理功能的声音解码处理部45。图19是表示改进了图12后的第5实施方式所涉及的构成的框图。在记录部4和加法/乘法器43之间连接着声音编码处理部45。

立体声声音生成部13通过DAC 13a、放大器13b、扬声器13c和DAC13d、放大器13e、扬声器13f构成。

加法/乘法器43的加法器43c的输出被输入到DAC 13a。另外，加法/乘法器43的加法器43f的输出被输入到DAC 13d。

如上所述，在本发明各实施方式中，当根据多幅图像来播放合成静态图像或动态图像时，在连续摄影时变更收音范围使得声源位置恒定，能够进行没有不适感的音响效果下的声音收录。另外，在根据多幅图像来播放合成静态图像或动态图像时，能够变更声音的左右平衡，使得声源位置恒定，能以没有不适感的音响效果进行声音播放。

并且，在本发明各实施方式中，根据图像数据来检测画面的移动，然而不限于此，当然可以通过例如设置在相机10内的角速度传感器和加速度传感器等来直接检测相机10的动作。

另外，在本发明各实施方式中，以左右2声道的立体声录音为前提进行了说明，然而不限于此，更多声道的录音当然也可以应用本发明。

进而，在本发明的各实施方式中，在进行播放显示的情况下，从相机10的显示部8或相机10向外部设备20进行发送。然而不限于此，例如也可以直接将记录部4中记录的记录介质装入电视或个人计算机中。

另外，在本发明的各实施方式中，作为用于摄影的设备，使用数码相机进行了说明，而相机既可以是数字单反相机也可以是紧凑型数码相机，还可以是摄像机、摄影相机等动态图像用的相机，进而还可以是内置于移动电话或移动信息终端(PDA：Personal Digital Assist，个人数字助理)等中的相机。无论如何，只要是能够一并记录图像和声音的用于摄影的设备，就能够应用本发明。

本发明不严格限定于上述实施方式，能够在实施阶段在不脱离其主旨的范围内对构成要素进行变形来具体实现。另外，通过适当组合没有在上述实施方式中公开的多个构成要素，能够形成各种发明。例如能够删除实施方式中所示的所有构成要素中的某几个构成要素，还能够适当组合不同实施方式中的构成要素。

Claims (9)

1.一种相机，其特征在于，该相机具有：

摄像部，其对被摄体进行连续摄影；

立体声的声音收录部，其进行声音的录音；

收音变更部，其能变更上述声音收录部的收音范围；

图像合成部，其根据通过上述摄像部连续摄影得到的多个图像，生成合成图像；以及

控制部，在对上述多个图像进行摄影时，该控制部根据相机的动作、或者从上述摄像部输出的且根据相机的动作生成的图像数据，来变更上述收音变更部的收音范围。

2.根据权利要求1所述的相机，其特征在于，上述相机的动作或从上述摄像部输出的图像数据是从右向左获得的或是从左向右获得的。

3.根据权利要求1所述的相机，其特征在于，上述控制部根据被摄体的位置变化来变更声音合成。

4.根据权利要求1所述的相机，其特征在于，该相机还具有：

动作判定部，其判定上述相机的动作；以及

控制部，当进行上述连续摄影时，该控制部根据上述动作判定部的判定结果来变更上述收音变更部的收音范围。

5.根据权利要求1所述的相机，其特征在于，该相机还具有脸部检测部，该脸部检测部根据从上述摄像部输出的图像数据，判定是否存在上述被摄体的脸部，

在通过上述脸部检测部检测到脸部的情况下，上述控制部根据上述脸部来控制上述收音变更部的收音范围。

6.一种声音播放装置，该声音播放装置对利用如下相机录音的声音数据进行再现，所述相机具有：摄像部，其对被摄体进行连续摄影；立体声的声音收录部，其进行声音的录音；以及图像合成部，其根据通过上述摄像部连续摄影得到的多个图像，生成合成图像，其特征在于，该声音播放装置具有：

存储部，其存储连续摄影得到的图像数据，并将在连续摄影时判定出相机的动作之后对声音进行录音的声音收录部的输出信号存储成声音数据；

显示部，其播放显示上述图像数据；以及

控制部，其在上述显示部上显示上述图像数据并且在播放上述声音数据时判定出上述相机的动作之后，按照判定信号控制向声音生成部输入的声音数据。

7.根据权利要求6所述的声音播放装置，其特征在于，上述控制部根据上述相机的角速度和上述连续摄影的各帧的定时求出校正角，按照该校正角控制向上述声音生成部输入的输入信号。

8.一种声音播放方法，对利用如下相机录音的声音数据进行再现，所述相机具有：摄像部，其对被摄体进行连续摄影；立体声的声音收录部，其进行声音的录音；以及图像合成部，其根据通过上述摄像部连续摄影得到的多个图像，生成合成图像，其特征在于，该声音播放方法具有：

存储步骤，其存储连续摄影得到的图像数据，并将在连续摄影时判定出相机的动作之后对声音进行录音的声音收录部的输出信号存储成声音数据；以及

控制步骤，其在显示部上显示上述图像数据并且在播放上述声音数据时判定出上述相机的动作之后，按照判定信号控制向声音生成部输入的声音数据。

9.根据权利要求8所述的声音播放方法，其特征在于，上述声音收录部采用立体声录音，上述声音数据用于控制左右平衡。

Images