CN1845582B

CN1845582B - 成像装置、录音装置和录音方法

Info

Publication number: CN1845582B
Application number: CN2006100732556A
Authority: CN
Inventors: 川田将吾; 关口正美; 小谷保孝; 漆原利亲
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-04-06
Filing date: 2006-04-06
Publication date: 2013-11-13
Anticipated expiration: 2026-04-06
Also published as: KR20060107328A; CN1845582A; US20060227224A1; JP2006314078A; EP1711003A2; EP1711003A3; TWI390964B; TW200718179A

Abstract

本发明提供了一种收集声音、拍摄图像、并且将声音和图像记录在记录介质上的成像装置，包括：声音收集单元，用于收集多声道的声音信号；无线通信单元，用于无线接收从外部声音收集装置发送的声音信号；和声音合成单元，用于将无线通信单元接收到的声音信号合成到由声音收集单元收集的声音信号的至少任意一个声道。

Description

成像装置、录音装置和录音方法

技术领域

本发明涉及一种用于收集声音和拾取图像并且将图像和声音记录在记录介质上的成像装置，以及用于记录所收集的声音信号的录音装置和方法，尤其涉及一种通过多声道收集和记录声音信号的成像装置以及录音装置和方法。

背景技术

在现有技术中，具有成像功能和声音收集功能以及图像和声音记录功能的摄像机是众所周知的。在这种摄像机中，除了当记录并再现单声道信号时，通常记录和再现包括左声道和右声道的两个声道的声音信号。根据这种方法，由于即使摄像机的成像方的水平方向上的声源的位置在再现时改变也能够清晰地记录声音信号，因此也能够再现当再现时水平方向上的声源的位置的变化。然而，在摄像师的前后部(anteroposterior)方向上的声场的变化可能不能被清晰地再现。

因此，最近，为了改进声音现场(presence)感觉的再现性，广泛已知一种用于通过多声道接收水平方向和前后部方向上所收集的声音信号并且记录和再现所收集的声音信号的立体声场再现系统，也就是，一种环绕声再现系统。另外，即使在家用摄像机中，也安装了多个麦克风来拾取立体声场。尽管普通听众拍照，也能够容易地再现立体声场。

在现有技术中，作为通过多声道拾取声音的装置的示例，提供这样一种摄像机，即，用于记录来自多个麦克风的多声道的声音信号和通过将所有声道的声音信号处理到单声道而获得的信号，从而独立地再现所述声音信号，由此高现场感觉度地再现声音(例如，请参考日本未审专利申请No.2003-18543([0018]到[0028]以及图2))。

另外，提供了一种多声道声音收集装置，其包括：位于前、后、左和右边的四个全方位麦克风；第一到第八的8组合成部件，用于接收4个全方位麦克风的输出并且合成8个方向性麦克风输出，其中方向是以45°为间隔在水平面内设定的；以及第九合成部件，用于合成来自8组合成部件的输出的多声道立体信号，从而仅用4组全方位麦克风就能够实现紧凑的并低成本的多声道收集装置(请参考日本待审专利申请No.2002-223493([0026]到[0041]以及图1))。

发明内容

然而，在能够记录多声道声音信号的摄像机中，当在周围声音可能比目标对象的声音更好听见的环境中收集目标对象的声音时，尽管声音是由环绕声音再现系统再现的，也难以相对地听到目标对象的声音。另外，当目标对象移动时，由于通过多声道分离地记录了对象的声音，因此再现时听觉定位是模糊的。而且，这个问题不限于摄像机，并且即使在诸如便携式记录装置的仅录音的装置中也会产生这个问题。

期望提供一种能够用高现场感觉再现声音并且通过记录多声道声音信号清楚地再现目标对象的声音的成像装置。

而且，进一步期望提供一种能够用高现场感觉再现声音并且通过记录多声道声音信号清楚地再现目标对象的声音的录音装置。

另外，进一步期望提供一种能够用高现场感觉再现声音并且通过记录多声道声音信号清楚地再现目标对象的声音的录音方法。

根据本发明的实施例，存在一种收集声音、拍摄图像、并且将声音和图像记录在记录介质上的成像装置，包括：声音收集单元，用于收集多声道的声音信号；无线通信单元，用于无线接收从外部声音收集装置发送的声音信号；和声音合成单元，用于将无线通信单元接收到的声音信号合成到由声音收集单元收集的声音信号的至少任意一个声道。

在成像装置中，多声道的声音信号是由声音收集单元收集的，并且由外部收集装置无线收集并发送的声音信号被无线通信单元接收。被无线通信单元接收到的声音信号被声音合成单元合成到来自声音收集单元的声音信号的任意一个声道。因此，例如，通过在将被拾取的对象附近安装外部声音收集装置，将对象的声音合成到任意声道的声音信号，并且记录所合成的信号。

根据本发明的另一实施例，存在一种将声音信号记录在记录介质上的录音装置，包括：声音接收单元，用于有线接收多声道的声音信号；无线通信单元，用于无线接收由外部声音收集装置发送的声音信号；和声音合成单元，用于将从无线通信单元接收到的声音信号合成到由声音接收单元接收到的声音信号的至少任何一个声道。

在该录音装置中，多声道的声音信号被声音接收单元有线接收，并且由外部声音收集装置无线收集并发送的声音信号被无线通信单元接收。由无线通信单元接收到的声音信号被声音合成单元合成到声音信号的任何一个声道。因此，例如，通过在特定对象附近安装外部声音收集装置，能够将对象的声音合成到任意声道的声音信号，并且记录所合成的信号。

附图说明

将参考附图来描述本发明，其中相同的附图标记表示相同的元件，其中：

图1示出了与本发明的第一实施例相关的录音装置和外围装置的配置图；

图2示出了使用与本发明的第二实施例相关的摄像机的示例；

图3示出了摄像机的主要配置；

图4示出了与本发明的第二实施例相关的摄像机中的声音合成处理的流程图；

图5示出了根据波的强度数据估计距离的过程的流程图；

图6示出了根据镜头的变焦因子(zoom factor)的声音合成处理的流程图；

图7示出了根据镜头的焦距数据合成声音的过程的流程图；

图8示出了由多声道声音处理单元生成的声音信号的方向；

图9示出了与本发明的第三实施例相关的摄像机的主要配置；

图10示出了当变焦因子处于广角(wide-angle)范围时输出声道的分配；

图11示出了当变焦因子处于中间(middle)范围时输出声道的分配；

图12示出了当变焦因子处于远景(telescope)范围时输出声道的分配；

图13示出了由摄像机的变焦操作改变的拍摄范围；和

图14示出了在与本发明的第三实施例相关的摄像机中用于合成声音的过程的流程图。

具体实施方式

下文中，将参考附图来描述根据本发明的示例实施例。

第一实施例

首先，将描述用于通过多声道收集声音信号并且将声音信号记录在记录介质上的录音装置。

图1示出了与本发明的第一实施例相关的录音装置和外围装置的配置图。

图1中所示的录音装置10包括收集和记录多声道声音信号的功能以及接收和记录由无线麦克风装置20无线收集和发送的声音信号的功能。另外，在下面的描述中，由无线麦克风装置20收集到的声音信号被称作无线声音信号。

在录音装置10中，多声道声音处理单元11将由多个麦克风11a到11d收集到的声音信号分别转换为数字信号，并且将该数字信号输出到多声道声音合成单元14。另外，麦克风11a到11d可以被内部安装在录音装置10中或者外部连接到该录音装置10。无线通信单元12通过天线13接收从无线麦克风装置20发送的声音信号(无线声音信号)，并且将该声音信号发送到多声道声音合成单元14。

多声道声音合成单元14将从多声道声音处理单元11发送的多声道声音信号转换为具有特定多声道标准的声音信号，例如，所谓的5.1声道的多声道声音信号，所述5.1声道包括前方的左右声道和中央声道以及后方的左右声道、和副低音喇叭的声道。另外，来自无线通信单元12的无线声音信号被合成到多声道声音信号当中的至少一个由控制单元16指定的声道(例如，中央声道)，并且所合成的声音信号然后被输出到记录再现单元15。而且，多声道声音合成单元14具有用于解码由记录再现单元15从记录介质读出的声音信号的功能。

记录再现单元15将从多声道声音合成单元14输出的多声道声音信号记录在诸如光盘或磁带的记录介质上。另外，记录再现单元15也可以再现所记录的声音信号。控制单元16控制整个录音装置10。例如，控制单元16控制多声道声音合成单元14中的合成比率(0％到100％)和无线声音信号的合成声道的分配，并且根据用户的操纵记录和再现记录再现单元15的操作。

同时，在无线麦克风装置20中，声音处理单元22将麦克风21收集到的声音信号转换为数字信号。无线通信单元23通过天线24无线发送来自声音处理单元22的声音信号(无线声音信号)。

在录音装置10中，由于多声道声音信号可以被记录在记录介质上，因此能够以高现场感觉来再现其中再现了所有方向上的声场的声音。

另外，由于无线通信单元12接收到的无线声音信号可以被合成到多声道声音信号的任意声道，因此能够在再现时清晰地再现由无线麦克风装置20收集到的声音。例如，当无线麦克风装置20附带到诸如移动人的对象以收集对象的声音时，在再现时能够清晰地听到对象的声音，尽管当录音装置10的周围声音大于对象的声音时也能够记录对象的声音。

另外，在多声道声音合成单元14中，来自无线麦克风装置20的无线声音信号能够以预定的合成比率被合成到多声道声音信号的任意声道。例如，最大的无线声音信号被合成到中央声道，比最大无线声音信号小的无线声音信号被合成到前边的左右声道，从而具有无线麦克风装置20的对象的声音的定位可以变得更加清楚。另外，例如可以通过用户的操纵来设置合成声道的分配以及合成比率。

而且，当对象移动时，无线声音信号与各个声道的合成比率可以取决于对象的移动而改变。在这种情况下，通过使用作为无线麦克风装置20的天线24的全方位天线以及使用作为录音装置10的天线13的方向可变天线，能够估计波的到达方向。换句话说，当改变对象与录音装置10之间的位置关系时，无线通信单元12基于接收到的波的强度来估计无线声音信号的到达方向，并且将方向信息输出到控制单元16，从而确定无线声音信号将被分配的声道，并且适当地确定它的合成比率。

另外，作为方向可变天线，例如，可以使用自适应阵列天线或分集天线。自适应阵列天线包括多个天线，其中通过各个天线接收到的波的幅值和相位被控制以改变天线的方向。控制单元16通过无线通信单元12控制天线13来检测在其方向的每个角度处接收到的无线信号的强度，并且基于检测的结果来估计波的到达方向。在分集天线中，使用了具有各个不同方向性的多个方向天线。

另外，具有上述配置的录音装置10可应用于在磁带或迷你盘(MD；注册商标)上记录声音信号的便携式记录器，或者在广播站或音乐厅中接收、合成并记录多个声音信号的固定记录器。

而且，作为在无线麦克风装置20与录音装置10之间无线通信声音信号的方法，可以使用例如蓝牙、无线局域网(LAN)、FM调制方法以及红外线通信方法。

第二实施例

接着，将描述用于在记录介质上记录多声道声音信号和所拾取的图像信号的摄像机。

图2示出了使用与本发明的第二实施例相关的摄像机的示例。

作为对象的个人1携带无线麦克风装置20。另外，从无线麦克风装置20发送的无线声音信号被摄像者2的摄像机30接收并且被合成到由摄像机30的麦克风收集的多声道声音信号，并且记录所合成的声音信号。为此，当个人1与摄影者分开时，尽管当周围声音大于个人1的声音时拾取图像并且收集声音信号，也能够在再现时清晰地听到个人1的声音。

图3示出了摄像机的主要配置。

图3中所示的摄像机30包括摄像机块31、摄像机信号处理单元32、镜头控制单元33、变焦控制单元34、多声道声音处理单元35、无线通信单元36、天线36a、多声道声音合成单元37、记录再现单元38、和控制单元39。

在摄像机30中，摄像机块31、摄像机信号处理单元32、镜头控制单元33、和变焦控制单元34与成像功能相关。摄像机块31包括用于接收来自对象的入射光的镜头或快门、可变光阑机构、和成像元件。另外，摄像机块31具有变焦镜头功能。

摄像机信号处理单元32对从摄像机块31的成像元件输出的图像信号执行数字转换处理、图像质量校正处理、或者压缩编码处理，并且将所处理的信号输出到记录再现单元38。另外，摄像机信号处理单元32也具有通过记录再现单元38扩展编码从记录介质读出的图像信号的功能。

镜头控制单元33控制摄像机块31的操作，并且具有基于从摄像机信号处理单元32提供的拾取图像信号自动对焦的自动对焦功能，或者基于来自变焦控制单元34的控制信号控制变焦因子的功能。变焦控制单元34包括允许摄像机30的操作者通过变焦控制杆的控制选择任意变焦因子的功能。

同时，多声道声音处理单元35、无线通信单元36、和多声道声音合成单元37与收集声音的功能相关，并且包括与图1中所示的多声道声音处理单元11、无线通信单元12和多声道声音合成单元14分别对应的功能。换句话说，由麦克风35a到35d收集的声音信号被多声道声音处理单元35转换为具有特定多声道标准的多声道信号(例如，5.1声道信号)。另外，来自无线麦克风装置20的无线声音信号通过天线36a被输入到无线通信单元36，并且被多声道声音合成单元37合成到预定声道的声音信号。

记录再现单元38对来自摄像机信号处理单元32的图像信号和来自多声道声音合成单元37的多声道声音信号进行多路复用，并且将多路复用的信号记录在诸如磁带或光盘的特定记录介质上。而且，通过摄像机信号处理单元32和多声道声音合成单元37读取和解码所记录的信号，所记录的信号被再现。

控制单元39控制整个摄像机30。例如，控制单元39控制多声道声音合成单元37的无线声音信号的合成比率或合成声道的分配，并且根据用户的操纵控制记录再现单元15的记录和再现操作。另外，如下所述，控制单元39也具有基于根据变焦因子控制信息估计的到无线麦克风装置20的距离和无线声音信号的方向信息来控制多声道声音合成单元37的合成比率的功能。

接着，将描述控制由摄像机30执行的声音合成的过程。

图4示出了与本发明的第二实施例相关的摄像机中的声音合成处理的流程图。

在步骤S1中，控制单元39从无线通信单元36接收无线麦克风装置20的方向信息。

另外，来自无线通信单元36的方向信息类似于在第一实施例中描述的方向信息。换句话说，无线通信单元36基于通过方向可变天线36a接收到的信号的强度来估计无线声音信号的到达方向，并且将估计结果作为方向信息输出到控制单元39。或者，例如，屏幕中对象的位置可以由图像识别处理基于所拾取的图像信号来检测，以便基于检测结果而产生方向信息。在这种情况下，例如，通过在对象上安装识别体(例如，缎带、表带、徽章等)或者具有特定颜色的发光体并且识别该识别体或发光体，能够增加方向的检测精度。

在步骤S2中，控制单元39估计到声源(也就是，无线麦克风装置20)的距离，并且计算距离估计值。

在步骤S3中，控制单元39根据所计算的距离估计值来生成声音合成比率信息，从而确定合成到由多声道声音处理单元35收集的声音信号的声音的音量。

在步骤S4中，控制单元39将方向信息和声音合成比率信息输出到多声道声音合成单元37。多声道声音合成单元37基于所接收的方向信息，根据声道之间声音合成比率信息和合成比率信息，将来自无线通信单元36的无线声音信号合成为多声道声音信号。

在步骤S5中，将通过以预定合成比率将无线声音信号合成到各个声道的多声道声音信号而获得的声音信号输出到记录再现单元38，并且将其与图像信号一起记录在记录介质上。

接着，将描述用于估计到声源的距离并且生成声音合成比率信息(与图4的步骤S1到S3对应)的部分。

图5示出了根据波的强度数据估计距离的过程的流程图。

在步骤S11中，无线通信单元36将来自无线麦克风装置20的接收波的波的强度信息输出到控制单元39。

在步骤S12中，控制单元39根据波的强度来控制声音合成比率。当波的强度变得更强时，无线声音信号的合成比率被设定为较小，而当波的强度变得更弱时，无线声音信号的合成比率被设定为较大。因此，能够记录声音信号，从而无线发送的无线声音信号具有足够的音量，而不管到具有无线麦克风装置20的声源的距离如何。

另外，根据镜头的变焦因子可以估计距离，以便控制声音合成比率。图6示出了根据镜头的变焦因子的声音合成处理的流程图。

在步骤S21中，摄像者使用摄像机30的变焦控制单元34来控制变焦因子。

在步骤S22中，变焦控制单元34将变焦因子控制信息输出到镜头控制单元33。

在步骤S23中，镜头控制单元33将摄像机块31的变焦因子控制为预定值。

在步骤S24中，镜头控制单元33将变焦因子控制信息输出到控制单元39。控制单元39基于接收到的变焦因子控制信息来估计到具有无线麦克风装置20的声源的距离，并且基于距离估计信息来控制多声道声音合成单元37的声音合成比率。当变焦因子被设定为较小时，无线声音信号的合成比率被设定为较小，而当变焦因子被设定为较大时，无线声音信号的合成比率被设定为较大。因此，能够记录声音信号，从而无线发送的无线声音信号具有足够的音量，而不管到具有无线麦克风装置20的声源的距离如何。另外，对象的放大率增加，对象的音量也增大。因此，现场感觉通过图像和音量的协同作用而增加。

另外，控制单元39可以例如基于由摄像机块31检测到的变焦镜头位置信息而不是从镜头控制单元33输出的变焦因子控制信息来估计到声源的距离。

而且，通过镜头的焦距数据可以估计距离，以便执行声音合成处理。图7示出了根据镜头的焦距数据合成声音的过程的流程图。

在步骤S31中，摄像机信号处理单元32分析图像信号是否被聚焦在摄像机块31中。

在步骤S32中，摄像机信号处理单元32将根据分析聚焦的结果输出焦距信息到镜头控制单元33。

在步骤S33中，镜头控制单元33根据输入的焦距信息控制摄像机块33来控制焦距，并且将焦距信息输出到控制单元39。

在步骤S34中，控制单元39基于焦距信息来控制多声道声音合成单元37的声音合成比率。当焦距被设定为较短时，无线声音信号的合成比率被设定为较小，而当焦距被设定为较长时，无线声音信号的合成比率被设定为较大。因此，能够记录声音信号，从而无线发送的无线声音信号具有足够的音量，而不管到具有无线麦克风装置20的声源的距离如何。

如上所述，在本实施例的摄像机30中，由于对具有无线麦克风装置20的特定对象被拍摄以通过多声道记录声音信号和图像信号，因此一旦立体声场再现时就能够清楚地再现对象的声音。因此，能够充分地定位声音和图像，并且减小再现屏幕和声音之间的不调和性。另外，通过根据对象的方向或距离来控制合成比率或者将合成声道的无线声音信号的合成声道分配给各个声道，能够平衡拾取图像中对象的移动和再现声音，从而能够容易地准备有效使用立体声场的高质量图像/声音内容。

第三实施例

接着，将描述与第二实施例不同的、将多声道声音信号与拾取图像信号一起记录在记录介质上的摄像机。在与第三实施例有关的摄像机中，基本配置与第二实施例中的类似。多声道声音处理单元35输出多个方向声音信号，多声道声音合成单元37改变声音信号到输出声道的分配，或者根据变焦因子改变合成比率。另外，根据变焦因子来改变来自无线麦克风装置20的声音信号(无线声音信号)的分配或者合成比率。通过这些操作，能够通过变焦操作以高现场感觉来记录声音。

图8示出了由多声道声音处理单元生成的声音信号的方向。

如图8所示，本实施例的多声道声音处理单元35输出具有摄像机30a的前向D1、后向D2、左向D3、右向D4、左前向D5、右前向D6、左后向D7和右后向D8的八个方向的声音信号。另外，图8示出了与方向对应的极性模式。

这些声音信号可以使用与D1到D8对应的方向麦克风来生成。另外，声音信号可以通过合成由多个方向麦克风收集的信号来生成。而且，如下所述，声音信号可以基于由多个全方位麦克风收集的信号来生成。在本实施例中，如图8所示，例如，使用四个全方位麦克风35a到35d来生成具有八个方向的声音信号。

图9示出了与本发明的第三实施例相关的摄像机的主要配置。

多声道声音处理单元35从四个全方位麦克风35a到35d接收输出信号，并且通过声音合成单元351到358将具有D1到D8方向的声音信号输出到多声道声音合成单元37。

声音合成单元351到358中的每一个包括延迟部件和减法器，并且基于来自两个全方位麦克风的声音信号而伪生成预定方向的单向麦克风的输出。例如，声音合成单元351接收在前边和后边提供的麦克风35a和35b的输出信号，并且当声波从麦克风35b传播到麦克风35a时使用延迟部件将麦克风35b的输出延迟一段时间。接着，通过减法器将延迟部件的输出从麦克风35a的输出中减去。因此，从声音合成单元351中获得具有前向方向的主要压力梯度单向麦克风的输出，如与图8的D1相对应的极性模式所示。

类似地，声音合成单元352合成麦克风35a和35b的输出，以便获得具有后向D2的方向的单向麦克风的输出。另外，声音合成单元353合成在右边和左边提供的麦克风35c和35d的输出，以便获得具有左向D3的方向的单向麦克风的输出。而且，声音合成单元354合成麦克风35c和35d的输出，以便获得具有右向D4的方向的单向麦克风的输出。

声音合成单元355合成麦克风35a和35d的输出，以便获得具有左前向D5的方向的单向麦克风的输出。另外，声音合成单元356合成麦克风35a和35c的输出，以便获得具有右前向D6的方向的单向麦克风的输出。而且，声音合成单元357合成麦克风35b和35d的输出，以便获得具有左后向D7的方向的单向麦克风的输出。再者，声音合成单元358合成麦克风35b和35c的输出，以便获得具有右后向D8的方向的单向麦克风的输出。

另外，图9中所示的多声道声音处理单元35的配置是从四个全方位麦克风生成具有八个方向D1到D8的声音信号的示例。可以通过其他配置来生成具有相同方向的声音信号。

同时，来自多声道声音合成单元37和多声道声音处理单元35的声音信号以及从无线麦克风装置20接收的无线声音信号被合成为具有特定多声道标准的多声道信号。例如，输入声音信号被合成为五个输出声道，包括C声道、L声道、R声道、SL声道和SR声道。另外，在获取5.1声道的信号的情况下，作为副低音喇叭的声道(0.1声道)，例如，可以输出麦克风35a到35d中任意一个的输出信号或者通过以相同比率合成麦克风35a到35d的输出信号而获得的信号。

在多声道声音合成单元37和控制单元39的控制下，以预定电平将输入声音信号合成到特定输出声道。在本实施例中，根据变焦因子来改变八个声音信号从多声道声音处理单元35到输出声道的分配。而且，也根据变焦因子来改变无线声音信号到输出声道的分配。

下文中，将详细描述多声道声音合成单元37的合成处理控制。例如，变焦因子控制范围分为广角范围、远景范围、和中间范围，声音合成状态被控制为在各个范围内变化。

首先，图10示出了当变焦因子处于广角范围时输出声道的分配。

当变焦因子处于广角范围时，在由多声道声音处理单元35生成的声音信号当中，具有前向D1方向的声音信号被合成到C声道，具有左向D3方向的声音信号被合成到L声道，具有右向D4方向的声音信号被合成到R声道，具有后向D2方向的声音信号被合成到SL声道和SR声道。

同时，根据无线麦克风装置20的方向信息将无线声音信号合成到分配有具有最接近于无线声音信号的角度的方向的声音信号的输出声道。例如，当前向D1的角度是参考角度(±0°)时，其左向是正的，其右向是负的，左向D3是+90°。当具有无线麦克风装置20的个人1停留在+30°的位置时，被合成到输出声道的声音的方向的最近角度是0°。因此，具有该方向的声音信号被合成到C声道，从而无线声音信号也被合成到C声道。

另外，除了选择被分配有具有最近角度的方向的声音信号的输出声道，还能够以一合成比率根据无线麦克风装置20的方向(角度)将无线声音信号合成到相邻的输出声道。例如，在图10中，来自+30°位置的无线声音信号被合成到C声道和L声道，因此根据与输出声道对应的方向与无线麦克风装置20之间的关系将声道之间的合成比率设定为一比率。在该示例中，C声道的合成电平(synthesis level)大于L声道的合成电平。通过这种控制，能够更自然地再现来自无线麦克风装置20的声音。

图11示出了当变焦因子处于中间范围时输出声道的分配。

当变焦因子处于中间范围时，在由多声道声音处理单元35生成的声音信号当中，具有前向D1方向的声音信号被合成到C声道，具有左前向D5方向的声音信号被合成到L声道，具有右前向D6方向的声音信号被合成到R声道，具有左后向D7方向的声音信号被合成到SL声道，具有右后向D8方向的声音信号被合成到SR声道。

同时，与广角范围类似，根据无线麦克风装置20的方向信息将无线声音信号合成到分配有具有最接近于无线声音信号的角度的方向的声音信号的输出声道。由于输出声道的方向改变，因此无线声道信号的合成声道改变。当无线麦克风装置20位于+30°的位置时，最近的角度是+45°的方向D5。因此，具有该方向的声音信号被合成到L声道，从而无线声音信号也被合成到L声道。

另外，类似于图10，无线声音信号仅不被合成到L声道。换句话说，根据无线麦克风装置20的方向能够以适当的音量将无线声音信号合成到C声道和L声道。

图12示出了当变焦因子处于远景范围时输出声道的分配。

当变焦因子处于远景范围时，在由多声道声音处理单元35生成的声音信号当中，具有前向D1方向的声音信号被合成到C声道，具有左前向D5方向的声音信号被合成到L声道，具有右前向D6方向的声音信号被合成到R声道，具有左向D3方向的声音信号被合成到SL声道，以及具有右向D4方向的声音信号被合成到SR声道。

同时，当无线麦克风装置20位于+30°的位置时，最近的角度是+45°的方向D5。因此，具有该方向的声音信号被合成到L声道，从而无线声音信号也被合成到L声道。

另外，类似于图10和11，无线声音信号仅不被合成到L声道。换句话说，根据无线麦克风装置20的方向能够以适当的音量比率将无线声音信号合成到C声道和L声道。

图13示出了由摄像机的变焦操作改变的拍摄范围。将参考图13来描述声音合成控制的效果。

如图13中所示，例如，假设三个点P1、P2和P3位于摄像机30a的前向(0°)上的直线上。而且，假设点P1是摄像机30a的拍摄位置，点P3是与对象(个人1)相邻的位置，点P2是点P1与P3之间的中点。

首先，当来自多声道声音处理单元35的具有不同方向的声音信号被合成到输出声道并且变焦因子处于图10中所示的广角范围时，位于摄像机30a的拍摄位置，也就是点P1处的声音被合成到具有与该方向基本相同的方向的输出声道，从而在P1位置处产生声场。

另外，当变焦因子处于图12中所示的远景范围时，仅点P1的前方的声音被合成到输出声道。因此，在接近对象的点P3处可以伪生成声场。例如，当该对象位于前向(0°)的位置处并且变焦因子被设定在远景范围中时，在屏幕上以大尺寸显示对象。因此，再现对象附近的声场以便增加现场感觉。

而且，当变焦因子处于图11中所示的中间范围时，在点P1与点P3之间的点P2处伪产生声场。如此，当内置麦克风的方向根据变焦因子而改变并且声音信号被合成到输出声道时，可以根据屏幕状态来再现声场，由此可以增加现场感觉。

接着，将描述来自无线麦克风装置20的声音信号(无线声音信号)的合成控制。当变焦因子处于如图10中所示的广角范围时，来自位于±0°(接近点P3)位置处的对象的无线声音信号被合成到C声道。在这种状态下，当对象例如在左方向上移动并且超过+45°的位置时，无线声音信号的合成声道从C声道改变为L声道。同时，当变焦因子处于如图12中所示的远景范围时，如果对象在左方向上从±0°移动并且超过+22.5°的位置时，无线声音信号的合成声道从C声道改变为L声道。

换句话说，当靠近前方放置的对象以相同速度在左右方向上移动时，当变焦因子接近远景范围时无线声音信号在短时间内从C声道移动到L声道(或者R声道)。因此，当再现多声道声音时，变焦因子越高，则对象的图像和声音在左右方向上从前方移动得越快。另外，在与对象位置的角度是较大(例如，±90°到±180°)的范围中，变焦因子越大，则对象的图像和声音移动越慢。

接着，将描述声音状态和屏幕状态之间的关系。如图13所示，摄像机块31的拍摄范围根据变焦因子而变化。变焦因子的远景拍摄范围窄于广角拍摄范围。中间拍摄范围在广角拍摄范围与远景拍摄范围之间。

因此，当对象以预定速度从点P3在左方向(或右方向)上移动并且变焦因子位于广角范围时，在屏幕上可以长时间捕获对象。另外，对象的声音和图像在左右方向上从前方缓慢移动。同时，当变焦因子处于远景范围时，尽管对象以相同速度移动，对象也在屏幕上以更短的时间消失。另外，对象的声音和图像在左右方向上在短时间内从前方移动。

通过声音信号的合成控制，当变焦因子处于广角范围时，使得对象的声音可听见的方法可以匹配于使得与摄像机30a相邻的对象可视的方法。相反，当变焦因子处于远景范围时，使得与摄像机30a相邻的对象可视的方法可以匹配于使得来自对象的声音可听见的方法。换句话说，通过无线声音信号的合成控制，与来自多声道声音处理单元35的声音信号的合成控制类似，当变焦因子处于广角范围时，可以再现使得位于点P1处的对象的声音可听见的方法，并且当变焦因子处于远景范围时，可以再现使得位于点P3处的对象的声音可听见的方法。因此，能够根据屏幕状态来再现有效的声场。因此，通过来自多声道声音处理单元35的声音信号的合成控制功能和变焦功能之间的协同作用能够增加现场感觉。

接着，将描述用于控制由摄像机30a执行的声音合成的过程。

在步骤S41中，控制单元39根据摄像机30a的变焦操作从镜头控制单元33接收变焦因子控制信息(或者变焦镜头位置信息)作为状态信号。

在步骤S42中，对于到多声道声音合成单元37的输出声道，控制单元39设定来自多声道声音处理单元35的具有不同方向的声音信号的合成模式。

在本实施例中，控制单元39使用变焦因子控制信息来确定当前变焦因子是否处于三个变焦因子控制范围中的任意一个中，例如从只读存储器(ROM)(未示出)读取与控制范围对应的合成模式，并且将合成模式设定给多声道声音合成单元37。在合成模式中，在变焦因子的每个控制范围中描述了来自多声道声音处理单元35的声音信号与输出声道之间的对应关系。

在步骤S43中，控制单元39基于通过无线通信单元36从无线麦克风装置20接收到的波的强度来估计无线声音信号的到达方向。

在步骤S44中，控制单元39基于所估计的无线声音信号的方向信息和变焦因子控制信息，来确定并设定无线声音信号被合成到多声道声音合成单元37的输出声道。

在本实施例中，例如，在步骤S44中，方向信息以及与其对应的输出声道的值和范围可以被存储在与三个变焦因子控制范围中的每一个相关的ROM中并从其中读出。另外，根据当前输出声道上的方向的分配和方向信息，通过计算可以获得声道之间的合成比率或输出声道。

通过上述处理，多声道声音合成单元37以预定比率合成来自多声道声音处理单元35的声音信号和无线声音信号，并且记录再现单元38以高现场感觉记录声音信号。

另外，尽管，在第三实施例中，变焦因子控制范围被分为包括广角范围、中间范围、和远景范围的三个范围，声音信号的合成声道根据范围而变化，也可以更细致地划分该范围。或者，可以根据变焦因子来继续改变合成声道或合成比率。通过这种控制，能够以高现场感觉来更自然地再现声场。

除了根据变焦因子改变无线声音信号的合成声道的控制，也可以根据变焦因子来改变总的合成量。与图6类似，变焦因子越高，则无线声音信号的合成量越大。当无线声音信号被合成到多个输出声道时，总合成量改变，而不改变输出声道之间的合成比率。或者，能够清楚地听到由无线麦克风装置20收集的声音。另外，屏幕上的对象被放大越多，则对象的声量越大。因此，能够更多地增加现场感觉。

而且，与图5或图7类似，基于来自无线麦克风装置20的波的强度或者摄像机块31的焦距，可以估计距无线麦克风装置20的距离。距离越短，无线声音信号的合成量越少。因此，能够更清楚地听到由无线麦克风装置20收集的声音，而不管到具有无线麦克风装置20的对象的距离。在这种情况下，当无线麦克风装置20变得更接近摄像机30a时，无线声音信号的合成量较少。然而，由于可以通过内置麦克风收集对象的声音，因此能够精确地再现声场。

另外，无线声音信号的合成声道可以被恒定地合成到任意声道，而不会根据变焦因子而变化，并且根据内置麦克风收集的信号而具有不同方向的多个声音信号的合成声道可以根据变焦因子而变化。例如，当具有无线麦克风装置20的对象被捕获在屏幕中并且被拍摄时，能够增加声音的现场感觉，尽管无线声音信号被恒定地合成到例如C声道。在这种情况下，无线声音信号的合成量可以根据由变焦因子估计的无线麦克风装置20的距离、波的强度、或者焦距来变化。

本领域的普通技术人员应当理解，根据设计需要和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求及其等效物的范围之内。

Claims

1.一种收集声音、拍摄图像、并且将声音和图像记录在记录介质的成像装置，包括：

声音收集单元，用于收集多声道的声音信号；

无线通信单元，用于无线接收从外部声音收集装置发送的声音信号；和

声音合成单元，用于将无线通信单元接收到的声音信号合成到由声音收集单元收集的声音信号的至少任意一个声道。

2.如权利要求1所述的成像装置，其中所述声音合成单元以预定的合成比率将无线通信单元接收到的声音信号合成到由声音收集单元收集的声音信号的至少任意一个声道。

3.如权利要求1所述的成像装置，还包括用于估计外部声音收集装置的方向的声源方向估计单元，

其中所述声音合成单元根据声源方向估计单元所估计的方向，确定多声道之间或者由无线通信单元接收到的声音信号被合成到的声道的合成比率。

4.如权利要求3所述的成像装置，其中所述无线通信单元通过方向可变天线来接收声音信号，并且所述声源方向估计单元基于通过该方向可变天线接收到的信号的强度来估计方向。

5.如权利要求1所述的成像装置，还包括用于估计到外部声音收集装置的距离的声源位置估计单元，

其中当由无线通信单元接收到的声音信号被合成到任意声道时，所述声音合成单元根据声源位置估计单元所估计的距离来确定总合成电平。

6.如权利要求5所述的成像装置，其中所述声源位置估计单元基于无线通信单元接收到的信号的强度来估计距离。

7.如权利要求5所述的成像装置，还包括用于放大来自对象的入射光的图像的变焦机构，

其中所述声源位置估计单元基于变焦机构的变焦因子控制值估计距离。

8.如权利要求5所述的成像装置，还包括用于将来自对象的入射光聚焦到成像表面的聚焦机构，

其中所述声源位置估计单元基于该聚焦机构的控制值来估计距离。

9.如权利要求1所述的成像装置，还包括用于放大来自对象的入射光的图像的变焦机构，

其中所述声音收集单元根据变焦机构的变焦因子控制值，将由多个麦克风收集的声音信号转换为对于各个声道具有不同方向性的声音信号，并且输出具有不同方向性的声音信号。

10.如权利要求9所述的成像装置，其中根据变焦因子控制值，所述声音收集单元将根据由多个麦克风收集的声音信号合成具有不同方向的声音信号到具有不同合成比率的多个声音输出声道。

11.如权利要求9所述的成像装置，还包括用于估计外部声音收集装置的方向的声源方向估计单元，

其中所述声音合成单元根据声源方向估计单元所估计的方向和变焦机构的变焦因子控制值，确定多声道之间或者由无线通信单元接收到的声音信号被合成到的声道的合成比率。

12.如权利要求11所述的成像装置，其中所述声音合成单元将由无线通信单元接收到的声音信号合成到在由声音收集单元输出具有不同方向性的声音信号的声道中的、输出具有在与由声源方向估计单元估计的方向最接近的方向上的方向性的声音信号的信道。

13.如权利要求11所述的成像装置，其中利用根据所估计的方向的声道当中的比率，所述声音合成单元将由无线通信单元接收到的声音信号合成到在由声音收集单元输出具有不同方向性的声音信号的声道中的、输出具有在与由声源方向估计单元所估计的方向最接近的方向上的方向性的声音信号的声道相邻的多声道。

14.一种将声音信号记录在记录介质上的录音装置，包括：

声音接收单元，用于有线接收多声道的声音信号；

声音合成单元，用于将由无线通信单元接收到的声音信号合成到至少任何一个由声音接收单元接收到的声音信号的声道。

15.一种将声音信号记录在记录介质上的录音方法，包括步骤：

有线接收多声道的声音信号，并且无线接收从外部声音收集装置发送的声音信号；和

将无线接收到的声音信号合成到有线接收到的声音信号的至少任何一个声道，并且将所合成的信号记录在记录介质上。