CN108574904A - 音频取得装置、音频取得系统以及音频取得方法 - Google Patents

Abstract

本发明涉及音频取得装置、音频取得系统、以及音频取得方法、其目的在于赋予音频取得装置以用户期待的临场感或用户独特的表现。本发明的音频取得装置具有从多个麦克风取得音频信号的音频取得部(401)、接受音频信号中强调预定方向的指向性的输入的受理部、以及按照所述输入来生成音频文件的音频文件生成部(407)。还具备根据所述受理部收到的输入，设定用来设定指向性的指向性选择信息的指向性设定部(403)。进而，音频文件生成部(407)根据指向性选择信息来转换音频取得部(401)取得的音频信号，生成立体音频文件。

Description

音频取得装置、音频取得系统以及音频取得方法

技术领域

本发明涉及音频取得装置、音频取得系统、以及音频取得方法。

背景技术

随着全天球相机的普及，全天球动画摄影技术渐渐发展。其中的立体音响技术能够在视听全天球动画时，配合视线方向来重放立体声音。

例如，专利文献1(JP特许第5777185号公报)公开了一种通过多个麦克风录音来重放立体声音的技术。换言之，利用专利文献1公开的技术，能够让需要重放的图像和立体声音同步，输出与用户视点位置以及视线方向一致的立体声音数据。

但是，包括专利文献1在内的现有技术尚不能够在取得或重放声音等音频数据时进行用户期待的立体音响合成或转换。对此，有必要开发一种能够给予用户期待的临场感或用户独特的表现的技术。

发明内容

本发明鉴于上述课题，提供如下音频取得装置、音频取得系统、以及音频取得方法，其目的在于能够赋予音频取得装置以用户期待的临场感或用户独特的表现。

本发明提供一种音频取得装置，其特征在于，具有：音频取得部，用于从多个麦克风取得音频信号；受理部，用于接受所述音频信号中强调预定方向的指向性的输入；以及，生成部，用于按照所述输入，生成音频文件。

本发明的效果在于，提供能够赋予音频取得装置以用户期待的临场感或用户独特表现的音频取得装置、音频取得系统以及音频取得方法。

附图说明

图1是本发明实施方式涉及的系统整体的硬件结构示意图。

图2是用户佩戴头戴式显示器130时的示意图。

图3是本实施方式涉及的全天球相机110a以及用户终端120所具备的硬件结构示意图。

图4是本实施方式的全天球相机110a所包含的软件框图。

图5是本实施方式在拍摄时生成立体音频数据的处理框图。

图6是本实施方式在重放时生成立体音频数据的处理框图。

图7是用来说明全天球相机110a所包含的内置麦克风和外部麦克风110b的位置关系的一例示意图。

图8是一例ambisonics格式的立体音频文件所包含的各方向成分的指向性的示意图。

图9是本实施方式中改变灵敏度特性的指向性的一例操作画面的示意图。

图10是用来说明本实施方式中全天球相机系统的姿势发生变化时指向性的示意图。

图11是本实施方式中拍摄包含立体音频的影像的处理流程图。

图12是本实施方式中设定音频取得模式的处理流程。

具体实施方式

以下详述本发明的实施方式，该实施方式对本发明没有任何限制。以下参考的附图中对共同的要素使用相同的标记，并省略重复描述。本文中的音频是音乐、机械音、动作音、以及其他通过空气振动传输的声音的统称，并不限于人发出的声音。

图1是本发明实施方式涉及的系统整体的硬件结构示意图。图1中显示一例包括全天球相机110a上连接了外部与麦克风110b的全天球相机系统110、用户终端120、以及头戴式显示器130构成的环境。这些硬件通过无线通信或有线通信相互连接，可以收发设定数据或摄影数据等的各种数据。另外，各硬件的数量并不受到图1所示限制，系统中包含的数量也没有限制。

本实施方式的全天球相机110a包括多个成像光学系统，通过合成各成像光学系统拍摄的图像，可以进行作为立体角4π球面度的全天球图像的摄影。全天球相机110a可以在时间上连续拍摄全天球图像，由此进行全天球动画摄影。在拍摄全天球动画时，通过全天球摄像系统110具备的麦克风单元，能够取得摄影环境周围的声音。

全天球相机系统110取得的音频可以作为立体音频，向用户提供具有临场感的影像。在取得立体音频时，用户能够调节各个麦克风单元的灵敏度特性，增强用户期待的方向上的音频，并取得经过增强的音频。这样，通过调整麦克风单元的指向性，便能够赋予更加具有临场感或用户独特的表现。全天球相机系统110所具备的麦克风单元既可以内置于全天球相机110a之中，也可以连接外部麦克风110b，进而还可以组合这些方式。

本实施方式的用户终端120例如为智能电话或平板终端、个人计算机等。用户终端120与全天球相机系统110之间可以用有线或无线进行通信，是用来进行摄影的设定以及显示拍摄的图像的装置。用户终端120可以预先安装应用程序，来操作全天球相机系统110的设定以及用全天球相机110a拍摄的图像的显示。在以下实施方式的说明中，将全天球相机系统110的设定的功能作为用户终端120所具有的功能，但是本发明不受该实施方式的限制。例如，全天球相机系统110具有画面，也可执行各种操作。再者，本实施方式以全天球相机110a作为音频取得装置的一个例子进行说明，但是本发明不受此限制，具有音频输入功能的任意音频取得装置均适用于本发明。

本实施方式的头戴式显示器130是用于收看全天球图像和全天球动画的装置。以上以用户终端120显示全天球相机110a拍摄的图像为例进行描述，而为了提供更具临场感的视听环境，也可以在诸如头戴式显示器130之类的重放设备上显示。头戴式显示器130包括显示器和扬声器，被佩戴在用户头部。图2是用户佩戴头戴式显示器130时的示意图。

如图2所示，头戴式显示器130的显示器和扬声器分别被设为接近眼睛和接触两耳。显示器上可以显示从全天球图像切割出来的、与用户的视野相对应的广角图像。扬声器能够输出拍摄全天球动画时录制的音频，尤其能够将输出的音频作为立体音频。

本实施方式的头戴式显示器130具备类似运动传感器，能够检测姿势的传感器。例如，能够如图2中以虚线显示的带箭头的线所示，跟踪用户头部的移动，改变显示图像。这样，用户能够获得处在真实的拍摄场地那样的临场感。而且还能够与用户的视野同步重放头戴式显示器130的扬声器输出的立体音频。例如能够在用户头部移动而改变视线方向时，输出强调该视线方向上的声源所发出的音频。这样用户便能够收看配合视线方向改变的图像和音频，收看具有临场感的动画。

在以下的说明中如图1和图2所示，设全天球相机110a以及用户的前后方向平行于x轴，左右方向平行于y轴，上下方向平行于z轴。并设独立于上述各轴且不依存于全天球相机110a或用户的姿势的铅直方向为天顶方向，用于参考。具体而言，天顶方向是表示天球上用户的正上方，与铅直方向相反。本实施方式中，全天球相机110a相对于天顶方向的倾斜角表示，沿着面对全天球相机110a中各成像光学系统的对向面的方向，相对于天顶方向的倾斜角度。因而，当全天球相机110a以未发生倾斜的默认姿势使用时，天顶方向与z轴平行。

以上说明了本发明的实施方式的硬件构成，以下描述各装置中具体的硬件构成。图3是本实施方式涉及的全天球相机110a以及用户终端120所具备的硬件结构示意图。全天球相机110a包含CPU311、RAM312、ROM313、存储装置314、通信I/F315、音频输入I/F316、摄影装置318、姿势传感器319，各硬件通过主线连接。用户终端120包含CPU321、RAM322、ROM323、存储装置324、通信I/F325、显示装置326、输入装置327，各硬件通过主线连接。

首先描述全天球相机110a。CPU311是用于执行控制全天球相机110a动作的程序的装置。RAM312是向全天球相机110a提供执行程序的执行空间的易失性存储装置，用于程序或数据的保存及展开。ROM313是用于保存全天球相机110a执行的程序及数据等的非易失性存储装置。

存储装置314是用于保存供全天球相机110a发挥功能的OS(Operating System)以及应用程序、各种设定信息、拍摄的图像数据及音频数据等的可读写非易失性存储装置。通信I/F315是利用规定的通信协议与用户终端120及头戴式显示器130等其他装置通信，进行各种数据收发的接口。

音频输入I/F316是与用来取得拍摄动画时取得并录制音频的麦克风单元连接的接口。与音频输入I/F316连接的麦克风单元至少包括没有特定方向灵敏度特性的指向性的无指向性麦克风317a和具有特定方向灵敏度特性的指向性的指向性麦克风317b之中的至少一个、或者包括两者。声音输入I/F316除了连接作为内置于全天球相机110a中的麦克风单元(以下作为“内置麦克风”参照)以外，还可以将外部麦克风110b连接到全天球相机110a上。

本实施方式的全天球相机系统110可以通过调节全天球相机110a的内置麦克风和外部麦克风110b所具有的指向性，增强并取得用户所需方向上的音频。本实施方式的麦克风单元构成为在一个装置内包括至少四个麦克风，由此确定作为整个麦克风单元的灵敏度特性的指向性。关于立体音频的取得将在以下详述。

摄影装置318包括至少两组成像光学系统，用于拍摄本实施方式中的全天球图像。摄影装置318可以通过合成各个成像光学系统拍摄的图像来生成全天球图像。姿势传感器319例如是陀螺仪传感器之类的角速度传感器，用于检测全天球相机110a的倾斜，作为姿势数据输出。姿势传感器319能够基于检测到的倾斜信息，求出铅值方向，进行全天球图像的天顶补偿。

全天球相机110a可以在摄影时，将图像数据、音频数据、以及姿势数据相关联地保存。通过这些数据，在头戴式显示器130上收看图像时，能够配合用户的动作重放影像。

接着说明用户终端120。用户终端120包括CPU321、RAM322、ROM323、存储装置324、通信I/F325，分别与上述全天球相机110a的CPU311、RAM312、ROM13、存储设备314、通信I/F315对应，功能相同，故而省略说明。

显示装置326是向用户显示用户终端120的状态及操作画面等的显示装置，例如为LCD(Liquid Crystal Display:液晶显示器)等。输入装置327是用于用户操作用户终端120的输入装置，例如为键盘、鼠标、记录笔等。另外还可以是结合输入装置327和显示装置326的功能的触摸面板显示器。虽然本实施方式以具有触摸板显示器的智能电话终端作为用户终端120例进行说明，但对实施方式没有限制。

以上，描述了本实施方式的全天球相机110a和用户终端120所包含的硬件构成。接着用图4说明通过本实施方式中的各硬件来实现的功能。图4是本实施方式的全天球相机110a所包含的软件框图。

在全天球相机110a包括音频取得部401、外部麦克风连接判断部402、指向性设定部403、信号处理部404、装置姿势取得部405、天顶信息记录部406、音频文件生成部407、音频文件存储部408的各个功能单元。以下，描述这些功能单元。

音频取得部401构成本实施方式中的音频取得单元，用于取得内置麦克风和外部麦克风110b获得的声音，作为音频数据输出。另外，在音频取得部401中，能够对获得的声音实施各种处理，输出音频数据。音频取得部401输出的音频数据被提供到信号处理部404。

外部麦克风连接判断部402构成本实施方式中的外部麦克风连接判定部判断单元，用于判断全天球相机110a是否连接外部麦克风110b。外部麦克风连接判断部402判断的有无外部麦克风连接的判断结果被输出到音频取得部401。在全天球相机110a连接外部麦克风110b的情况下，音频取得部401与外部麦克风110b以及内置麦克风同步，取得音频数据。

指向性设定部403构成本实施方式的指向性设定单元，用于设定内置麦克风和外部麦克风110b的灵敏度特性的指向性。例如可以通过接受来自安装在用户终端120中的应用程序的输入来进行指向性设定。作为一例设定，可以在操作屏幕上改变极性图案的形状，用以将强调某一方向的指向性。指向性设定部403将设定的灵敏度特性的指向性作为指向性选择信息输出，提供给信号处理部404。

信号处理部404构成本实施方式中的信号处理单元，用于对音频取得部401输出的音频数据实行各种补偿等处理，并输出到音频文件生成部407。在信号处理部404中，可以将指向性设定部403输出的指向性选择信息作为参数来进行指向性的合成或转换。进而，信号处理部404能够基于装置姿势取得部405或天顶信息记录部406输出的姿势数据，进行考虑全天球相机110a倾斜等指向性的合成或转换。

装置姿势取得部405构成本实施方式中的装置姿势取得单元，用于取得姿势传感器319检测到的全天球相机110a的倾斜，用来作为姿势数据。天顶信息记录部406构成本实施方式中的天顶信息记录单元，用于根据装置姿势取得部405获得的姿势数据，记录全天球相机110a的倾斜。通过这种方式，姿势取得部405和天顶信息记录部406获得全天球相机110a的姿势，对全天球图像进行适当的天顶补偿，因而，即便在拍摄j天球相机110a发生倾斜或转动，也能够减少重放图像时用户的不适感。进而，还能够在取得音频数据的情况下进行同样的补偿。例如，即便录音时全天球相机110a发生转动，也能够保持用户所期望的声源方向上的灵敏度特性的指向性。

音频文件生成部407构成本实施方式中的音频文件生成单元，用于将经过信号处理部404处理的音频数据生成为具有能够让各种重放装置重放的格式的音频文件。音频文件生成部407生成的音频文件可以当作立体音频文件来输出。音频文件存储部408构成本实施方式中的音频文件存储单元，用来将音频文件生成部407生成的音频文件保存到存储装置314中。

上述软件模块相当于通过CPU311执行本实施方式的程序，使得各硬件发挥功能而实现的功能单元。各实施方式所示的功能单元既可以全部用软件来实现，也可以将其中一部分或全部作为提供同等功能的硬件来安装。

至此说明了本实施方式中全天球照机110a的硬件构成。以下描述根据取得的音频生成立体声音数据的具体处理的功能模块。图5是拍摄时生成立体音频数据的处理框图。

图5所示的功能框图具体显示了图4的音频取得部401、信号处理部404以及音频文件生成部407。图5例示内置麦克风为无指向性麦克风的全天球相机110a与作为指向性麦克风的外部麦克风110b连接。具体而言，内置麦克风是包含CH1～4的麦克风的无指向性麦克风单元(图5的上部)，外部麦克风110b是包含CH5～8的麦克风的具有指向性的麦克风单元(图5的下部)。图5显示的内置麦克风为无指向性麦克风，外部麦克风110b为指向性麦克风，除此之外也可以是其他组合，进而还可以不连接外部麦克风110b。

首先参考图5g上部，说明内置麦克风输出的音频信号的处理。用前置放大器(Pre-AMP)放大从CH1～4各个麦克风(MIC)输入的音频信号的电平。一般而言，来自麦克风的信号的电平较小，所以用前置放大器放大到预定的增益，使得该信号达到便于实行之后处理的电路处理的电平。另外，还可以在前置放大器中进行阻抗转换。

而后，ADC(Analog to Digital Converter，模数转换器)将经过前置放大器放大的音频信号的模拟信号数字化。然后，通过HPF(High Pass Filter，高通滤波器)、LPF(LowPass Filter，低通滤波器)、IIR(Infinite Impulse Response，有限长脉冲响应滤波器)，FIR(Finite Impulse Response，无限长脉冲响应滤波器)等各种滤波器对经过数字化的音频信号进行频率分离等。

接着，在灵敏度补偿模块中，补偿从各个麦克风输入并经过处理后的音频信号的灵敏度。而后用压缩器补偿信号电平。通过灵敏度补偿模块和压缩器的补偿处理，能减少低各个麦克风通道之间的信号间隙。

然后，在指向性合成模块中，指向性设定部403用用户设定的指向性的灵敏度特性，合成音频数据。即，当麦克风单元是无指向性麦克风时，指向性合成模块基于指向性选择信息，调整从麦克风单元输出的音频数据的参数，合成具有用户期望方向指向性的音频数据。

经过指向性合成模块合成的音频数据在补偿模块中受到各种补偿处理。例如，前方滤波器中频率分离引起的时间偏离、频率的补偿。经过补偿模块补偿的音频数据被作为内置麦克风的音频文件输出，作为立体声音数据保存到音频文件存储部408中。

包含立体音频数据的音频文件可以例如以ambisonics格式保存。ambisonics格式的音频文件包含持有无指向性的W成分、具有x轴向指向性的X成分、具有y轴向指向性的Y成分、具有z轴向指向性的Z成分的各种指向成分的音频数据。另外，上述音频文件的格式不限定于ambisonics格式，也可以以其它形式的立体声音文件生成存储。

接着用图5的下半部分说明从外部麦克风110b输出的音频信号的处理。外部麦克风110b的有无可以通过外部麦克风连接判断部402来判断。如果判断未连接外部麦克风110b，则不执行以下的处理。相反，如果判断连接了外部麦克风110b，则进行以下的处理。前置放大器、ADC、HPF/LPF、IIR/FIR、灵敏度补偿模块、压缩器对从外部麦克风110b所包含的每个麦克风(MIC)CH5～8输入的音频实施各种信号处理。这些信号处理与内置麦克风的情况相同，所以省略详细的说明。

音频数据经过上述信号处理之后输入到指向性转换模块。在指向性转换模块中，指向性设定部403以用户设定的指向性灵敏度特性来转换音频数据。即在麦克风单元是指向性麦克风的情况下，指向性转换模块根据指向性选择信息，通过调整构成该麦克风单元的四个麦克风输出的音频数据的参数，将音频数据转换为具有用户期待的方向的指向性的音频数据。

用补偿模块对经过指向性转换模块转换后的音频数据进行各种补偿处理。补偿处理与内置麦克风的补偿模块所进行的补偿相同。经过补偿模块补偿后的音频数据被作为外部麦克风音频文件输出，作为立体音频数据保存到音频文件存储部408中。另外，外部麦克风音频文件与内置麦克风音频文件相同，以各种格式的立体音频数据保存。

用上述方式生成并保存的内置麦克风音频文件或外部麦克风音频文件被传送到各种重放装置。例如，可以用头戴式显示器130之类的重放装置来重放，作为立体音响用来视听。

在其他实施方案中，可以在重放拍摄的动画时，生成具有用户期望的指向性立体音频数据。图6是本实施方式的重放时生成立体音频数据的处理框图。

在图6所示的实施方式中，同样通过图5中说明的麦克风、前置放大器、ADC、HPF/LPF、IIR/FIR、灵敏度补偿模块、压缩器生成内置麦克风的音频文件。在全天球相机110a上连接外部麦克风110b时，也以相同的方式来生成外部麦克风音频文件。这些生成的内置麦克风音频文件和外部麦克风音频文件在生成阶段不具有灵敏度特性的指向性。

然后，所生成的每一个音频文件被输入指向性合成模块。指向性设定部403将用户设定的指向性选择信息一并输入到指向性合成模块。指向性合成模块根据指向性选择信息调整音频文件中包含的音频数据的参数，合成具有用户期待的方向上的指向性的声音数据。

然后，在补偿模块中对经过指向性合成模块合成的音频数据实施定时偏移和频率等的补偿处理。经过补偿模块补偿后的音频数据被作为立体音频重放文件，可以输出到头戴式显示器130等的重放装置，作为立体音响来视听。

在图5及图6中说明的指向性合成模块和指向性转换模块中，除了指向性选择信息之外，还可以输入摄影时全天球相机110a的姿势数据。通过与姿势数据一并进行灵敏度特性的指向性的合成或转换，即便录音时全天球相机110a发生倾斜或旋转，也能够维持用户所要的声源方向的指向性。

以上用图5和图6说明了实行基于取得的音频生成音频数据的具体处理的功能模块，接下去说明本实施方式中立体音频的取得。图7是用来说明全天球相机110a所包含的内置麦克风和外部麦克风110b的位置关系的一例示意图。

图7(a)表示全天球相机系统110正姿势状态时x轴、y轴、z轴的定义的示意图，其中定义全天球相机系统110的前后方向平行于x轴、左右方向平行于y轴、上下方向平行于z轴。图7(a)所示的全天球相机系统110具备内置麦克风。而且，全天球相机110a上连接外部麦克风110b。以下以内置麦克风和外部麦克风110b的各个麦克风单元中包括四个麦克风为例进行说明。

为了有效地用四个麦克风获得立体音频数据，优选各个麦克风的配置不是在同一平面上。尤其在ambisonics格式的收音中，通常如图7(b)所示，在与正四面体各顶点对应的位置上设置麦克风。用如此设置的麦克风收集的音频信号即使是ambisonics格式，也被特别称为A格式。因此，本实施方式的全天球相机110a具有的内置麦克风或外部麦克风110b优选如图7(b)所示，以对应正四面体的位置关系来设置。在此，本实施方式描述的麦克风的配置是一个例子，对实施方式并没有限制。

如此收集的音频信号，能够通过信号处理部404合成或变换成以被称为B格式的收音指向性进行收音时的信号表示，生成如图5、图6所示的立体音频文件。图8是一例ambisonics格式的立体音频文件所包含的各方向成分的指向性的示意图。

图8所示的球体示意性地表现了默认状态下收音的指向性。其中，(a)通过以原点为中心的球体来表示指向性，所以表示无指向性。(b)用以(x，0，0)和(-x，0，0)为中心的两个球体来表示指向性，因而表示具有x轴方向指向性。(c)用以(0，y，0)、(0、-y、0)为中心的两个球体来表示指向性，因而表示具有y方向指向性。(d)是用以(0，0，z)和(0，0，-z)为中心的两个球体来表示方向性，因而表示具有z轴方向指向性。换言之，图8的(a)～(d)分别对应图5、图6所示的立体音频文件中W成分、X成分、Y成分、Z成分的各个指向性成分。

在本实施方式中，用户可以改变灵敏度特性的指向性，经过改变的指向性被作为指向性选择信息输出。用指向性合成模块和指向性转换模块来处理具有用户期望的方向上的指向性的指向性选择信息作为在合成或转换取得的音频时的参数。以下说明用户对灵敏度特性的指向性的改变。图9是本实施方式中改变灵敏度特性的指向性的一例操作画面的示意图。

图9是用户终端120用户终端120上用来改变全天球相机系统110的灵敏度特性的指向性的一例画面。其中，图9左侧的图是用来显示全天球相机系统110与声源之间位置关系例的装置的俯视图，图9中间的图显示用户操作用户终端120的画面，该画面上显示了全天球相机系统110在默认状态下灵敏度特性的指向性的极性图案，右侧的图显示经过图9中间的图所示的用户操作改变后的灵敏度特性的指向性的极性图案。以下以图9的(a)～(d)所示的各种情况为例，描述通过改变灵敏度特性的指向性，来强调特定指向性的输入操作。

图9(a)左侧的图显示一例全天球相机系统110前后方向上存在声源，选择该声源方向的指向性的操作。图9(a)中间的画面上显示在x-y平面上的极性图案，用户正在进行用触摸屏幕的2根手指作上下展开的动作。通过这样的动作，如图9(a)右侧的图所示，极性图案在y轴方向上变窄，从而能够设定具有x轴方向指向性的灵敏度特性。

图9(b)左侧的图显示一例全天球相机系统110上方存在音源，选择该声源方向的指向性的操作。图9(b)中间的画面上显示有z-x平面上的极性图案，用户正在进行用触摸屏幕的2根手指作向上移动的动作。通过这样的动作，能够如图9(b)右侧的图所示，极性模式朝z轴的正方向上扩展，从而设定具有z轴向单一方向指向性的灵敏度特性。

图9(c)左侧的图显示一例全天球相机系统110前方观察时在左下方和右上方存在声源，进行选择该声源方向的指向性的操作。图9(c)中间的画面上显示y-z平面上的极性图案，用户正在进行用触摸屏幕的2根手指朝左下方和右上方张开的动作。通过这样的动作，可以如图9(c)右侧的图所示地改变极性模式，从而设定具有y-z平面上从右上到左下的方向的指向性的灵敏度特性。

图9(d)左侧的图显示一例全天球相机系统110右前方存在声源，进行选择该声源方向的指向性操作。图9(d)中间的画面上显示x-y平面上的极性图案，用户正在进行用触摸屏幕的手指朝右上方移动的动作。通过这样的动作，如图9(d)右侧的图所示地改变极性模式，具有朝x-y平面上右上方的指向性，能够设定相对于声源方向具有尖锐指向性的灵敏度特性。

如上所述，用户通过改变灵敏度特性的指向性，指向性设定部403输出与经过改变的极性图案相对应的指向性选择信息。本实施方式通过操作画面上显示的极性图案，便于用户视觉上理解，能够改变灵敏度特性的指向性。在图9的例中例示了触摸面板显示器的操作，但本发明并不受此限制，例如可以用鼠标操作等，也可以用其他的方法进行操作。另外，灵敏度特性的指向性改变动作并不限定于图9所示的构成，可以通过各种操作，来生成具有用户期待的方向上的指向性的指向性选择信息。

本实施方式通过取得全天球相机系统110的姿势并记录天顶信息,即便是在摄影姿势发生变化的情况下,也能够维持用户期待的灵敏度特性的指向性。图10是用来说明本实施方式在全天球相机系统110的姿势发生变化情况下的指向性的示意图。图10以图9(b)右侧的图所示的灵敏度特性的指向性为例进行说明。

图10(a)左侧的图显示全天球相机系统110为默认的正姿势状态,与图9(b)所示的姿势相同。在这种情况下,用户选择如同图9(b)右侧的图所示的极性图案的指向性,选择固定在天顶方向上进行录制的模式。因此,图10(a)右侧的图所示的灵敏度特性的指向性与图9(b)相同。

设定天顶方向的录制操作之后,用户将全天球相机系统110的姿势改为图10(b)、(c)所示的姿势。例如如图10(b)左侧的图所示,在全天球相机系统110上下颠倒的情况下,由于天顶方向固定,因而极性图案如图10(b)右侧的图所示,成为具有在z轴负方向上扩展的指向性的形状,能够收集位于天顶方向的声源的音频。

再如图10(c)左侧的图所示,在全天球照相机系统110处于横向倾斜90°的情况下,x轴向与天顶方向一致。为此,此时的极性图案如图10(c)右侧的图所示,成为具有在x轴正向上扩展的指向性形状,与图10(b)相同,能够收集位于天顶方向的声源的音频。

如此，本实施方式通过上述方式,取得全天球相机系统110的姿势数据,固定在天顶方向上录音。为此,摄影时即便全天球相机系统110的姿势发生变化,也可以维持声源方向上的灵敏度特性的指向性,在用户期待的方向上收音。图10以全天球相机系统110的姿势相对于正姿势呈90度以及180度倾斜为例进行了说明,除此以外，全天球照相机系统110的姿势可以取得任意角度。

至此描述了改变灵敏度特性的指向性以及摄影时全天球相机系统110的姿势。接着,参考图11说明本实施方式执行的具体处理。图11是本实施方式中带有立体音频的视频摄影处理的流程图。

在本实施方式中，步骤S1001进行音频取得模式的设定。步骤S1001中的设定是关于有无外部麦克风110b的连接以及指向性选择信息的设定等,对此将在下文中详述。

此外,全天球照相机110a在起动或各种设定等时，当通过取得环境音频与麦克风单元所包含的各个麦克风的信号进行对比后,检测到故障时,能够唤起用户的注意。关于故障检测,例如,设定麦克风单元包含的四个麦克风中三个麦克风输出音频信号，剩下的一个麦克风的信号电平如果较低,则判断为该麦克风故障。这样,如果一部分麦克风的信号输出低,或者麦克风堵塞,将有可能造成无法进行指向性的转换和合成,无法生成立体音频数据。因此,在如上述那样检测到各个麦克风的信号故障时,用户终端120向用户显示通知故障发生的警报,促使用户应对。该处理在摄影过程中也可以实施。

然后,在步骤S1002中,用户输入摄影开始的指示。步骤S1002中的输入例如通过按动全天球相机110a的拍摄按钮来进行。另外,也可以通过用户终端120中安装的应用软件向全天球照相机110a发送开始摄像的指示。

在步骤S1002中输入摄影开始后,在步骤S1003中,全天球摄像机110a取得姿势数据，定义天顶方向的信息加以记录。通过在步骤S1003中定义天顶信息,即便全天球相机系统110在摄影期间姿势发生变化,也能够取得用户期待的方向的音频。

然后,在步骤S1004中,参照步骤S1001中设定的模式,判断模式是否被设定为设有灵敏度特性的指向性的模式。在判断是指向性设定的情况下(是),前往步骤S1005,并在调出设定了的指向性选择信息之后,前往步骤S1006。而在不是指向性设定的情况下(否),前往步骤S1006。

在步骤S1006中,以设定的模式进行图像拍摄及音频记录,在步骤S1007中,判断是否有摄影结束指示的输入。摄影结束指示如同步骤S1002的摄影输入指示,可以通过按动全天球相机110a的摄影按钮等来进行。在没有摄影结束输入的情况下(否),返回步骤S1006,继续进行摄影和录音。而在步骤S1007中,如果判断有摄影结束输入(是),则前往步骤S1008。

在步骤S1008中,将图像数据、音频数据保存到全天球相机110a的存储装置314中后,结束处理。对于音频数据,尤其是经过指向性合成或指向性转换的作为立体音频数据，可以保存到音频文件存储部分408中。

通过上述处理,全天球相机系统110能够取得图像和音频。接下来详述步骤S1001中的音频取得模式的设定。图12是本实施方式中音频取得模式处理的流程图,其对应图11中的步骤S1001的处理。

关于音频取得模式，首先在步骤S2001中,判断是选择将录音模式设为把各个麦克风的灵敏度特性指定为特定方向上以取得立体音频的模式，还是设为取得普通立体音频的模式。在选择把灵敏度特性指定为特定方向来取得立体音频的模式的情况下(是),前往步骤S2002的处理,而在选择取得普通立体音频的模式(否)的情况下,前往步骤S2006的处理。

在步骤S2002中,接受指向性选择信息的输入。指向性选择信息,例如如

图9所示,可以通过操作用户终端120,改变灵敏度特性的指向性的极性图案来进行设定。通过S2002步骤的操作,不仅能够让用户改设为持有特定声源方向的指向性,而且便于进行指向性的设定。

然后,在步骤S2003,通过外部麦克风连接判定部402判断全天球相机110a是否连接外部麦克风110b。在连接了外部麦克风110b的情况下(是),前往步骤S2004,而在没有连接外部麦克风110b的情况下(否),前往步骤S2005。

在步骤S2004中,将音频取得模式设定为,内置麦克风和外部麦克风110b并用,取得具有选定方向指向性的立体音频的模式,而后,结束处理。

而在步骤S2005中,将音频取得模式设定为,仅使用内置麦克风，取得具有选定方向指向性的音频模式,而后结束处理。

接着说明在步骤S2001中选择了取得普通立体声音的模式(否)。步骤S2001之后,如果前往步骤S2006的处理，则在步骤S2006中外部麦克风连接判断部402判断全天球相机110a是否连接外部麦克风110b。步骤S2006的处理可以与步骤S2003的处理同样进行,当连接外部麦克风被时(是),前往步骤S2007,而没有连接外部麦克风时(否)，前往步骤S2008。

在步骤S2007中,将音频取得模式设定为,内置麦克风和外部麦克风110b并用,并取得普通立体声音的模式,而后结束处理。

而在步骤S2008,将音频取得模式设定为，仅使用内置麦克风，并取得普通立体音频的模式,而后结束处理。

通过以上说明的处理,能够设定音频获取模式。设定的音频设定模式可以作为图11的步骤S1004中的判断处理的判断基准。另外,在步骤S2002中输入的指向性选择信息可以作为步骤S1005的设定值来调用,用来作为取得立体声音时的参数使用。

上述本发明的实施方式提供能够赋予用户期望的临场感或用户独特表现的音频取得装置、系统以及方法。

本发明的上述实施方式的各项功能可以通过C、C++、C#、Java(注册商标)等描述的可供装置实行的程序来实现,本实施方式的程序既可以存放在硬盘装置、CD-ROM、MO、DVD、软盘、EEPROM、EPROM等装置可读的记录介质中来分发,也可以以其他装置能够安装的格式经由网络传送。

以上用实施方式对本发明进行了说明,但本发明并不受到上述实施方式的限制,在本领域技术人员能够推断的具体实施方式的范围内,各种上述实施方式的改良方案只要起到本发明的作用和效果,均属于本发明范畴。

Claims (10)

1.一种音频取得装置，其特征在于，具有：

音频取得部，用于从多个麦克风取得音频信号；

受理部，用于接受所述音频信号中强调预定方向的指向性的输入；以及，

生成部，用于按照所述输入，生成音频文件。

2.根据权利要求1所述的音频取得装置，其特征在于，进一步具备指向性设定部，用于根据所述受理部收到的输入，设定用来设定指向性的指向性选择信息。

3.根据权利要求2所述的音频取得装置，其特征在于，所述生成部根据所述指向性选择信息，来转换所述音频取得部取得的音频信号，生成立体音频文件。

4.根据权利要求2或3所述的音频取得装置，其中，用极性图案的形状来设定所述指向性选择信息。

5.根据权利要求1至4中任意一项所述的音频取得装置，其特征在于，将包含多个成像光学系统的摄像装置拍摄的图像合成而得到的全天球图像、所述摄像装置相对于铅直方向的倾斜、以及所述立体音频文件相关联地保存。

6.根据权利要求5所述的音频取得装置，其特征在于，所述多个麦克风至少内置于所述摄像装置。

7.根据权利要求5所述的音频取得装置，其特征在于，所述多个麦克风是至少内置于与所述摄像装置连接的外部麦克风中的麦克风。

8.一种音频取得系统，其特征在于，具有：

音频取得部，用于从多个麦克风取得音频信号；

受理部，用于接受所述音频信号中强调预定方向的指向性的输入；以及，

生成部，用于按照所述输入，生成音频文件。

9.一种音频取得方法，其特征在于，包含：

音频取得步骤，从多个麦克风取得音频信号；

受理步骤，接受所述音频信号中强调预定方向的指向性的输入；以及，

生成步骤，用于按照所述输入，生成音频文件。

10.一种用于记录音频取得程序的介质，该音频取得程序供音频取得装置执行，使该音频取得装置起到以下各功能部的作用，

音频取得部，用于从多个麦克风取得音频信号；

受理部，用于接受所述音频信号中强调预定方向的指向性的输入；以及，

生成部，用于按照所述输入，生成音频文件。