CN1691765A - 信息处理设备、成像设备、信息处理方法及程序 - Google Patents

信息处理设备、成像设备、信息处理方法及程序 Download PDF

Info

Publication number
CN1691765A
CN1691765A CNA2005100672368A CN200510067236A CN1691765A CN 1691765 A CN1691765 A CN 1691765A CN A2005100672368 A CNA2005100672368 A CN A2005100672368A CN 200510067236 A CN200510067236 A CN 200510067236A CN 1691765 A CN1691765 A CN 1691765A
Authority
CN
China
Prior art keywords
audio
audio signal
component
signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005100672368A
Other languages
English (en)
Other versions
CN100459685C (zh
Inventor
武中康一
县秀征
漆原真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1691765A publication Critical patent/CN1691765A/zh
Application granted granted Critical
Publication of CN100459685C publication Critical patent/CN100459685C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07B—SEPARATING SOLIDS FROM SOLIDS BY SIEVING, SCREENING, SIFTING OR BY USING GAS CURRENTS; SEPARATING BY OTHER DRY METHODS APPLICABLE TO BULK MATERIAL, e.g. LOOSE ARTICLES FIT TO BE HANDLED LIKE BULK MATERIAL
    • B07B1/00—Sieving, screening, sifting, or sorting solid materials using networks, gratings, grids, or the like
    • B07B1/46—Constructional details of screens in general; Cleaning or heating of screens
    • B07B1/4609—Constructional details of screens in general; Cleaning or heating of screens constructional details of screening surfaces or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Studio Devices (AREA)
  • Stereophonic System (AREA)

Abstract

一种信息处理设备，具有处理与视频信号相关联的多声道音频信号的功能。该信息处理设备包括音频转换单元，用于通过根据取决于有关视频信号的图像捕获条件的信息而定义的调节参数、而转换多声道音频信号的电平，来生成多个音频信号。

Description

信息处理设备、成像设备、信息处理方法及程序
相关申请的交叉引用
本发明包含与2004年4月20日向日本专利局提交的日本专利申请JP2004-124450相关的主题，通过引用而将其全部内容合并于此。
技术领域
本发明涉及一种技术，其中，当通过反映有关音频转换的信息例如视频记录模式中的变焦信息、来转换多个声道的声音以生成环绕声时，实现了对再现临场感(presence)有效的音频转换处理。
背景技术
可将多个声道的音频信号和视频信号同时记录在单个记录介质上、或可回放所记录的音频和视频信号的设备(例如，摄录机)是公知的。
当对于通过视频记录而获取的视频信号来说，仅可记录或回放立体声(2声道)声音时，难以获得足够的临场感，并且，对于在大屏幕上显示的视频来说，难以得到有力的音响效果。因而，使用了一种设备(例如，参见日本未审查专利申请公开第2003-18543号)，其中，在左右不同位置安装的副扬声器、以及中央扬声器的组合而形成的环绕系统中，除了立体声声音和前中央声音之外，可连同视频信号一起而在磁带上记录或回放包括环绕声(2声道)和低频分量的5.1声道音频信号。
发明内容
在用于基于多声道的音频信号而再现环绕声音的环境中，难以在忽略有关视频信号的图像捕获条件的同时增强音响效果。
例如，在这种情形中，其中，在利用摄录机的视频记录中，在执行推近例如讲话的特定人的人的变焦(变焦放大)操作时，连同声音一起记录该人的画面，最好是与摄录机后面的声音相比而加强来自摄录机前面中央的主要声音。然而，相关技术的设备仅执行：记录通过用于声道的麦克风而获取的音频信号，以及回放所记录的信号。因而，不执行基于在视频记录模式中的图像捕获条件的音频处理。可替换地，简单地处理声音，使得摄录者或编辑者在视频记录之后调节声音电平。尽管在所谓的“家庭影院”等中，一般用户已开始广泛使用环绕系统，但难以在观看视频时执行例如处理或编辑音频数据的操作。因而，环绕系统在方便性这一点上具有缺陷。
在视频记录中，通过允许将图像捕获条件数据作为与视频和音频信号相关联的数据(附加数据)、连同所述信号一起记录在盘记录介质或带记录介质上，在回放音频信号时，可调节它们的信号电平，以便可得到产生大量临场感的音响效果。
因而，期望在处理与视频信号相关联的多声道音频信号时，通过根据有关视频信号的图像捕获条件而调节音频信号的电平，得到与视频相适应的逼真的音响效果。
根据本发明的一个实施例，提供了一种信息处理设备，包括音频转换部件，用于通过根据取决于有关视频信号的图像捕获条件的信息而定义的调节参数、而转换多声道音频信号的电平，来生成多个音频信号。
根据本发明的另一个实施例，提供了一种用于在具有处理与视频信号相关联的多声道音频信号的功能的信息处理设备中使用的程序，该程序包括以下步骤：根据有关视频信号的图像捕获条件的信息而改变音量调节参数，并通过基于调节参数转换多声道音频信号的电平，来生成多个音频信号。
在本发明的实施例中，基于根据有关视频信号的图像捕获条件的调节参数，而调节与音频信号相对应的声音的幅度。
根据本发明的实施例，通过考虑有关视频信号的图像捕获条件而对音频信号执行电平调节，可得到与视频相适应的逼真的音响效果。
在其中通过变焦操作的放大倍数来定义音量平衡的调节参数的配置形式中，在变焦放大模式中，通过与后分量相比相对地加强前分量，而加强来自前方的声音，以便产生变焦(远景)效果。
另外，当变焦操作的放大倍数大时，在包括前分量的音频信号中，通过相比于右和左分量而相对地加强前分量，可增强音响变焦效果。
对于有关视频信号的图像捕获条件的信息，通过将视频信号和音频信号记录在记录介质上，并且，在回放模式中，从该记录介质中连同视频信号和音频信号一起提取该信息，可容易地将该信息处理为用于在视频记录中得到的视频和音频的附加信息。
附图说明
图1为示出有关本发明的实施例的成像系统和记录系统的配置的示例的方框图；
图2为示出根据本发明的实施例的信号处理系统的示例的方框图；
图3为摄录机的外视图的示例的透视图；
图4为图解包括摄录机和信息处理设备的系统的配置的示例的方框图；
图5为4声道声音的示意图解；
图6为5.1声道声音的示意图解；
图7为从4声道到5.1声道的音频转换的基本示例的示意图解；以及
图8为用于变焦放大倍数的音量调节参数的图。
具体实施方式
图1示出了有关本发明的实施例的成像系统和记录系统的配置的示例。
成像处理设备1具有成像功能、以及将通过图像捕获而得到的视频信号和多声道(例如，4声道)音频信号记录在预定的记录介质(盘记录介质，如数字多功能盘(DVD)；以及带记录介质，如磁带)上的功能。例如，成像处理设备1的类型包括摄录机、各自具有照相机功能的计算机、个人数字助理(PDA)、各种视频设备。
包括在成像处理设备1中的照相机系统包括含有变焦镜头的可变放大率光学系统2、使用固态成像元件(例如，CCD或C-MOS面型图象传感器)的成像单元3、显像管等。成像处理器4发送并处理通过成像单元3得到的信号。例如，成像处理器4执行模数转换等，并将来自成像处理器4的输出信号发送到记录和输出处理器8。
将照相机控制器5分配到包括变焦控制和聚焦控制的镜头系统伺服控制、成像单元3的电子快门的控制等。照相机控制器5生成和管理照相机系统图像捕获条件数据。将有关视频信号的图像捕获条件信息(例如，画面尺寸、视角、以及变焦的放大倍数)、或光度信息、以及诸如图像捕获中的亮度和环境照明度的信息发送到记录和输出处理器8。
多个麦克风6形成音频输入单元，用于获取每个声道的音频信号。将来自每个麦克风6的音频信号发送到音频信号处理器7。在音频信号处理器7中，其中的放大器将发送音频信号放大，并将其从模拟转换为数字形式。所处理过的信号被发送到记录和输出处理器8。
记录和输出处理器8具有处理视频和音频信号、以及通过使用存储装置9而将所处理过的信号记录在存储介质中、或将视频和音频信号输出到外部装置(未示出)的功能。
例如，记录和输出处理器8处理视频信号(在图1中由“(视频)”表示)、音频信号(由“(音频)”表示)、以及子码数据(由“(子码)”表示)。所处理过的信号和数据被记录在存储装置9中、或被输出到外部装置。
子码数据包括例如来自照相机控制器5的图像捕获条件的数据的数据，该数据与视频和音频信号相关联。
使用用于记录到例如磁光记录介质的光学记录介质的驱动器、用于记录到例如磁盘或DV(数字视频)带的磁记录介质的装置等来作为存储装置9。由于在本发明的实施例的应用中不考虑记录形式，所以可使用诸如非易失性半导体存储器和硬盘的记录介质而以各种形式来实践本发明的实施例。存储装置9以及记录和输出处理器8形成记录/回放单元。存储装置9将(有关视频信号的)图像捕获条件数据连同视频和音频信号一起记录在记录介质上，或从记录介质上连同视频和音频信号一起回放该图像捕获条件数据。
图2为示出信号处理系统的示例的方框图。
信息处理设备10具有处理视频信号和与其相关联的多声道音频信号的功能，并包括视频信号处理器11和用于音频转换的音频信号处理器12。
将输入视频信号(在图2中由“(视频)输入”表示)发送到视频信号处理器11。视频信号处理器11对该视频信号执行必要的处理。将经处理的视频信号作为输出视频信号(在图2中由“(视频)输出”表示)而提供到后级电路(未示出)。为视频显示而将经处理的视频信号提供到例如液晶显示器或阴极射线管的显示单元、或投影仪。
发送在图2中由“(音频_CHj)输入”(j＝1、2、……、n)表示的多声道输入音频信号，并在音频信号处理器12中对其进行处理。将音频信号处理器12所获得的多个输出音频信号(在图2中由“(音频i)输出”(i＝1、2、……、m)表示)发送到音频输出装置(形成环绕系统的扬声器)。例如，在将本发明的实施例应用到用于将4声道音频信号转换为5.1声道音频信号的配置的情况中，在前分量(三个分量，即右、左、以及中央分量)、低频分量、以及后分量(两个分量，即右和左分量)之中，可针对前分量和后分量来调节声音。
在视频信号处理器11和音频信号处理器12中发送并参考照相机系统图像捕获条件的数据。例如，通过响应于视频记录模式中的变焦信息而改变有关前分量和后分量的声音调节的平衡，可得到产生增强临场感的音响效果。后面描述其具体方法。可替换地，响应于视频记录模式中的这种环境照明度的信息，可得到这种表现(rendering)效果，即当环境照明度降低时，总体音量电平降低、或背景声音电平相对增加。换句话说，音频信号处理器12具有根据有关视频信号的图像捕获条件而定义的调节参数。音频信号处理器12调节多声道音频信号的电平，并输出调节后的电平。
在本发明的实施例的应用中，不考虑视频信号处理器11所进行的视频处理形式。因此，可采用响应于照相机系统图像捕获条件的数据的各种图像处理、编辑、以及修改。
图1和2中示出的配置的应用形式包括以下示例：
·一种配置，其中，分别提供具有图1中示出的配置的设备、以及具有图2中示出的配置的设备，并将两者彼此连接；以及
·一种配置，其中，单个设备包括图1中示出的配置的全部及其一部分中的一个、以及图2中示出的配置。
图3和4示出了一个示例，其中，将本发明的实施例应用于前者。图3示出了摄录机13的外视图的示例。图4示出了图解包括可将摄录机13所捕获的视频数据连同音频数据一起记录在DVD上的信息处理设备的系统的配置的示例。
图3中示出的摄录机13可记录和回放包括两个前声道(右和左声道)、以及两个后声道(右和左声道)的四声道的音频信号。
在此情况中，形成摄录机13的机身的外壳14的上部被提供有用于声音采集器15的附接部分。将声音采集器15的支架可拆卸地附接到该附接部分。
声音采集器15具有四个麦克风15FR、15FL、15RR、以及15RL。提供麦克风15FR和15FL以便指向摄录机13的前方(捕获方向)。麦克风15FR具有视频记录方向中的右向性，而麦克风15FL具有视频记录方向中的左向性。提供麦克风15RR和15RL以便指向摄录机13的后方。麦克风15RR具有视频记录方向中的右向性，而麦克风15RL具有视频记录方向中的左向性。
摄录机13还具有图像捕获镜头16和监视器单元17。在此情况中，摄录机13具有这种结构，其中，在摄录机13的机身上提供声音采集器15。使用此结构来充分减小在摄录机13中生成的噪声的负面影响。因此，显然，甚至可使用在摄录机13的机身上提供每个麦克风的形式，例如，以下这样的形式，其中在外壳14的前部提供麦克风15FR和15FL，并在外壳14的后部提供麦克风15RR和15RL。
将所捕获的视频数据和通过每个麦克风获取的音频数据以数字形式记录在例如磁带(例如，DV(数字视频)带)上。换句话说，摄录机13中的记录处理器对视频信号执行预定的调制(频率调制)。通过形成螺旋扫描磁记录/回放单元的磁头而将经调制的视频信号记录在磁带上。形成记录帧的每个轨道不仅具有视频记录区和音频记录区，还具有用于存储诸如标题和TOC(内容表)的信息的子码区。在该子码区中，记录子码数据(在摄录机13的视频记录模式中，包括变焦信息)。例如，在NTSC DV格式中，对于一帧的数据，为视频数据而使用138个包括76字节数据的数据块，并且，为音频数据而使用9个包括76字节数据的数据块。使用12个包括5字节数据的数据块来记录子码数据。
例如，将具有在DVD上记录的功能的计算机设备(例如，个人计算机或CE设备)用作信息处理设备18(参见图4)。通过使用线缆等或使用无线通信，而将信息处理设备18连接到摄录机13。信息处理设备18具有捕获从摄录机13发送的数据、如果需要则转换所捕获的数据、以及将视频数据和音频数据记录在DVD上的功能。由于信息处理设备18可将多声道音频数据记录在DVD上，所以，可在具有大量临场感的音频环境中创建DVD。
在创建DVD的情况中的总体流程如下：
(步骤1)从摄录机13获取视频数据和(4声道)音频数据；
(步骤2)编辑和修改(剪切、环绕音频参数调节等)；
(步骤3)音频转换；
(步骤4)创作(authoring)(如菜单创建、以及将视频和音频转换为DVD视频形式)；以及
(步骤5)DVD创建(视频、音频等的记录)
在此系统中，首先，通过使用能够进行多声道音频记录(在此情况中为4声道音频记录)的摄录机13，而将4声道音频数据连同视频数据一起记录在磁带上。
摄录机13和信息处理设备18彼此相连接。例如，使用IEEE 1394线缆等来连接所述两者。
这使得信息处理设备18从摄录机13捕获数据(即，所捕获的视频数据和4声道音频数据)成为可能。当只能以摄录机13的回放(1×)速度来执行用于捕获视频和音频数据的处理时，如果信息处理设备18可在数据捕获的同时执行高速信息处理，则信息处理设备18可将4声道PCM(脉冲编码调制)音频转换为5.1声道PCM音频(考虑到转换所需时间，稍后再执行从5.1声道PCM音频到5.1声道AC-3音频的转换)。可替换地，通过同时将4声道PCM音频转换为5.1声道AC-3音频，可减少转换所需时间。“AC-3”为美国杜比实验室开发的高效率音频信号编码方法，其中，可输出再现的5.1声道环绕声(包括前右和左声道、中央声道、后右和左声道、以及0.1声道低频域(low range)声道)。
此时，在记录后(after-recording)声音的情况中，通过基于子码而自动识别用于在视频记录之后的声音记录的记录后声音(2声道+2声道)、以及4声道声音，可使用三个音频声道，即“主声音”、“次声音”、以及“主+次声音”，而执行将音频数据记录在DVD上。
当信息处理设备18捕获数据时，信息处理设备18和音频转换器可执行以下编辑操作：
·视频的剪切(删除不必要的场景)；以及
·环绕音频回放设备中音量平衡的监测、以及有关前、后和中央分量、与低频分量例如LFE(低频效果：低频域重低音分量(a low range woofercomponent))的比率调节(增益调节)。
将音频数据转换为诸如5.1声道AC-3(杜比AC3)和多声道线性PCM数据的数据。
图5和6分别为4声道声音和5.1声道声音的示意图解。图5示出了摄录机13的麦克风的布置，而图6示出了环绕回放环境中的扬声器的布置。
图5和6中示出的符号的意义如下：
(输入声音)
·前左(FL)：摄录机13的前方左侧声音；
·前右(FR)：摄录机13的前方右侧声音；
·后左(RL)：摄录机13的后方左侧声音；以及
·后右(RR)：摄录机13的后方右侧声音，以及
(输出声音)
·左(L)：前左声音；
·右(R)：前右声音；
·中央(C)：前中央声音；
·LEF：低频域声音；
·左环绕(Ls)：后左声音；以及
·右环绕(Rs)：后右声音。
在从4声道声音到5.1声道声音的音频转换中，通过调节前(R，L，C)分量使其稍微增强，可完成更自然的环绕声。这是因为，由于摄录机13在很多情况中捕获前方的主题的图像，而且类似地可从前方听到声音，并且，人耳具有比从后方更为容易地从前方听到声音的结构。
在为处于摄录机13之前说话的人进行视频记录的情况中，优选加强中央分量(C)，并且，在其它情况中，优选抑制中央分量(由于水平方向移动而使再现时的音质降低)。通常，在某个人在讲座会议等上发言的这种场景的情况中，对于DVD创建，相关技术的立体声系统比环绕系统更适合。因而，当在信息处理设备18中创建DVD时，优选将信息处理设备18配置为使得用户可选择5.1声道系统和立体声系统中的一个，用于在DVD上执行音频记录。另外，当使用环绕系统来执行DVD上的音频记录时，优选将中央分量尽可能地调低(在某些情形下调到0，等等)。
通过将用摄录机13在视频记录时得到的变焦信息以包括在子码数据中的形式记录在子码区中，并在信息处理设备18中从子码数据提取变焦信息，可执行反映图像捕获条件的声音创建。例如，在变焦放大的情况中，即在摄录机13更加向前聚焦时，通过增加前分量的音量，可给听众如同摄录机13真实推近的这种音响感受。
图7为图示了有关上面的步骤3的从4声道声音到5.1声道声音的转换的基本示例的方框图。
首先，将输入声音，即FL(前左)、FR(前右)、RL(后左)、以及RR(后右)声音分别分配到L、R、Ls、以及Rs输出声音，如下：
·前左声音(FL)到前左声音(L)；
·前右声音(FR)到前右声音(R)；
·后左声音(RL)到后左声音(Ls)；以及
·后右声音(RR)到后右声音(Rs)
通过使用FL和FR声音的部分来生成前中央分量。另外，提取上面的(FL，FR，RL，RR)声音的低频分量，以生成LFE声音。
此转换产生5.1声道声音。在本发明的实施例中，根据由包括变焦信息的图像捕获条件数据所定义的调节参数，来转换多个声道的音频信号的电平。
下面将描述使用变焦信息的音频转换。例如，在变焦放大模式中，通过相比于后(Ls，Rs)分量而加强前(L，R，C)分量，可产生接近对象的虚拟效果。
转换过程如下：
(1)生成LFE分量的步骤；
(2)生成前(L，C，R)分量的步骤；以及
(3)生成后(Ls，Rs)分量的步骤。
在(1)生成LFE分量的步骤中，通过分别从FL、FR、以及RR分量提取低频分量，而生成LFE分量。具体地，通过使用低通滤波器，可基于其中提取了等于或低于120Hz的频率分量的音频信号而得到沉音声音分量。
分别以小写字母fl、fr、rl、以及rr来表示通过从FL、FR、RL、以及RR分量中减去LFE低频分量而得到的分量。
在(2)生成前(L，C，R)分量的步骤中，从fl和fr分量生成前分量。
在下面的描述中，以“α”表示用于调节前右和左分量之间的比率的调节参数，并且，由变焦操作的放大倍数来定义该参数。例如，设置参数α，使得在变焦缩小模式中，其等于1(“α＝1”)，而在变焦缩小模式中，其具有大于1的预定值(“α＞1”)。
图8为示出放大倍数(用横轴表示)和参数α(用竖轴表示)之间的关系的图。
在此示例中，线G指明了：参数α以取决于变焦的放大倍数的线性函数形式增加。在一些情况中，允许曲线形式的改变，使得参数α改变，从而具有饱和特性。
当使用有关由放大倍数确定的变焦系数的参数α时，有关前右和左分量的转换规则如下：
·“fl2＝fl”或“fl×α”；以及
·“fr2＝fr”或“fr×α”。
其中，“fr2”和“fl2”表示通过转换得到的右和左分量。
对于每个声音，有必要考虑这种可能性，即通过将分量乘以不小于1的参数α，音频数据的电平(音量)可能超过上限。换句话说，尽管在其中fl或fr分量不超过上限的音量范围中允许“fl×α”和“fr×α”的转换，但是，如果fl或fr分量有可能超过上限，则有必要采用“fl2＝fl”或“fr2＝fr”的定义，或执行例如调节参数α的处理，以便不超过上限。
在用于通过提取fl和fr分量的部分来生成前中央分量的方法之中，存在一种方法，即，如后所述，在变焦放大模式中，相比于右和左分量而加强前中央分量。
在(3)生成后(Ls，Rs)分量的步骤中，生成后右和左分量。
使用参数α的转换规则如下：
·Ls＝rl/α；以及
·Rs＝rr/α。
换句话说，每个后分量的电平随着参数α的值的增加而减小。
如上所述，随着放大倍数的增加，主要包括前分量的音频信号的电平相比于主要包括后分量的音频信号的电平而被相对地加强。
此关系包括以下各种形式：
·相比于后分量而增强前分量的形式；
·通过相比于前分量而减弱后分量、来加强前分量的形式；以及
·通过加强前分量并减弱后分量、而加强前分量的形式。
例如，对于后分量的生成，通过不使用参数α自身、而使用与参数α具有相关性的另一个参数，可从rl和rr分量分别导出Ls和Rs分量。
对于在(2)生成前(L，C，R)分量的步骤中的前分量，在变焦放大模式中，可进一步增加中央分量的加强，如下：
·L＝(1-β)×fl2；
·R＝(1-β)×fr2；以及
·C＝β×(fl2+fr2)。
其中，参数β定义了中央分量对前右和左分量的比率。
例如，在增强环绕效果的情况中，参数β可减小(到0至约0.2)。反之，在抑制环绕效果的情况中，例如在讲座会议的视频记录中，参数β可增加(到约0.3至0.8)。
在增强变焦效果的情况中，可使用通过概括上面的表达式而得到的以下表达式：
·L＝(1-f(α)×β)×fl2；
·R＝(1-f(α)×β)×fr2；以及
·C＝f(α)×β×(fl2+fr2)。
“f(α)”为有关参数α的任意函数。在变焦放大模式中，通过将中央分量比率的参数β的值乘以与参数α相关的f(α)的值，可进一步加强中央分量。
可设置函数f(α)，使得通过使用例如常数γ，而使f(α)＝γ×α。可替换地，还有可能使用通过诸如测定和仿真的操作、而从麦克风和视频记录系统变焦特性之间的关系得到的表达式。
无论如何，当由变焦操作的放大倍数来定义音量调节参数时，如果放大倍数为大，则转换包括前中央分量的音频信号的电平，使其相比于包括前右和左分量的音频信号的电平而被相对地增强。
在上面的描述中，已描述了根据变焦操作而连续改变例如α的参数的情况。本发明的实施例的应用不限于此情况。可以各种形式来实践本发明的实施例，其中，参数根据变焦操作而逐步改变，并且，其中，参数在预定范围中连续改变，而在另一个范围中逐步改变。另外，对于调节参数，存在一种方法，其中，不仅将变焦信息，还将不同信息(例如，视频记录模式中的设置信息、以及用户的操作信息等)添加到该信息中。
信息处理设备18基于来自摄录机13的图像捕获条件数据而自动执行上面的音量调节。对于另一个功能，当回放由摄录机13捕获的数据时，可在用户监听音频数据的同时，调节有关前分量、后分量、以及中央分量的比率。
另外，对于LFE分量，存在一个问题，其中，取决于每个麦克风的位置，其调节受到负面影响，如摄录机13的机械噪声。具体地，由于LEF分量具有较低的方向性，所以，对于生成LFE分量来说，优选加强几乎不受噪声影响的每个麦克风(离噪声发生器较远)的贡献。换句话说，可记录噪声较小的声音。因而，优选执行：为每个摄录机模型而在数据库形式中存储指明哪些麦克风易于受到噪声影响、或哪些麦克风不易受到噪声影响的信息，以及指明哪些麦克风具有要增强的分量贡献的信息，以及指明在子码中是否包括上述两个信息的信息。可替换地，优选传送有关在设备之间建立的通信通道的信息。
在创作(如菜单创建、以及将视频和音频转换为DVD视频形式)的步骤4之后，在DVD创建(视频、音频等的记录)的步骤5中，将在上面的处理中生成的音频数据等记录在DVD上。通过使用DVD而在环绕回放环境(如家庭影院组合)中回放视频和音频，可享受到具有大量临场感的视频显示和音响效果。可对预定参数α和β等的值进行编码，并将其连同音频数据一起记录在例如DVD的记录介质上。例如，在对未转换的音频数据的转换的情况、以及基于所述参数值而进一步处理音频数据的情况中，这是有效的。
通过使用信息处理设备18中的中央处理单元(CPU)、以及由该CPU解释并运行的程序来实现上面的处理。换句话说，上面的程序包括以下处理步骤：根据有关视频信号的图像捕获条件而改变音量控制参数，并通过根据该音量控制参数转换多声道音频信号的电平来生成多个音频信号。当根据变焦操作的放大倍数而定义音量控制参数时，该程序还包括以下步骤：
·当变焦操作的放大倍数为大时，转换主要包括前分量的音频信号的电平，使其相比于主要包括后分量的音频信号的电平而被相对地加强；以及
·当变焦操作的放大倍数为大时，转换主要包括前中央分量的音频信号的电平，使其相比于包括前右和左分量的音频信号的电平而被相对地加强。
在前面的情况中，在通过连接作为独立设备的摄录机和信息处理设备而形成的系统中(并且，其中该摄录机包括四个麦克风并可记录前左、前右、后左、以及后右声音，并且，其中该信息处理设备可从摄录机捕获数据并将该数据记录在存储介质中)，已描述了将影片的4声道音频信号转换为5.1声道音频信号、并将该5.1声道音频信号记录在DVD上的示例。本发明的实施例不仅可应用于上面的示例，还可应用于分别具有摄录机和信息处理设备的功能的设备(例如，使用DVD-ROM作为记录介质的摄录机、以及包括硬盘驱动器的摄录机)等。另外，本发明的实施例的应用不限于5.1声道环绕系统。本发明的实施例可应用于包括附加的后中央扬声器的6.1声道系统、以及具有更多数目的扬声器的7.1声道系统。此外，可仅执行相对地调节前和后音频输出电平的处理，而不改变音频输出的数目并不转换电平。
通过根据摄录机的图像捕获环境等而为每个声音改变调节平衡，可增强临场感。例如，在变焦放大模式中，通过增加前分量的比率，可产生这种效果，即如同对象不仅在视频中还在音频中被推近。
本领域的技术人员应当理解，可根据设计需要和其它因素而在所附权利要求或其等价物的范围内产生各种修改、组合、子组合、以及替换。

Claims (13)

1、一种具有处理与视频信号相关联的多声道音频信号的功能的信息处理设备，该信息处理设备包括音频转换部件，用于通过根据取决于有关视频信号的图像捕获条件的信息而定义的调节参数、而转换多声道音频信号的电平，来生成多个音频信号。
2、如权利要求1所述的信息处理设备，其中，当通过变焦操作的放大倍数来定义调节参数时，所述音频转换部件执行转换，使得在多声道音频信号的各电平之中，主要包括前分量的音频信号的电平相比于主要包括后分量的音频信号的电平而被相对地加强。
3、如权利要求1所述的信息处理设备，其中，当通过变焦操作的放大倍数来定义调节参数时，所述音频转换部件执行转换，使得在多声道音频信号的各电平之中，在主要包括前分量的音频信号中，主要包括中央分量的音频信号的电平相比于包括右和左分量的音频信号中的每个的电平而被相对地加强。
4、如权利要求2所述的信息处理设备，其中，所述音频转换部件执行转换，使得在多声道音频信号的各电平之中，在主要包括前分量的音频信号中，包括中央分量的音频信号的电平相比于包括右和左分量的音频信号中的每个的电平而被相对地加强。
5、一种成像设备，包括：
图像捕获部件，用于根据所捕获的主题图像而输出视频信号；
图像捕获条件生成部件，用于在所述图像捕获部件进行图像捕获时，生成图像捕获条件的信息；以及
音频信号输入部件，用于获取多声道的音频信号。
6、如权利要求5所述的成像设备，还包括记录部件，用于将图像捕获条件的信息连同图像数据和音频信号一起记录在存储介质中。
7、如权利要求5所述的成像设备，还包括音频转换部件，用于根据图像捕获条件的信息而转换多声道的音频信号的电平。
8、一种用于在具有处理与视频信号相关联的多声道音频信号的功能的信息处理设备中使用的程序，该程序包括以下步骤：根据有关视频信号的图像捕获条件的信息而改变音量调节参数，并通过根据调节参数而转换多声道音频信号的电平，来生成多个音频信号。
9、如权利要求8所述的程序，还包括以下步骤：根据有关视频信号的图像捕获条件的信息而执行转换，使得在多声道音频信号的各电平之中，主要包括前分量的音频信号的电平相比于主要包括后分量的音频信号的电平而被相对地加强。
10、如权利要求8所述的程序，还包括以下步骤：当变焦操作的放大倍数为大时执行转换，使得在多声道音频信号的各电平之中，在主要包括前分量的音频信号中，主要包括中央分量的音频信号的电平相比于包括右和左分量的音频信号中的每个的电平而被相对地加强。
11、一种信息处理方法，包括以下步骤：
根据有关视频信号的图像捕获条件的信息而改变音量调节参数；以及
通过根据该调节参数而转换多声道音频信号的电平，来生成多个音频信号。
12、一种具有处理与视频信号相关联的多声道音频信号的功能的信息处理设备，该信息处理设备包括音频转换器，用于通过根据取决于有关视频信号的图像捕获条件的信息而定义的调节参数、而转换多声道音频信号的电平，来生成多个音频信号。
13、一种成像设备，包括：
图像捕获单元，用于根据所捕获的主题图像而输出视频信号；
图像捕获条件生成器，用于在所述图像捕获单元进行图像捕获时，生成图像捕获条件的信息；以及
音频信号输入单元，用于获取多声道的音频信号。
CNB2005100672368A 2004-04-20 2005-04-20 信息处理设备、成像设备及信息处理方法 Expired - Fee Related CN100459685C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP124450/04 2004-04-20
JP2004124450A JP2005311604A (ja) 2004-04-20 2004-04-20 情報処理装置及び情報処理装置に用いるプログラム

Publications (2)

Publication Number Publication Date
CN1691765A true CN1691765A (zh) 2005-11-02
CN100459685C CN100459685C (zh) 2009-02-04

Family

ID=34940893

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100672368A Expired - Fee Related CN100459685C (zh) 2004-04-20 2005-04-20 信息处理设备、成像设备及信息处理方法

Country Status (5)

Country Link
US (1) US20050237395A1 (zh)
EP (1) EP1589754A3 (zh)
JP (1) JP2005311604A (zh)
KR (1) KR20060047204A (zh)
CN (1) CN100459685C (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622868A (zh) * 2008-01-21 2010-01-06 索尼株式会社 画面处理设备、供其使用的处理方法以及程序
CN101867864A (zh) * 2009-04-16 2010-10-20 索尼公司 视频/音频输入/输出系统
CN102196354A (zh) * 2010-03-09 2011-09-21 索尼公司 视听装置
CN102948168A (zh) * 2010-06-23 2013-02-27 摩托罗拉移动有限责任公司 具有可控制前侧增益和后侧增益的麦克风的电子装置
CN113225646A (zh) * 2021-04-28 2021-08-06 世邦通信股份有限公司 音视频监控方法、装置、电子设备及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5023662B2 (ja) 2006-11-06 2012-09-12 ソニー株式会社 信号処理システム、信号送信装置、信号受信装置およびプログラム
US8848927B2 (en) * 2007-01-12 2014-09-30 Nikon Corporation Recorder that creates stereophonic sound
JP2009049873A (ja) * 2007-08-22 2009-03-05 Sony Corp 情報処理装置
JP2010130403A (ja) * 2008-11-28 2010-06-10 Sharp Corp 映像制御装置およびそれを備えた撮像装置、表示装置
JP5597956B2 (ja) * 2009-09-04 2014-10-01 株式会社ニコン 音声データ合成装置
EP2346028A1 (en) 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US9516412B2 (en) 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP6145736B2 (ja) * 2014-03-31 2017-06-14 パナソニックＩｐマネジメント株式会社 指向性制御方法、記憶媒体及び指向性制御システム
CN105407443B (zh) 2015-10-29 2018-02-13 小米科技有限责任公司 录音方法及装置
JP2018157314A (ja) * 2017-03-16 2018-10-04 株式会社リコー 情報処理システム、情報処理方法及びプログラム
CN107274910A (zh) * 2017-05-17 2017-10-20 宁波桑德纳电子科技有限公司 一种音视频联动的监控装置及音视频联动方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862278A (en) * 1986-10-14 1989-08-29 Eastman Kodak Company Video camera microphone with zoom variable acoustic focus
US4984087A (en) * 1988-05-27 1991-01-08 Matsushita Electric Industrial Co., Ltd. Microphone apparatus for a video camera
US5164840A (en) * 1988-08-29 1992-11-17 Matsushita Electric Industrial Co., Ltd. Apparatus for supplying control codes to sound field reproduction apparatus
KR940021467U (ko) * 1993-02-08 1994-09-24 푸쉬-풀 사운드 캐취 마이크로폰
US5610986A (en) * 1994-03-07 1997-03-11 Miles; Michael T. Linear-matrix audio-imaging system and image analyzer
FR2728753A1 (fr) * 1994-12-21 1996-06-28 Grenier Yves Dispositif de prise de sons comprenant un systeme video pour le reglage de parametres et procede de reglage
US6507659B1 (en) * 1999-01-25 2003-01-14 Cascade Audio, Inc. Microphone apparatus for producing signals for surround reproduction
GB2351628B (en) * 1999-04-14 2003-10-01 Canon Kk Image and sound processing apparatus
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US6931138B2 (en) * 2000-10-25 2005-08-16 Matsushita Electric Industrial Co., Ltd Zoom microphone device
US20020140804A1 (en) * 2001-03-30 2002-10-03 Koninklijke Philips Electronics N.V. Method and apparatus for audio/image speaker detection and locator
JP4269883B2 (ja) * 2003-10-20 2009-05-27 ソニー株式会社 マイクロホン装置、再生装置及び撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101622868A (zh) * 2008-01-21 2010-01-06 索尼株式会社 画面处理设备、供其使用的处理方法以及程序
CN101622868B (zh) * 2008-01-21 2013-03-27 索尼株式会社 画面处理设备以及供其使用的声音变换处理方法
CN101867864A (zh) * 2009-04-16 2010-10-20 索尼公司 视频/音频输入/输出系统
CN102196354A (zh) * 2010-03-09 2011-09-21 索尼公司 视听装置
CN102948168A (zh) * 2010-06-23 2013-02-27 摩托罗拉移动有限责任公司 具有可控制前侧增益和后侧增益的麦克风的电子装置
CN102948168B (zh) * 2010-06-23 2015-06-17 摩托罗拉移动有限责任公司 具有可控制前侧增益和后侧增益的麦克风的电子装置
CN113225646A (zh) * 2021-04-28 2021-08-06 世邦通信股份有限公司 音视频监控方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20060047204A (ko) 2006-05-18
CN100459685C (zh) 2009-02-04
EP1589754A3 (en) 2008-01-23
JP2005311604A (ja) 2005-11-04
US20050237395A1 (en) 2005-10-27
EP1589754A2 (en) 2005-10-26

Similar Documents

Publication Publication Date Title
CN1691765A (zh) 信息处理设备、成像设备、信息处理方法及程序
CN1248223C (zh) 信息信号再现设备
CN1090781C (zh) 记录和/或再现视频和音频数据的装置
CN1294753C (zh) 图像显示装置和图像显示方法
CN1052129C (zh) 摄像参数记录装置、摄像方法及编辑系统
CN1097417C (zh) 声学校正设备
CN1893610A (zh) 信号处理装置,信号处理方法,程序和记录介质
CN1143312C (zh) 信息记录的设备和方法
CN102823273B (zh) 用于局域化感知音频的技术
CN1658709A (zh) 声音再现设备和声音再现方法
CN1419796A (zh) 虚拟音像定位处理装置、虚拟音像定位处理方法以及记录介质
CN1801890A (zh) 电子摄像机装置和操作引导
CN1845582A (zh) 成像装置、录音装置和录音方法
CN1829285A (zh) 图像记录装置、图像再生控制装置、其处理方法以及程序
CN1822711A (zh) 使用集中式信号处理的集成多媒体信号处理系统
CN1856065A (zh) 动画处理装置
CN1675958A (zh) 自动风噪声减小电路及其方法
CN1845577A (zh) 图像处理设备和方法、记录介质和程序
CN1765154A (zh) 声频处理装置
CN1297177C (zh) 音频信息变换方法
CN1110816C (zh) 视频信号记录、重现、记录和重现装置与方法
CN1784926A (zh) 阵列扬声器系统
CN1867044A (zh) 用于数字图像处理设备的控制方法
CN1549550A (zh) 一种智能信息服务器及控制方法
CN1287554C (zh) 影音教材制播系统与影音制播方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090204

Termination date: 20100420