JP2004180197A - Information processor, information processing method, and recording medium - Google Patents

Information processor, information processing method, and recording medium Download PDF

Info

Publication number
JP2004180197A
JP2004180197A JP2002346838A JP2002346838A JP2004180197A JP 2004180197 A JP2004180197 A JP 2004180197A JP 2002346838 A JP2002346838 A JP 2002346838A JP 2002346838 A JP2002346838 A JP 2002346838A JP 2004180197 A JP2004180197 A JP 2004180197A
Authority
JP
Japan
Prior art keywords
information processing
information
recording medium
focus
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002346838A
Other languages
Japanese (ja)
Inventor
Tetsuo Kosaka
哲夫 小坂
Yasuhiro Komori
康弘 小森
Tsuyoshi Yagisawa
津義 八木沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002346838A priority Critical patent/JP2004180197A/en
Publication of JP2004180197A publication Critical patent/JP2004180197A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Details Of Audible-Bandwidth Transducers (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To perform reproduction focused on a sound in the direction of a noticing point by instructing a noticing point of a reproduced image in the case of reproducing data the image and sound of which are recorded by a plurality of microphones (stereo). <P>SOLUTION: This information processor has a microphone array composed of the plurality of microphones, a plurality of holding means for holding inputted acoustic signals from individual microphones constituting the microphone array by every microphone, an input means for inputting positional information and a focusing means for performing acoustic focus in the acquisition direction by using the held acoustic signals of a plurality of held channels. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
音情報および画像情報の両方を収録可能な情報記録装置一般に利用可能である。
【0002】
特にマイクロホンアレーを収音に利用した情報記録装置に関する。
【0003】
【従来の技術】
近年マイクロホンアレーを利用し、音の収集時に指向特性を制御できる技術の開発が行われている。従来も単一指向性マイクロホンなど音圧傾度を利用した指向性マイクなどアナログによる処理によるものが存在したが、近年デジタル信号処理が高速化したことにより、デジタル制御技術を導入した指向性制御が行われるようになってきた。具体的なデジタル制御技術による指向性制御については例えば日本音響学会誌51巻第5号、 pp。390−394「マイクロホンアレーによる指向性制御」に詳しい。
【0004】
またマイクロホンアレーをビデオカメラに利用した場合の発明も種々提案されている。例えば「特開平5−308553」においては、指向特性を制御できるマイクロホンと、ビデオカメラの被写体へのフォーカシングに同期して指向性マイクロホンの指向特性を被写体にフォーカシングする音声信号フォーカス処理部を備えることを特徴とするビデオカメラについて開示されている。この技術によればある被写体に対し、画像的にフォーカスすれば、音もフォーカスされるという効果が得られる。
【0005】
また「特開2000−196941」によれば、ビデオカメラとマイクを備えるシステムにおいて、録画中にモニター用画面上で音のフォーカスを行いたい点をユーザが示せば、その点へ音のフォーカスをするという技術が開示されている。
【0006】
【発明が解決しようとする課題】
上記、特開平5−308553では、カメラが向く方向にたいし音もフォーカスすることは出来るが、カメラの向く方向と別方向に音のフォーカスを当てることはできない。また特開2000−196941においては、ユーザは収録時にモニターに出力された画像に対して操作することにより、カメラ方向とは別の方向に音のフォーカスを向けることは可能であるが、収録後の再生時にユーザが指示する任意の点へ、音のフォーカスを行うことは不可能であった。
【0007】
本発明では上記の点を可能とすることを目的とする。すなわち、収録時ではなく、再生時に事後的にユーザが指示する任意の方向に対し音のフォーカスができる装置を提供する。
【0008】
【課題を解決するための手段】
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。
【0009】
すなわち、
請求項1にかかる情報処理装置は、
複数のマイクからなるマイクロホンアレーと、前記マイクロホンアレーを構成する個々のマイクロホンからの入力音響信号を、マイクロホンごと保持する複数の保持手段と、位置情報を入力する入力手段と、前記保持された複数チャネルの音響信号を用い前記取得位置方向へ音響的なフォーカスを行うフォーカス手段を持つ。
【0010】
請求項2にかかる情報処理装置は、
第1の装置において、音響的なフォーカスを行った信号をフィードバックするフィードバック手段と、フォーカス方向を変動させ、前記フィードバック信号から最大出力が得られる方向を定める方向決定手段と、前記決定された方向に基づき、音のフォーカス方向を変更するフォーカス変更手段を持つ。
【0011】
請求項3にかかる情報処理装置は、
第2の装置において、前記最大出力を求めるためにフォーカス方向を変動させる変動範囲を、前記位置情報入力手段により取得された位置情報の近傍に制限する制限手段を持つ。
【0012】
請求項4にかかる情報処理装置は、
第1ないし第3の装置において、フォーカス後の音響信号に対し、音響効果を与えるために音響信号を加工する加工手段を持つ。
【0013】
請求項5にかかる情報処理装置は、
第1ないし第3の装置において、フォーカス後の音響信号を認識するための音声認識手段を持つ。
【0014】
請求項6にかかる情報処理装置は、
第1ないし第5の装置において、位置情報を入力する手段で位置を入力した場合、前記入力位置をディスプレィに表示する表示手段を持つ。
【0015】
請求項7にかかる情報処理装置は、
第1ないし第6において、ビデオカメラもしくはデジタルカメラとして動作する。
【0016】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、添付図面を参照して説明する。
【0017】
(実施形態1)
図1は、本発明の一実施形態に係る情報出力装置の構成図を示した図である。
【0018】
また動作の流れをフローチャート図2および図3に示す。これらの図を使い実施形態の説明を以下で行う。
【0019】
図1において100は音響信号を収集するためのマイクロホンアレーであり、101から10nに示される、n個の特性の同等なマイクの集合からなる。150はAD変換部であり151から15nの各々のAD変換器の集合からなる。ここではマイクから収録された音響信号をデジタル信号に変換する。110はメモリ部であり、111から11nに至るn個のメモリからなる。
【0020】
おのおののメモリはマイクロホンアレーを構成するマイクおよび個々のAD変換器と一対一に対応し、マイク、AD変換器、メモリの順で接続される。120はn個のスイッチが連動してオン・オフする連動スイッチである。130は電気的に遅延を発生させる遅延器である。140は遅延された情報を加算する加算器である。
【0021】
142は音響信号をDAしたのちに増幅するDA/アンプである。145は音を出力するスピーカーである。
【0022】
170はユーザが位置を入力するためのポインティングデバイスと映像情報を表示するためのディスプレーであり、本実施例ではLCDのようなディスプレーとディスプレー上のタッチパネルで実現される。180は130の遅延量を制御する遅延制御部である。190は動画や静止画を撮像するためのカメラである。192はカメラにより取得された映像情報をデジタル信号に変換するAD変換器である。195は192でデジタル信号に変換した映像情報を記録するためのメモリである。197はスイッチであり120と連動してもよい。
【0023】
次に図2および図3の流れ図を用いて動作の説明を行う。図2は映像および音響信号の収録時の動作を示し、図3は収録した映像・音響信号を再生する場合の動作を示す。
【0024】
まず収録時の動作について説明する。S100で動画および音響信号の取得を行う。
【0025】
動画の取得は190のカメラで行い、音響信号の取得は100のマイクロホンアレーで行う。S101では動画および音響信号をそれぞれアナログ信号からデジタル信号へ変換する。音響信号については150のAD変換部にて、動画信号については192のAD変換器にてそれぞれ行う。S102では動画や音響信号のデジタル変換後の情報の記憶が行われる。音響信号のデジタル変換後の情報はメモリ集合110に属する各々のメモリ111から11nに記憶される。動画のデジタル変換後の情報は195のメモリに記憶される。メモリの形態は磁気テープ、RAM、ハードディスクなど一般にコンピュータで使用される記憶装置ならいずれでも使用可能である。
【0026】
次に再生時の動作について説明する。S200では197の動画情報のスイッチおよび、120の音響情報のスイッチを入れ動画および音響信号をそれぞれ、ディスプレー170および遅延器の集合130に入力する。S201では170のポインティングデバイス情報の取得を行う。ここでは再生を表示するディスプレー表面がタッチパネルとして、ユーザの指示する画面上の位置情報が取れるポインティングデバイスであると想定して説明する。この場合例えば図4のように映像情報が表示されるものとする。ここで200がディスプレーを示す。ユーザはディスプレー200上のあるポイントを押すことにより位置を示す。このポイントを210で示す。S201では210の位置を例えばX、Y座標の形で取得する。
【0027】
以下のステップのうちS202およびS203は遅延制御部180で行う。まずS202では取得した位置情報を用いて方向情報の算出を行う。本実施例では簡単のためにマイクロホンアレーが横一列の2次元に配置された場合について説明する。同様に3次元にマイクが配置されている場合も実現は可能であるが説明は省略する。
【0028】
まず210の座標情報から図4のxの値、すなわち撮像の中心方向からの距離を求める。また撮像装置の焦点距離からdが求まる。これらの値よりsinθを求める。次にS203では遅延時間の制御を行う。本実施例では音響情報の指向性制御法として遅延和アレーを例に説明するが、音響情報の指向性制御として利用できる技術であれば必ずしも遅延和アレーである必要はない。
【0029】
遅延和アレーでは複数の遅延器に対しある遅延時間を与えることにより、目的信号に関して同相化した後、加算をして目的信号を強調することができる。本技術に関しては日本音響学会誌51巻第5号、 pp。390−394「マイクロホンアレーによる指向性制御」に記述されている。この方式では音速c、 マイクロホン間隔をs、音波の入射角をθとすると遅延時間τは以下で計算できる。
【0030】
τ = s・(sinθ)/c
以上の遅延を与えることにより目的信号は同相化される。S203ではS202で求めた角度情報(sinθ)を元に遅延時間を計算し、遅延器の集合130に属する各遅延器に対し遅延時間を与える。
【0031】
S204では加算器140にて、遅延器の集合130で同相化された音響信号を加算し目的信号の強調を行う。同相化された目的信号は値が加算されるので出力が大きくなるが、その他の信号は相対的に出力は小さくなり、目的方向の信号、すなわちsinθ方向からの信号のみ強調される。
【0032】
S205では加算器140で加算された信号を142にてアナログ信号に変換した後アンプで増幅し、スピーカー145で音響信号として出力する。以上により再生時にユーザがポインティングデバイスにより指示した方向に対し音のフォーカスを当てることが可能になる。またメモリにチャネルごとに音響信号を記憶しているため、ユーザが指示方向を変えても、その都度フォーカスの方向を変えることが可能となる。
【0033】
(実施形態2)
実施形態1ではユーザが音のフォーカスを当てたい位置を指定する方法を開示したが、必ずしも正確に音源位置を指定できない場合がある。そこでシステム側が、正確な位置を探索しフォーカスを当てる方法について開示する。図5に本実施例にかかる探索範囲の説明図を示す。ディスプレィ300においてユーザは310の位置を指定するのは実施形態1と同様である。しかし、何らかの音源がこの近傍に存在する場合、ユーザの指定位置と音源位置にずれが生じる可能性もある。
【0034】
そこで本実施例では320に示すユーザの指定位置の近傍を探索し、音源位置に正確にフォーカスする方法について述べる。
【0035】
図6が本実施例にかかる構成図である。440にて加算するまでは実施例1と同様の動作であるため説明は省略する。440にて求められた信号は遅延偏移部497にフィードバックされる。497では320の範囲を探索するためにsinθ±αの範囲の値を再設定し、再度遅延および加算を行って同相化する。これを繰り返しsinθ±αの範囲で同相信号が最大となる点を音源方向と定め、442や445を通じて出力する。ユーザにより指定する点が再度設定された場合は、再度同様の方法で最大値を探索し出力を定める。
【0036】
(実施形態3)
実施形態1や3において、140または440にて、音に対しフォーカスした後に、音響的な加工を行う。加工は142や442のDAする前、デジタル信号の段階で行ってもよいし、アナログに変換した後に行っても構わない。加工の種類としては、エコー、ビブラート、ディストーションなど、一般に用いられる音響的な処理であればいずれでも選択できる。
【0037】
(実施形態4)
実施形態1や3において、フォーカスした音響信号が音声であった場合、140または440にて、音声に対しフォーカスした後に、音声認識技術を使用して認識を行い、認識結果をディスプレーに表示したり、認識結果に基づきアプリケーションなどの動作をさせてもよい。この場合他の方向から到来する雑音を抑圧するという抑圧効果が得られる。
【0038】
【発明の効果】
以上説明したように、本発明によれば再生時にユーザが示す任意の点に対し音をフォーカスすることができる。音のフォーカスは事後的に処理しているため、再生中にユーザが別の点にフォーカスしたいと思えば、その時点でフォーカス点を変更することができる。また実施形態2によれば、ある音源に対しフォーカスしようとユーザが考え指示した場合、多少のずれがあっても自動補正し、音源に対しフォーカスが向けることができるため、ユーザは大まかな位置を指定するだけでよいという効果が得られる。また実施形態3によれば、得られた音を加工することにより、種々の効果音が得られるという特徴を持つ。
【0039】
さらに実施形態4によれば、フォーカスした音響信号が音声の場合、音声認識を行いアプリケーションを動作することができる。フォーカスした位置以外の音が抑圧されるため、雑音下の音声認識の誤動作を防ぐという効果が得られる。さらに複数人が発声している場合、ユーザがどの話者の音声を認識するか任意に指定できるという効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施形態1における情報出力装置の構成を示した図である。
【図2】本発明の実施形態1における情報出力装置の収録時の動作を表す流れ図である。
【図3】本発明の実施形態1における情報出力装置の再生時の動作を表す流れ図である。
【図4】本発明の実施形態1におけるディスプレーとポインティングデバイスの操作を説明する図である。
【図5】本発明の実施形態2におけるディスプレーとポインティングデバイスの例と、音源探索範囲を説明する図である。
【図6】本発明の実施形態2における情報出力装置の構成を示した図である。
【符号の説明】
100 マイクロホンアレー
110 メモリ部
120 連動スイッチ
130 遅延器
[0001]
TECHNICAL FIELD OF THE INVENTION
An information recording device capable of recording both sound information and image information can be generally used.
[0002]
In particular, the present invention relates to an information recording device using a microphone array for sound collection.
[0003]
[Prior art]
2. Description of the Related Art In recent years, a technology that can control a directional characteristic at the time of collecting sound using a microphone array has been developed. In the past, analog processing such as directional microphones using sound pressure gradients, such as unidirectional microphones, existed.However, with the recent increase in digital signal processing, directivity control using digital control technology has been implemented. It has come to be. Regarding the directivity control by a specific digital control technique, for example, Journal of the Acoustical Society of Japan, Vol. 51, No. 5, pp. 390-394, "Directivity control by microphone array".
[0004]
Also, various inventions in which a microphone array is used for a video camera have been proposed. For example, Japanese Patent Application Laid-Open No. 5-308553 includes a microphone that can control the directional characteristics and an audio signal focus processing unit that focuses the directional characteristics of the directional microphone on the subject in synchronization with the focusing of the video camera on the subject. A video camera as a feature is disclosed. According to this technique, if an image is focused on a certain subject, an effect that sound is also focused can be obtained.
[0005]
According to Japanese Patent Application Laid-Open No. 2000-196941, in a system including a video camera and a microphone, if a user indicates a point on the monitor screen during recording, the user wants to focus on the point. Is disclosed.
[0006]
[Problems to be solved by the invention]
In Japanese Patent Laid-Open No. 5-308553, sound can be focused in the direction in which the camera is directed, but sound cannot be focused in a direction different from the direction in which the camera is directed. In Japanese Patent Application Laid-Open No. 2000-196941, it is possible for the user to focus the sound in a direction different from the camera direction by operating the image output to the monitor at the time of recording. It has been impossible to focus the sound on an arbitrary point designated by the user during reproduction.
[0007]
An object of the present invention is to enable the above points. In other words, an apparatus is provided which can focus sound in an arbitrary direction specified by a user ex post during reproduction, not during recording.
[0008]
[Means for Solving the Problems]
An information processing apparatus according to the present invention for achieving the above object has the following configuration.
[0009]
That is,
The information processing apparatus according to claim 1 is
A microphone array comprising a plurality of microphones, a plurality of holding means for holding, for each microphone, input sound signals from individual microphones constituting the microphone array, an input means for inputting positional information, and the plurality of held channels Focusing means for performing acoustic focusing in the direction of the acquisition position using the acoustic signal of
[0010]
The information processing device according to claim 2 is
In the first device, feedback means for feeding back an acoustically focused signal, direction determining means for changing a focus direction and determining a direction in which a maximum output is obtained from the feedback signal, And a focus changing means for changing a sound focus direction.
[0011]
The information processing apparatus according to claim 3 is
In the second device, there is provided a limiter for limiting a fluctuation range in which a focus direction is changed in order to obtain the maximum output to a vicinity of the position information obtained by the position information input unit.
[0012]
The information processing apparatus according to claim 4 is
The first to third apparatuses have processing means for processing the acoustic signal to give an acoustic effect to the focused acoustic signal.
[0013]
An information processing apparatus according to claim 5 is
Each of the first to third devices has a voice recognition unit for recognizing a focused acoustic signal.
[0014]
The information processing apparatus according to claim 6 is
The first to fifth apparatuses have display means for displaying the input position on a display when a position is input by means of inputting position information.
[0015]
The information processing device according to claim 7 is
In the first to sixth embodiments, the camera operates as a video camera or a digital camera.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
[0017]
(Embodiment 1)
FIG. 1 is a diagram showing a configuration diagram of an information output device according to an embodiment of the present invention.
[0018]
FIGS. 2 and 3 show flowcharts of the operation. The embodiment will be described below with reference to these drawings.
[0019]
In FIG. 1, reference numeral 100 denotes a microphone array for collecting acoustic signals, which is composed of a group of microphones 101 to 10n having the same characteristics and having n characteristics. Reference numeral 150 denotes an AD converter, which is composed of a set of AD converters 151 to 15n. Here, the audio signal recorded from the microphone is converted into a digital signal. Reference numeral 110 denotes a memory unit, which includes n memories 111 to 11n.
[0020]
Each memory corresponds one-to-one with the microphones and individual AD converters constituting the microphone array, and is connected in the order of the microphone, the AD converter, and the memory. Reference numeral 120 denotes an interlock switch in which n switches are turned on / off in interlock. Reference numeral 130 denotes a delay unit that electrically generates a delay. 140 is an adder for adding the delayed information.
[0021]
Reference numeral 142 denotes a DA / amplifier that amplifies the audio signal after DA. 145 is a speaker that outputs sound.
[0022]
Reference numeral 170 denotes a pointing device for inputting a position by a user and a display for displaying image information. In this embodiment, the display 170 is realized by a display such as an LCD and a touch panel on the display. 180 is a delay control unit that controls the delay amount of 130. Reference numeral 190 denotes a camera for capturing moving images and still images. Reference numeral 192 denotes an AD converter that converts video information acquired by the camera into a digital signal. 195 is a memory for recording the video information converted into a digital signal in 192. Reference numeral 197 denotes a switch which may be linked with the switch 120.
[0023]
Next, the operation will be described with reference to the flowcharts of FIGS. FIG. 2 shows the operation when recording video and audio signals, and FIG. 3 shows the operation when reproducing the recorded video and audio signals.
[0024]
First, the operation at the time of recording will be described. In S100, a moving image and an audio signal are obtained.
[0025]
Acquisition of moving images is performed by 190 cameras, and acquisition of acoustic signals is performed by 100 microphone arrays. In S101, the moving image and the audio signal are respectively converted from analog signals to digital signals. The sound signal is processed by 150 AD converters, and the moving image signal is processed by 192 AD converters. In S102, information after digital conversion of a moving image or an audio signal is stored. The information after the digital conversion of the audio signal is stored in each of the memories 111 to 11n belonging to the memory set 110. The digitally converted information of the moving image is stored in the memory 195. Any form of memory such as a magnetic tape, RAM, and hard disk can be used as long as it is a storage device generally used in a computer.
[0026]
Next, the operation at the time of reproduction will be described. In S200, the switch of the moving image information of 197 and the switch of the sound information of 120 are turned on, and the moving image and the sound signal are input to the display 170 and the set 130 of delay units, respectively. In S201, the pointing device information of 170 is acquired. Here, the description will be made on the assumption that the display surface for displaying the reproduction is a touch panel, and is a pointing device that can obtain positional information on the screen specified by the user. In this case, for example, it is assumed that video information is displayed as shown in FIG. Here, 200 indicates a display. The user indicates a position by pressing a point on the display 200. This point is shown at 210. In S201, the position of 210 is acquired in the form of, for example, X and Y coordinates.
[0027]
Of the following steps, S202 and S203 are performed by the delay control unit 180. First, in S202, direction information is calculated using the acquired position information. In this embodiment, for simplicity, a case where the microphone arrays are arranged two-dimensionally in a horizontal row will be described. Similarly, it is possible to realize the case where microphones are arranged three-dimensionally, but the description is omitted.
[0028]
First, the value of x in FIG. 4, that is, the distance from the center direction of imaging is determined from the coordinate information 210. Further, d is obtained from the focal length of the imaging device. From these values, sin θ is obtained. Next, in S203, the delay time is controlled. In this embodiment, a delay-and-sum array will be described as an example of a directivity control method for acoustic information. However, a delay-and-sum array is not necessarily required as long as the technique can be used for directivity control of acoustic information.
[0029]
In the delay-and-sum array, by giving a certain delay time to a plurality of delay units, the target signal can be in-phase and then added to emphasize the target signal. Regarding this technology, Journal of the Acoustical Society of Japan, Vol. 51, No. 5, pp. 390-394, "Directivity Control by Microphone Array". In this method, assuming that the sound speed c, the interval between microphones is s, and the incident angle of the sound wave is θ, the delay time τ can be calculated as follows.
[0030]
τ = s · (sin θ) / c
By giving the above delay, the target signal is made in phase. In S203, the delay time is calculated based on the angle information (sin θ) obtained in S202, and the delay time is given to each delay device belonging to the delay device set 130.
[0031]
In S204, the adder 140 adds the audio signals in-phase by the delay unit set 130 to emphasize the target signal. The output of the in-phase target signal is increased because the value is added, but the output of the other signals is relatively small, and only the signal in the target direction, that is, the signal from the sin θ direction is emphasized.
[0032]
In S205, the signal added by the adder 140 is converted into an analog signal by 142, amplified by an amplifier, and output as an acoustic signal by the speaker 145. As described above, the sound can be focused on the direction specified by the user with the pointing device during reproduction. Further, since the sound signal is stored in the memory for each channel, it is possible to change the focus direction each time the user changes the pointing direction.
[0033]
(Embodiment 2)
In the first embodiment, the method in which the user specifies the position where the user wants to focus the sound is disclosed. However, there are cases where the sound source position cannot always be specified accurately. Therefore, a method in which the system searches for an accurate position and focuses on the position is disclosed. FIG. 5 is an explanatory diagram of the search range according to the present embodiment. As in the first embodiment, the user designates the position of the display 310 in the display 300. However, if any sound source exists in the vicinity, there is a possibility that the position specified by the user and the position of the sound source are shifted.
[0034]
Therefore, in the present embodiment, a method of searching for the vicinity of the user designated position indicated by 320 and accurately focusing on the sound source position will be described.
[0035]
FIG. 6 is a configuration diagram according to the present embodiment. Until the addition is performed at 440, the operation is the same as that of the first embodiment, and the description is omitted. The signal obtained in 440 is fed back to delay shift section 497. At 497, the value in the range of sin θ ± α is reset to search the range of 320, and delay and addition are performed again to make them in phase. This is repeated, and the point at which the in-phase signal becomes maximum in the range of sin θ ± α is determined as the sound source direction, and is output through 442 or 445. When the point specified by the user is set again, the maximum value is searched again and the output is determined in the same manner.
[0036]
(Embodiment 3)
In the first and third embodiments, acoustic processing is performed after focusing on sound at 140 or 440. The processing may be performed at the stage of a digital signal before DA of 142 or 442, or may be performed after conversion into analog. As the type of processing, any commonly used acoustic processing such as echo, vibrato, and distortion can be selected.
[0037]
(Embodiment 4)
In the first and third embodiments, when the focused acoustic signal is a voice, the voice is focused on the voice in 140 or 440, then recognition is performed using a voice recognition technology, and the recognition result is displayed on a display. Alternatively, an operation such as an application may be performed based on the recognition result. In this case, a suppression effect of suppressing noise arriving from another direction can be obtained.
[0038]
【The invention's effect】
As described above, according to the present invention, the sound can be focused on an arbitrary point indicated by the user during reproduction. Since the sound focus is processed ex post facto, if the user wants to focus on another point during reproduction, the focus point can be changed at that point. According to the second embodiment, when the user gives an instruction to focus on a certain sound source, even if there is a slight deviation, automatic correction is performed, and the focus can be directed to the sound source. The effect that only the designation is required is obtained. According to the third embodiment, various sound effects can be obtained by processing the obtained sound.
[0039]
Further, according to the fourth embodiment, when the focused acoustic signal is a voice, the application can be operated by performing voice recognition. Since the sound other than the focused position is suppressed, an effect of preventing malfunction of voice recognition under noise is obtained. Further, when a plurality of persons are uttering, an effect is obtained that the user can arbitrarily specify which speaker's voice is to be recognized.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an information output device according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating an operation of the information output device during recording according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing an operation at the time of reproduction of the information output device according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating operations of a display and a pointing device according to the first embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of a display and a pointing device and a sound source search range according to a second embodiment of the present invention.
FIG. 6 is a diagram illustrating a configuration of an information output device according to a second embodiment of the present invention.
[Explanation of symbols]
Reference Signs List 100 microphone array 110 memory unit 120 interlocking switch 130 delay unit

Claims (7)

複数のマイクからなるマイクロホンアレーと、前記マイクロホンアレーを構成する個々のマイクロホンからの入力音響信号を、マイクロホンごと保持する複数の保持手段と、位置情報を入力する入力手段と、前記保持された複数チャネルの音響信号を用い前記取得位置方向へ音響的なフォーカスを行うフォーカス手段を持つ情報処理装置、情報処理方法および記録媒体。A microphone array comprising a plurality of microphones, a plurality of holding means for holding, for each microphone, input sound signals from individual microphones constituting the microphone array, an input means for inputting position information, and the plurality of held channels An information processing apparatus, an information processing method, and a recording medium having a focus unit that performs acoustic focus in the direction of the acquisition position using the acoustic signal of (1). 請求項1において、音響的なフォーカスを行った信号をフィードバックするフィードバック手段と、フォーカス方向を変動させ、前記フィードバック信号から最大出力が得られる方向を定める方向決定手段と、前記決定された方向に基づき、音のフォーカス方向を変更するフォーカス変更手段を持つ請求項1にかかる情報処理装置、情報処理方法および記録媒体。2. The method according to claim 1, further comprising: feedback means for feeding back an acoustically focused signal; direction determining means for changing a focus direction to determine a direction in which a maximum output is obtained from the feedback signal; The information processing apparatus, the information processing method, and the recording medium according to claim 1, further comprising a focus changing unit that changes a focus direction of the sound. 請求項2において、前記最大出力を求めるためにフォーカス方向を変動させる変動範囲を、前記位置情報入力手段により取得された位置情報の近傍に制限する制限手段を持つことを特徴とする請求項2にかかる情報処理装置、情報処理方法および記録媒体。3. The apparatus according to claim 2, further comprising a limiting unit that limits a variation range in which a focus direction is varied for obtaining the maximum output to a vicinity of the position information acquired by the position information input unit. Such an information processing apparatus, information processing method, and recording medium. 請求項1ないし3のいずれか1項に記載の、フォーカス後の音響信号に対し、音響効果を与えるために音響信号を加工する加工手段を持つことを特徴とする、請求項1ないし3のいずれか1項に記載の、情報処理装置、情報処理方法および記録媒体。4. The apparatus according to claim 1, further comprising a processing unit configured to process the acoustic signal to give an acoustic effect to the focused acoustic signal according to any one of claims 1 to 3. The information processing apparatus, the information processing method, and the recording medium according to claim 1. 請求項1ないし3のいずれかイ1項に記載の、フォーカス後の音響信号を認識するための音声認識手段を持つことを特徴とする、請求項1ないし3にかかる、情報処理装置、情報処理方法および記録媒体。An information processing apparatus according to any one of claims 1 to 3, further comprising a voice recognition unit for recognizing the acoustic signal after focusing. Method and recording medium. 請求項1ないし5のいずれか1項に記載の、位置情報を入力する手段で位置を入力した場合、前記入力位置をディスプレィに表示する表示手段を持つことを特徴とする請求項1ないし5のいずれか1項に記載の、情報処理装置、情報処理方法および記録媒体。6. The display device according to claim 1, further comprising a display unit for displaying the input position on a display when the position is input by the position information input unit according to any one of claims 1 to 5. An information processing apparatus, an information processing method, and a recording medium according to any one of the preceding claims. 請求項1ないし6のいずれか1項に記載の、本情報処理装置はビデオカメラもしくはデジタルカメラであることを特徴とする請求項1ないし6のいずれか1項に記載のビデオカメラもしくはデジタルカメラ。The video camera or digital camera according to any one of claims 1 to 6, wherein the information processing device according to any one of claims 1 to 6 is a video camera or a digital camera.
JP2002346838A 2002-11-29 2002-11-29 Information processor, information processing method, and recording medium Pending JP2004180197A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002346838A JP2004180197A (en) 2002-11-29 2002-11-29 Information processor, information processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002346838A JP2004180197A (en) 2002-11-29 2002-11-29 Information processor, information processing method, and recording medium

Publications (1)

Publication Number Publication Date
JP2004180197A true JP2004180197A (en) 2004-06-24

Family

ID=32707606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002346838A Pending JP2004180197A (en) 2002-11-29 2002-11-29 Information processor, information processing method, and recording medium

Country Status (1)

Country Link
JP (1) JP2004180197A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010021154A1 (en) * 2008-08-22 2010-02-25 ヤマハ株式会社 Recorder/reproducer
WO2011088796A1 (en) * 2010-01-22 2011-07-28 华为终端有限公司 Control method and device for picking up sounds
WO2014103331A1 (en) * 2012-12-27 2014-07-03 パナソニック株式会社 Sound processing system and sound processing method
JP2015019371A (en) * 2013-07-09 2015-01-29 ノキア コーポレイション Audio processing apparatus
JP2015100125A (en) * 2012-12-27 2015-05-28 パナソニックIpマネジメント株式会社 Audio processing system and audio processing method
DE102015214124A1 (en) 2014-08-05 2016-02-11 Panasonic Intellectual Property Management Co., Ltd. Audio processing system and audio processing method
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
EP3843423A1 (en) 2019-12-23 2021-06-30 TEAC Corporation Recording and playback device

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811626B2 (en) 2008-08-22 2014-08-19 Yamaha Corporation Recording/reproducing apparatus
JP2010074827A (en) * 2008-08-22 2010-04-02 Yamaha Corp Recorder/reproducer
CN102124754A (en) * 2008-08-22 2011-07-13 雅马哈株式会社 Recorder/reproducer
WO2010021154A1 (en) * 2008-08-22 2010-02-25 ヤマハ株式会社 Recorder/reproducer
CN102124754B (en) * 2008-08-22 2014-07-16 雅马哈株式会社 Recorder/reproducer
WO2011088796A1 (en) * 2010-01-22 2011-07-28 华为终端有限公司 Control method and device for picking up sounds
CN104904236A (en) * 2012-12-27 2015-09-09 松下知识产权经营株式会社 Sound processing system and sound processing method
US10536681B2 (en) 2012-12-27 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Sound processing system and sound processing method that emphasize sound from position designated in displayed video image
JP2014143678A (en) * 2012-12-27 2014-08-07 Panasonic Corp Voice processing system and voice processing method
JP2015100125A (en) * 2012-12-27 2015-05-28 パナソニックIpマネジメント株式会社 Audio processing system and audio processing method
JP2015118386A (en) * 2012-12-27 2015-06-25 パナソニックIpマネジメント株式会社 Voice processing system and voice processing method
JP2015122756A (en) * 2012-12-27 2015-07-02 パナソニックIpマネジメント株式会社 Audio processing system and audio processing method
WO2014103331A1 (en) * 2012-12-27 2014-07-03 パナソニック株式会社 Sound processing system and sound processing method
EP2941013A4 (en) * 2012-12-27 2015-11-04 Panasonic Ip Man Co Ltd Sound processing system and sound processing method
US10244219B2 (en) 2012-12-27 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Sound processing system and sound processing method that emphasize sound from position designated in displayed video image
CN104904236B (en) * 2012-12-27 2018-09-14 松下知识产权经营株式会社 sound processing system and sound processing method
US9826211B2 (en) 2012-12-27 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Sound processing system and processing method that emphasize sound from position designated in displayed video image
JP2015019371A (en) * 2013-07-09 2015-01-29 ノキア コーポレイション Audio processing apparatus
US9578413B2 (en) 2014-08-05 2017-02-21 Panasonic Intellectual Property Management Co., Ltd. Audio processing system and audio processing method
DE102015214124A1 (en) 2014-08-05 2016-02-11 Panasonic Intellectual Property Management Co., Ltd. Audio processing system and audio processing method
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
EP3843423A1 (en) 2019-12-23 2021-06-30 TEAC Corporation Recording and playback device
JP2021100209A (en) * 2019-12-23 2021-07-01 ティアック株式会社 Recording and playback device
US11418872B2 (en) 2019-12-23 2022-08-16 Teac Corporation Recording and playback device
JP7396029B2 (en) 2019-12-23 2023-12-12 ティアック株式会社 Recording and playback device

Similar Documents

Publication Publication Date Title
KR101061287B1 (en) imaging device
US8175317B2 (en) Audio reproducing apparatus and audio reproducing method
JP6289121B2 (en) Acoustic signal processing device, moving image photographing device, and control method thereof
JP2016146547A (en) Sound collection system and sound collection method
JP2010187363A (en) Acoustic signal processing apparatus and reproducing device
WO2006057131A1 (en) Sound reproducing device and sound reproduction system
CN111724823A (en) Information processing method and device and electronic equipment
JP2006314078A (en) Imaging apparatus, voice recording apparatus, and the voice recording method
JP5939444B2 (en) Imaging device
JP2004180197A (en) Information processor, information processing method, and recording medium
JP2006287544A (en) Audio visual recording and reproducing apparatus
JP6835205B2 (en) Shooting sound pickup device, sound pick-up control system, shooting sound pick-up device control method, and shooting sound pick-up control system control method
JP5949398B2 (en) Video / audio recording and playback device
JP2011120028A (en) Sound reproducer and method for controlling the same
JP2001313992A (en) Sound pickup device and sound pickup method
JPH05308553A (en) Sound recorder for video camera
JP2021132261A (en) Apparatus, program, and method of mixing picked-up sound signals from plurality of microphones
JP2009065319A (en) Image and sound recorder, and image and sound reproducing device
JP7111202B2 (en) SOUND COLLECTION CONTROL SYSTEM AND CONTROL METHOD OF SOUND COLLECTION CONTROL SYSTEM
JP2001086588A (en) Audio signal processor and audio signal processing method and electronic device
JPH1118187A (en) In-hall loudspeaker equipment tracing speaking party and voice input method
JP2007180953A (en) Mobile sound source searching apparatus
JP2008022069A (en) Voice recording apparatus and voice recording method
KR100203273B1 (en) Zoom mike for camcorder
JP3104349B2 (en) Recording device, reproducing device, recording method and reproducing method, and signal processing device