CN104301664B - 指向性控制系统、指向性控制方法、收音系统及收音控制方法 - Google Patents

指向性控制系统、指向性控制方法、收音系统及收音控制方法 Download PDF

Info

Publication number
CN104301664B
CN104301664B CN201410347640.XA CN201410347640A CN104301664B CN 104301664 B CN104301664 B CN 104301664B CN 201410347640 A CN201410347640 A CN 201410347640A CN 104301664 B CN104301664 B CN 104301664B
Authority
CN
China
Prior art keywords
radio reception
sound
directive property
pointing direction
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410347640.XA
Other languages
English (en)
Other versions
CN104301664A (zh
Inventor
重永信
重永信一
林和典
德田肇道
泽裕隆
篠崎浩介
渡边周
渡边周一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN104301664A publication Critical patent/CN104301664A/zh
Application granted granted Critical
Publication of CN104301664B publication Critical patent/CN104301664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供指向性控制系统、指向性控制方法、收音系统及收音控制方法。算出从麦克风阵列装置朝向预置位置的指向方向，在所算出的指向方向上形成指向性，由此使麦克风阵列装置对存在于从麦克风阵列装置朝向预置位置的方向上的对象物的声音进行高精度地收音。在显示器装置(36)上显示指定从对对象物的声音进行收音的全方位麦克风阵列装置(2)朝向存在对象物的声音位置(A)的指向方向的指定画面。指向方向算出部(34)根据所显示的指定画面上的指向方向的指定来算出从全方位麦克风阵列装置(2)到与所指定的指向方向对应的声音位置(A)的水平角及垂直角。输出控制部(35)基于所算出的水平角及垂直角来形成对象物的声音的指向性。

Description

指向性控制系统、指向性控制方法、收音系统及收音控制方法
技术领域
本发明涉及在从麦克风阵列装置朝向已定的声音位置的指向方向上形成声音的指向性的指向性控制系统、指向性控制方法、收音系统及收音控制方法。
背景技术
以往，在工厂、店铺(例如小卖店、银行)或公共场所(例如图书馆)的规定位置(例如顶棚)上设置的监视系统中，经由网络而连接多个相机装置(例如摇摄倾转相机装置或全方相位机装置)，由此实现监视对象的规定范围的影像数据(包含静止图像及动画。以下同样)的广视场角化。
另外，在仅是影像的监视中获得的信息量无论如何都存在极限，因此迫切要求如下的监视系统：不仅配置相机装置，还配置麦克风阵列装置，由此获得相机装置对特定的被摄体进行拍摄的方向(以下，称为“拍摄方向”)上的声音数据。
在此，已知有对相机装置及麦克风阵列装置的各动作进行控制而获得存在于相机装置的拍摄方向上的被摄体的声音数据的控制装置(例如参照专利文献1)。专利文献1所示的控制装置设置在例如能够利用TV会议系统的会议室内，控制能够沿左右方向(摇摄方向)进行动作的相机装置和能够变更收音范围的麦克风阵列装置的各动作。
专利文献1所示的控制装置使用相机装置的位置与通过相机装置取得的映入到影像中的被摄体的位置之间的距离、相机装置的摇摄方向、相机装置的位置与麦克风阵列装置的位置之间的距离、以相机装置的位置为基准的麦克风阵列装置的位置的方向，来变更麦克风阵列装置的收音范围。
专利文献1：日本特开2012-186551号公报
在专利文献1中，例如假定电视会议系统中的使用方式，以相机装置、麦克风阵列装置、被摄体(例如讲话者)存在于同一平面上为前提。然而，在上述的监视系统中，相机装置、麦克风阵列装置、被摄体(例如店铺的店员、客人)这全部实际存在于同一平面上的情况少。
例如相机装置及麦克风阵列装置从被摄体向上方(例如店铺的顶棚面)设置的情况多，因此相机装置、麦克风阵列装置及被摄体不存在于平面性的二维坐标上，反而存在于立体性的三维坐标上的情况较多。
因此，在上述的监视系统中，在麦克风阵列装置对相机装置正进行拍摄的影像中的被摄体的谈话进行收音的情况下，存在通过专利文献1的方法算出的表示麦克风阵列装置收音的方向的坐标(水平角、垂直角)难以直接使用的问题。
另外，根据监视系统的引进地点(例如店铺)，若预先决定了在店铺之中欲取得声音的已定的声音位置(以下，称为“预置位置”)，则即使在例如相机装置未设置于监视系统的情况下，也优选麦克风阵列装置预先决定预置位置处的用于对声音进行收音的指向方向。
发明内容
本发明为了解决上述的以往的问题，目的在于提供一种算出从麦克风阵列装置朝向预置位置的指向方向，并在所算出的指向方向上形成指向性，由此输出存在于从麦克风阵列装置朝向预置位置的方向上的对象物的明亮的声音的指向性控制系统及指向性控制方法。
本发明是指向性控制系统，具备：对声音进行收音的收音部；显示部，显示对从上述收音部朝向第一声音位置的指向方向进行指定的指定画面；指向方向算出部，根据所显示的上述指定画面上的上述指向方向的指定，算出从上述收音部到所指定的上述指向方向所对应的上述第一声音位置的水平角及垂直角；及控制部，基于所算出的上述水平角及垂直角，对于由上述收音部收音到的声音形成指向性。
另外，本发明是指向性控制系统，具备：对声音进行收音的收音部；显示部，显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面、或者从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；指向方向算出部，根据显示于上述显示部的上述设定画面上的上述指向方向的设定值，算出从上述收音部到与所设定的上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；存储部，将按照上述收音区域内的各上述已定的第二声音位置而算出的上述水平角及垂直角与上述收音区域内的上述已定的第二声音位置建立对应地存储；及控制部，基于所算出的上述水平角及垂直角，对于由上述收音部收音到的声音形成指向性，上述指向方向算出部根据朝向显示于上述显示部的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于所存储的上述收音区域内的上述已定的第二声音位置所对应的上述水平角及垂直角，算出朝向所指定的上述任意的第三声音位置的指向方向的水平角及垂直角。
另外，本发明是指向性控制系统，具备：对声音进行收音的收音部；显示部，显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面、或者从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；存储部，将显示于上述显示部的上述设定画面上的上述一个以上的指向方向的设定值与上述收音区域内的上述已定的第二声音位置建立对应地存储；指向方向算出部，基于所存储的上述指向方向的设定值，算出到与上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；及控制部，基于所算出的上述水平角及垂直角，对于由上述收音部收音到的声音形成指向性，上述指向方向的设定值是从上述收音部到上述已定的第二声音位置的水平距离及水平角度、或第一水平距离及第二水平距离，上述指向方向算出部根据朝向显示于上述显示部的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于所存储的上述收音区域内的上述已定的第二声音位置所对应的上述水平角及垂直角的设定值，算出朝向所指定的上述任意的第三声音位置的指向方向的水平角及垂直角。
另外，本发明是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：显示对从上述收音部朝向第一声音位置的指向方向进行指定的指定画面；根据所显示的上述指定画面上的上述指向方向的指定，算出从上述收音部到与所指定的上述指向方向对应的上述第一声音位置的水平角及垂直角；及基于所算出的上述水平角及垂直角，来形成由上述收音部收音到的声音的指向性。
另外，本发明是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面；根据所显示的上述设定画面上的上述指向方向的设定值，算出从上述收音部到与所设定的上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；将按照上述收音区域内的各上述已定的第二声音位置而算出的上述水平角及垂直角与上述收音区域内的上述已定的第二声音位置建立对应地存储；显示从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；根据朝向所显示的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于所存储的上述收音区域内的各上述已定的第二声音位置的指向方向，算出朝向所指定的上述任意的第三声音位置的指向方向的水平角及垂直角；及基于所算出的上述水平角及垂直角，来形成通过上述收音部收音到的声音的指向性。
另外，本发明是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面；将所显示的上述设定画面上的上述指向方向的设定值与上述收音区域内的上述已定的第二声音位置建立对应地存储；基于所存储的上述指向方向的设定值，算出到与上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；显示从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；及根据朝向所显示的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于所存储的上述收音区域内的各上述已定的第二声音位置的指向方向的设定值，算出朝向所指定的上述任意的第三声音位置的指向方向的水平角及垂直角，上述指向方向的设定值是从上述收音部到上述已定的第二声音位置的水平距离及水平角度、或者第一水平距离及第二水平距离。
本发明是收音系统，具备：对声音进行收音的收音部；第一相机装置，具有与上述收音部相同的基准坐标系；显示部，显示从上述第一相机装置的拍摄图像指定一个以上的已定的第四声音位置所对应的位置的指定画面；指向方向算出部，根据与上述已定的第四声音位置对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第四声音位置的水平角及垂直角；存储部，将按照各上述已定的第四声音位置而取得的上述水平角及垂直角与上述已定的第四声音位置建立对应地存储；以及指向性控制部，基于按照各上述已定的第四声音位置而存储的上述水平角及垂直角，来形成由上述收音部收音到的声音的指向性。
另外，本发明是收音系统，具备：对声音进行收音的收音部；第一相机装置，具有与上述收音部相同的基准坐标系；一个以上的第二相机装置，拍摄规定的不同收音区域；显示部，显示从所选择的任一上述第二相机装置的拍摄图像所对应的上述第一相机装置的拍摄图像指定一个以上的已定的第五声音位置所对应的位置的指定画面；指向方向算出部，根据与上述已定的第五声音位置对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第五声音位置的水平角及垂直角；存储部，将按照各上述已定的第五声音位置而取得的上述水平角及垂直角与上述已定的第五声音位置建立对应地存储；以及指向性控制部，基于按照各上述已定的第五声音位置而存储的上述水平角及垂直角，来形成由上述收音部收音到的声音的指向性。
另外，本发明是包含对声音进行收音的收音部的收音系统的收音控制方法，具有如下步骤：显示通过具有与上述收音部相同的基准坐标系的第一相机装置所拍摄到的拍摄图像；显示从上述第一相机装置的拍摄图像指定一个以上的已定的第四声音位置所对应的位置的指定画面；根据与上述已定的第四声音位置对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第四声音位置的水平角及垂直角；将按照各上述已定的第四声音位置而取得的上述水平角及垂直角与上述已定的第四声音位置建立对应地存储于存储部；以及基于在上述存储部中按照各上述已定的第四声音位置而存储的上述水平角及垂直角，来形成由上述收音部收音到的声音的指向性。
另外，本发明是包含对声音进行收音的收音部的收音系统的收音控制方法，具有如下步骤：显示通过具有与上述收音部相同的基准坐标系的第一相机装置所拍摄到的拍摄图像；接收拍摄规定的不同收音区域的一个以上的第二相机装置的选择；显示从所选择的任一上述第二相机装置的拍摄图像所对应的上述第一相机装置的拍摄图像指定一个以上的已定的第五声音位置所对应的位置的指定画面；根据与上述已定的第五声音位置对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第五声音位置的水平角及垂直角；将按照各上述已定的第五声音位置而取得的上述水平角及垂直角与上述已定的第五声音位置建立对应地存储于存储部；以及基于在上述存储部中按照各上述已定的第五声音位置而存储的上述水平角及垂直角，来形成由上述收音部收音到的声音的指向性。
发明效果
根据本发明，算出从麦克风阵列装置朝向预置位置的指向方向，并在所算出的指向方向上形成指向性，由此能够输出存在于从麦克风阵列装置朝向预置位置的方向上的对象物的明亮的声音。
根据本发明，容易取得从麦克风阵列装置朝向已定的声音位置的指向方向，并能够输出存在于从麦克风阵列装置朝向已定的声音位置的方向上的对象物的明亮的声音。
附图说明
图1(A)是第一实施方式的指向性控制系统的系统概要图，图1(B)是表示第一实施方式的指向性控制系统的内部结构的框图。
图2(A)是表示第一实施方式的指向方向指定画面的第一例的图，图2(B)是表示朝向在图2(A)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A的指向方向的水平距离LA及水平角θA的图。
图3(A)是表示第一实施方式中的指向方向指定画面的第二例的图，图3(B)是表示朝向在图3(A)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A的指向方向的第一水平距离LAx及第二水平距离LAy的图。
图4(A)～图4(E)是全方位麦克风阵列装置的外观图。
图5是说明全方位麦克风阵列装置在规定方向θ上形成指向性作为声音的收音方向的内容的原理图。
图6是说明第一实施方式的指向性控制系统的动作顺序的流程图。
图7(A)是表示在图2(B)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A与全方位麦克风阵列装置2的几何学上的配置关系的俯视图，图7(B)是图7(A)所示的R-R’剖视图。
图8(A)是表示在图3(B)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A与全方位麦克风阵列装置2的几何学上的配置关系的俯视图，图8(B)是图8(A)所示的R-R’剖视图。
图9(A)是表示将第二实施方式的指向性控制系统10设于店铺时的收音整体区域AR1与多个预置位置P1、P2、P3-1、P3-2的关系的预置指定位置图，图9(B)是表示用于利用图9(A)所示的预置位置的水平距离及水平角来设定与预置位置对应的预置指定位置的预置指定位置设定画面的一例的图。
图10(A)是表示收音整体区域AR1内的多个预置位置P1、P2、P3-1、P3-2与用户想要听的声音位置的关系的预置指定位置图，图10(B)是表示用于在与收音整体区域AR1对应的最外形的圆BR1内指定用户想要听的声音位置的声音位置指定画面的一例的图。
图11是说明第二实施方式的指向性控制系统的动作顺序的流程图。
图12是说明在第二实施方式中从规定的操作画面直接输入预先实际测量的预置位置的(水平距离、水平角)或(第一水平距离、第二水平距离)的值时的指向性控制系统的动作顺序的流程图。
图13是说明在第二实施方式中将在规定的操作画面上输入的预置位置的(水平距离、水平角)或(第一水平距离、第二水平距离)的值存储为预置值时的指向性控制系统的动作顺序的流程图。
图14(A)是表示第二实施方式的预置表的一例的图，图14(B)是表示将在第二实施方式中预先实际测量出的预置位置的(水平距离、水平角)的值存储为预置值时的预置表的一例的图，图14(C)是表示将在第二实施方式中预先实际测量出的预置位置的(第一水平距离、第二水平距离)的值存储为预置值时的预置表的一例的图，图14(D)是表示在图14(B)所示的预置表中包含多个指向方向作为预置值时的预置表的一例的图。
图15(A)是表示第三实施方式的指向性控制系统的内部结构的框图，图15(B)是表示第三实施方式的预置表的一例的图。
图16(A)是表示收音整体区域AR1内的多个预置位置P1、P2、P3-1、P3-2和相机装置的拍摄范围的一例的预置指定位置图，图16(B)是表示收音区域选择画面和表示与所选择的收音区域对应的相机装置的拍摄影像的拍摄影像显示画面的图。
图17是说明第三实施方式的指向性控制系统的动作顺序的流程图。
图18(A)是表示第四实施方式的指向性控制系统的内部结构的框图，图18(B)是表示第四实施方式的预置表的一例的图。
图19(A)是表示收音整体区域AR1内的多个预置位置P1、P2、P3、Pn和相机装置的拍摄范围的预置指定位置图，图19(B)是表示相机选择画面和所选择的相机装置的拍摄影像的图。
图20是说明第四实施方式的指向性控制系统的动作顺序的流程图。
图21(A)是第五实施方式的收音系统的系统概要图，图21(B)是表示第五实施方式的收音系统的内部结构的框图。
图22(A)是表示根据临时设置全方位相机装置的全方位的拍摄图像来指定预置指定位置的预置指定位置指定画面的一例的图，图22(B)是表示第五实施方式的预置表的一例的图。
图23(A)是表示将第五实施方式的收音系统设于店铺时的收音整体区域AR1与多个预置位置P1、P2、P3、Pn的关系的预置指定位置图，图23(B)是表示第五实施方式的收音区域的选择画面的一例的图。
图24是说明第五实施方式的收音系统的动作顺序的流程图。
图25是第二实施方式的收音系统的系统概要图。
图26(A)是表示第六实施方式的收音系统的内部结构的框图，图26(B)是表示第六实施方式的预置表的一例的图。
图27(A)是表示将第六实施方式的收音系统设于店铺时的收音整体区域AR1与多个预置位置P1、P2、P3、Pn的关系的预置指定位置图，图27(B)是表示第六实施方式的收音区域选择画面和监视相机装置(的识别编号)C13的拍摄图像的显示画面的一例的图。
图28(A)是表示监视相机装置CM11的拍摄图像的显示画面的一例的图，图28(B)是表示与监视相机装置CM11的拍摄图像对应的临时设置全方位相机装置Ct的全方位的拍摄图像的显示画面的一例的图，图28(C)是表示监视相机装置CM11的拍摄图像的显示画面和与监视相机装置CM11的拍摄图像对应的临时设置全方位相机装置Ct的全方位的拍摄图像的显示画面的对比显示例的图。
图29是说明第六实施方式的收音系统的动作顺序的流程图。
图30是表示显示有对指向性控制参数进行调整的控制框的指向方向指定画面的一例的图。
图31是说明第一实施方式的指向性控制系统的另一动作顺序的流程图。
图32(A)是表示声音位置指定画面的一例的图，图32(B)是表示显示有用于调整预置值的调整菜单框的声音位置指定画面的第一例的图。
图33(A)是表示声音位置指定画面的一例的图，图33(B)是表示显示有用于调整预置值的调整菜单框的声音位置指定画面的第二例的图。
图34是说明第二实施方式的指向性控制系统的另一动作顺序的流程图。
图35是说明图34的预置值的修正处理的动作顺序的流程图。
图36是说明图35的预置值的调整结果的反映处理的动作顺序的流程图。
附图标记说明
2 全方位麦克风阵列装置
3、3D 指向性控制装置
4 记录装置
10、10A、10B 指向性控制系统
10C、10D 收音系统
31 通信部
32 操作部
33、33D 信号处理部
34 指向方向算出部
35、35D 输出控制部
36 显示器装置
37 扬声器装置
38 存储器
C11、C1n 相机装置
CM11、CM12、CM13、CM1n 监视相机装置
Ct 临时设置全方位相机装置
具体实施方式
以下，参照附图来说明本发明的指向性控制系统及指向性控制方法的各实施方式。各实施方式的指向性控制系统被用作设置在例如工厂、公共设施(例如图书馆、比赛会场)、或店铺(例如小卖店、银行)中的监视系统(包含有人监视系统及无人监视系统)，但没有特别限定。在以下的各实施方式中，将各实施方式的指向性控制系统例如设置于店铺而进行说明。
此外，本发明也可以表示为具有构成指向性控制系统的各装置(例如后述的指向性控制装置)、或构成指向性控制系统的各装置(例如后述的指向性控制装置)进行的各动作(步骤)的指向性控制方法。
(第一实施方式)
(指向性控制系统的系统结构)
图1(A)是第一实施方式的指向性控制系统10的系统概要图。图1(B)是表示第一实施方式的指向性控制系统10的内部结构的框图。图1(A)或图1(B)所示的指向性控制系统10包含：作为对象物(例如图1(A)中的两个人。以下同样。)的声音(例如两个人的谈话声音)进行收音的收音部的全方位麦克风阵列装置2；指向性控制装置3；及记录装置4。
全方位麦克风阵列装置2具有例如在框体中心形成有开口部21a的圈型或环型(环状型)的框体21C(参照图4(D))，以全方位麦克风阵列装置2的设置位置M为中心，对360°的方向(全方位)的声音进行收音。在图1(A)中，全方位麦克风阵列装置2在从全方位麦克风阵列装置2的设置位置M朝向后述的声音位置A的指向方向上形成用于高精度地对声音进行收音的指向性，从而高精度地对存在于指向方向上的作为对象物的两个人的谈话声音(例如“你好”)进行收音。此外，关于全方位麦克风阵列装置2的框体形状，没有限定为圈型或环型(环状型)形状，参照图4在后文叙述。
在全方位麦克风阵列装置2中，在开口部21a的周围、且沿着框体21c的圆周方向将多个麦克风单元22呈同心圆状地配置。麦克风单元22使用例如高音质小型驻极体电容麦克风(ECM：Electret Condenser Microphone)，在以下的各实施方式中也同样。
在图1(B)所示的指向性控制系统10中，全方位麦克风阵列装置2、指向性控制装置3及记录装置4经由网络NW而相互连接。网络NW可以是有线网络(例如内部网、互联网)，也可以是无线网络(例如无线LAN(Local Area Network))，在以下的各实施方式中也同样。
全方位麦克风阵列装置2至少包含：与网络NW连接且包含按照等间隔设置的麦克风的麦克风单元22、23(参照图4(A)～图4(E))；和用于对各麦克风单元22、23的各动作进行控制的控制部(未图示)。
全方位麦克风阵列装置2使用各个麦克风单元22、23对存在成为声音收音对象的对象物的指向方向的声音进行收音，并将各个麦克风单元22、23所收音到的声音数据经由网络NW向指向性控制装置3或记录装置4发送。
全方位麦克风阵列装置2根据来自后述的指向性控制装置3的指向性形成指示，在指向性控制装置3的信号处理部33的指向方向算出部34所算出的指向方向(θMAh、θMAv)上形成各个麦克风单元22、23的指向性。
由此，全方位麦克风阵列装置2能够相对地增大从形成有指向性的指向方向(θMAh、θMAv)收音到的声音的音量水平，且能够相对地减小从未形成指向性的方向收音到的声音的音量水平。此外，关于指向方向(θMAh、θMAv)的算出方法在后文叙述。
此外，全方位麦克风阵列装置2的各麦克风单元22、23可以是无指向性麦克风，也可以使用双指向性麦克风、单一指向性麦克风、锐指向性麦克风、超指向性麦克风(例如枪式麦克风)或它们的组合。
指向性控制装置3可以是与网络NW连接且设于例如监视系统控制室(未图示)的安置型的PC(Personal Computer)，也可以是用户能够便携的便携电话机、平板终端、智能电话等数据通信终端。
指向性控制装置3是至少包含通信部31、操作部32、信号处理部33、显示器装置36、扬声器装置37及存储器38的结构。信号处理部33包含指向方向算出部34、输出控制部35。
通信部31经由网络NW接收全方位麦克风阵列装置2所发送的声音数据而向信号处理部33输出。
操作部32是用于将用户的输入操作的内容向信号处理部33通知的用户接口(UI：User Interface)，例如是鼠标、键盘等指向设备。而且，操作部32也可以使用例如与显示器装置36的画面对应地配置且能够通过用户的手指FG或指示笔进行输入操作的触摸面板或触摸屏来构成。
操作部32根据用户的输入操作，取得用户希望增大或减小声音的音量水平的场所即表示图2(B)或图3(B)所示的指向方向指定画面上的指定位置A’或后述的图9(B)所示的预置指定位置P1’、P2’、P3-1’、P3-2’的坐标数据，并向信号处理部33输出。
信号处理部33例如使用CPU(Central Processing Unit)、MPU(Micro ProcessingUnit)或DSP(Digital Signal Processor)而构成，进行用于整体性地综合指向性控制装置3的各部的动作的控制处理、与其他各部之间的数据的输入输出处理、数据的运算(计算)处理及数据的存储处理。
指向方向算出部34根据用户从显示于显示器装置36上的指向方向指定画面(参照图2(A)或图3(A))对任意位置(＝指定位置A’)的指定，算出表示从全方位麦克风阵列装置2朝向与指定位置A’对应的声音位置A的指向方向的坐标(θMAh、θMAv)。指向方向算出部34的具体的算出方法参照图7及图8在后文叙述。
表示指向方向的坐标(θMAh、θMAv)中，θMAh表示从全方位麦克风阵列装置2朝向声音位置A的指向方向的水平角，θMAv表示从全方位麦克风阵列装置2朝向声音位置A的指向方向的垂直角。此外，声音位置A是操作部32在显示器装置36所显示的指向方向指定画面上通过用户的手指FG或与指示笔指定的指定位置A’对应的实际监视对象的现场位置(参照图1(A))。
在此，关于指向方向指定画面，参照图2(A)、图2(B)、图3(A)及图3(B)进行说明。图2(A)是表示第一实施方式的指向方向指定画面的第一例的图。图2(B)是表示朝向在图2(A)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A的指向方向的水平距离LA及水平角θA的图。图3(A)是表示第一实施方式的指向方向指定画面的第二例的图。图3(B)是表示朝向在图3(A)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A的指向方向的第一水平距离LAx及第二水平距离LAy的图。
在图2(A)所示的指向方向指定画面上，在原点的位置设置全方位麦克风阵列装置2，距原点的距离表示距全方位麦克风阵列装置2的水平距离(参照图7(A))，相对于基准方向(例如0°方向)的角度表示距全方位麦克风阵列装置2的水平角(参照图7(A))，图2(A)中的上侧表示水平角的基准方向即0°方向，该图中的下侧表示水平角的180°方向。而且，在图2(A)中，以从纵轴的原点起上侧的直线、即表示水平角的0°方向的直线为起点的同心圆状的曲线表示水平距离基线FD，水平距离基线FD对应于以表示水平角的0°方向的直线为起点的水平距离基线FD的长度而表示距全方位麦克风阵列装置2的水平距离。在图2(A)中，通过原点且呈辐射状延伸的直线表示水平角度基线FA，水平角度基线FA表示相对于以全方位麦克风阵列装置2为起点的水平角的基准方向(例如0°方向)的水平角。在图2(A)及图2(B)中，水平距离的单位例如为米[m]。
例如图2(B)所示，当在图2(A)所示的指向方向指定画面上通过用户的手指FG指定任意指定位置A’时，指向方向算出部34从操作部32取得指定位置A’的坐标数据、即(水平距离、水平角)＝(LA、θA)的坐标数据。
另外，在图3(A)所示的指向方向指定画面上，在原点的位置设置全方位麦克风阵列装置2，横轴表示距全方位麦克风阵列装置2的X轴方向上的水平距离(第一水平距离、参照图8(A))，纵轴表示距全方位麦克风阵列装置2的Y轴方向上的水平距离(第二水平距离、参照图8(A))，图3(A)中的上侧表示全方位麦克风阵列装置2的水平角的基准方向即0°方向，该图中的右侧表示全方位麦克风阵列装置2的水平角的90°方向，该图中的下侧表示全方位麦克风阵列装置2的水平角的180°方向，最后该图中的左侧表示全方位麦克风阵列装置2的水平角的270°方向。在图3(A)及图3(B)中，水平距离的单位例如为米[m]。
例如图3(B)所示，当在图3(A)所示的指向方向指定画面上通过用户的手指FG指定任意指定位置A’时，指向方向算出部34从操作部32取得指定位置A’的坐标数据、即(第一水平距离、第二水平距离)＝(LAx、LAy)的坐标数据。
作为控制部的输出控制部35对全方位麦克风阵列装置2、显示器装置36及扬声器装置37的动作进行控制，例如根据用户的输入操作，将图2(A)或图3(A)所示的指向方向指定画面显示于显示器装置36上，而且，将从全方位麦克风阵列装置2发送的声音数据向扬声器装置37进行声音输出。而且，输出控制部35在通过指向方向算出部34算出的收音方向坐标(θMAh、θMAv)所对应的指向方向上形成声音数据的指向性，但也可以由全方位麦克风阵列装置2来形成。
作为显示部的显示器装置36根据例如用户的输入操作，在信号处理部33的控制下，来显示用于指定从全方位麦克风阵列装置2的设置位置朝向存在对象物的声音位置A的指向方向的指向方向指定画面。
作为声音输出部的扬声器装置37将全方位麦克风阵列装置2所收音到的声音数据、或者在指向方向算出部34所算出的指向方向(θMAh、θMAv)上形成了指向性之后由全方位麦克风阵列装置2所收音到的声音数据进行声音输出。此外，显示器装置36及扬声器装置37可以设为与指向性控制装置3不同的结构。
作为存储部的存储器38例如使用RAM(Random Access Memory)而构成，作为指向性控制装置3的各部的动作时的工作存储器发挥功能，而且，存储指向性控制装置3的各部的动作时所需的数据。
记录装置4对全方位麦克风阵列装置2所收音到的声音数据进行记录。此外，在图1(A)所示的指向性控制系统10中包含有一个以上相机装置的情况下，记录装置4可以将各相机装置所拍摄到的影像数据与全方位麦克风阵列装置2所收音到的声音数据建立对应地进行记录。
图4(A)～图4(E)是全方位麦克风阵列装置2的外观图。图4(A)～图4(E)所示的全方位麦克风阵列装置2虽然外观及多个麦克风单元的配置位置不同，但全方位麦克风阵列装置2自身的功能相同。
图4(A)所示的全方位麦克风阵列装置2具有圆盘状的框体21。多个麦克风单元22、23呈同心圆状地配置于框体21。具体而言，多个麦克风单元22沿着具有与框体21相同的中心的大的圆形而呈同心圆状地配置，多个麦克风单元23沿着具有与框体21相同的中心的小的圆形而呈同心圆状地配置。多个麦克风单元22具有相互的间隔宽、直径大、适合于低音域的特性。另一方面，多个麦克风单元23具有相互的间隔窄、直径小、适合于高音域的特性。
图4(B)所示的全方位麦克风阵列装置2A具有圆盘状的框体21。在框体21上，多个麦克风单元22以水平方向的纵向和横向的中心在框体21的中心处相交的方式按照均匀的间隔配置在直线上。全方位麦克风阵列装置2A将多个麦克风单元22配置成纵横的直线状，因此能够减小声音数据的指向性的形成处理的运算量。此外，可以仅在纵向或横向的一列上配置多个麦克风单元22。
图4(C)所示的全方位麦克风阵列装置2B与图4(A)所示的全方位麦克风阵列装置2相比，具有直径小的圆盘状的框体21B。在框体21B上，多个麦克风单元22沿着圆周方向均匀地配置。对于图4(C)所示的全方位麦克风阵列装置2B，各个麦克风单元22的间隔短，因此具有适合于高音域的特性。
图4(D)所示的全方位麦克风阵列装置2C具有圈型形状或环型(环状型)形状的框体21C，该框体21C在框体中心形成了具有规定直径的开口部21a。如上所述，在图1(A)所示的指向性控制系统10中，使用图4(D)所示的全方位麦克风阵列装置2C。在框体21C中，在框体21C的圆周方向上，将多个麦克风单元22按照均匀的间隔呈同心圆状地配置。
图4(E)所示的全方位麦克风阵列装置2D具有矩形的框体21D。在框体21D上，多个麦克风单元22沿着框体21D的外周方向按照均匀的间隔配置。在图4(E)所示的全方位麦克风阵列装置2D中，框体21D形成为矩形，因此即使在例如角落等场所也能够简化全方位麦克风阵列装置2D的设置。
图5是说明全方位麦克风阵列装置2在规定方向θ上形成指向性作为声音的收音方向的内容的原理图。在图5中，简单说明使用了例如延迟和方式的指向性控制处理的原理。从声源80发出的声波对于在全方位麦克风阵列装置2的麦克风单元22或麦克风单元23中内置的各麦克风221、222、223、…、22(n-1)、22n，以某恒定角度(入射角＝(90-θ)[度])入射。图5所示的入射角θ可以是从全方位麦克风阵列装置2朝向声音位置A的收音方向的水平角θMAh，也可以是垂直角θMAv。
声源80是例如全方位麦克风阵列装置2收音的方向上存在的相机装置的对象物(例如图1(A)所示的两个人)，对于全方位麦克风阵列装置2的框体21的面上，存在于规定角度θ的方向。而且，各麦克风221、222、223、…、22(n-1)、22n间的间隔d恒定。
从声源80发出的声波最初到达麦克风221而被收音，接着到达麦克风222而被收音，同样地不断被收音，最后到达麦克风22n而被收音。
此外，在例如声源80为人的谈话时的声音时，从全方位麦克风阵列装置2的各麦克风221、222、223、…、22(n-1)、22n的位置朝向声源80的方向与从全方位麦克风阵列装置2的各麦克风朝向用户在显示器装置36的画面上指定的指定位置A’所对应的声音位置A的方向相同。
在此，从声波到达麦克风221、222、223、…、22(n-1)的时刻至到达最后收音的麦克风22n的时刻为止，产生到达时间差τ1、τ2、τ3、…、τn-1。因此，在将各个麦克风221、222、223、…、22(n-1)、22n收音到的声音数据直接进行加法运算，在保持相位错开的状态下进行加法运算，因此声波的音量水平在整体上减弱。
此外，τ1是声波到达麦克风221的时刻与声波到达麦克风22n的时刻之差的时间，τ2是声波到达麦克风222的时刻与声波到达麦克风22n的时刻之差的时间，同样，τn-1是声波到达麦克风22(n-1)的时刻与声波到达麦克风22n的时刻之差的时间。
在本实施方式中，全方位麦克风阵列装置2是具有与各麦克风221、222、223、…、22(n-1)、22n分别对应地设置的A/D转换器241、242、243、…、24(n-1)、24n、延迟器251、252、253、…、25(n-1)、25n、加法运算器26的结构(参照图5)。
即，全方位麦克风阵列装置2将各麦克风221、222、223、…、22(n-1)、22n所收音到的模拟的声音数据在A/D转换器241、242、243、…、24(n-1)、24n中向数字的声音数据进行AD转换。
而且，全方位麦克风阵列装置2在延迟器251、252、253、…、25(n-1)、25n中施加各个麦克风221、222、222、…、22(n-1)、22n中的到达时间差所对应的延迟时间而使全部声波的相位一致，之后，在加法运算器26中将延迟处理后的声音数据相加。由此，全方位麦克风阵列装置2能够针对各麦克风221、222、223、…、22(n-1)、22n而在规定角度θ的方向上形成声音数据的指向性。
例如在图5中，在延迟器251、252、253、…、25(n-1)、25n中设定的各延迟时间D1、D2、D3、…、D(n-1)、Dn分别相当于到达时间差τ1、τ2、τ3、…、τ(n-1)，由数学式(1)表示。
【数学式1】
，…，
Dn＝0...(1)
L1是麦克风221与麦克风22n的声波到达距离之差。L2是麦克风222与麦克风22n的声波到达距离之差。L3是麦克风223与麦克风22n的声波到达距离之差，同样，L(n-1)是麦克风22(n-1)与麦克风22n的声波到达距离之差。Vs是声波的速度(音速)。L1、L2、L3、…、L(n-1)、Vs是已知的值。在图5中，在延迟器25n中设定的延迟时间Dn是0(零)。
这样一来，全方位麦克风阵列装置2能够通过变更在延迟器251、252、253、…、25(n-1)、25n中设定的延迟时间D1、D2、D3、…、Dn-1、Dn而简易地形成在麦克风单元22或麦克风单元23中内置的各个麦克风221、222、223、…、22(n-1)、22n所收音到的声音数据的指向性。
此外，以全方位麦克风阵列装置2进行的情况为前提而说明了图5所示的说明的处理，但指向性控制装置3的信号处理部33只要同样具有与麦克风的个数相同的AD转换器及延迟器和一个加法运算器的结构，信号处理部33就可以进行上述的处理。
接下来，参照图6来说明本实施方式的指向性控制系统10的详细的动作顺序。图6是说明第一实施方式的指向性控制系统10的动作顺序的流程图。在图6的说明中，在初始设置中，包含将全方位麦克风阵列装置2向规定设置面(例如店铺内的顶棚面或支架)设置或安装的动作。
在图6中，进行初始设置以将构成指向性控制系统10的全方位麦克风阵列装置2向规定设置面(例如店铺内的顶棚面或支架)固定(ST11)。此外，在初始设置中，测定全方位麦克风阵列装置2距基准面(例如店铺的地板面。以下同样)的高度HM，并经由操作部32向信号处理部33的指向方向算出部34输入。
在步骤ST11之后，指向性控制装置3根据用户的输入操作将图2(A)或图3(A)所示的指向方向指定画面显示于显示器装置36上。指向性控制装置3经由操作部32接收从显示于显示器装置36上的指向方向指定画面对任意指定位置A’的指定(ST12)。
由此，当在例如图2(A)所示的指向方向指定画面上通过用户的手指FG指定任意指定位置A’时，指向性控制装置3能够从操作部32取得指定位置A’的坐标数据、即(水平距离、水平角)＝(LA、θA)的坐标数据。或者，当在例如图3(A)所示的指向方向指定画面上通过用户的手指FG指定任意指定位置A’时，指向性控制装置3能够从操作部32取得指定位置A’的坐标数据、即(第一水平距离、第二水平距离)＝(LAx、LAy)的坐标数据。
在步骤ST12之后，指向性控制装置3的指向方向算出部34基于通过步骤ST12取得的(水平距离、水平角)或(第一水平距离、第二水平距离)的坐标数据、全方位麦克风阵列装置2距基准面(例如店铺的地板面。以下同样。)的高度HM、声音位置A距基准面(例如店铺的地板面。以下同样。)的高度HA，来算出从全方位麦克风阵列装置2的设置位置朝向通过步骤ST12指定的指定位置A’所对应的声音位置A的指向方向的水平角及垂直角(θMAh、θMAv)(ST13)。关于步骤ST13的动作的详细情况，参照图7及图8在后文叙述。
由此，指向性控制装置3能够简易地算出从全方位麦克风阵列装置2朝向用户从指向方向指定画面指定的任意指定位置A’所对应的声音位置A的指向方向。
指向性控制装置3的输出控制部35将包含通过步骤ST13算出的表示指向方向的坐标(θMAh、θMAv)的数据的指向性形成指示向全方位麦克风阵列装置2发送。全方位麦克风阵列装置2按照来自指向性控制装置3的指向性形成指示而在指向性控制装置3所算出的收音方向坐标(θMAh、θMAv)的收音方向上形成各个麦克风单元22、23的指向性(ST14)。
由此，全方位麦克风阵列装置2能够相对地增大从通过形成有指向性的收音方向坐标(θMAh、θMAv)确定的收音方向收音到的声音数据的音量水平，且能够相对地减小从未形成指向性的方向收音到的声音数据的音量水平。
此外，在本实施方式的指向性控制系统10中，全方位麦克风阵列装置2对声音进行收音的时机没有限定为在刚进行完步骤ST14之后，例如也可以在全方位麦克风阵列装置2的电源设为接通之后，在以下的各实施方式中同样。
(表示全方位麦克风阵列装置2的指向方向的坐标(θMAh、θMAv)的算出方法)
接下来，关于指向性控制装置3中的表示指向方向的坐标(θMAh、θMAv)的算出方法，参照图7(A)、图7(B)、图8(A)及图8(B)详细进行说明。图7(A)是表示在图2(B)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A与全方位麦克风阵列装置2的几何学上的配置关系的俯视图。图7(B)是图7(A)所示的R-R’剖视图。图8(A)是表示在图3(B)所示的指向方向指定画面上指定的指定位置A’所对应的声音位置A与全方位麦克风阵列装置2的几何学上的配置关系的俯视图。图8(B)是图8(A)所示的R-R’剖视图。
(第一算出方法：参照图7(A)及图7(B))
指向方向算出部34根据显示于显示器装置36的指向方向指定画面(参照图2(A))上的由用户进行的任意指定位置A’的指定，并基于
(1)通过步骤ST11测定的全方位麦克风阵列装置2距地板面的高度HM、
(2)通过步骤ST12得到的指定位置A’的(水平距离、水平角)＝(LA、θA)的坐标数据、
(3)声音位置A距地板面的高度HA，
来算出从全方位麦克风阵列装置2朝向由用户指定的指定位置A’所对应的声音位置A的指向方向(θMAh、θMAv)的水平角θMAh及垂直角θMAv。此外，指向方向的水平角θMAh与通过步骤ST12得到的水平角θA相同。
(3)声音位置A距水平面的高度HA是预先决定的固定值。而且，该高度HA是在例如用户的手指FG在指向方向指定画面上指定指定位置A’时，人存在于声音位置A的周围时选择人的大小作为HA的值或是输入的值。
以下，关于指向方向算出部34的指向方向(θMAh、θMAv)的第一算出方法及第二算出方法，具体进行说明。首先，作为说明第一算出方法及第二算出方法的前提，在确定全方位麦克风阵列装置2的指向方向的水平角时所需的水平角的基准方向(例如0°方向)是已知的，例如设为从图7(A)所示的水平Y轴的点Y’朝向点Y的方向。图7(A)所示的Y’-Y线处于包含设置在距地板面的高度为HM的位置上的全方位麦克风阵列装置2的中心的面上，表示成为水平角的基准方向的Y轴(水平Y轴)。图7(A)所示的X’-X线同样处于包含设置在距地板面的高度为HM的位置上的全方位麦克风阵列装置2的中心的面上，表示与Y轴正交的X轴(水平X轴)。
指向方向算出部34将从全方位麦克风阵列装置2朝向声音位置A的指向方向的水平角θMAh判定为与图7(A)所示的∠AMY、即通过步骤ST12得到的水平角θA相同，算出指向方向的水平角θMAh＝θA。
在图7(B)所示的ΔAMP中，指向方向算出部34基于全方位麦克风阵列装置2距地板面的高度HM、声音位置A距地板面的高度HA、通过步骤ST12得到的从全方位麦克风阵列装置2到声音位置A的水平距离LA，按照数学式(2)算出从全方位麦克风阵列装置2朝向声音位置A的指向方向的垂直角θMAv。
【数学式2】
(第二算出方法：参照图8(A)及图8(B))
指向方向算出部34根据显示于显示器装置36的指向方向指定画面(参照图3(A))上的由用户进行的任意指定位置A’的指定，并基于
(1)通过步骤ST11测定的全方位麦克风阵列装置2距地板面的高度HM、
(2)通过步骤ST12得到的指定位置A’的(第一水平距离、第二水平距离)＝(LAx、LAy)的坐标数据、
(3)声音位置A距水平面的高度HA，
来算出从全方位麦克风阵列装置2朝向由用户指定的指定位置A’所对应的声音位置A的指向方向(θMAh、θMAv)的水平角及垂直角。
在图8(A)所示的ΔAMY0或ΔAMX0中，指向方向算出部34基于通过步骤ST12得到的第一水平距离LAx及第二水平距离LAy，按照数学式(3)算出从全方位麦克风阵列装置2朝向声音位置A的指向方向的水平角θMAh。
【数学式3】
在图8(B)所示的ΔAMP中，指向方向算出部34基于全方位麦克风阵列装置2距地板面的高度HM、声音位置A距地板面的高度HA、通过步骤ST12得到的从全方位麦克风阵列装置2到声音位置A的第一水平距离LAx及第二水平距离LAy，按照数学式(4)算出从全方位麦克风阵列装置2朝向声音位置A的指向方向的垂直角θMAv。此外，从全方位麦克风阵列装置2到声音位置A的水平距离LMAh使用通过步骤ST12得到的从全方位麦克风阵列装置2到声音位置A的第一水平距离LAx及第二水平距离LAy而由数学式(5)表示。
【数学式4】
【数学式5】
通过以上所述，在本实施方式的指向性控制系统10中，在显示器装置36上显示用于指定从全方位麦克风阵列装置2朝向存在对象物的声音位置A的指向方向的指向方向指定画面。指向性控制装置3的指向方向算出部34根据显示于显示器装置36上的指向方向指定画面的指向方向的指定，算出从全方位麦克风阵列装置2到与所指定的指向方向对应的声音位置A的水平角及垂直角。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成对于收音到的声音的指向性。
由此，在指向性控制系统10中，指向性控制装置3能够算出表示从全方位麦克风阵列装置2朝向在指向方向指定画面上指定的声音位置A的指向方向的水平角及垂直角。而且，指向性控制装置3能够使用所算出的指向方向的水平角及垂直角来形成用于输出用户想要听的对象物的明亮的声音的指向性，且能够输出存在于相应的声音位置A的对象物的明亮的声音。
另外，在本实施方式中，在显示于显示器装置36的指向方向指定画面上，显示从全方位麦克风阵列装置2到声音位置A的水平距离及水平角。因此，指向性控制装置的指向方向算出部34能够基于全方位麦克风阵列装置2距地板面的高度HM、声音位置A距地板面的高度HA、从全方位麦克风阵列装置2到声音位置A的水平距离LA及水平角θA，而简易地算出从全方位麦克风阵列装置2到声音位置A的水平角及垂直角。
另外，在本实施方式中，在显示于显示器装置36的指向方向指定画面上，显示从全方位麦克风阵列装置2到声音位置A的第一水平距离LAx及第二水平距离LAy。因此，指向性控制装置的指向方向算出部34能够基于全方位麦克风阵列装置2距地板面的高度HM、声音位置A距地板面的高度HA、从全方位麦克风阵列装置2到声音位置A的第一水平距离LAx及第二水平距离LAy，而简易地算出从全方位麦克风阵列装置2到声音位置A的水平角及垂直角。
(第二实施方式)
在第二实施方式的指向性控制系统10中，用户预先决定想要对声音进行收音的一个以上的声音位置，指向性控制装置3在一个以上的已定的声音位置被指定时算出表示从全方位麦克风阵列装置2朝向所指定的声音位置的指向方向的坐标(水平角、垂直角)，并将算出结果存储在指向性控制装置3的存储器38中。而且，在第二实施方式的指向性控制系统10中，当指定显示于显示器装置36上的声音位置指定画面(参照后述)内的任意声音位置时，指向性控制装置3使用所存储的表示已定的声音位置(预置位置)的指向方向的坐标(水平角、垂直角)，算出表示从全方位麦克风阵列装置2朝向所指定的声音位置的指向方向的坐标(水平角、垂直角)。
此外，在以下的各实施方式中，将在设有图1(B)所示的指向性控制系统10的店铺之中用户想要对声音进行收音的实际的已定的声音位置定义为“预置位置”，将实际的店铺中的预置位置所对应的预置指定位置设定画面(参照图9(B))中的指定位置定义为“预置指定位置”。
此外，关于构成本实施方式的指向性控制系统10的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作，对于与构成第一实施方式的指向性控制系统10的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作相同的内容，标注同一附图标记而省略或简化说明，对不同的内容进行说明。
图9(A)是表示将第二实施方式的指向性控制系统10设于店铺时的收音整体区域AR1与多个预置位置P1、P2、P3-1、P3-2的关系的预置指定位置图。图9(B)是表示用于利用图9(A)所示的预置位置的水平距离及水平角来设定与预置位置对应的预置指定位置的预置指定位置设定画面的一例的图。
图9(A)所示的预置指定位置图是从全方位麦克风阵列装置2俯瞰表示一个以上的收音区域内的实际的预置位置P1、P2、P3-1、P3-2的店铺内的设计俯瞰图的一例。例如，用户以作为图9(A)所示的设计俯瞰图的一例的预置指定位置图为参考，在全方位麦克风阵列装置2的设置时，预先实际测量水平距离及水平角。实际测量的水平距离及水平角例如存储于存储器38(参照图14(B))。
图9(B)所示的显示于显示器装置36的预置指定位置设定画面中，图9(A)所示的全方位麦克风阵列装置2的位置对应于图9(B)所示的原点的位置，图9(A)所示的预置指定位置图的收音整体区域AR1对应于图9(B)所示的最外形的圆BR1。用户将实际测量的各预置位置的水平距离及水平角所对应的预置指定位置设定画面的位置设定为各预置位置P1、P2、P3-1、P3-2所对应的预置指定位置P1’、P2’、P3-1’、P3-2’。
在图9(A)所示的收音整体区域AR1中，例如预置位置P1是店铺的收款机1周围的位置，预置位置P2是店铺的收款机2周围的位置，预置位置P3-1是距店铺的出入口远的杂志架周围的位置，预置位置P3-2被预先决定为距店铺的出入口近的杂志架周围的位置(例如参照图14(A))。此外，图9(A)所示的各预置位置及对应的预置指定位置是一例，没有限定为上述的预置位置，可以根据用户的输入操作通过指向性控制装置3来适当地变更。
此外，在图9(B)中，虽然显示圆坐标系，但指向性控制装置3可以在显示器装置36上显示正交坐标系，也可以在图9(A)所示的预置指定位置图的店铺俯视图中重叠地显示。
图10(A)是表示收音整体区域AR1内的多个预置位置P1、P2、P3-1、P3-2与用户想要听的声音位置的关系的预置指定位置图。图10(B)是表示在收音整体区域AR1所对应的最外形的圆BR1中用户指定想要听的声音位置的声音位置指定画面的一例的图。
在图10(B)中，通过用户利用手指FG指定想要听的方向，指向性控制装置3读出例如存储于存储器38的预置数据即预置值的数据，并基于预置数据来算出指向方向，形成对于由全方位麦克风阵列装置2收音到的声音的指向性。
接下来，关于本实施方式的指向性控制系统10的详细的动作顺序，参照图11进行说明。图11是说明第二实施方式的指向性控制系统10的动作顺序的流程图。在图11的说明中，初始设置中，包含将全方位麦克风阵列装置2向规定设置面(例如店铺内的顶棚面或支架)设置或安装的动作，而且包含如下动作：预先实际测量从全方位麦克风阵列装置2到各预置位置P1、P2、P3-1、P3-2的水平距离及水平角的组合、或第一水平距离及第二水平距离的组合的各数据。
在图11中，进行初始设置以将构成指向性控制系统10的全方位麦克风阵列装置2固定于规定设置面(例如店铺内的顶棚面或支架)(ST11)。此外，在初始设置中，测定全方位麦克风阵列装置2距地板面的高度HM，并经由操作部32向信号处理部33的指向方向算出部34输入。
在步骤ST11之后，指向性控制装置3根据用户的输入操作，将图9(B)所示的预置指定位置设定画面显示于显示器装置36上。用户通过手指FG将实际测量的预置位置的水平距离及水平角所对应的预置指定位置设定画面上的位置设定为与预置位置对应的预置指定位置。指向性控制装置3经由操作部32接收在显示器装置36的预置指定位置设定画面上设定的预置位置的名称(例如收款机1、收款机2)等与预置位置相关的信息(ST15)。
在步骤ST15之后，指向性控制装置3的指向方向算出部34基于通过步骤ST15设定的坐标数据所对应的(水平距离、水平角)或(第一水平距离、第二水平距离)的坐标数据、全方位麦克风阵列装置2距地板面的高度HM、预置位置(例如预置位置P1)距地板面的高度HP1，来算出从全方位麦克风阵列装置2的设置位置朝向通过步骤ST15设定的预置指定位置(例如预置指定位置P1’)所对应的预置位置(例如预置位置P1)的指向方向的水平角及垂直角(例如(水平角、垂直角)＝(θhp1、θvp1))(ST16)。关于步骤ST16的动作的详细情况，由于与上述的第一实施方式中的水平角及垂直角的第一或第二算出方法相同，因此省略说明。
指向性控制装置3的指向方向算出部34将在步骤ST16中算出的朝向预置位置(例如预置位置P1)的指向方向的水平角及垂直角(例如(水平角、垂直角)＝(θhp1、θvp1))作为收音区域内的预置位置(例如预置位置P1)的预置值而存储于存储器38(ST17，参照图14(A))。此外，在与全部预置位置相关的指向方向(预置值)的算出结束之前，反复进行步骤ST15至步骤ST17的动作(S18)。
此外，在步骤ST15中，可以不使用图9(B)所示的预置指定位置设定画面，而由操作部32从规定的操作画面直接输入预置指定位置的设定(参照图12所示的步骤ST15’)。图12是在第二实施方式中说明预先实际测量的预置位置的(水平距离、水平角)或(第一水平距离、第二水平距离)的值被从规定的操作画面直接输入时的指向性控制系统的动作顺序的流程图。
图14(A)是表示第二实施方式的预置表的一例的图。图14(A)所示的预置表是包含预置位置、将预置位置设为代表性的声音位置的收音区域及从全方位麦克风阵列装置2朝向预置位置的指向方向(预置值)的结构。
接下来，在步骤ST17之后，说明在从全方位麦克风阵列装置2朝向图10(A)所示的声音位置A的指向方向上形成指向性的形成过程。
指向性控制装置3根据用户的输入操作将图10(B)所示的声音位置指定画面显示于显示器装置36上。指向性控制装置3经由操作部32接收从显示于显示器装置36的声音位置指定画面对任意指定位置A’的指定(ST19)。
在步骤ST19之后，指向性控制装置3的指向方向算出部34基于通过步骤ST19取得的指定位置A’的坐标数据，来判定与指定位置A’对应的声音位置A存在于收音整体区域AR1的哪个收音区域或哪个收音区域的附近(ST20)。
指向性控制装置3的指向方向算出部34根据步骤ST20的判定结果来算出从全方位麦克风阵列装置2朝向实际的声音位置A的指向方向的水平角及垂直角(θMAh、θMAv)(ST20A)。在此，在步骤ST20的判定结果为如下三种中的任一种的情况下，说明步骤ST20A的算出例。
即，步骤ST20的判定结果是如下的判定结果中的任一个：
(判定结果1)通过指定位置A’的坐标数据而确定的声音位置指定画面上的位置包含于任一收音区域的范围的位置的情况，
(判定结果2)通过指定位置A’的坐标数据而确定的声音位置指定画面上的位置包含于相邻的两个收音区域的范围之间的位置的情况，
(判定结果3)通过指定位置A’的坐标数据而确定的声音位置指定画面上的位置为多个(例如n个，n为3以上的整数)收音区域距各预置指定位置的距离为等距离的情况。
此外，收音区域的范围例如是按照各收音区域而已定的半径的圆或椭圆的区域，在初始设定时预先存储于存储器38。
因此，指向性控制装置3的指向方向算出部34在步骤ST20的判定结果为上述(判定结果1)的情况下，算出对应的收音区域的范围内的预置位置的预置值作为指向方向的水平角及垂直角(θMAh、θMAv)。
而且，指向性控制装置3的指向方向算出部34在步骤ST20的判定结果为上述(判定结果2)的情况下，选择相邻的两个收音区域中的指定位置A’与预置指定位置之间的距离近的收音区域，并算出所选择的收音区域的范围内的预置位置的预置值作为指向方向的水平角及垂直角(θMAh、θMAv)。
而且，指向性控制装置3的指向方向算出部34在步骤ST20的判定结果为上述(判定结果3)的情况下，对声音位置指定画面上的指定位置A’与预置指定位置之间的距离相等的全部(例如n个)收音区域的范围内的预置位置的预置值进行加法运算平均，由此作为指向方向的水平角及垂直角(θMAh、θMAv)而进行算出(参照数学式(6))。
【数学式6】
在数学式(6)中，θih表示指定位置A’与预置指定位置之间的距离相等的全部(例如n个)收音区域的范围内的预置位置的预置值的水平角。θiv表示指定位置A’与预置指定位置之间的距离相等的全部(例如n个)收音区域的范围内的预置位置的预置值的垂直角。
由此，指向性控制装置3能够简易地算出从全方位麦克风阵列装置2朝向用户从预置指定位置设定画面指定的任意指定位置A’所对应的声音位置A的指向方向。
指向性控制装置3的输出控制部35将包含通过步骤ST20算出的表示指向方向的坐标(θMAh、θMAv)的数据的指向性形成指示向全方位麦克风阵列装置2发送。全方位麦克风阵列装置2按照来自指向性控制装置3的指向性形成指示而在指向性控制装置3算出的收音方向坐标(θMAh、θMAv)的收音方向上形成各个麦克风单元22、23的指向性(ST14)。
由此，全方位麦克风阵列装置2能够相对地增大从通过形成有指向性的收音方向坐标(θMAh、θMAv)而确定的收音方向收音到的声音数据的音量水平，且能够相对地减小从未形成指向性的方向收音到的声音数据的音量水平。
通过以上所述，在本实施方式的指向性控制系统10中，在显示器装置36上显示用于设定从全方位麦克风阵列装置2朝向一个以上的收音区域内的已定的预置位置的指向方向的预置指定位置设定画面。指向性控制装置3的指向方向算出部34按照显示于显示器装置36的预置指定位置设定画面上的预置指定位置的指定，算出从全方位麦克风阵列装置2到指定的预置指定位置所对应的预置位置的水平角及垂直角，并存储为预置值。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成对于所收音到的声音的指向性。而且，当从显示于显示器装置的声音位置指定画面被指定任意指定位置A’时，指向性控制装置3的指向方向算出部34基于该指定位置A’为一个以上的收音区域的哪个区域的判定结果和按照预置位置指定设定画面上的一个以上的收音区域内的各预置位置而算出的指向方向的水平角及垂直角，来算出朝向由用户指定的朝向任意的音位置A的指向方向的水平角及垂直角。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成对于收音到的声音的指向性。
由此，在指向性控制系统10中，指向性控制装置3能够简易地算出表示从全方位麦克风阵列装置2朝向在预置指定位置设定画面上指定的预置指定位置所对应的预置位置的指向方向的水平角及垂直角。而且，指向性控制装置3使用所算出的指向方向的水平角及垂直角，来形成用于输出用户想要听的对象物的明亮的声音的指向性，由此能够输出存在于相应的声音位置A的对象物的明亮的声音。而且，指向性控制装置3基于按照各预置位置算出的指向方向的水平角及垂直角，能够算出朝向用户在声音位置指定画面上指定的任意声音位置A的指向方向的水平角及垂直角，能够在该指向方向上形成指向性，从而能够输出朝向用户所期望的任意声音位置的指向方向的明亮的声音。
此外，在本实施方式中，作为预置值，将指向方向的水平角及垂直角存储于存储器38，但也可以如图14(B)或图14(C)那样，将预先实际测量出的(水平距离、水平角)或(第一水平距离、第二水平距离)的坐标数据存储于存储器38。图14(B)是表示在第二实施方式中将预先实际测量出的预置位置的(水平距离、水平角)的值存储为预置值时的预置表的一例的图。图14(C)是表示在第二实施方式中将预先实际测量的预置位置的(第一水平距离、第二水平距离)的值存储为预置值时的预置表的一例的图。图14(D)是表示在图14(B)所示的预置表中包含多个指向方向作为预置值时的预置表的一例的图。在使用多个指向方向作为预置值时，指向性控制装置3使用多个指向方向的几何平均来算出用于形成指向性的指向方向。
例如在步骤ST20中，指向方向算出部34使用图14(B)或图14(C)所示的预置值来算出表示指向方向的坐标(水平角、垂直角)(参照图13)。而且，指向性控制装置3可以追加性地存储指向性控制装置3的指向性形成所需的信息(例如与各麦克风对应地设置的延迟器(参照图5)的延迟时间)作为预置值。图13是在第二实施方式中说明将在规定的操作画面上输入的预置位置的(水平距离、水平角)或(第一水平距离、第二水平距离)的值存储为预置值时的指向性控制系统的动作顺序的流程图。
(第三实施方式)
在第三实施方式的指向性控制系统10A中，在第二实施方式的指向性控制系统10的结构中还包含了一个以上的相机装置C11～C1n(参照图15(A))，当从一个以上的收音区域中选择任一收音区域时，指向性控制装置3将所选择的收音区域的预置位置和与所选择的收音区域对应的相机装置的拍摄影像显示于显示器装置36上。而且，在第三实施方式的指向性控制系统10A中，当指定显示于显示器装置36的相机装置的拍摄影像内的任一预置指定位置时，指向性控制装置3将从全方位麦克风阵列装置2朝向预置指定位置所对应的预置位置的指向方向(预置值)从存储器38读出而形成指向性。
图15(A)是表示第三实施方式的指向性控制系统10A的内部结构的框图。图15(B)是表示第三实施方式的预置表的一例的图。图15(A)所示的指向性控制系统10A包含一个以上的相机装置C11～C1n、全方位麦克风阵列装置2、指向性控制装置3、记录装置4。
此外，在构成本实施方式的指向性控制系统10A的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作中，对于与构成第二实施方式的指向性控制系统10的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作相同的内容，标注同一附图标记而省略或简化说明，对不同的内容进行说明。
各个相机装置C11～C1n例如具有作为监视相机的功能，具有内置了未图示的光学系统(例如广角透镜)及拍摄系统(例如图像传感器)的框体，并设置在规定设置面(例如店铺内的顶棚面)上。各个相机装置C11～C1n经由未图示的网络而与中央控制室的主机(未图示)连接，按照来自主机的远程操作，进行摇摄方向动作、倾转方向动作、变焦动作、规定视场角的范围内的影像的拍摄动作等。而且，各个相机装置C11～C1n将拍摄到的影像数据经由网络NW向指向性控制装置3或记录装置4发送。
在本实施方式中，各个相机装置C11～C1n中的影像的拍摄范围按照图16(A)所示的店铺内的收音整体区域AR1的一个以上的各收音区域或多个收音区域中的每个收音区域是在图15(B)所示的预置表中预先决定的。图15(B)所示的预置表存储于存储器38。在图15(B)所示的预置表中，相机装置C11拍摄收音区域“收款机1”及“收款机2”的预置位置P1及P2的影像，相机装置C12拍摄收音区域“杂志架”的预置位置P3-1及P3-2的影像。图15(B)所示的预置表的预置值是通过在第二实施方式中说明的方法(例如参照图11的步骤S15～ST17)而算出的值。
图16(A)是表示收音整体区域AR1内的多个预置位置P1、P2、P3-1、P3-2和相机装置C11、C12的拍摄范围的预置指定位置图。图16(B)是表示收音区域选择画面WD1和显示与所选择的收音区域对应的相机装置C12的拍摄影像的拍摄影像显示画面WD2的图。
在图16(A)所示的预置指定位置图中，向图9(A)所示的预置指定位置图的内容追加表示相机装置C11、C12、相机装置C11、C12的拍摄范围CR1、CR2。例如在指向性控制装置3算出预置位置的预置值(例如，表示指向方向的坐标(水平角、垂直角))的情况下，图16(A)所示的预置指定位置图可以根据用户的输入操作而通过信号处理部33显示于显示器装置36上。在相机装置C11的拍摄范围CR1中，包含与预置位置P1对应的预置指定位置P1’和与预置位置P2对应的预置指定位置P2’。在相机装置C12的拍摄范围CR2中，包含与预置位置P3-1对应的预置指定位置P3-1’和与预置位置P3-2对应的预置指定位置P3-2’。
在图16(B)所示的收音区域选择画面WD1上以能够选择的方式显示有图16(A)所示的收音整体区域AR1内的一个以上的收音区域。在此，例如当通过用户的手指FG从收音区域选择画面WD1之中选择“杂志架”时，指向性控制装置3的信号处理部33判定图15(B)所示的预置表的收音区域“杂志架”所对应的相应的相机装置“相机装置C12”，将相机装置C12的拍摄影像显示于显示器装置36的拍摄影像显示画面WD2上。此外，指向性控制装置3的信号处理部33在将相机装置C12的拍摄影像显示于显示器装置36的拍摄影像显示画面WD2上时，将与收音区域“杂志架”的预置位置“P3-1、P3-2”对应的预置指定位置“P3-1’、P3-2’”也一并显示。
接下来，关于本实施方式的指向性控制系统10A的详细的动作顺序，参照图17进行说明。图17是说明第三实施方式的指向性控制系统10A的动作顺序的流程图。此外，作为图17的说明的前提，图16(A)所示的收音整体区域AR1内的全部预置位置P1、P2、P3-1、P3-2的各预置值(参照图15(B))是按照在第二实施方式中说明的算出方法(例如参照图10的步骤ST15～ST17)预先算出的。
在图17中，指向性控制装置3的信号处理部33例如根据用户的输入操作而将用于使用户选择想要听声音的收音区域的收音区域选择画面WD1显示于显示器装置36上。在图16(B)所示的收音区域选择画面WD1上，通过用户的输入操作，选择用户想要听声音的收音区域(例如“杂志架”)(ST21)。
当选择了用户想要听声音的收音区域(例如“杂志架”)时，指向性控制装置3的信号处理部33将存储于存储器38的预置表(参照图15(B))读出，对在步骤ST21中选择的收音区域所对应的相应的相机装置(例如相机装置C12)进行判定。指向性控制装置3的信号处理部33将所判定的对应相机装置(例如相机装置C12)的拍摄影像显示于显示器装置36的拍摄影像显示画面WD2上，而且，将与所选择的收音区域(例如“杂志架”)对应的预置位置(例如预置位置P3-1、P3-2)的预置指定位置(例如预置指定位置P3-1’、P3-2’)显示于拍摄影像显示画面WD2中(ST22，参照图16(B))。
在此，在显示于显示器装置36的拍摄影像显示画面WD2上，通过用户的输入操作，选择与用户想要听声音的预置位置对应的预置指定位置(例如预置指定位置P3-1’)(ST23)。
当用户选择了与想要听声音的预置位置对应的预置指定位置(例如预置指定位置P3-1’)时，指向性控制装置3的信号处理部33从预置表读出从全方位麦克风阵列装置2朝向选择的预置指定位置(例如预置指定位置P3-1’)所对应的预置位置(例如预置位置P3-1)的指向方向(预置值)(ST24)。
而且，指向性控制装置3的输出控制部35将包含通过步骤ST24读出的表示预置值的坐标(θMAh、θMAv)(＝(θh31、θv31))的数据的指向性形成指示向全方位麦克风阵列装置2发送。全方位麦克风阵列装置2按照来自指向性控制装置3的指向性形成指示而在指向性控制装置3算出的收音方向坐标(θMAh、θMAv)的收音方向上形成各个麦克风单元22、23的指向性(ST14)。
由此，全方位麦克风阵列装置2能够相对地增大从朝向用户想要听声音的收音区域内的具体的预置位置(例如预置位置P3-1)的指向方向收音到的声音数据的音量水平，且能够相对地减小从全方位麦克风阵列装置2未朝向预置位置的方向收音到的声音数据的音量水平。
通过以上所述，在本实施方式的指向性控制系统10A中，一个以上的相机装置C11～C1n(n：2以上的整数)拍摄规定的不同收音区域的范围的影像。在显示器装置36上显示用于从一个以上的收音区域中选择任一收音区域的收音区域选择画面WD1和用于显示包含与所选择的收音区域对应的预置位置的相机装置的拍摄影像的拍摄影像显示画面WD2。指向性控制装置3的输出控制部35根据相机装置的显示于拍摄影像显示画面WD2上的拍摄影像内的预置指定位置的选择，使用存储于存储器38的各预置位置的指向方向的水平角及垂直角，来形成对于所收音到的声音的指向性。
由此，在指向性控制系统10A中，指向性控制装置3能够使用户在相应的相机装置的拍摄影像之中视觉性地确认到从显示于显示器装置36上的收音区域选择画面WD1中选择的收音区域所对应的预置位置处于何处，能够在朝向与用户所期望的收音区域对应的预置位置的指向方向上形成声音的指向性，能够输出存在于相应的预置位置的对象物的明亮的声音。
(第四实施方式)
在第四实施方式的指向性控制系统10B中，相机装置C11～C1n的拍摄图像与指向性一一对应(参照图18(B))，当从一个以上的相机装置中选择了任一相机装置时，指向性控制装置3将所选择的相机装置的拍摄影像显示于显示器装置36上。而且，将朝向与所选择的相机影像相符的预置位置的指向方向及指向性控制参数(预置值)从存储器38读出而形成指向性。此外，例如在以在参照了图5的延迟和方式进行的指向性形成处理中，指向性控制参数包含加法运算所使用的麦克风的个数、或各麦克风的加法运算时的加权系数。而且，能够通过指向性控制参数的调整进行目标音的增强或噪声的抑制，其详细情况在后文叙述。
图18(A)是表示第四实施方式的指向性控制系统10B的内部结构的框图。图18(B)是表示第四实施方式的预置表的一例的图。
此外，在构成本实施方式的指向性控制系统10B的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作中，对于与构成第三实施方式的指向性控制系统10的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作相同的内容，标注同一附图标记而省略或简化说明，对不同的内容进行说明。
在本实施方式中，按照各个相机装置C11～C1n中的影像的各拍摄范围，将图19(A)所示的店铺内的收音整体区域AR1的一个以上的收音区域或多个收音区域是在图18(B)所示的预置表中预先决定的。图18(B)所示的预置表存储于存储器38。图18(B)所示的预置表表示预置位置、收音区域、作为预置值的指向方向及指向性控制参数、相应的相机装置的对应关系。在通过第二实施方式中说明的方法(例如图10的步骤S15)指定了预置位置时，从操作部32输入图18(B)所示的预置表的指向性控制参数的值和对应的相机装置的指定。
图19(A)是表示收音整体区域AR1内的多个预置位置P1、P2、P3、Pn和相机装置的拍摄范围的预置指定位置图。图19(B)是表示相机装置选择画面WD3和所选择的相机装置的拍摄影像的拍摄影像显示画面WD4的图。
在图19(A)所示的预置指定位置图中，向图9(A)所示的预置指定位置图的内容追加性地示出相机装置C11、C12、C13、C1n、相机装置C11、C12、C13、C1n的拍摄范围CR1、CR2、CR3、CR1n。例如在指向性控制装置3算出预置位置的预置值(例如，表示指向方向的坐标(水平角、垂直角))时，图19(A)所示的预置指定位置图可以根据用户的输入操作而通过信号处理部33显示于显示器装置36上。在相机装置C11的拍摄范围CR1中，包含与预置位置P1对应的预置指定位置P1’。在相机装置C12的拍摄范围CR2中，包含与预置位置P2对应的预置指定位置P2’。在相机装置C13的拍摄范围CR3中，包含与预置位置P3对应的预置指定位置。在相机装置C1n的拍摄范围CRn中，包含与预置位置Pn对应的预置指定位置。
在图19(B)所示的相机装置选择画面WD3上以能够选择的方式显示有以拍摄图19(A)所示的收音整体区域AR1内的各收音区域的方式分配的各个相机装置的识别编号(例如，C11、C12、C13)。在此，例如通过用户的手指FG从相机装置选择画面WD3之中选择了“C13”时，指向性控制装置3的信号处理部33判定与图18(B)所示的预置表的对应相机装置“C13”对应的相机装置C13，并将相机装置C13的拍摄影像显示于显示器装置36的拍摄影像显示画面WD4上。
接下来，关于本实施方式的指向性控制系统10B的详细的动作顺序，参照图20进行说明。图20是说明第四实施方式的指向性控制系统10B的动作顺序的流程图。此外，作为图20的说明的前提，图19(A)所示的收音整体区域AR1内的全部预置位置P1、P2、P3、Pn的各预置值(参照图18(B))是按照在第二实施方式中说明的算出方法(例如参照图10的步骤ST15～ST17)预先算出的。
在图20中，指向性控制装置3的信号处理部33例如根据用户的输入操作，将用于使用户选择想要显示的影像的相机装置的相机装置选择画面WD3显示于显示器装置36上。在图19(B)所示的相机装置选择画面WD3上，通过用户的输入操作而选择用户想要显示的影像的相机装置(例如“C13”)(ST31)。
当用户选择了想要显示影像的相机装置(例如“C13”)时，指向性控制装置3的信号处理部33将存储于存储器38的预置表(参照图18(B))读出，判定在步骤ST31中选择的相机装置(例如相机装置C13)。指向性控制装置3的信号处理部33将与所判定的相应的相机装置(例如相机装置C13)对应的预置位置(例如预置位置P3)周围的拍摄影像显示于显示器装置36的拍摄影像显示画面WD4上(ST32，参照图19(B))。
指向性控制装置3的信号处理部33从预置表读出从全方位麦克风阵列装置2朝向分配给所选择的相机装置(例如相机装置C13)的预置位置(例如预置位置P3)的指向方向及指向性控制参数(预置值)。
而且，指向性控制装置3的输出控制部35将包含通过步骤ST24读出的表示预置值的坐标(θMAh、θMAv)(＝(θh31、θv31))及指向性控制参数的各数据的指向性形成指示向全方位麦克风阵列装置2发送。全方位麦克风阵列装置2按照来自指向性控制装置3的指向性形成指示而在指向性控制装置3所算出的收音方向坐标(θMAh、θMAv)的收音方向上对于各个麦克风单元22、23形成具有指向性控制参数的范围的指向性(ST33)。
指向性控制装置3的输出控制部35将在步骤ST31中选择的相机装置(例如相机装置C13)的拍摄影像在拍摄影像显示画面WD4上显示，并且在步骤ST33中在指向性控制参数的范围形成了指向性之后，将由全方位麦克风阵列装置2收音到的声音从扬声器装置37输出(ST34)。
由此，全方位麦克风阵列装置2能够相对性地增大从朝向用户想要显示影像的收音区域内的具体的预置位置(例如预置位置P3)的指向方向收音到的声音数据的音量水平，且能够相对性地减小从全方位麦克风阵列装置2未朝向预置位置的方向收音到的声音数据的音量水平。
通过以上所述，在本实施方式的指向性控制系统10B中，一个以上的相机装置C11～C1n(n：2以上的整数)分别拍摄预先被分配的规定的一个收音区域的范围的影像。在显示器装置36上显示用于选择一个以上的相机装置中的任一相机装置的相机装置选择画面WD3、用于显示选择的相机装置的拍摄影像的拍摄影像显示画面WD4。指向性控制装置3的输出控制部35使用与所选择的相机装置对应的预置位置的指向方向及指向性控制参数的预置值的各数据，形成具有指向性控制参数的范围的声音的指向性。
由此，在指向性控制系统10B中，指向性控制装置3能够使从显示于显示器装置36上的相机装置选择画面WD3选择的相机装置产生的影像和与所选择的相机装置对应的预置位置的周围的声音同步地由用户视听。
另外，在上述的各实施方式中，在用户决定预置位置时，在图2(A)所示的指向方向指定画面上指定特定的位置而确定了指向方向之后，在听到指向性控制装置3在所确定的指向方向上形成了指向性的声音(例如确认用的规定音(确认音))的情况下，根据用户的主观的不同，存在为了变更已经决定的预置位置而想要调整指向方向的情况。因此，如图30所示，指向性控制装置3可以显示包含用于调整指向性的调整界面CTL的指向方向指定画面。
图30是表示显示有调整指向性控制参数的控制框的指向方向指定画面的一例的图。图30所示的指向方向指定画面例如可以通过用户的规定操作(例如规定的键输入操作)来显示，也可以取代图2(A)所示的指向方向指定画面而预先显示于显示器装置36上。
在调整界面CTL上，作为用于调整指向性的项目，显示有例如对于“噪声抑制”的正按钮及负按钮的组合、对于“目标音增强”的正按钮及负按钮的组合。当在“噪声抑制”中按下正按钮时，指向性控制装置3的信号处理部33通过规定的信号处理而提高“噪声抑制”的强度。另一方面，当在“噪声抑制”中按下负按钮时，指向性控制装置3的信号处理部33通过规定的信号处理而降低“噪声抑制”的强度。
而且，在“目标音增强”中按下正按钮时，指向性控制装置3的信号处理部33通过规定的信号处理而提高目标音(例如，从扬声器装置37输出的对象物的声音)的音量水平。另一方面，当在“目标音增强”中按下负按钮时，指向性控制装置3的信号处理部33通过规定的信号处理而降低目标音(例如，从扬声器装置37输出的对象物的声音)的音量水平。
图31是说明第一实施方式的指向性控制系统10的另一动作顺序的流程图。在图31的说明中，对于进行与图6的动作相同的动作的步骤标注同一步骤编号而省略说明，对不同的内容进行说明。
在图31中，在步骤ST11之后，指向性控制装置3根据用户的输入操作而将图30所示的指向方向指定画面显示于显示器装置36上。指向性控制装置3经由操作部32接收从显示于显示器装置36上的指向方向指定画面对任意指定位置A’的指定(ST42’)。而且，在与指定位置A’对应的声音位置设置作为对象物的一例的声源或发声者。(ST42’)。
然后，通过用户确认在步骤S14中形成了指向性的指向方向的声音(例如确认音)(ST51)，若未判断为需要对在步骤ST14中形成的指向性的调整(ST52为“否”)，则结束图30所示的流程图的动作。另一方面，若判断为需要对在步骤ST14中形成的指向性的调整时(S52为“是”)，根据用户的输入操作，指向性控制装置3调整用于对指向性进行调整的指向性控制参数(ST53)，并使用调整后的指向性控制参数再次形成指向性(ST14)。
由此，在显示器装置36上，用于调整指向性的指向性控制参数的调整界面CTL显示于指向方向指定画面上，指向性控制装置3通过对于指向性控制参数的调整界面的输入操作，基于变更后的指向性控制参数，形成对于所收音到的声音的指向性，因此例如想要听已经形成了指向性的声音(确认音)的用户通过对调整界面进行变更操作，能够形成与用户的嗜好或要求相符的声音的指向性。
另外，在上述的各实施方式中，不局限于用户决定预置位置的情况，在实际进行收音时(执行时)，在图10(B)所示的声音位置指定画面上指定特定的位置而确定了指向方向之后，在听到指向性控制装置3在所确定的指向方向上形成了指向性的声音(例如确认用的规定音(确认音))的情况下，根据用户的主观的不同，存在为了变更已经决定的预置位置而想要调整指向方向的情况。因此，如图32(A)、图32(B)、图33(A)及图33(B)所示，指向性控制装置3可以显示包含用于调整指向性的调整界面CTL的声音位置指定画面。
图32(A)是表示声音位置指定画面的一例的图。图32(B)是表示显示有用于调整预置值的调整菜单框的声音位置指定画面的第一例的图。图33(A)是表示声音位置指定画面的一例的图。图33(B)是表示显示有用于调整预置值的调整菜单框的声音位置指定画面的第二例的图。
图32(A)或图33(A)所示的声音位置指定画面例如可以通过用户的规定操作(例如规定的键输入操作)来显示，也可以取代图10(B)所示的指向方向指定画面而预先显示于显示器装置36上。
在图32(A)中，在已经通过用户的手指FG指定了指定位置A’的情况下，指向性控制装置3在朝向最接近指定位置A’的预置指定位置P2’所对应的预置位置P2的指向方向上形成指向性，并将声音向扬声器装置37输出。
在此，在用户按照自己的主观等而认为想要变更预置位置P2的情况下，对于显示于显示器装置36上的声音位置指定画面，例如进行右单击操作时，指向性控制装置3显示作为调整界面的一例的调整菜单框PD-2。如图32(B)所示，在调整菜单框PD-2的调整菜单的“位置”由用户的手指FG选择之后，当将预置指定位置从预置指定位置P2’向指定位置A’进行移动操作(例如拖拽操作)时，指向性控制装置3将预置指定位置从预置指定位置P2’暂时变更为指定位置A’。此外，变更后的预置指定位置即指定位置A’既可以是显示于声音位置指定画面的状态，也可以是不显示于声音位置指定画面的状态。
另一方面，在图33(A)中，在已经通过用户的手指FG指定了指定位置A’的情况下，指向性控制装置3在朝向最接近指定位置A’的预置指定位置P2’所对应的预置位置P2的指向方向上形成指向性，并将声音从扬声器装置37输出。
在此，在用户按照自己的主观等而认为想要变更朝向预置位置P2的指向性的指向性控制参数的情况下，对于显示于显示器装置36上的声音位置指定画面，例如当进行右单击操作时，指向性控制装置3显示调整菜单框PD-2。如图33(B)所示，在调整菜单框PD-2的调整菜单的“参数”由用户的手指FG选择之后，当指向性控制参数即“噪声抑制”及“目标音增强”的各正按钮、负按钮被进行按下操作(例如触摸操作)时，指向性控制装置3暂时变更朝向与预置指定位置P2’对应的预置位置P2的指向方向所对应的指向性的指向性控制参数。
图34是说明第二实施方式的指向性控制系统的另一动作顺序的流程图。图35是说明图34的预置值的修正处理的动作顺序的流程图。图36是说明图35的预置值的调整结果的反映处理的动作顺序的流程图。在图34的说明中，对于进行与图11的动作相同的动作的步骤标注同一步骤编号而省略说明，对不同的内容进行说明。
在图34中，在步骤S14之后，追加了预置值的修正处理(S60)。预置值的修正处理的详细情况如图35及图36所示。在图35中，指向性控制装置3在图32(A)或图33(B)所示的声音位置指定画面上通过用户的手指FG指定了指定位置A’时，显示包含指定位置A’的区域的预置指定位置(例如预置指定位置P2’)所对应的预置位置(例如预置位置P2)(S61)。而且，指向性控制装置3在朝向步骤S61中显示的预置指定位置(例如预置指定位置P2’)所对应的预置位置(例如预置位置P2)的指向方向上形成指向性而输出声音(S62)。由此，进行对于朝向用户的预置位置的指向方向的指向性的声音的确认。
在此，若未判断为需要预置位置的变更(调整)或指向性的指向性控制参数的变更(调整)(S63为“否”)，则结束经由调整结果反映处理(ST80)来结束预置值的修正处理。调整结果反映处理在图36中详细说明。
另一方面，在判断为需要预置位置的变更(调整)或指向性的指向性控制参数的变更(调整)时(S63为“是”)，对于显示于显示器装置36上的声音位置指定画面，例如当进行右单击操作时，指向性控制装置3显示调整菜单框PD-2(ST64)。对于调整菜单框PD-2进行能够使用调整菜单的操作(ST65)。
在调整菜单框PD-2的调整菜单的“位置”由用户的手指FG选择了之后(ST66的“位置”)，当将预置指定位置从预置指定位置P2’向指定位置A’进行移动操作(例如拖拽操作)时(ST67)，指向性控制装置3将预置指定位置从预置指定位置P2’暂时变更为指定位置A’，再次算出朝向与变更后的指定位置A’对应的声音位置的指向方向，对于再次算出的指向方向形成指向性(ST68)。在步骤ST68之后，指向性控制装置3的处理返回步骤ST62。
另一方面，在调整菜单框PD-2的调整菜单的“参数”由用户的手指FG选择之后(ST66的“参数”)，指向性控制装置3将用于变更指向性控制参数的控制框CTL显示于声音位置指定画面上(ST69)。当通过用户的手指FG对指向性控制参数即“噪声抑制”及“目标音增强”的各正按钮、负按钮进行按下操作(例如触摸操作)时(ST70)，指向性控制装置3暂时变更朝向与预置指定位置(例如预置指定位置P2’)对应的预置位置(例如预置位置P2)的指向方向所对应的指向性的指向性控制参数，使用变更后的指向性控制参数而再次算出朝向与预置指定位置P2’对应的预置位置P2的指向方向，对于再次算出的指向方向形成指向性(ST71)。在步骤ST71之后，指向性控制装置3的处理返回步骤ST62。
在步骤ST80的调整结果反映处理中，指向性控制装置3将最终的预置位置或指向性控制参数的调整结果暂时存储于存储器38(ST81)。
在步骤S81之后，在进行了用于使用在步骤ST60的预置值的修正处理中调整后的预置位置或指向性控制参数作为预置值的规定操作时(ST81为“是”)，指向性控制装置3为了使用在步骤ST81中暂时存储的最终的预置位置或指向性控制参数的调整结果作为预置值，而对存储于存储器38的预置表的预置值进行更新(ST83)。
另一方面，在进行了用于不使用在步骤ST60的预置值的修正处理中调整后的预置位置或指向性控制参数作为预置值的规定操作时(ST81为“否”)，最终的预置位置或指向性控制参数的调整结果在预置表中不被更新，调整结果反映处理结束。
由此，存储器38将变更后的指向性控制参数和表示朝向预置位置的指向方向的水平角及垂直角、与收音区域内的预置位置建立对应地存储，因此指向性控制装置3不需要用户再次对于作为调整界面的一例的控制框CTL的变更操作，能够使用变更后的指向性控制参数和表示朝向预置位置(第二声音位置)的指向方向的水平角及垂直角作为预置值而简易地形成指向性。
另外，在显示器装置36上，控制框CTL显示于声音位置指定画面，该控制框CTL作为将与预置位置对应的声音位置指定画面上的位置变更为与其他声音位置对应的声音位置指定画面上的位置的指定位置的调整界面的一例，指向性控制装置3通过对于控制框CTL的输入操作，基于朝向与变更后的指定位置对应的其他声音位置的水平角及垂直角，来形成对于所收音到的声音的指向性，因此例如听到了已经形成有指向性的声音(确认音)的用户对调整界面进行变更操作，由此能够形成与用户的嗜好或要求相符的声音的指向性。
另外，存储器38将朝向与变更后的指定位置对应的其他声音位置的水平角及垂直角与收音区域内的预置位置建立对应地存储，因此指向性控制装置3不需要用户再次对于作为调整界面的一例的控制框CTL的变更操作，能够将与变更后的指定位置对应的水平角及垂直角用作预置值而简易地形成指向性。
另外，在第五以后的各实施方式中，说明容易取得或算出从麦克风阵列装置朝向已定的声音位置的指向方向、并输出存在于从麦克风阵列装置朝向已定的声音位置的方向上的对象物的明亮的声音的收音系统及收音控制方法的例子。
此外，在第五以后的各实施方式中，也可以表示为具有构成收音系统的各装置(例如上述的指向性控制装置)、或构成收音系统的各装置进行的各动作(步骤)的收音控制方法。
(第五实施方式)
图21(A)是第五实施方式的收音系统10C的系统概要图。图21(B)是表示第五实施方式的收音系统10C的内部结构的框图。图21(A)或图21(B)所示的收音系统10C包含：作为将对象物(例如图21(A)中的人，以下同样)的声音进行收音的收音部的一例的全方位麦克风阵列装置2；临时设置全方位相机装置Ct；指向性控制装置3；及记录装置4。
在构成本实施方式的收音系统10C的全方位麦克风阵列装置2、指向性控制装置3及记录装置4的各部的动作中，对于与构成第一实施方式的指向性控制装置10的全方位麦克风阵列装置3、指向性控制装置3及记录装置4的各部的动作相同的内容，标注同一附图标记而省略或简化说明，对不同的内容进行说明。
在图21(A)所示的收音区域AR中，全方位麦克风阵列装置2在从全方位麦克风阵列装置2的设置位置朝向后述的已定的预置位置(声音位置)A的指向方向上形成用于高精度地对声音进行收音的指向性，能够高精度地对存在于指向方向的对象物即人的声音进行收音。
而且，在以下的各实施方式的收音系统10C、10D中，在临时设置全方位相机装置Ct取得了从全方位麦克风阵列装置2朝向后述的已定的预置位置A的指向方向的水平角及垂直角的数据或者水平角及垂直角的算出所需的数据之后，将临时设置全方位相机装置Ct从设置位置拆除。然后，全方位麦克风阵列装置2以全方位麦克风阵列装置2的指向方向的水平角的基准方向(例如水平角为0度的方向，以下同样)与临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向一致的方式设置在临时设置全方位相机装置Ct的设置位置。
在图21(B)所示的收音系统10C中，全方位麦克风阵列装置2、临时设置全方位相机装置Ct、指向性控制装置3、记录装置4经由网络NW而相互连接。网络NW可以是有线网络(例如内部网、互联网)，也可以是无线网络(例如无线LAN(Local Area Network))，在以下的各实施方式中也同样。
作为第一相机装置的一例的临时设置全方位相机装置Ct如下设置：在设置全方位麦克风阵列装置2之前，在全方位麦克风阵列装置2的设置位置，临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向成为已定的方向。已定的方向是例如在将临时设置全方位相机装置Ct从设置位置拆除之后设置的全方位麦克风阵列装置2的指向方向的水平角的基准方向。
在设有本实施方式的收音系统10C的店铺内，临时设置全方位相机装置Ct拍摄以临时设置全方位相机装置Ct的设置位置为中心的全方位即360度的方向的已定范围。通过临时设置全方位相机装置Ct拍摄到的拍摄图像(拍摄影像)作为预置指定位置指定画面CAM-t而显示于指向性控制装置3的显示器装置36上(参照图22(A))。
当在图22(A)所示的预置指定位置指定画面CAM-t上由用户的手指FG指定作为声音位置的已定的预置位置(例如图21(A)所示的预置位置A)所对应的预置指定位置A’时，临时设置全方位相机装置Ct基于临时设置全方位相机装置Ct的全方位的拍摄图像的坐标，来取得从临时设置全方位相机装置Ct朝向预置指定位置A’的方向的水平角θCAh及垂直角θCAv。临时设置全方位相机装置Ct将水平角θCAh及垂直角θCAv的数据或者水平角θCAh及垂直角θCAv的数据的算出所需的数据向指向性控制装置3发送。此外，水平角θCAh及垂直角θCAv能够通过临时设置全方位相机装置Ct的公知技术的功能而容易取得，因此省略说明。此外，水平角θCAh及垂直角θCAv的数据可以使用临时设置全方位相机装置Ct发送的水平角θCAh及垂直角θCAv的算出所需的数据而由指向性控制装置3算出(导出)。
图22(A)是表示从临时设置全方位相机装置Ct的全方位的拍摄图像指定预置指定位置A’的预置指定位置指定画面CAM-t的一例的图。在显示于显示器装置36上的预置指定位置指定画面CAM-t中，收音指定区域AR’对应于图21(A)所示的实际的店铺内的收音区域AR，预置指定位置A’对应于图1(A)所示的实际的店铺内的预置位置A。
操作部32根据用户的输入操作取得用户希望声音的音量水平的增大或减小的位置、即表示图2(A)所示的预置指定位置指定画面CAM-t上的预置指定位置A’的坐标数据，并向信号处理部33输出。
指向方向算出部34从通信部31取得从临时设置全方位相机装置Ct发送的朝向预置指定位置指定画面CAM-t上的预置指定位置A’的水平角θCAh及垂直角θCAv的数据。指向方向算出部34将水平角θCAh及垂直角θCAv的数据和与预置指定位置A’对应的预置位置A建立对应地存储于存储器38(参照图22(B))。
在此，如上所述，在各实施方式中，在临时设置全方位相机装置Ct取得了表示从全方位麦克风阵列装置2朝向预置位置A的指向方向的水平角θCAh及垂直角θCAv的数据之后，将临时设置全方位相机装置Ct从设置位置拆除。然后，全方位麦克风阵列装置2以全方位麦克风阵列装置2的指向方向的水平角的基准方向与临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向一致的方式设置在临时设置全方位相机装置Ct的设置位置。即，临时设置全方位相机装置Ct和全方位麦克风阵列装置2具有同一基准坐标系。
因此，从临时设置全方位相机装置Ct发送的朝向预置指定位置指定画面CAM-t的预置指定位置A’的水平角θCAh及垂直角θCAv的数据可以由全方位麦克风阵列装置2用作朝向预置位置A的指向方向的水平角及垂直角的数据。换言之，全方位麦克风阵列装置2能够使用从临时设置全方位相机装置Ct发送的水平角θCAh及垂直角θCAv，而在从全方位麦克风阵列装置2朝向在预置指定位置指定画面CAM-t上指定的预置指定位置A’所对应的预置位置A的指向方向上形成指向性。
图22(B)是表示第五实施方式的预置表的一例的图。图23(A)是表示将第五实施方式的收音系统10C设于店铺时的收音整体区域AR1与多个预置位置P1、P2、P3、Pn的关系的预置指定位置图。
图22(B)所示的预置表包含各数据的记录，并存储于存储器38中，上述各数据是店铺内的已定的预置位置、包含预置位置的收音区域、表示从全方位麦克风阵列装置2朝向预置位置的指向方向的水平角及垂直角的组合的预置值的各数据。
在图23(A)所示的预置指定位置图中，预置位置P1为店铺内的收款机1的附近，包含预置位置P1的收音区域成为“收款机1”。预置位置P2为店铺内的收款机2的附近，包含预置位置P2的收音区域成为“收款机2”。预置位置P3为店铺内的杂志架的附近，包含预置位置P3的收音区域成为“杂志架”。同样，预置位置Pn为店铺内的饮料架的附近，包含预置位置Pn的收音区域成为“饮料架”。
当在显示于显示器装置36的收音区域选择画面WD上通过用户的手指FG选择了任一收音区域(例如“收款机2”)时，指向方向算出部34参照存储于存储器38的预置表(参照图22(B))来取得与所选择的收音区域对应的预置值(例如(水平角θhp2、垂直角θvp2))的数据。指向方向算出部34将与所选择的收音区域对应的预置值(例如(水平角θhp2、垂直角θvp2))的数据向输出控制部35输出。
图22(B)所示的预置值的数据(θhp1、θvp1)～(θhp3、θvp3)中，θhp1、θhp2、θhp3表示从全方位麦克风阵列装置2朝向预置位置A的指向方向的水平角，θvp1、θvp2、θvp3表示从全方位麦克风阵列装置2朝向预置位置A的指向方向的垂直角。
作为指向性控制部的一例的输出控制部35控制全方位麦克风阵列装置2、临时设置全方位相机装置Ct、显示器装置36及扬声器装置37的动作，例如根据用户的输入操作，将图22(A)所示的预置指定位置指定画面CAM-t或图23(B)所示的收音区域选择画面WD显示于显示器装置36上。
作为显示部的一例的显示器装置36例如根据用户的输入操作，在信号处理部33的控制下，显示用于从全方位麦克风阵列装置2的设置位置指定与预置位置A对应的预置指定位置A’的预置指定位置指定画面CAM-t或图23(B)所示的收音区域选择画面WD。
接下来，关于本实施方式的收音系统10C的详细的动作顺序，参照图24进行说明。图24是说明第五实施方式的收音系统10C的动作顺序的流程图。
在图24中，构成收音系统10C的临时设置全方位相机装置Ct以固定于店铺内的规定的设置面(例如店铺内的顶棚面或支架)的方式设置(ST41)。
在步骤ST41中的临时设置全方位相机装置Ct的设置后，指向性控制装置3根据用户的输入操作将图22(A)所示的预置指定位置指定画面CAM-t显示于显示器装置36上。指向性控制装置3经由操作部32接收从显示于显示器装置36的预置指定位置指定画面CAM-t对用户希望的预置指定位置A’的指定(ST42)。
当在显示于显示器装置36的预置指定位置指定画面CAM-t上由用户的手指FG指定与预置位置A对应的预置指定位置A’时，临时设置全方位相机装置Ct基于临时设置全方位相机装置Ct的全方位的拍摄图像的坐标来取得从临时设置全方位相机装置Ct朝向预置指定位置A’的方向的水平角θCAh及垂直角θCAv(ST43)。临时设置全方位相机装置Ct将水平角θCAh及垂直角θCAv的数据向指向性控制装置3发送。
由此，指向性控制装置3能够容易地取得从全方位麦克风阵列装置2朝向用户在预置指定位置指定画面CAM-t上指定的预置指定位置A’所对应的预置位置A的指向方向的水平角及垂直角。
指向性控制装置3从临时设置全方位相机装置Ct接收朝向预置指定位置指定画面CAM-t上的预置指定位置A’的水平角θCAh及垂直角θCAv的数据。指向性控制装置3将水平角θCAh及垂直角θCAv的数据和与预置指定位置A’对应的预置位置A建立对应地存储于存储器38进行登记(ST44)。
在步骤ST44之后，在用户希望的全部预置位置所对应的预置值的向存储器38的登记未结束时(ST45为“否”)，指向性控制装置3在用户希望的全部预置位置所对应的预置值的向存储器38的登记结束之前，反复进行从步骤ST42到步骤ST44的各动作。
另一方面，在用户希望的全部预置位置所对应的预置值的向存储器38的登记结束时(ST45为“是”)，将临时设置全方位相机装置Ct从设置位置拆除。在将临时设置全方位相机装置Ct拆除之后，全方位麦克风阵列装置2以全方位麦克风阵列装置2的指向方向的水平角的基准方向与临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向一致的方式设置在临时设置全方位相机装置Ct的设置位置(ST46)。
在步骤ST46中，例如下面那样，以临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向与全方位麦克风阵列装置2的指向方向的水平角的基准方向一致的方式设置。但是，步骤ST46中的全方位麦克风阵列装置2的设置方法没有限定为下述的使用了记号的方法。
具体而言，在临时设置全方位相机装置Ct的框体的外周附加例如三角形或四边形的记号(未图示)。记号被附加成表示临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向(例如水平角的0度方向)的方向。
另外，在全方位麦克风阵列装置2的框体中心形成的开口部21a的周缘部，在与附加于临时设置全方位相机装置Ct的记号相向的位置，附加例如同样的形状的记号(未图示)。
因此，以临时设置全方位相机装置Ct的记号与全方位麦克风阵列装置2的记号相向的方式设置全方位麦克风阵列装置2，由此，能够以全方位麦克风阵列装置2的指向方向的水平角的基准方向与临时设置全方位相机装置Ct基于全方位的拍摄图像的坐标而取得的水平角的基准方向一致的方式进行全方位麦克风阵列装置2的设置。
在设置了全方位麦克风阵列装置2之后，指向性控制装置3根据用户的输入操作而将图23(B)所示的收音区域选择画面WD显示于显示器装置36上。指向性控制装置3经由操作部32接收从显示于显示器装置36的收音区域选择画面WD的下拉菜单对用户希望的收音区域的指定(ST47)。
当在显示于显示器装置36的收音区域选择画面WD上通过用户的手指FG选择了任一收音区域(例如“收款机2”)时，指向性控制装置3参照存储于存储器38的预置表来取得与所选择的收音区域对应的预置值的数据(例如(水平角θhp2、垂直角θvp2))(ST48)。指向方向算出部34将与所选择的收音区域对应的预置值的数据(水平角θhp2、垂直角θvp2)向输出控制部35输出。
指向性控制装置3在步骤ST48中取得的预置值的数据(水平角θhp2、垂直角θvp2)所对应的指向方向上将声音数据的指向性在输出控制部35中形成或者形成于全方位麦克风阵列装置2(ST49)。
由此，全方位麦克风阵列装置2能够相对地增大从通过形成有指向性的收音方向坐标(θhp2、θvp2)而确定的收音方向收音到的声音数据的音量水平，且能够相对地减小从未形成指向性的方向收音到的声音数据的音量水平。
此外，在本实施方式的收音系统10C中，全方位麦克风阵列装置2对声音进行收音的时机没有限定为刚进行完步骤ST14之后，也可以是例如全方位麦克风阵列装置2的电源为接通之后，在以下的各实施方式中也同样。
通过以上所述，在本实施方式的收音系统10C中，在显示器装置36上，显示用于从具有与全方位麦克风阵列装置2相同的基准坐标系的临时设置全方位相机装置Ct的拍摄图像指定一个以上的预置指定位置A’的预置指定位置指定画面CAM-t。指向性控制装置3的指向方向算出部34根据预置指定位置指定画面CAM-t上的预置指定位置A’的指定，从临时设置全方位相机装置Ct取得或者使用来自临时设置全方位相机装置Ct的数据在指向方向算出部34自身中算出从全方位麦克风阵列装置2到与预置指定位置A’对应的预置位置A的水平角及垂直角，并与预置位置A建立对应地存储于存储器38。指向性控制装置3的输出控制部35基于按照各预置位置而存储的水平角及垂直角，来形成对于所收音到的声音的指向性。
由此，在收音系统10C中，对于表示从全方位麦克风阵列装置2朝向在作为临时设置全方位相机装置Ct的拍摄图像而显示的预置指定位置指定画面CAM-t上指定的预置指定位置A’所对应的预置位置A的指向方向的水平角及垂直角，指向性控制装置3能够从临时设置全方位相机装置Ct容易地取得，或者能够使用来自临时设置全方位相机装置Ct的数据在指向性控制装置3自身中简易地算出。而且，指向性控制装置3能够使用从临时设置全方位相机装置Ct取得或在指向性控制装置3自身中算出的指向方向的水平角及垂直角，能够形成用于输出预置位置A处的对象物的明亮的声音的指向性，能够输出存在于相应的预置位置A的对象物的明亮的声音。
(第六实施方式)
图25是第六实施方式的收音系统10D的系统概要图。在第六实施方式的收音系统10D中，在第五实施方式的收音系统10C的结构中还包含分别拍摄不同的收音区域的一个以上的监视相机装置CM11～CM1n。监视相机装置CM11～CM1n中的由用户选择的监视相机装置的拍摄图像显示于显示器装置36。
由此，用户在预置指定位置指定画面CAM-t上指定预置指定位置A’时，能够参照与预置指定位置A’对应的预置位置A最良好地反映的监视相机装置的拍摄图像，并指定适当的预置指定位置A’。
图26(A)是表示第六实施方式的收音系统10D的内部结构的框图。图25或图26(A)所示的收音系统10D包含作为对对象物(例如图25中的人)的声音进行收音的收音部的一例的全方位麦克风阵列装置2、临时设置全方位相机装置Ct、指向性控制装置3D、记录装置4。
以下，在构成本实施方式的收音系统10D的全方位麦克风阵列装置2、临时设置全方位相机装置Ct、指向性控制装置3D及记录装置4的各部的动作中，对于与构成第五实施方式的收音系统10C的全方位麦克风阵列装置2、临时设置全方位相机装置Ct、指向性控制装置3及记录装置4的各部的动作相同的内容，标注同一附图标记而省略或简化说明，对不同的内容进行说明。
在设有收音系统10D的店铺内，监视相机装置CM11～CM1n分别拍摄规定的不同收音区域，经由网络NW将拍摄图像的数据向指向性控制装置3D或记录装置4发送。此外，监视相机装置CM11～CM1n中的一部分的监视相机装置的拍摄范围可以重复。
图26(B)是表示第六实施方式的预置表的一例的图。图27(A)是表示将第六实施方式的收音系统10D设于店铺时的收音整体区域AR1与多个预置位置P1、P2、P3、Pn的关系的预置指定位置图。
图26(B)所示的预置表包含各数据的记录，并存储于存储器38中，上述各数据是包含店铺内的已定的预置位置的收音区域、包含从全方位麦克风阵列装置2朝向预置位置的指向方向的水平角及垂直角的组合和拍摄收音区域的监视相机装置的识别编号的预置值的各数据。即，登记在本实施方式的预置表中的预置值除了包括第五实施方式的预置值即指向方向之外，还包含监视相机装置的识别编号。监视相机装置的识别编号例如在监视相机装置CM11时为“CM11”，同样地在监视相机装置CM1n时为“CM1n”。
在图27(A)所示的预置指定位置图中，预置位置P1为店铺内的收款机1的附近，包含预置位置P1的收音区域成为“收款机1”。预置位置P2是店铺内的收款机2的附近，包含预置位置P2的收音区域成为“收款机2”。预置位置P3为店铺内的杂志架的附近，包含预置位置P3的收音区域成为“杂志架”。同样，预置位置Pn为店铺内的饮料架的附近，包含预置位置Pn的收音区域成为“饮料架”。
而且，监视相机装置CM11拍摄收音区域“收款机1”附近的预置位置P1的周围。监视相机装置CM12拍摄收音区域“收款机2”附近的预置位置P2的周围。监视相机装置CM13拍摄收音区域“杂志架”附近的预置位置P3的周围。监视相机装置CM1n拍摄收音区域“饮料架”附近的预置位置Pn的周围。
作为指向性控制部的一例的输出控制部35D控制全方位麦克风阵列装置2、临时设置全方位相机装置Ct、显示器装置36及扬声器装置37的动作，例如根据用户的输入操作，将图28(A)所示的一个监视相机装置(例如监视相机装置CM11)的拍摄图像的显示画面、或图28(B)所示的预置指定位置指定画面CAM-t显示于显示器装置36上。
图28(A)是表示监视相机装置CM11的拍摄图像的显示画面的一例的图。图28(B)是表示监视相机装置CM11的拍摄图像所对应的临时设置全方位相机装置Ct的全方位的拍摄图像的显示画面的一例的图。与监视相机装置CM11的拍摄图像对应的临时设置全方位相机装置Ct的全方位的拍摄图像例如是表示将监视相机装置CM11的拍摄图像在临时设置全方位相机装置Ct的全方位的拍摄图像上如何显示的拍摄图像的一例。
在图28(A)所示的显示画面上，除了监视相机装置CM11的拍摄图像之外，还显示表示哪个监视相机装置的拍摄图像的监视相机装置的指示器IND、用于对监视相机装置的拍摄图像进行切换的监视相机装置的选择菜单按钮MN。
在图28(B)所示的显示画面上，除了显示临时设置全方位相机装置Ct的全方位的拍摄图像之外，还显示有表示哪个监视相机装置的拍摄图像的监视相机装置的指示器IND。
此外，输出控制部35D将图28(A)所示的监视相机装置CM11的拍摄图像的显示画面与图28(B)所示的监视相机装置CM11的拍摄图像所对应的临时设置全方位相机装置Ct的拍摄图像的显示画面每隔一定时间地交替切换显示。而且，如图28(C)所示，输出控制部35D也可以对比地显示图28(A)所示的监视相机装置CM11的拍摄图像的显示画面与图28(B)所示的监视相机装置CM11的拍摄图像所对应的临时设置全方位相机装置Ct的全方位的拍摄图像的显示画面。图28(C)是表示监视相机装置CM11的拍摄图像的显示画面与监视相机装置CM11的拍摄图像所对应的临时设置全方位相机装置Ct的全方位的拍摄图像的显示画面的对比显示例的图。
另外，如图27(B)所示，输出控制部35D将收音区域选择画面WD1和对在收音区域选择画面WD1上选择的收音区域进行拍摄的监视相机装置的拍摄图像的显示画面WD2显示于显示器装置36上。图27(B)是表示第六实施方式中的收音区域选择画面WD1和监视相机装置(的识别编号)C13的拍摄图像的显示画面WD2的一例的图。在图27(B)所示的显示画面WD2上，显示对在收音区域选择画面WD1上选择的收音区域进行拍摄的监视相机装置的识别编号。
此外，本实施方式的记录装置4可以将各监视相机装置拍摄到的影像数据与全方位麦克风阵列装置2所收音到的声音数据建立对应地存储。
接下来，关于本实施方式的收音系统10D的详细的动作顺序，参照图29进行说明。图29是说明第六实施方式的收音系统10D的动作顺序的流程图。在图29所示的流程图的说明中，对于与图24所示的流程图的各动作相同的内容的步骤，标注同一步骤编号而省略或简化说明，对不同的内容进行说明。
在图29中，在步骤ST41中的临时设置全方位相机装置Ct的设置后，指向性控制装置3D根据用户的输入操作而将图28(A)所示的一个监视相机装置(例如监视相机装置CM11)的拍摄图像的显示画面显示于显示器装置36上(ST42’)。根据用户的监视相机装置的拍摄图像的显示画面的切换操作，当选择了通过用户判断为最佳地显示站立于预置位置的人或放置于预置位置的物品的一个监视相机装置时，指向性控制装置3D将所选择的监视相机装置(例如监视相机装置CM11)的识别编号(例如CM11)暂时存储于存储器38(ST42’)。
另外，指向性控制装置3D根据用户的输入操作而将图28(B)所示的预置指定位置指定画面CAM-t显示于显示器装置36上。指向性控制装置3D经由操作部32接收从显示于显示器装置36的预置指定位置指定画面CAM-t对参照所选择的监视相机装置的拍摄图像的用户希望的预置指定位置A’的指定(ST42’)。
在步骤ST42’及步骤ST43之后，指向性控制装置3D从临时设置全方位相机装置Ct接收朝向预置指定位置指定画面CAM-t上的预置指定位置A’的水平角θCAh及垂直角θCAv的数据。指向性控制装置3D将水平角θCAh及垂直角θCAv的数据和在步骤ST42’中暂时存储于存储器38的监视相机装置的识别编号与预置指定位置A’所对应的预置位置A建立对应地存储于存储器38并进行登记(ST44’)。
此外，在步骤ST49’中，当在显示于显示器装置36的收音区域选择画面WD1上选择任一收音区域时，指向性控制装置3D参照存储于存储器38的预置表将具有作为在步骤ST48中读出的预置值的数据的识别编号的监视相机装置的拍摄图像显示于显示器装置36的显示画面WD2上。
通过以上所述，在本实施方式的收音系统10D中，在显示器装置36上，显示用于从对规定的不同收音区域进行拍摄的一个以上的监视相机装置CM11～CM1n中的选择的监视相机装置的拍摄图像所对应的临时设置全方位相机装置Ct的拍摄图像指定一个以上的预置指定位置A’的预置指定位置指定画面CAM-t。指向性控制装置3D的指向方向算出部34根据预置指定位置指定画面CAM-t上的预置指定位置A’的指定，从临时设置全方位相机装置Ct取得或使用来自临时设置全方位相机装置Ct的数据在指向方向算出部34自身中算出从全方位麦克风阵列装置2到与预置指定位置A’对应的预置位置A的水平角及垂直角，并和所选择的监视相机的识别编号一起与预置位置A建立对应地存储于存储器38。指向性控制装置3D的输出控制部35D基于按照各预置位置而存储的水平角及垂直角而在输出控制部35D中形成对对象物的声音进行收音的指向性或在全方位麦克风阵列装置2形成对对象物的声音进行收音的指向性，并且显示所记录的识别编号的监视相机的拍摄图像。
由此，在收音系统10D中，用户在目视相应的监视相机装置的拍摄图像的基础上指定与预置位置A对应的预置指定位置A’，因此指向性控制装置3D能够从临时设置全方位相机装置Ct容易且准确地取得、或者能够在指向性控制装置3D自身中算出表示从全方位麦克风阵列装置2朝向与预置指定位置A’对应的预置位置A的指向方向的水平角及垂直角。而且，指向性控制装置3D能够使用从临时设置全方位相机装置Ct取得的指向方向的水平角及垂直角来形成用于输出预置位置A处的对象物的明亮的声音的指向性，能够显示包含预置位置A的收音区域的拍摄图像，并且能够输出存在于对应的预置位置A的对象物的明亮的声音。
以下，说明上述本发明的指向性控制系统及指向性控制方法的结构、作用及效果。
本发明的一实施方式是指向性控制系统，具备：对声音进行收音的收音部；显示部，显示对从上述收音部朝向第一声音位置的指向方向进行指定的指定画面；指向方向算出部，根据所显示的上述指定画面上的上述指向方向的指定，来算出从上述收音部到与所指定的上述指向方向对应的上述第一声音位置的水平角及垂直角；及控制部，基于所算出的上述水平角及垂直角，对于由上述收音部收音到的声音形成指向性。
在上述的结构中，在显示器装置36上显示用于指定从全方位麦克风阵列装置2朝向存在对象物的声音位置A(第一声音位置)的指向方向的指向方向指定画面。指向性控制装置3的指向方向算出部34根据显示于显示器装置36的指向方向指定画面上的指向方向的指定，来算出从全方位麦克风阵列装置2到与所指定的指向方向对应的声音位置A的水平角及垂直角。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角而形成对对象物的声音进行收音时的指向性。
由此，在指向性控制系统10中，指向性控制装置3能够算出表示从全方位麦克风阵列装置2朝向在指向方向指定画面上指定的声音位置A的指向方向的水平角及垂直角。而且，指向性控制装置3能够使用所算出的指向方向的水平角及垂直角来形成用于对用户想要听的对象物的声音有效地进行收音的指向性，能够输出存在于相应的声音位置A的对象物的明亮的声音。
另外，本发明的一实施方式是指向性控制系统，其中，在上述指定画面上显示从上述收音部到上述第一声音位置的水平距离及水平角，上述指向方向算出部基于上述收音部距水平面的高度、上述第一声音位置距水平面的高度和从上述收音部到上述第一声音位置的水平距离及水平角，来算出从上述收音部到上述第一声音位置的水平角及垂直角。
在上述的结构中，在显示于显示器装置36的指向方向指定画面上，显示从全方位麦克风阵列装置2到声音位置A(第一声音位置)的水平距离及水平角。因此，指向性控制装置的指向方向算出部34基于全方位麦克风阵列装置2距地板面的高度HM、声音位置A距地板面的高度HA、从全方位麦克风阵列装置2到声音位置A的水平距离LA及水平角θA，能够简易地算出从全方位麦克风阵列装置2到声音位置A的水平角及垂直角。
另外，本发明的一实施方式是指向性控制系统，其中，在上述指定画面上显示从上述收音部到上述第一声音位置的第一水平距离及第二水平距离，上述指向方向算出部基于上述收音部距水平面的高度、上述第一声音位置距水平面的高度和从上述收音部到上述第一声音位置的第一水平距离及第二水平距离，来算出从上述收音部朝向上述第一声音位置的上述指向方向的水平角及垂直角。
在上述的结构中，在显示于显示器装置36的指向方向指定画面上，显示从全方位麦克风阵列装置2到声音位置A(第一声音位置)的第一水平距离LAx及第二水平距离LAy。因此，指向性控制装置的指向方向算出部34基于全方位麦克风阵列装置2距地板面的高度HM、声音位置A距地板面的高度HA和从全方位麦克风阵列装置2到声音位置A的第一水平距离LAx及第二水平距离LAy，能够简易地算出从全方位麦克风阵列装置2到声音位置A的水平角及垂直角。
另外，本发明的一实施方式是指向性控制系统，具备：对声音进行收音的收音部；显示部，显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面、或者从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；指向方向算出部，根据显示于上述显示部的上述设定画面上的上述指向方向的设定值，来算出从上述收音部到与所设定的上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；存储部，将按照上述收音区域内的各上述已定的第二声音位置而算出的上述水平角及垂直角与上述收音区域内的上述已定的第二声音位置建立对应地存储；及控制部，基于所算出的上述水平角及垂直角，对于由上述收音部收音到的声音形成指向性，上述指向方向算出部根据朝向显示于上述显示部的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于与所存储的上述收音区域内的上述已定的第二声音位置对应的上述水平角及垂直角，来算出朝向所指定的上述任意的第三声音位置的指向方向的水平角及垂直角。
在上述的结构中，在本实施方式的指向性控制系统10中，在显示器装置36上，显示设定从全方位麦克风阵列装置2朝向一个以上的收音区域内的已定的预置位置(第二声音位置)的指向方向的预置指定位置设定画面、或者从全方位麦克风阵列装置2朝向一个以上的收音区域内的任意声音位置(第三声音位置)的指向方向的指定画面。指向性控制装置3的指向方向算出部34根据显示于显示器装置36的预置指定位置设定画面上的预置指定位置的设定值，来算出从全方位麦克风阵列装置2到与所设定的预置指定位置对应的预置位置的水平角及垂直角而存储为预置值。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成所收音到的声音的指向性。而且，当从声音位置指定画面指定任意指定位置A’(第三声音位置所对应的指定位置)时，指向性控制装置3的指向方向算出部34基于该指定位置A为一个以上的收音区域的哪个区域的判定结果、按照预置指定位置设定画面上的一个以上的收音区域内的各预置位置(第二声音位置)而算出的指向方向的水平角及垂直角，来算出朝向由用户指定的指定位置A’所对应的任意声音位置A的指向方向的水平角及垂直角。
由此，在指向性控制系统10中，指向性控制装置3能够简易地算出表示从全方位麦克风阵列装置2朝向在预置指定位置设定画面或声音位置指定画面上指定的预置指定位置所对应的预置位置或任意声音位置的指向方向的水平角及垂直角。而且，指向性控制装置3在算出了从全方位麦克风阵列装置2朝向预置位置的指向方向的水平角及垂直角之后，能够将作为算出结果的水平角及垂直角作为预置值而存储于存储器38。而且，指向性控制装置3使用所算出的指向方向的水平角及垂直角，来形成用于输出用户想要听的对象物的明亮的声音的指向性，由此能够输出存在于对应的预置位置或声音位置A的对象物的明亮的声音。
另外，本发明的一实施方式是指向性控制系统，具备：对声音进行收音的收音部；显示部，显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面、或者从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；存储部，将显示于上述显示部的上述设定画面上的上述一个以上的指向方向的设定值与上述收音区域内的上述已定的第二声音位置建立对应地存储；指向方向算出部，基于所存储的上述指向方向的设定值，来算出到与上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；及控制部，基于所算出的上述水平角及垂直角，对于通过上述收音部收音到的声音形成指向性，上述指向方向的设定值是从上述收音部到上述已定的第二声音位置的水平距离及水平角度、或第一水平距离及第二水平距离，上述指向方向算出部根据朝向显示于上述显示部的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于与所存储的上述收音区域内的上述已定的第二声音位置对应的上述水平角及垂直角的设定值，来算出朝向所指定的上述任意的第三声音位置的指向方向的水平角及垂直角。
在上述的结构中，在本实施方式的指向性控制系统10中，在显示器装置36上，显示设定从全方位麦克风阵列装置2朝向一个以上的收音区域内的已定的预置位置(第二声音位置)的指向方向的预置指定位置设定画面、或者从全方位麦克风阵列装置2朝向一个以上的收音区域内的任意声音位置(第三声音位置)的指向方向的指定画面。指向性控制装置3的存储器38存储例如从全方位麦克风阵列装置2到预置位置的水平距离及水平角度、或第一水平距离及第二水平距离，来作为显示于显示器装置36的预置位置指定设定画面上的预置指定位置的设定值。指向性控制装置3的指向方向算出部34基于表示所存储的指向方向的水平角及垂直角的设定值，来算出到与指向方向对应的声音位置的水平角及垂直角。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成对于收音到的声音的指向性。而且，当从声音位置指定画面指定任意指定位置A’(与第三声音位置对应的指定位置)时，指向性控制装置3的指向方向算出部34基于该指定位置A’为一个以上的收音区域的哪个区域的判定结果、表示按照存储的各预置位置(第二声音位置)而算出的指向方向的水平角及垂直角的设定值，来算出朝向由用户指定的指定位置A’所对应的任意声音位置A的指向方向的水平角及垂直角。
由此，在指向性控制系统10中，指向性控制装置3能够简易地算出表示从全方位麦克风阵列装置2朝向在预置指定位置设定画面或声音位置指定画面上指定的预置指定位置所对应的预置位置或任意声音位置的指向方向的水平角及垂直角。而且，指向性控制装置3将用于算出从全方位麦克风阵列装置2朝向预置位置的指向方向的水平角及垂直角的设定值预先存储于存储器38，因此当指定与预置位置对应的预置指定位置时，能够从存储器38读出设定值而算出指向方向的水平角及垂直角。而且，指向性控制装置3使用撕破算出的指向方向的水平角及垂直角来形成用于输出用户想要听的对象物的明亮的声音的指向性，由此能够输出存在于相应的预置位置或声音位置A的对象物的明亮的声音。
另外，本发明的一实施方式是指向性控制系统，其中，上述指向方向算出部根据所显示的上述指定画面上的上述指向方向所对应的上述已定的第二声音位置的指定，来算出从上述收音部到指定的上述指向方向所对应的上述已定的第二声音位置的水平角及垂直角。
在上述的结构中，在显示器装置36上，显示用于设定从全方位麦克风阵列装置2朝向存在对象物的预置位置(第二声音位置)的指向方向的预置指定位置设定画面(参照图9(B))。在该预置指定位置设定画面上，能够通过预置指定位置的设定而简易地得到从全方位麦克风阵列装置2到各预置位置的水平距离及水平角。因此，在包含显示于显示器装置36的预置位置的预置指定位置设定画面(参照图9(B))上，当指定预置指定位置时，指向性控制装置3的指向方向算出部34能够简易地算出所指定的预置位置的指向方向。
另外，本发明的一实施方式是指向性控制系统，其中，上述指向性控制系统还具备拍摄规定的不同收音区域的一个以上的相机装置，上述显示部还显示一个以上的上述收音区域的选择画面和包含所选择的上述收音区域的上述相机装置的拍摄影像，上述控制部根据显示于上述相机装置的拍摄影像上的上述已定的第二声音位置的选择，基于与所存储的上述已定的第二声音位置对应的上述指向方向，来形成对于由上述收音部收音到的声音的指向性。
在上述的结构中，一个以上的相机装置C11～C1n(n：2以上的整数)拍摄规定的不同收音区域的范围的影像。在显示器装置36上，显示用于从一个以上的收音区域中选择任一收音区域的收音区域选择画面WD1和用于显示包含与所选择的收音区域对应的预置位置(第二声音位置)的相机装置的拍摄影像的拍摄影像显示画面WD2。指向性控制装置3的输出控制部35根据显示于相机装置的拍摄影像显示画面WD2上的拍摄影像内的预置指定位置的选择，使用存储于存储器38的各预置位置的指向方向的水平角及垂直角来形成声音的指向性。
由此，在指向性控制系统10A中，指向性控制装置3能够使用户在相应的相机装置的拍摄影像之中视觉性地确认从显示于显示器装置36的收音区域选择画面WD1选择的收音区域所对应的预置位置为何处，能够在朝向与用户所期望的收音区域对应的预置位置的指向方向上形成声音的指向性，能够输出存在于相应的预置位置的对象物的明亮的声音。
另外，本发明的一实施方式是指向性控制系统，其中，上述指向性控制系统还具备拍摄已定的一个收音区域的一个以上的相机装置，上述显示部还显示上述一个以上的相机装置的选择画面和包含与所选择的上述相机装置对应的收音区域的上述相机装置的拍摄影像，上述控制部根据上述相机装置的选择，基于与所存储的上述已定的第二声音位置对应的上述指向方向，来形成对于由上述收音部收音到的声音的指向性。
在上述的结构中，一个以上的相机装置C11～C1n(n：2以上的整数)分别拍摄预先被分配的规定的一个收音区域的范围的影像。在显示器装置36上，显示用于选择一个以上的相机装置的任一相机装置的相机装置选择画面WD3和用于显示选择的相机装置的拍摄影像的拍摄影像显示画面WD4。指向性控制装置3的输出控制部35使用与所选择的相机装置对应的预置位置(第二声音位置)的指向方向及指向性控制参数的预置值的各数据，形成对于收音到的声音的指向性。
由此，在指向性控制系统10B中，指向性控制装置3能够使从显示于显示器装置36的相机装置选择画面WD3选择的相机装置的影像和与所选择的相机装置对应的预置位置的周围的声音同步地让用户视听。
本发明的一实施方式是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：显示对从上述收音部朝向第一声音位置的指向方向进行指定的指定画面；根据所显示的上述指定画面上的上述指向方向的指定，来算出从上述收音部到与所指定的上述指向方向对应的上述第一声音位置的水平角及垂直角；及基于所算出的上述水平角及垂直角，来形成对于由上述收音部收音到的声音的指向性。
在上述的方法中，在显示器装置36上，显示用于指定从全方位麦克风阵列装置2朝向存在对象物的声音位置A(第一声音位置)的指向方向的指向方向指定画面。指向性控制装置3的指向方向算出部34根据显示于显示器装置36的指向方向指定画面上的指向方向的指定，来算出从全方位麦克风阵列装置2到与所指定的指向方向对应的声音位置A的水平角及垂直角。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成对对象物的声音收音时的指向性。
由此，在指向性控制系统10中，指向性控制装置3能够算出表示从全方位麦克风阵列装置2朝向在指向方向指定画面上指定的声音位置A的指向方向的水平角及垂直角。而且，指向性控制装置3使用所算出的指向方向的水平角及垂直角，能够形成用于对用户想要听的对象物的声音效果地收音的指向性，能够输出存在于相应的声音位置A的对象物的明亮的声音。
另外，本发明的一实施方式是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面；根据所显示的上述设定画面上的上述指向方向的设定值，来算出从上述收音部到与所设定的上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；将按照上述收音区域内的各上述已定的第二声音位置而算出的上述水平角及垂直角与上述收音区域内的上述已定的第二声音位置建立对应地存储；显示从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；根据朝向所显示的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于所存储的上述收音区域内的各上述已定的第二声音位置的指向方向，来算出朝向指定的上述任意的第三声音位置的指向方向的水平角及垂直角；及基于所算出的上述水平角及垂直角，来形成对于由上述收音部收音到的声音的指向性。
在上述的方法中，在显示器装置36上，显示设定从全方位麦克风阵列装置2朝向一个以上的收音区域内的已定的预置位置(第二声音位置)的指向方向的预置指定位置设定画面、或者从全方位麦克风阵列装置2朝向一个以上的收音区域内的任意声音位置(第三声音位置)的指向方向的指定画面。指向性控制装置3的指向方向算出部34根据显示于显示器装置36的预置指定位置设定画面上的预置指定位置的设定值，来算出从全方位麦克风阵列装置2到与所设定的预置指定位置对应的预置位置的水平角及垂直角并存储为预置值。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角，来形成所收音到的声音的指向性。而且，当从声音位置指定画面指定任意指定位置A’(第三声音位置所对应的指定位置)时，指向性控制装置3的指向方向算出部34基于该指定位置A为一个以上的收音区域的哪个区域的判定结果和按照预置指定位置设定画面上的一个以上的收音区域内的各预置位置(第二声音位置)而算出的指向方向的水平角及垂直角，来算出朝向由用户指定的指定位置A’所对应的任意声音位置A的指向方向的水平角及垂直角。
由此，在指向性控制系统10中，指向性控制装置3能够简易地算出表示从全方位麦克风阵列装置2朝向在预置指定位置设定画面或声音位置指定画面上指定的预置指定位置所对应的预置位置或任意声音位置的指向方向的水平角及垂直角。而且，指向性控制装置3在算出了从全方位麦克风阵列装置2朝向预置位置的指向方向的水平角及垂直角之后，能够将作为算出结果的水平角及垂直角作为预置值而存储于存储器38。而且，指向性控制装置3使用所算出的指向方向的水平角及垂直角，来形成用于输出用户想要听的对象物的明亮的声音的指向性，由此能够输出存在于相应的预置位置或声音位置A的对象物的明亮的声音。
另外，本发明的一实施方式是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：显示从上述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面；将所显示的上述设定画面上的上述指向方向的设定值与上述收音区域内的上述已定的第二声音位置建立对应地存储；基于所存储的上述指向方向的设定值，来算出到与上述指向方向对应的上述已定的第二声音位置的水平角及垂直角；显示从上述收音部朝向上述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；及根据朝向所显示的上述指定画面上的上述一个以上的收音区域的上述任意的第三声音位置的指向方向的指定，基于所存储的上述收音区域内的各上述已定的第二声音位置的指向方向的设定值，来算出朝向指定的上述任意的第三声音位置的指向方向的水平角及垂直角，上述指向方向的设定值是从上述收音部到上述已定的第二声音位置的水平距离及水平角度、或者第一水平距离及第二水平距离。
在上述的方法中，在本实施方式的指向性控制系统10中，在显示器装置36上，显示设定从全方位麦克风阵列装置2朝向一个以上的收音区域内的已定的预置位置(第二声音位置)的指向方向的预置指定位置设定画面、或者从全方位麦克风阵列装置2朝向一个以上的收音区域内的任意声音位置(第三声音位置)的指向方向的指定画面。指向性控制装置3的存储器38存储例如从全方位麦克风阵列装置2到预置位置的水平距离及水平角度、或第一水平距离及第二水平距离，来作为显示于显示器装置36的预置位置指定设定画面上的预置指定位置的设定值。指向性控制装置3的指向方向算出部34基于表示所存储的指向方向的水平角及垂直角的设定值，来算出到与指向方向对应的声音位置的水平角及垂直角。指向性控制装置3的输出控制部35基于所算出的水平角及垂直角来形成对于收音到的声音的指向性。而且，当从声音位置指定画面指定任意指定位置A’(与第三声音位置对应的指定位置)时，指向性控制装置3的指向方向算出部34基于该指定位置A’为一个以上的收音区域的哪个区域的判定结果和表示按照所存储的各预置位置(第二声音位置)而算出的指向方向的水平角及垂直角的设定值，来算出朝向由用户指定的指定位置A’所对应的任意声音位置A的指向方向的水平角及垂直角。
由此，在指向性控制系统10中，指向性控制装置3能够简易地算出表示从全方位麦克风阵列装置2朝向在预置指定位置设定画面或声音位置指定画面上指定的预置指定位置所对应的预置位置或任意声音位置的指向方向的水平角及垂直角。而且，指向性控制装置3将用于算出从全方位麦克风阵列装置2朝向预置位置的指向方向的水平角及垂直角的设定值预先存储于存储器38，因此当指定与预置位置对应的预置指定位置时，能够从存储器38读出设定值而算出指向方向的水平角及垂直角。而且，指向性控制装置3使用所算出的指向方向的水平角及垂直角来形成用于输出用户想要听的对象物的明亮的声音的指向性，由此能够输出存在于对应的预置位置或声音位置A的对象物的明亮的声音。
另外，本发明的一实施方式是指向性控制系统，其中，上述显示部将对通过上述控制部形成的上述指向性进行调整的指向性控制参数的调整界面显示于上述设定画面上，上述控制部根据对于上述指向性控制参数的调整界面的输入操作，基于变更后的上述指向性控制参数，来形成对于由上述收音部收音到的声音的指向性。
根据该结构，在显示器装置36上，用于调整指向性的指向性控制参数的调整界面显示于指向方向指定画面，指向性控制装置3通过对于指向性控制参数的调整界面的输入操作，基于变更后的指向性控制参数，来形成对于所收音到的声音的指向性，因此例如听到了已经形成有指向性的声音(确认音)的用户对调整界面进行变更操作，由此能够形成与用户的嗜好或要求相符的声音的指向性。
另外，本发明的一实施方式是指向性控制系统，其中，上述存储部将变更后的上述指向性控制参数和朝向上述已定的第二声音位置的上述水平角及垂直角与上述收音区域内的上述已定的第二声音位置建立对应地存储。
根据该结构，存储器38将变更后的指向性控制参数和表示朝向预置位置(第二声音位置)的指向方向的水平角及垂直角与收音区域内的预置位置建立对应地存储，因此指向性控制装置3不需要用户再次对调整界面的变更操作，使用变更后的指向性控制参数和表示朝向预置位置(第二声音位置)的指向方向的水平角及垂直角作为预置值，能够简易地形成指向性。
另外，本发明的一实施方式是指向性控制系统，其中，上述显示部在上述设定画面上显示将与上述已定的第二声音位置对应的上述设定画面上的第一指定位置变更为与其他声音位置对应的上述设定画面上的第二指定位置的指定位置的调整界面，上述控制部根据对于上述指定位置的调整界面的输入操作，基于朝向与变更后的上述第二指定位置对应的上述其他声音位置的上述水平角及垂直角，来形成对于由上述收音部收音到的声音的指向性。
根据该结构，在显示器装置36上，在声音位置指定画面上显示将与预置位置(第二声音位置)对应的声音位置指定画面上的位置(第一指定位置)变更为与其他声音位置对应的声音位置指定画面上的位置(第二指定位置)的指定位置的调整界面，指向性控制装置3根据对于指定位置的调整界面的输入操作，基于朝向与变更后的指定位置对应的其他声音位置的水平角及垂直角，来形成对于收音到的声音的指向性，因此例如听到了已经形成有指向性的声音(确认音)的用户对调整界面进行变更操作，由此能够形成与用户的嗜好或要求相符的声音的指向性。
另外，本发明的一实施方式是指向性控制系统，其中，上述存储部将朝向与变更后的上述第二指定位置对应的上述其他声音位置的上述水平角及垂直角与上述收音区域内的上述已定的第二声音位置建立对应地存储。
根据该结构，存储器38将朝向与变更后的指定位置对应的其他声音位置的水平角及垂直角与收音区域内的预置位置建立对应地存储，因此指向性控制装置3不需要用户再次对调整界面的变更操作，能够使用与变更后的指定位置对应的水平角及垂直角作为预置值而简易地形成指向性。
另外，说明上述本发明的收音系统及收音控制方法的结构、作用及效果。
本发明的一实施方式是收音系统，具备：对声音进行收音的收音部；第一相机装置，具有与上述收音部相同的基准坐标系；显示部，显示从上述第一相机装置的拍摄图像指定一个以上的已定的第四声音位置所对应的位置的指定画面；指向方向算出部，根据上述已定的第四声音位置所对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第四声音位置的水平角及垂直角；存储部，将按照各上述已定的第四声音位置而取得的上述水平角及垂直角与上述已定的第四声音位置建立对应地存储；及指向性控制部，基于按照各上述已定的第四声音位置而存储的上述水平角及垂直角，来形成对于通过上述收音部收音到的声音的指向性。
在上述的结构中，在显示器装置36上，显示用于从具有与全方位麦克风阵列装置2相同的基准坐标系的临时设置全方位相机装置Ct的拍摄图像指定一个以上的预置指定位置A’的预置指定位置指定画面CAM-t。指向性控制装置3的指向方向算出部34根据预置指定位置指定画面CAM-t上的预置指定位置A’(与第四声音位置对应的位置)的指定，导出从全方位麦克风阵列装置2到与预置指定位置A’对应的预置位置A(第四声音位置)的水平角及垂直角，与预置位置A建立对应地存储于存储器38。指向性控制装置3的输出控制部35基于按照各预置位置A而存储的水平角及垂直角，来形成对于收音到的声音的指向性。
由此，在收音系统10中，指向性控制装置3能够从临时设置全方位相机装置Ct容易地取得或者能够在指向性控制装置3自身中简易地算出表示从全方位麦克风阵列装置2朝向在作为临时设置全方位相机装置Ct的拍摄图像而显示的预置指定位置指定画面CAM-t上指定的预置指定位置A’所对应的预置位置A的指向方向的水平角及垂直角。而且，指向性控制装置3能够使用从临时设置全方位相机装置Ct取得的或在指向性控制装置3自身中算出的指向方向的水平角及垂直角，来形成用于输出预置位置A处的对象物的明亮的声音的指向性，从而能够输出存在于相应的预置位置A的对象物的明亮的声音。
另外，本发明的一实施方式是收音系统，其中，上述显示部还显示包含上述已定的第四声音位置的收音区域的选择画面，上述指向方向算出部根据来自上述选择画面的任一上述收音区域的选择，从上述存储部取得从上述收音部朝向所选择的上述收音区域内的上述已定的第四声音位置的指向方向的水平角及垂直角，上述指向性控制部基于所取得的上述水平角及垂直角而在所选择的上述收音区域中形成对于由上述收音部收音到的声音的指向性。
在上述的结构中，在显示器装置36上，显示包含预置位置A(第四声音位置)的收音区域选择画面WD(例如收款机1、收款机2、杂志架的选择画面)。当从收音区域选择画面WD选择任一收音区域时，指向性控制装置3的指向方向算出部34从存储器38取得从全方位麦克风阵列装置2朝向所选择的收音区域内的预置位置A的指向方向的水平角及垂直角。指向性控制装置3的输出控制部35基于指向方向算出部34所取得的水平角及垂直角来形成向选择的收音区域的指向性。
由此，在收音系统10中，指向性控制装置3在从显示于显示器装置36的收音区域选择画面WD选择了任一收音区域的情况下，能够从存储器38取得朝向所选择的收音区域内的预置位置A的指向方向的水平角及垂直角，能够在所选择的收音区域中简易地形成对于所收音到的声音的指向性。
另外，本发明的一实施方式是收音系统，具备：对声音进行收音的收音部；第一相机装置，具有与上述收音部相同的基准坐标系；一个以上的第二相机装置，拍摄规定的不同收音区域；显示部，显示从与所选择的任一上述第二相机装置的拍摄图像对应的上述第一相机装置的拍摄图像指定一个以上的已定的第五声音位置所对应的位置的指定画面；指向方向算出部，根据与上述已定的第五声音位置对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第五声音位置的水平角及垂直角；存储部，将按照各上述已定的第五声音位置而取得的上述水平角及垂直角与上述已定的第五声音位置建立对应地存储；及指向性控制部，基于按照各上述已定的第五声音位置而存储的上述水平角及垂直角，来形成对于由上述收音部收音到的声音的指向性。
在上述的结构中，在显示器装置36上，显示用于从拍摄规定的不同收音区域的一个以上的监视相机装置CM11～CM1n中的选择的监视相机装置的拍摄图像所对应的临时设置全方位相机装置Ct的拍摄图像指定一个以上的预置指定位置A’(与第五声音位置对应的位置)的预置指定位置指定画面CAM-t。指向性控制装置3A的指向方向算出部34根据预置指定位置指定画面CAM-t的预置指定位置A’的指定，从临时设置全方位相机装置Ct取得从全方位麦克风阵列装置2到与预置指定位置A’对应的预置位置A(第五声音位置)的水平角及垂直角，并与预置位置A建立对应地存储于存储器38。指向性控制装置3A的输出控制部35基于按照各预置位置而存储的水平角及垂直角，来形成对于由收音部收音到的声音的指向性。
由此，在收音系统10D中，用户在目视相应的监视相机装置的拍摄图像的基础上指定与预置位置A对应的预置指定位置A’，因此指向性控制装置3A能够从临时设置全方位相机装置Ct容易且准确的取得或者能够在指向性控制装置3A自身中简易地算出表示从全方位麦克风阵列装置2朝向与预置指定位置A’对应的预置位置A的指向方向的水平角及垂直角。而且，指向性控制装置3A能够使用从临时设置全方位相机装置Ct取得的指向方向的水平角及垂直角来形成用于输出预置位置A处的对象物的明亮的声音的指向性，能够输出存在于对应的预置位置A的对象物的明亮的声音。
另外，本发明的一实施方式是收音系统，其中，上述存储部将按照各上述已定的第五声音位置而取得的上述水平角及垂直角和所选择的上述第二相机装置的识别编号与上述已定的第五声音位置建立对应地存储。
在上述的结构中，在收音系统10D中，指向性控制装置3A能够将按照各预置位置(第五声音位置)而取得的水平角及垂直角和所选择的监视相机装置的识别编号与预置位置A建立对应地存储于存储器38。
另外，本发明的一实施方式是收音系统，其中，上述显示部显示与上述第二相机装置对应的上述收音区域的选择画面和对从上述选择画面选择的上述收音区域进行拍摄的上述第二相机装置的拍摄图像的显示画面，上述指向方向算出部根据与上述第二相机装置对应的上述收音区域的选择，从上述存储部取得对所选择的上述收音区域进行拍摄的上述第二相机装置的识别编号所对应的指向方向的水平角及垂直角，上述指向性控制部基于所取得的上述水平角及垂直角而在选择的上述收音区域中形成对于由上述收音部收音到的声音的指向性。
在上述的结构中，在显示器装置36上，显示与监视相机装置对应的收音区域选择画面WD1和对用户从收音区域选择画面WD1中选择的收音区域进行拍摄的监视相机装置的拍摄图像的显示画面WD2。当从收音区域选择画面WD1选择任一收音区域时，指向性控制装置3A的指向方向算出部34从存储器38取得对所选择的收音区域进行拍摄的监视相机装置的识别编号所对应的指向方向的水平角及垂直角。指向性控制装置3A的输出控制部35A基于指向方向算出部34所取得的水平角及垂直角而在所选择的收音区域中形成对于收音到的声音的指向性。
由此，在收音系统10D中，在从显示于显示器装置36的收音区域选择画面WD1中选择了任一收音区域时，指向性控制装置3A能够将对所选择的收音区域进行拍摄的监视相机装置的拍摄图像显示于显示画面WD2上，而且，能够从存储器38取得朝向所选择的收音区域内的预置位置A的指向方向的水平角及垂直角，能够在所选择的收音区域中简易地形成对于收音到的声音的指向性。
另外，本发明的一实施方式是上述第一相机装置为全方相位机装置的收音系统。
在上述的结构中，在收音系统10C或10D中，指向性控制装置3或3A能够从临时设置全方位相机装置Ct拍摄的大范围的拍摄范围指定用户希望的预置指定位置A’。
另外，本发明的一实施方式是包含对声音进行收音的收音部的收音系统的收音控制方法，具有如下步骤：显示通过具有与上述收音部相同的基准坐标系的第一相机装置而拍摄到的拍摄图像；显示从上述第一相机装置的拍摄图像指定一个以上的已定的第四声音位置所对应的位置的指定画面；根据上述已定的第四声音位置所对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第四声音位置的水平角及垂直角；将按照各上述已定的第四声音位置而取得的上述水平角及垂直角与上述已定的第四声音位置建立对应地存储于存储部；及基于在上述存储部中按照各上述已定的第四声音位置而存储的上述水平角及垂直角，来形成对于由上述收音部收音到的声音的指向性。
在上述的方法中，在显示器装置36上，显示用于从具有与全方位麦克风阵列装置2相同的基准坐标系的临时设置全方位相机装置Ct的拍摄图像指定一个以上的预置指定位置A’的预置指定位置指定画面CAM-t。指向性控制装置3的指向方向算出部34根据预置指定位置指定画面CAM-t上的预置指定位置A’(与第四声音位置对应的位置)的指定，导出从全方位麦克风阵列装置2到与预置指定位置A’对应的预置位置A(第四声音位置)的水平角及垂直角，并与预置位置A建立对应地存储于存储器38。指向性控制装置3的输出控制部35基于按照各预置位置A存储的水平角及垂直角，来形成对于收音到的声音的指向性。
由此，在收音系统10中，指向性控制装置3能够从临时设置全方位相机装置Ct容易取得或能够在指向性控制装置3自身中简易算出表示从全方位麦克风阵列装置2朝向作为临时设置全方位相机装置Ct的拍摄图像而显示的预置指定位置指定画面CAM-t上指定的预置指定位置A’所对应的预置位置A的指向方向的水平角及垂直角。而且，指向性控制装置3能够使用从临时设置全方位相机装置Ct取得的或在指向性控制装置3自身中算出的指向方向的水平角及垂直角来形成用于输出预置位置A处的对象物的明亮的声音的指向性，能够输出存在于相应的预置位置A的对象物的明亮的声音。
另外，本发明的一实施方式是包含对声音进行收音的收音部的收音系统的收音控制方法，具有如下步骤：显示通过具有与上述收音部相同的基准坐标系的第一相机装置而拍摄到的拍摄图像；接收对规定的不同收音区域的一个以上的第二相机装置的选择；显示从与所选择的任一上述第二相机装置的拍摄图像对应的上述第一相机装置的拍摄图像指定一个以上的已定的第五声音位置所对应的位置的指定画面；根据与上述已定的第五声音位置对应的上述指定画面上的位置的指定，导出从上述收音部到上述已定的第五声音位置的水平角及垂直角；将按照各上述已定的第五声音位置而取得的上述水平角及垂直角与上述已定的第五声音位置建立对应地存储于存储部；及基于在上述存储部中按照各上述已定的第五声音位置而存储的上述水平角及垂直角，来形成对于由上述收音部收音到的声音的指向性。
在上述的方法中，在显示器装置36上，显示用于从拍摄规定的不同收音区域的一个以上的监视相机装置CM11～CM1n中的选择的监视相机装置的拍摄图像所对应的临时设置全方位相机装置Ct的拍摄图像指定一个以上的预置指定位置A’(与第五声音位置对应的位置)的预置指定位置指定画面CAM-t。指向性控制装置3的指向方向算出部34根据预置指定位置指定画面CAM-t上的预置指定位置A’的指定，从临时设置全方位相机装置Ct取得从全方位麦克风阵列装置2到与预置指定位置A’对应的预置位置A(第五声音位置)的水平角及垂直角，并与预置位置A建立对应地存储于存储器38。指向性控制装置3的输出控制部35基于按照各预置位置A存储的水平角及垂直角，来形成对于由收音部收音到的声音的指向性。
由此，在收音系统10D中，用户在目视相应的监视相机装置的拍摄图像的基础上指定与预置位置A对应的预置指定位置A’，因此指向性控制装置3A能够从临时设置全方位相机装置Ct容易且准确地取得、或者能够在指向性控制装置3A自身中简易地算出对于表示从全方位麦克风阵列装置2朝向与预置指定位置A’对应的预置位置A的指向方向的水平角及垂直角。而且，指向性控制装置3A能够使用从临时设置全方位相机装置Ct取得的指向方向的水平角及垂直角来形成用于输出预置位置A处的对象物的明亮的声音的指向性，能够输出存在于相应的预置位置A的对象物的明亮的声音。
以上，参照附图说明了各种实施方式，但本发明当然没有限定为上述例子。本领域技术人员当然能够在权利要求书记载的范围内想到各种变更例或修正例，这些变更例或修正例当然也属于本发明的技术范围。
工业实用性
本发明作为如下的指向性控制系统及指向性控制方法是有用的：算出从麦克风阵列装置朝向预置位置的指向方向、并在所算出的指向方向上形成指向性，由此输出存在于从麦克风阵列装置朝向预置位置的方向上的对象物的明亮的声音。
本发明作为如下的收音系统及指向性控制方法是有用的：算出从麦克风阵列装置朝向预置位置的指向方向、并在所算出的指向方向上形成指向性，由此输出存在于从麦克风阵列装置朝向预置位置的方向上的对象物的明亮的声音。

Claims (9)

1.一种指向性控制系统，具备：
对声音进行收音的收音部；
显示部，显示从所述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面、或者从所述收音部朝向所述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；
指向方向算出部，根据显示于所述显示部的所述设定画面上的所述指向方向的设定值，来算出从所述收音部到与所设定的所述指向方向对应的所述已定的第二声音位置的水平角及垂直角；
存储部，将按照所述收音区域内的各所述已定的第二声音位置而算出的所述水平角及垂直角与所述收音区域内的所述已定的第二声音位置建立对应地存储；及
控制部，基于所算出的所述水平角及垂直角，对于由所述收音部收音到的声音形成指向性，
所述指向方向算出部根据朝向显示于所述显示部的所述指定画面上的所述一个以上的收音区域的所述任意的第三声音位置的指向方向的指定，算出与一个第二声音位置对应的水平角及垂直角或者与多个第二声音位置对应的水平角及垂直角的加法运算平均值，作为朝向第三声音位置的指向方向的水平角及垂直角。
2.根据权利要求1所述的指向性控制系统，其中，
所述指向方向算出部根据所显示的所述指定画面上的所述指向方向所对应的所述已定的第二声音位置的指定，来算出从所述收音部到与所指定的所述指向方向对应的所述已定的第二声音位置的水平角及垂直角。
3.根据权利要求1所述的指向性控制系统，其中，
所述指向性控制系统还具备拍摄规定的不同收音区域的一个以上的相机装置，
所述显示部还显示一个以上的所述收音区域的选择画面和包含所选择的所述收音区域的所述相机装置的拍摄影像，
所述控制部根据显示于所述相机装置的拍摄影像上的所述已定的第二声音位置的选择，基于与所存储的所述已定的第二声音位置对应的所述指向方向，来形成对于由所述收音部收音到的声音的指向性。
4.根据权利要求1所述的指向性控制系统，其中，
所述指向性控制系统还具备拍摄已定的一个收音区域的一个以上的相机装置，
所述显示部还显示所述一个以上的相机装置的选择画面和包含与所选择的所述相机装置对应的收音区域的所述相机装置的拍摄影像，
所述控制部根据所述相机装置的选择，基于与所存储的所述已定的第二声音位置对应的所述指向方向，来形成对于由所述收音部收音到的声音的指向性。
5.根据权利要求1所述的指向性控制系统，其中，
所述显示部将对通过所述控制部形成的所述指向性进行调整的指向性控制参数的调整界面显示于所述设定画面或所述指定画面上，
所述控制部根据对于所述指向性控制参数的调整界面的输入操作，基于变更后的所述指向性控制参数，来形成对于由所述收音部收音到的声音的指向性。
6.根据权利要求5所述的指向性控制系统，其中，
所述存储部将变更后的所述指向性控制参数和朝向所述已定的第二声音位置的所述水平角及垂直角与所述收音区域内的所述已定的第二声音位置建立对应地存储。
7.根据权利要求1所述的指向性控制系统，其中，
所述显示部在所述设定画面上显示将与所述已定的第二声音位置对应的所述设定画面上的第一指定位置变更为与其他声音位置对应的所述设定画面上的第二指定位置的指定位置的调整界面，
所述控制部根据对于所述指定位置的调整界面的输入操作，基于朝向与变更后的所述第二指定位置对应的所述其他声音位置的所述水平角及垂直角，来形成对于由所述收音部收音到的声音的指向性。
8.根据权利要求7所述的指向性控制系统，其中，
所述存储部将朝向与变更后的所述第二指定位置对应的所述其他声音位置的所述水平角及垂直角与所述收音区域内的所述已定的第二声音位置建立对应地存储。
9.一种指向性控制方法，是包含对声音进行收音的收音部的指向性控制系统的指向性控制方法，具有如下步骤：
显示从所述收音部朝向一个以上的收音区域内的已定的第二声音位置的指向方向的设定画面；
根据所显示的所述设定画面上的所述指向方向的设定值，来算出从所述收音部到与所设定的所述指向方向对应的所述已定的第二声音位置的水平角及垂直角；
将按照所述收音区域内的各所述已定的第二声音位置而算出的所述水平角及垂直角与所述收音区域内的所述已定的第二声音位置建立对应地存储；
显示从所述收音部朝向所述一个以上的收音区域内的任意的第三声音位置的指向方向的指定画面；
根据朝向所显示的所述指定画面上的所述一个以上的收音区域的所述任意的第三声音位置的指向方向的指定，算出与一个第二声音位置对应的水平角及垂直角或者与多个第二声音位置对应的水平角及垂直角的加法运算平均值，作为朝向第三声音位置的指向方向的水平角及垂直角；及
基于所算出的所述水平角及垂直角，来形成对于由所述收音部收音到的声音的指向性。
CN201410347640.XA 2013-07-19 2014-07-21 指向性控制系统、指向性控制方法、收音系统及收音控制方法 Active CN104301664B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2013151012 2013-07-19
JP2013-151012 2013-07-19
JP2013189379 2013-09-12
JP2013-189379 2013-09-12
JP2014-135117 2014-06-30
JP2014135117A JP5958717B2 (ja) 2013-07-19 2014-06-30 指向性制御システム、指向性制御方法、収音システム及び収音制御方法

Publications (2)

Publication Number Publication Date
CN104301664A CN104301664A (zh) 2015-01-21
CN104301664B true CN104301664B (zh) 2018-01-23

Family

ID=51205307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410347640.XA Active CN104301664B (zh) 2013-07-19 2014-07-21 指向性控制系统、指向性控制方法、收音系统及收音控制方法

Country Status (4)

Country Link
US (1) US9549244B2 (zh)
EP (1) EP2827610A3 (zh)
JP (1) JP5958717B2 (zh)
CN (1) CN104301664B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2879047A3 (en) * 2013-11-28 2015-12-16 LG Electronics Inc. Mobile terminal and controlling method thereof
JP6504539B2 (ja) * 2015-02-18 2019-04-24 パナソニックＩｐマネジメント株式会社 収音システム及び収音設定方法
US9860635B2 (en) * 2014-12-15 2018-01-02 Panasonic Intellectual Property Management Co., Ltd. Microphone array, monitoring system, and sound pickup setting method
JP6610992B2 (ja) * 2015-06-09 2019-11-27 パナソニックＩｐマネジメント株式会社 接客態度評価システム及び接客態度評価方法
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
JP6528574B2 (ja) 2015-07-14 2019-06-12 株式会社リコー 情報処理装置、情報処理方法、および情報処理プログラム
JP2017028375A (ja) 2015-07-16 2017-02-02 株式会社リコー 映像処理装置、及びプログラム
JP2017028633A (ja) 2015-07-27 2017-02-02 株式会社リコー 映像配信端末、プログラム、及び、映像配信方法
KR101709469B1 (ko) * 2015-09-11 2017-02-23 엘지전자 주식회사 이동 단말기, 및 홈 어플라이언스
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
JP5979458B1 (ja) * 2015-11-06 2016-08-24 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
US9602926B1 (en) * 2016-01-13 2017-03-21 International Business Machines Corporation Spatial placement of audio and video streams in a dynamic audio video display device
CN106019232B (zh) * 2016-05-11 2018-07-10 北京地平线信息技术有限公司 声源定位系统和方法
CN105847584B (zh) * 2016-05-12 2019-03-05 歌尔股份有限公司 一种智能设备识别悄悄话的方法
CN106098075B (zh) * 2016-08-08 2018-02-02 腾讯科技（深圳）有限公司 基于麦克风阵列的音频采集方法和装置
GB2556058A (en) 2016-11-16 2018-05-23 Nokia Technologies Oy Distributed audio capture and mixing controlling
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置
US10349199B2 (en) * 2017-04-28 2019-07-09 Bose Corporation Acoustic array systems
WO2019049276A1 (ja) * 2017-09-07 2019-03-14 三菱電機株式会社 雑音除去装置および雑音除去方法
US10939030B2 (en) * 2018-09-07 2021-03-02 Canon Kabushiki Kaisha Video audio processing system and method of controlling the video audio processing system
CN109068234A (zh) * 2018-10-29 2018-12-21 歌尔科技有限公司 一种音频设备定向发声方法、装置、音频设备
CN109831731B (zh) * 2019-02-15 2020-08-04 杭州嘉楠耘智信息科技有限公司 音源定向方法及装置和计算机可读存储介质
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术（北京）有限公司 语音信号处理方法及装置
CN112804620B (zh) * 2019-11-14 2022-07-19 浙江宇视科技有限公司 回声处理方法、装置、电子设备及可读存储介质
CN116419118A (zh) * 2021-12-31 2023-07-11 华为技术有限公司 一种输入检测装置、系统及其相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278596A (zh) * 2005-09-30 2008-10-01 史克尔海德科技公司 定向音频捕获
CN201639751U (zh) * 2010-03-11 2010-11-17 成都丹玛尼科技有限公司 基于多麦克风阵列的定向定距语音采集系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529234B2 (en) * 1996-10-15 2003-03-04 Canon Kabushiki Kaisha Camera control system, camera server, camera client, control method, and storage medium
JP4269883B2 (ja) 2003-10-20 2009-05-27 ソニー株式会社 マイクロホン装置、再生装置及び撮像装置
JP2008193196A (ja) * 2007-02-01 2008-08-21 Casio Comput Co Ltd 撮像装置および指定音声出力方法
JP5424300B2 (ja) * 2008-12-16 2014-02-26 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 再生装置及びプログラム
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
JP2011041096A (ja) * 2009-08-14 2011-02-24 Nec Corp 携帯端末、並びにこれに用いる集音制御方法及びプログラム
US8761412B2 (en) * 2010-12-16 2014-06-24 Sony Computer Entertainment Inc. Microphone array steering with image-based source location
JP2012186551A (ja) 2011-03-03 2012-09-27 Hitachi Ltd 制御装置、制御システムと制御方法
JP2013151012A (ja) 2012-01-26 2013-08-08 Daihen Corp 溶接電源の保護制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278596A (zh) * 2005-09-30 2008-10-01 史克尔海德科技公司 定向音频捕获
CN201639751U (zh) * 2010-03-11 2010-11-17 成都丹玛尼科技有限公司 基于多麦克风阵列的定向定距语音采集系统

Also Published As

Publication number Publication date
EP2827610A2 (en) 2015-01-21
US9549244B2 (en) 2017-01-17
US20150023524A1 (en) 2015-01-22
JP2015080194A (ja) 2015-04-23
JP5958717B2 (ja) 2016-08-02
CN104301664A (zh) 2015-01-21
EP2827610A3 (en) 2015-10-21

Similar Documents

Publication Publication Date Title
CN104301664B (zh) 指向性控制系统、指向性控制方法、收音系统及收音控制方法
CN104243779B (zh) 指向性控制系统及声音输出控制方法
CN111654785B (zh) 具有可配置区的音频系统
CN104871566B (zh) 协作式声音系统
JP6330056B2 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN106303806B (zh) 音响系统的音量平衡控制方法及装置
US20200202626A1 (en) Augmented Reality Noise Visualization
US11546688B2 (en) Loudspeaker device, method, apparatus and device for adjusting sound effect thereof, and medium
CN105163240A (zh) 播放装置及音效调整方法
JP6201440B2 (ja) 配置算出方法、及びプログラム
CN109361969A (zh) 一种音频设备及其音量调节方法、装置、设备、介质
WO2024037190A1 (zh) 音频处理方法和装置
CN109618276A (zh) 基于非中心点的声场重建方法、设备、存储介质及装置
TWI622289B (zh) 手持式電子裝置、影音撥放裝置以及其影音撥放方法
JP6640662B2 (ja) ミキシング装置、その方法、プログラム、及び記録媒体
CN104506588A (zh) 一种实现乐队的移动排练的方法及装置
JPWO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
CN113473318A (zh) 一种基于滑动轨道的移动音源3d音频系统
EP2760223B1 (en) Sound field encoder
WO2019174442A1 (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置
EP2760222A1 (en) Sound field reproduction
WO2018003081A1 (ja) 全天球カメラ撮像画像表示システム、方法及びプログラム
CA2840674C (en) Sound field encoder
JP6716636B2 (ja) 設定可能なゾーンを有するオーディオシステム
WO2017199769A1 (ja) 情報処理装置、プログラム、および情報処理システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant