CN105075288B - 指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法 - Google Patents

指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法 Download PDF

Info

Publication number
CN105075288B
CN105075288B CN201480017437.4A CN201480017437A CN105075288B CN 105075288 B CN105075288 B CN 105075288B CN 201480017437 A CN201480017437 A CN 201480017437A CN 105075288 B CN105075288 B CN 105075288B
Authority
CN
China
Prior art keywords
microphone array
camera apparatus
radio reception
horizontal angle
directive property
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480017437.4A
Other languages
English (en)
Other versions
CN105075288A (zh
Inventor
泽裕隆
德田肇道
重永信
重永信一
渡边周
渡边周一
松尾正治郎
平原隆史
牧直史
辻寿嗣
福田铁平
泉昭年
吉国信太郎
松本宏之
林和典
篠崎浩介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105075288A publication Critical patent/CN105075288A/zh
Application granted granted Critical
Publication of CN105075288B publication Critical patent/CN105075288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

以麦克风阵列装置为基准，从相机装置拍摄的预定范围的影像朝向与所指定的位置对应的场所形成声音的收音指向性，高精度地对声音数据进行收音。在指向性控制系统(10)中，信号处理部(33)根据用户从显示于显示器装置(36)的画面上的影像数据之中对任意位置的指定，导出从麦克风阵列装置(2)的设置位置朝向与在画面内所指定的影像数据的位置对应的声音位置的收音方向(θMAh、θMAv)。信号处理部(33)在所导出的收音方向(θMAh、θMAv)上形成声音数据的收音指向性。

Description

指向性控制系统、校准方法、水平偏差角计算方法及指向性控 制方法
技术领域
本发明涉及对声音数据的收音指向性进行控制的指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法。
背景技术
以往，在工厂、店铺(例如零售店、银行)或公共场所(例如图书馆)的预定位置(例如顶棚)设置的监视系统中，经由网络将多个相机(例如摇摄倾斜相机或全方位相机)连接，由此实现监视对象的预定范围的影像数据(包括静态图像及动态图像。以下同样)的宽视场角化。
而且，仅是影像的监视的话得到的信息量无论如何都存在极限，因此通过不仅配置相机还配置麦克风阵列而得到相机拍摄的方向的声音数据的监视系统的要求提高。
在此，作为使用相机和麦克风阵列来获得相机拍摄的方向的声音数据的在先技术，已知有例如专利文献1所示的控制系统。专利文献1所示的控制系统包括相机、麦克风阵列、对相机及麦克风阵列的动作进行控制的会议终端。
专利文献1所示的控制系统例如设置在TV会议系统能够利用的会议室内，基于相机与相机拍摄的被摄体之间的距离、相机的摇摄方向、相机与麦克风阵列之间的距离、从相机朝向麦克风阵列的方向，来变更麦克风阵列的收音范围。
专利文献1：日本国特开2012-186551号公报
发明内容
在专利文献1中，假定相机、麦克风阵列、被摄体(例如发声者)存在于同一平面上。
然而，在上述的监视系统中，相机、麦克风阵列、被摄体(例如零售店的店员)存在于同一平面上、即二维的坐标上的情况较少，存在于立体的三维的坐标上的情况较多。
因此，若将关于麦克风阵列的收音范围仅使用相机的摇摄方向即水平方向的角度的专利文献1的控制系统应用于上述的监视系统，则麦克风阵列难以高精度地收集对于相机拍摄的监视对象的影像的特定方向的声音。
而且，在上述的监视系统中，在将相机和麦克风阵列一体地装入而配置在同轴上的情况下，相机的光轴与麦克风阵列的物理中心轴共用。由此，在麦克风阵列对相机拍摄的影像中的被摄体的会话进行收音的情况下，表示麦克风阵列收音的方向的坐标(水平角、垂直角)可以直接使用表示相机拍摄的方向的坐标(水平角、垂直角)。
然而，在相机与麦克风阵列为分体而配置在不同位置的情况下，相机的光轴与麦克风阵列的物理中心轴不同。因此，在麦克风阵列对相机拍摄的影像中的被摄体的会话进行收音的情况下，存在表示麦克风阵列收音的方向的坐标(水平角、垂直角)无法直接使用表示相机拍摄的方向的坐标(水平角、垂直角)的课题。
本发明为了解决上述的以往的课题，目的在于提供一种指向性控制系统及指向性控制方法，以麦克风阵列装置为基准，从相机装置拍摄的预定范围的影像朝向与所指定的位置对应的场所或方向形成声音的收音指向性，并对相应方向的声音数据高精度地进行收音。
本发明涉及一种指向性控制系统，具备：至少一个拍摄部，拍摄影像；至少一个收音部，对声音进行收音；显示部，显示由上述至少一个拍摄部拍摄到的影像数据；及收音方向计算部，根据所显示的上述影像数据的任意位置的指定，算出从上述收音部朝向与所指定的上述影像数据的位置对应的声音位置的收音方向，上述收音方向计算部使用预定的收音方向计算参数和从上述至少一个拍摄部朝向与上述影像数据的指定位置对应的声音位置的方向，算出从上述收音部朝向与上述影像数据的指定位置对应的声音位置的收音方向。
而且，本发明涉及一种指向性控制方法，是包括拍摄影像的至少一个拍摄部和对声音进行收音的至少一个收音部的指向性控制系统的指向性控制方法，上述指向性控制方法具有以下步骤：将由上述至少一个拍摄部拍摄到的影像数据显示于画面；接受显示于上述画面的上述影像数据的任意位置的指定；及算出从上述收音部朝向与所指定的上述影像数据的位置对应的声音位置的收音方向，从上述收音部朝向与上述影像数据的指定位置对应的声音位置的收音方向使用预定的收音方向计算参数和从上述至少一个拍摄部朝向与上述影像数据的指定位置对应的声音位置的方向而算出。
而且，本发明涉及一种校准方法，具有以下工序：使拍摄预定的拍摄范围的影像的相机装置与对上述相机装置的拍摄范围的声音进行收音的麦克风阵列装置在同轴上进行对位；向在上述麦克风阵列装置的框体中心形成的开口部的周缘部安装上述相机装置；及通过向上述开口部的内侧安装上述相机装置，使与上述同轴正交的平面中的上述相机装置及上述麦克风阵列装置的各水平角的基准方向一致。
而且，本发明涉及一种校准方法，具有以下工序：使拍摄预定的拍摄范围的影像的相机装置与对上述相机装置的拍摄范围的声音进行收音的麦克风阵列装置在同轴上进行对位；向在上述麦克风阵列装置的框体中心形成的开口部的周缘部安装上述相机装置；将表示上述麦克风阵列装置的水平角的基准方向的夹具安装于上述麦克风阵列装置的框体的相向的两端部；通过上述相机装置拍摄上述夹具；基于上述夹具的拍摄图像，算出上述相机装置的水平角的基准方向与上述麦克风阵列装置的水平角的基准方向的偏差量；及使用算出的上述偏差量，调整上述麦克风阵列装置的收音方向的水平角，由此使与上述同轴正交的平面中的上述相机装置及上述麦克风阵列装置的各水平角的基准方向一致。
而且，本发明涉及一种指向性控制系统，具备：第一拍摄部，拍摄被摄体的图像；第二拍摄部，拍摄上述被摄体的图像；收音部，对上述被摄体的声音进行收音；显示部，显示由上述第一拍摄部拍摄到的图像数据；及偏差量计算部，根据所显示的上述图像数据的任意位置的指定，算出从上述第一拍摄部朝向与上述图像数据的指定位置对应的声音位置的第一拍摄方向的水平角与第一基准方向之间的第一水平偏差角和从上述第二拍摄部朝向上述声音位置的第二拍摄方向的水平角与第二基准方向之间的第二水平偏差角。
而且，本发明涉及一种水平偏差角计算方法，是包括第一拍摄部、第二拍摄部及收音部的指向性控制系统的水平偏差角计算方法，上述水平偏差角计算方法具有以下步骤：在上述第一拍摄部中，拍摄被摄体的图像；在上述第二拍摄部中，拍摄上述被摄体的图像；在上述收音部中，对上述被摄体的声音进行收音；将由上述第一拍摄部拍摄到的图像数据显示于显示部；及根据显示于上述显示部的上述图像数据的任意位置的指定，算出从上述第一拍摄部朝向与上述图像数据的指定位置对应的声音位置的第一拍摄方向的水平角与第一基准方向之间的第一水平偏差角和从上述第二拍摄部朝向上述声音位置的第二拍摄方向的水平角与第二基准方向之间的第二水平偏差角。
而且，本发明涉及一种指向性控制系统，具备：至少一个拍摄部，拍摄影像；收音部，对声音进行收音；显示部，显示由上述至少一个拍摄部拍摄到的影像数据；高度判定部，根据上述影像数据的位置指定，判定与上述影像数据的指定位置对应的声音位置距基准面的高度；收音方向计算部，基于上述声音位置距基准面的高度，算出从上述收音部朝向上述声音位置的收音方向；及控制部，在算出的上述收音方向上形成上述声音的收音指向性。
而且，本发明涉及一种指向性控制方法，是包括拍摄影像的至少一个拍摄部和对声音进行收音的收音部的指向性控制系统的指向性控制方法，上述指向性控制方法具有以下步骤：显示由上述至少一个拍摄部拍摄到的影像数据；根据上述影像数据的位置指定，判定与所指定的上述影像数据的指定位置对应的对象声源位置距基准面的高度；基于上述对象声源位置距基准面的高度，算出从上述收音部朝向上述对象声源位置的收音指向方向；及在算出的上述收音指向方向上，将上述声音的收音指向性形成于上述收音部。
发明效果
根据本发明，能够以麦克风阵列装置为基准，从相机装置拍摄的预定范围的影像朝向与所指定的位置对应的场所或方向形成声音的收音指向性，高精度地对相应方向的声音数据进行收音。
根据本发明，能够在一体地使用相机装置和麦克风阵列装置的情况下，使表示相机装置的拍摄方向的坐标的水平角与表示麦克风阵列装置的收音方向的坐标的水平角的各基准方向一致。
根据本发明，能够算出表示相机装置的拍摄方向坐标和麦克风阵列装置的收音方向坐标的各水平角的0°方向与将两者连接的相互的基准方向之间的角度的水平偏差角，使麦克风阵列装置适当地对存在于相机装置的拍摄方向上的被摄体的会话声音进行收音。
根据本发明，能够判定存在于收音空间内的对象声源位置距基准面的高度，基于对象声源位置距基准面的高度，在从麦克风阵列装置朝向对象声源位置的收音指向方向上形成声音的收音指向性。
附图说明
图1(A)、(B)是表示本实施方式的指向性控制系统的系统结构的框图。
图2(A)～(E)是麦克风阵列装置的外观图。
图3是说明麦克风阵列装置在作为声音的收音方向的预定方向θ上形成收音指向性的内容的原理图。
图4是表示本实施方式的指向性控制系统的动作概要的图，(A)是表示1个相机装置对映现在视场角的范围内的被摄体进行拍摄的情况及麦克风阵列装置对存在于收音方向上的被摄体的人物的会话和不存在于收音方向上的扬声器装置输出的音乐进行收音的情况的图，(B)是表示将从麦克风阵列装置朝向与用户的手指从显示于显示器装置的影像之中所指定的位置A’对应的收音范围中心位置A的方向作为收音方向而收音到的声音数据从扬声器装置输出的情况的图。
图5是说明本实施方式的指向性控制系统的初始设定(校准)的动作次序的流程图。
图6是说明本实施方式的指向性控制系统的指向性控制装置计算麦克风阵列装置的收音方向的动作次序的流程图。
图7是表示第一计算方法中的用于算出麦克风阵列装置的收音方向的基准点O与所指定的位置A’的显示器装置的画面上的位置关系的说明图。
图8是表示第一计算方法的指向性控制系统的相机装置、麦克风阵列装置、基准点O及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的K-K’线的垂直方向剖视图。
图9是表示第一计算方法的指向性控制系统的相机装置、麦克风阵列装置、基准点O及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的Q-Q’线的垂直方向剖视图。
图10是表示第一计算方法的指向性控制系统的相机装置、麦克风阵列装置、基准点O及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的R-R’线的垂直方向剖视图。
图11是表示第二计算方法中的用于算出麦克风阵列装置的收音方向的基准点O与所指定的位置A’的显示器装置的画面上的位置关系的说明图。
图12是表示第二计算方法的指向性控制系统的相机装置、麦克风阵列装置、标记位置(基准点O)及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的K-K’线的垂直方向剖视图。
图13是表示第二计算方法的指向性控制系统的相机装置、麦克风阵列装置、标记位置(基准点O)及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的R-R’线的垂直方向剖视图。
图14是表示第三计算方法的指向性控制系统的相机装置、麦克风阵列装置、声源位置(基准点O)及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的K-K’线的垂直方向剖视图。
图15是表示第三计算方法的指向性控制系统的相机装置、麦克风阵列装置、声源位置(基准点O)及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的Q-Q’线的垂直方向剖视图。
图16是表示第三计算方法的指向性控制系统的相机装置、麦克风阵列装置、声源位置(基准点O)及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的R-R’线的垂直方向剖视图。
图17表示第四计算方法的麦克风阵列装置与相机装置使用专用夹具连接设置的情况下的麦克风阵列装置、相机装置、收音范围中心位置A的位置关系的说明图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的K-K’线的垂直方向剖视图。
图18是表示第四计算方法的麦克风阵列装置与相机装置使用专用夹具连接设置的情况下的麦克风阵列装置、相机装置、收音范围中心位置A的位置关系的说明图，(A)是立体图，(B)是水平方向俯视图，(C)是(B)的Q-Q’线的垂直方向剖视图。
图19(A)、(B)是设置有麦克风阵列装置和相机装置的顶棚相对于水平面而向αMv的方向倾斜的情况下的收音方向的垂直角的说明图，(C)是麦克风阵列装置的收音方向θMAv的说明图。
图20(A)是表示第二实施方式的收音系统的校准方法的示意图，(B)是从铅垂方向的下侧观察全方位相机装置的俯视图，(C)是从铅垂方向的下侧观察全方位麦克风阵列装置的俯视图。
图21(A)是表示第三实施方式的收音系统的校准方法的示意图，(B)是从铅垂方向的下侧观察全方位相机装置的俯视图，(C)是从铅垂方向的下侧观察全方位麦克风阵列装置的俯视图。
图22是表示第四实施方式的收音系统的校准方法的示意图。
图23(A)是表示在安装部件上安装有全方位相机装置和全方位麦克风阵列装置的状态的俯视图，(B)是图23(A)的E-E剖视图。
图24(A)是表示固定销与卡合孔卡合的情况的侧视图，(B)是表示插通于卡合孔的固定销移动的情况的俯视图及侧视图，(C)是表示固定销卡定于卡合孔的情况的俯视图及侧视图。
图25(A)是表示在第五实施方式的校准方法中将夹具安装于全方位麦克风阵列装置的情况的侧视图，(B)是表示夹具向全方位麦克风阵列装置的安装完成后的情况的侧视图，(C)是夹具向全方位麦克风阵列装置的安装完成后的收音系统的外观立体图。
图26是表示在全方位相机装置的拍摄图像上映现出夹具的情况的图。
图27(A)是校准用全方位相机装置与全方位麦克风阵列装置一体地安装的情况下的第六实施方式的收音系统的系统概要图，(B)是以全方位麦克风阵列装置的收音方向的水平角的基准方向与校准用全方位相机装置的拍摄方向的水平角的基准方向一致的方式安装全方位麦克风阵列装置的情况下的第六实施方式的收音系统的系统概要图。
图28(A)是表示图27(A)所示的收音系统的系统结构的一例的框图，(B)是表示图27(B)所示的收音系统的系统结构的一例的框图。
图29是表示将从全方位麦克风阵列装置朝向与用户的手指从显示于显示器装置的图像之中所指定的位置A’对应的声音收音位置A的方向作为收音方向而收音到的声音数据从扬声器装置输出的情况的图。
图30(A)是说明第六实施方式的收音系统的第一水平偏差角εCh、第二水平偏差角εKh的计算及与收音指向性的形成相关的动作次序的流程图，(B)是详细说明图30(A)所示的步骤ST20的校准的动作次序的流程图。
图31是表示第六实施方式的全方位相机装置、校准用全方位相机装置及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是从图31(A)中的上侧观察铅垂下方向的情况下的俯视图，(C)是图31(B)的P-P’线的垂直方向剖视图。
图32是表示第六实施方式的全方位相机装置、校准用全方位相机装置及收音范围中心位置A的各位置关系的图，(A)是立体图，(B)是从图32(A)中的上侧观察铅垂下方向的情况下的俯视图，(C)是图31(B)的Q-Q’线的垂直方向剖视图。
图33是表示第七实施方式的收音系统的系统结构的框图。
图34(A)是表示在设置有收音系统的收音空间K内相机装置拍摄对象物的情况及全方位麦克风阵列装置对存在于收音指向方向上的对象物的会话和来自未存在于收音指向方向上的扬声器装置的输出音乐进行收音的情况的图，(B)是表示从全方位麦克风阵列装置输出从显示于显示器装置的影像数据朝向与由用户的手指FG指定的指定位置A’对应的对象声源位置A的收音指向方向的收音声音(例如“Hello”)的音量等级大于来自扬声器装置的输出音乐(例如)的音量等级的声音的情况的图。
图35(A)是说明第七实施方式的收音系统的初始设定的动作次序的流程图，(B)是说明第七实施方式的收音系统的初始设定后的动作次序的流程图。
图36(A)是表示相机装置、全方位麦克风阵列装置、基准点O及对象声源位置A的各位置的立体图，(B)是从图36(A)的铅垂上方向观察铅垂下方向的水平方向俯视图，(C)是图36(B)的K-K’线的垂直方向剖视图。
图37(A)是表示相机装置、全方位麦克风阵列装置、基准点O及对象声源位置A的各位置的立体图，(B)是从图37(A)的铅垂上方向观察铅垂下方向的水平方向俯视图，(C)是图37(B)的Q-Q’线的垂直方向剖视图。
图38(A)是表示第八实施方式的收音系统的系统结构的框图，(B)是表示显示于显示器装置的、影像数据的显示画面WD1和用于选择对象声源位置距地板面的高度的选择画面WD2的图。
图39(A)是说明第八实施方式的收音系统的初始设定的动作次序的流程图，(B)是说明第八实施方式的收音系统的初始设定后的动作次序的流程图。
图40(A)是表示第九实施方式的收音系统的系统结构的框图，(B)是表示显示于显示器装置的、影像数据的显示画面WD1和用于输入对象声源位置距地板面的高度的输入表格画面WD3的图。
图41(A)是说明第九实施方式的收音系统的初始设定的动作次序的流程图，(B)是说明第九实施方式的收音系统的初始设定后的动作次序的流程图。
图42(A)是表示第十实施方式的收音系统的系统结构的框图，(B)是表示在显示于显示器装置的影像数据的显示画面WD4上指定第一指定位置A1’和第二指定位置A2’的情况的图。
图43(A)是说明第十实施方式的收音系统的初始设定的动作次序的流程图，(B)是说明第十实施方式的收音系统的初始设定后的动作次序的流程图。
图44(A)是从相机装置起存在于地板面BL上的对象物(人物)的对象声源位置A1及从对象声源位置A1向铅垂下方向的地板面BL上的位置A2的距离及方向的说明图，(B)是从铅垂上方向朝向铅垂下方向观察相机装置和对象声源位置A1及地板面BL上的位置A2的俯视图，(C)是图44(B)的A-A’剖视图。
图45(A)是从相机装置11起存在于设置在地板面BL上的台RC上的对象物(人物)的对象声源位置A1及从对象声源位置A1向铅垂下方向的台RC上的位置A2的距离及方向的说明图，(B)是从铅垂上方向朝向铅垂下方向观察相机装置11和对象声源位置A1及台RC上的位置A2的俯视图，(C)是图45(B)的A-A’剖视图。
图46是以往的监视系统的课题的说明图。
图47是表示第十一实施方式的收音系统的系统结构的框图。
图48(A)是表示第十一实施方式的收音系统的动作概要的图，(B)是存在于从全方位麦克风阵列装置朝向与显示于显示器装置的拍摄图像数据中所指定的指定位置A’对应的目的声源位置A的收音方向上的人物的声音的音量等级大于未存在于收音方向上的扬声器装置的声音的音量等级的输出的情况的图。
图49(A)是说明第十一实施方式的收音系统的动作次序的整体的流程图，(B)是详细说明第十一实施方式的收音系统的校准的动作次序的流程图。
图50是第十一实施方式的第一校准方法的说明图。
图51(A)是表示第一校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图，(B)是图51(A)的水平方向俯视图，(C)是图51(B)的K-K’线的垂直方向剖视图。
图52(A)是表示第一校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图52(A)的水平方向俯视图，(C)是图52(B)的Q-Q’线的垂直方向剖视图。
图53(A)是表示第一校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图53(A)的水平方向俯视图，(C)是图53(B)的R-R’线的垂直方向剖视图。
图54是第十一实施方式的第二校准方法的说明图。
图55(A)是表示第二校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图，(B)是图55(A)的水平方向俯视图，(C)是图55(B)的K-K’线的垂直方向剖视图。
图56(A)是表示第二校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图56(A)的水平方向俯视图，(C)是图56(B)的Q-Q’线的垂直方向剖视图。
图57(A)是表示第二校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图57(A)的水平方向俯视图，(C)是图57(B)的R-R’线的垂直方向剖视图。
图58是第十一实施方式的第三校准方法的说明图。
图59(A)是表示第三校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图，(B)是图59(A)的水平方向俯视图，(C)是图59(B)的K-K’线的垂直方向剖视图。
图60是第十一实施方式的第四校准方法的说明图。
图61(A)是表示第四校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图，(B)是图61(A)的水平方向俯视图，(C)是图61(B)的K-K’线的垂直方向剖视图。
图62是第十一实施方式的第五校准方法的说明图。
图63(A)是表示第五校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK3的位置关系的图，(B)是图63(A)的水平方向俯视图，(C)是图63(B)的K-K’线的垂直方向剖视图。
图64是第十一实施方式的第六校准方法的说明图。
图65(A)是表示第六校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图，(B)是图65(A)的水平方向俯视图，(C)是图65(B)的K-K’线的垂直方向剖视图。
图66(A)是表示第六校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图66(A)的水平方向俯视图，(C)是图66(B)的Q-Q’线的垂直方向剖视图。
图67(A)是表示第六校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图67(A)的水平方向俯视图，(C)是图67(B)的R-R’线的垂直方向剖视图。
图68是第十一实施方式的第七校准方法的说明图。
图69(A)是表示第七校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图，(B)是图69(A)的水平方向俯视图，(C)是图69(B)的K-K’线的垂直方向剖视图。
图70(A)是表示第七校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图70(A)的水平方向俯视图，(C)是图70(B)的Q-Q’线的垂直方向剖视图。
图71(A)是表示第七校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图71(A)的水平方向俯视图，(C)是图71(B)的R-R’线的垂直方向剖视图。
图72是第十一实施方式的第八校准方法的说明图。
图73(A)是表示第八校准方法中的PTZ相机装置1、全方位麦克风阵列装置2、校准用标记MAK及校准用地板放置标记MAK2的位置关系的图，(B)是图73(A)的水平方向俯视图，(C)是图73(B)的K-K’线的垂直方向剖视图。
图74是第十一实施方式的第九校准方法的说明图。
图75(A)是表示第九校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图，(B)是图75(A)的水平方向俯视图，(C)是图75(B)的K-K’线的垂直方向剖视图。
图76是第十一实施方式中的第十校准方法的说明图。
图77(A)是表示第十校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图，(B)是图77(A)的水平方向俯视图，(C)是图77(B)的K-K’线的垂直方向剖视图。
图78(A)是表示第十校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图78(A)的水平方向俯视图，(C)是图78(B)的Q-Q’线的垂直方向剖视图。
图79(A)是表示第十校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图，(B)是图79(A)的水平方向俯视图，(C)是图79(B)的R-R’线的垂直方向剖视图。
图80是表示安装在房间的壁面上的相机、安装在房间的顶棚面上的全方位麦克风阵列装置及声源位置的位置关系的说明图。
图81是使用从PTZ相机的相机坐标系进行转换而得到的全方位麦克风阵列装置的麦克风坐标系算出的、从全方位麦克风阵列装置朝向声源的位置的水平角及垂直角的说明图。
图82(A)是在第十一校准方法中使用的校准用地板放置标记MAK4的俯视图，(B)是PTZ相机装置1的聚焦功能的点O及点X的放大画面。
图83(A)是表示第十一校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图，(B)是图83(A)的水平方向俯视图，(C)是图83(B)的K-K’剖视图。
图84(A)是表示第十一校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图，(B)是图84(A)的水平方向俯视图，(C)是图84(B)的L-L’剖视图。
图85(A)是在第十二校准方法中使用的校准用地板放置标记MAK4的俯视图，(B)是PTZ相机装置1的聚焦功能的点O及点X的放大画面。
图86(A)是表示第十二校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图，(B)是图86(A)的水平方向俯视图，(C)是图86(B)的K-K’剖视图。
图87(A)是表示第十二校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图，(B)是图87(A)的水平方向俯视图，(C)是图87(B)的L-L’剖视图。
图88(A)是在第十三校准方法中使用的校准用地板放置标记MAK4的俯视图，(B)是PTZ相机装置1的聚焦功能的点O、点O’及点X的放大画面。
图89(A)是表示第十三校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图，(B)是图89(A)的水平方向俯视图，(C)是图89(B)的K-K’剖视图。
图90(A)是表示第十三校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图，(B)是图90(A)的水平方向俯视图，(C)是图90(B)的L-L’剖视图。
图91(A)是带有角度存储器的校准用地板放置标记MAK5的俯视图，(B)是PTZ相机装置1的聚焦功能的点O及点O’的放大画面。
具体实施方式
以下，关于本发明的指向性控制系统及指向性控制方法的实施方式，参照附图进行说明。本实施方式的指向性控制系统被用作例如在工厂、公共设施(例如图书馆、活动会场)或店铺(例如零售店、银行)设置的监视系统(包括有人监视系统及无人监视系统)。
另外，本发明也可以表现为具有构成指向性控制系统的各装置(例如后述的指向性控制装置)或构成指向性控制系统的各装置进行的各动作(步骤)的指向性控制方法。
(第一实施方式)
(指向性控制系统的系统结构)
图1(A)及图1(B)是表示本实施方式的指向性控制系统10、10A的系统结构的框图。图1(A)所示的指向性控制系统10是包括至少一个相机装置11、…、1n、麦克风阵列装置(或全方位麦克风阵列装置)2、指向性控制装置3的结构。以下，n表示相机装置的台数，是1以上的整数。相机装置11～1n、麦克风阵列装置2、指向性控制装置3经由网络NW1而相互连接。
而且，图1(B)所示的指向性控制系统10A是包括至少一个相机装置11、…、1n、麦克风阵列装置2、指向性控制装置3、记录器装置4的结构。相机装置11～1n、麦克风阵列装置2、指向性控制装置3、记录器装置4经由网络NW2而相互连接。
以下，主要说明指向性控制系统10的各部的动作，关于指向性控制系统10A的各部的动作，说明与指向性控制系统10的各部的动作不同的内容。
作为至少一个拍摄部的相机装置11～1n是与网络NW1连接且固定地设置在例如活动会场的室内的顶棚面、壁面(参照图81)或台座(参照图4(A))上的监视相机，通过来自经由网络NW1而连接的监视系统控制室(未图示)的远距离操作而进行摇摄动作、倾斜动作、变焦动作(例如缩小、放大)、与拍摄影像中所指定的特定位置之间的测距动作及测角动作。
相机装置11～1n拍摄存在于以光轴CX为中心的既定的视场角CAR的范围内的监视对象的位置的影像(包括静态画面及动态画面。以下同样)。相机装置11～1n将拍摄到的影像数据和用于算出后述的收音方向(θMAh、θMAv)的输入参数经由网络NW1而向指向性控制装置3或记录器装置4发送。
作为收音部的麦克风阵列装置2是与网络NW1连接、固定地设置在例如活动会场的室内的顶棚、壁面或台座(参照图4(A))上且至少包括多个麦克风22、23(参照图2)均等设置的麦克风和用于控制各麦克风的动作的控制部(未图示)的结构。
麦克风阵列装置2使用各个麦克风(或麦克风单元)22、23，对成为监视对象的收音方向的声音进行收音，将各个麦克风22、23收音到的声音数据经由网络NW1或网络NW2而向指向性控制装置3或记录器装置4发送。
麦克风阵列装置2根据来自后述的信号处理部33的指向性形成指示，在信号处理部33导出(以下，称为“算出”)的收音方向(θMAh、θMAv)上形成各个麦克风22、23的收音指向性。
由此，麦克风阵列装置2能够增大从形成有收音指向性的收音方向(θMAh、θMAv)收音到的声音数据的音量等级，并能够减小从未形成收音指向性的方向收音到的声音数据的音量等级。另外，关于收音方向(θMAh、θMAv)的计算方法，在后文叙述。
关于麦克风阵列装置2的外观，参照图2在后文叙述。另外，麦克风阵列装置2的各麦克风22、23可以是无指向性麦克风，也可以使用双指向性麦克风、单一指向性麦克风、锐指向性麦克风、超指向性麦克风(例如枪式麦克风)或它们的组合。
网络NW1、NW2是有线通信网络(例如内部网、因特网)或无线通信网络(例如无线LAN(Local Area Network))。
指向性控制装置3与网络NW1或网络NW2连接，可以是例如设置于监视系统控制室(未图示)的固定型的PC(Personal Computer)，也可以是用户能够便携的便携电话机、平板终端、智能手机。
指向性控制装置3是至少包括通信部31、操作部32、信号处理部33、显示器装置36、扬声器装置37、存储器38的结构。信号处理部33至少包括坐标转换处理部34z、输出控制部35。
通信部31经由网络NW1或网络NW2，接收相机装置11～1n或麦克风阵列装置2发送到的影像数据或声音数据，并向信号处理部33输出。
操作部32是用于将用户的输入操作的内容向信号处理部33通知的用户接口(UI：User Interface)，例如是鼠标、键盘等指点设备。而且，操作部32可以使用例如与显示器装置36的画面对应地配置并能够通过用户的手指FG或指示笔进行输入操作的触摸面板或触摸屏而构成。
操作部32根据用户的输入操作，将用户希望音量等级的增大或减小的范围、即表示图4(B)所示的位置A’或范围B的坐标数据向信号处理部33输出。
信号处理部33使用例如CPU(Central Processing Unit)、MPU(Micro ProcessingUnit)或DSP(Digital Signal Processor)而构成，进行用于整体性地总括指向性控制装置3的各部的动作的控制处理、与其他各部之间的数据的输入输出处理、数据的运算(计算)处理及数据的存储处理。
坐标转换处理部34z使用操作部32输出的表示位置A’或范围B的坐标数据，算出表示从麦克风阵列装置2的设置位置朝向后述的收音范围中心位置(或声音位置)A的方向的坐标(θMAh、θMAv)作为收音方向。收音方向(θMAh、θMAv)中，θMAh表示从麦克风阵列装置2朝向收音范围中心位置A的俯角θMA的水平角，θMAv表示从麦克风阵列装置2朝向收音范围中心位置A的俯角θMA的垂直角。另外，关于收音方向(θMAh、θMAv)的计算处理，参照附图在后文详细叙述。
另外，收音范围中心位置A是操作部32在显示器装置36的画面上成为与由用户的手指FG或指示笔指定的位置A’对应的实际的监视对象的现场的位置。
输出控制部35对显示器装置36及扬声器装置37的动作进行控制，将从相机装置11～1n发送的影像数据向显示器装置36进行重放输出，将从麦克风阵列装置2发送的声音数据向扬声器装置37进行声音输出。
作为显示部的显示器装置36将相机装置11～1n拍摄到的影像数据显示在画面上。
作为声音输出部的扬声器装置37对麦克风阵列装置2收音到的声音数据或在坐标转换处理部34z算出的收音方向(θMAh、θMAv)上形成了收音指向性之后麦克风阵列装置2收音到的声音数据进行声音输出。另外，显示器装置36及扬声器装置27可以作为与指向性控制装置3不同的结构。
存储器38例如使用RAM(Random Access Memory)而构成，作为指向性控制装置3的各部的动作时的工作存储器发挥功能。
记录器装置4记录相机装置11～1n拍摄到的影像数据和麦克风阵列装置2收音到的声音数据。记录器装置4将相机装置11～1n拍摄到的影像数据与麦克风阵列装置2收音到的声音数据建立对应地记录。另外，网络NW1、NW2相互连接，在指向性控制系统10-10A之间可以传送各种数据。
图2(A)～图2(E)是麦克风阵列装置2的外观图。图2(A)～图2(E)所示的麦克风阵列装置2的外观及多个麦克风的配置位置不同，麦克风阵列装置2自身的功能相同。
图2(A)所示的麦克风阵列装置2是包括配置在圆盘状的框体21的多个麦克风22、23的结构。多个麦克风22、23沿着框体21的面上配置。具体而言，多个麦克风22沿着具有与框体21相同的中心的大的圆状且多个麦克风23沿着具有与框体21相同的中心的小的圆状而配置成同心圆状。
沿着大的圆状配置的多个麦克风22相互的间隔宽，直径大，具有适合于低音域的特性。另一方面，沿着小的圆状配置的多个麦克风23相互的间隔窄，直径小，具有适合于高音域的特性。
图2(B)所示的麦克风阵列装置2A是将多个麦克风22纵横均等地排列在圆盘状的框体21的面上的结构。麦克风阵列装置2A由于将多个麦克风22配置成纵横的直线状，因此能够减少声音数据的收音指向性的形成处理的运算量。另外，可以仅在纵向或横向的1列上配置多个麦克风22。
图2(C)所示的麦克风阵列装置2B与图2(A)所示的麦克风阵列装置2相比，圆盘状的框体21B的直径小，但是多个麦克风22沿着圆状均等地配置在圆盘状的框体21B的面上。由于各个麦克风22的间隔短，因此麦克风阵列装置2B具有适合于高音域的特性。
图2(D)所示的麦克风阵列装置2C包括在内侧形成有开口部21a的环型形状的框体21C和均等地设于该框体21C的多个麦克风22。多个麦克风22相对于框体21C沿同心圆状配置。另外，也可以在开口部21a的内侧，以插通的状态安装例如相机装置(例如全方位相机装置)。
图2(E)所示的麦克风阵列装置2D将多个麦克风22沿着矩形均等地配置在具有矩形的框体21D的面上。由于框体21D形成为矩形，因此即使在拐角等场所也能够简化麦克风阵列装置2D的设置。
图3是说明麦克风阵列装置2在作为声音的收音方向的预定方向θ上形成收音指向性的内容的原理图。在图3中，简单说明使用了延迟和方式的指向性控制处理的原理。从声源80发出的声波相对于麦克风阵列装置2的各麦克风221、222、223、…、22(n-1)、22n以某一定的角度(入射角＝(90-θ)[度])入射。图3所示的入射角θ可以是从麦克风阵列装置2朝向收音范围中心位置A的俯角θMA的水平角θMAh或垂直角θMAv。
声源80是例如存在于麦克风阵列装置2收音的收音方向上的相机装置11的被摄体的会话，相对于麦克风阵列装置2的框体21的面上而存在于预定角度θ的方向上。而且，麦克风221、222、223、…、22(n-1)、22n间的间隔d固定。
从声源80发出的声波首先到达麦克风221而被收音，接着到达麦克风222而被收音，同样依次被收音，最后到达麦克风22n而被收音。
另外，在例如声源80是人物的会话时的声音的情况下，从麦克风阵列装置2的各麦克风221、222、223、…、22(n-1)、22n的位置朝向声源80的方向与从各麦克风朝向与用户在显示器装置36的画面上所指定的位置对应的收音范围中心位置的方向相同。
在此，从声波到达麦克风221、222、223、…、22(n-1)的时刻至到达最后被收音的麦克风22n的时刻，产生到达时间差τ1、τ2、τ3、…、τn-1。因此，在将各个麦克风221、222、223、…、22(n-1)、22n收音到的声音数据直接相加的情况下，由于在相位错开的状态下相加，因此声波的音量等级整体变弱。
另外，τ1是声波到达麦克风221的时刻与声波到达麦克风22n的时刻之差的时间，τ2是声波到达麦克风222的时刻与声波到达麦克风22n的时刻之差的时间，同样，τn-1是声波到达麦克风22(n-1)的时刻与声波到达麦克风22n的时刻之差的时间。
在本实施方式中，麦克风阵列装置2具有与各麦克风221、222、223、…、22(n-1)、22n对应设置的A/D转换器241、242、243、…、24(n-1)、24n、延迟器251、252、253、…、25(n-1)、25n、加算器26(参照图3)。
即，麦克风阵列装置2将各麦克风221、222、223、…、22(n-1)、22n收音到的模拟的声音数据在A/D转换器241、242、243、…、24(n-1)、24n中进行AD转换而转换成数字的声音数据。
而且，麦克风阵列装置2在延迟器251、252、253、…、25(n-1)、25n中，赋予与各个麦克风221、222、222、…、22(n-1)、22n的到达时间差对应的延迟时间而使相位一致之后，在加算器26中将延迟处理后的声音数据相加。由此，麦克风阵列装置2在各麦克风221、222、223、…、22(n-1)、22n中，能够在预定角度θ的方向上形成声音数据的收音指向性。
例如在图3中，设定于延迟器251、252、253、…、25(n-1)、25n的各延迟时间D1、D2、D3、…、D(n-1)、Dn分别相当于到达时间差τ1、τ2、τ3、…、τ(n-1)，由数学式(1)表示。
[数学式1]
…
Dn＝0…(1)
L1是麦克风221与麦克风22n的声波到达距离之差。L2是麦克风222与麦克风22n的声波到达距离之差。L3是麦克风223与麦克风22n的声波到达距离之差，同样，L(n-1)是麦克风22(n-1)与麦克风22n的声波到达距离之差。Vs是声波的速度(音速)。L1、L2、L3、…、L(n-1)、Vs是已知的值。在图3中，设定于延迟器25n的延迟时间Dn为0(零)。
这样，麦克风阵列装置2通过变更设定于延迟器251、252、253、…、25(n-1)、25n的延迟时间D1、D2、D3、…、Dn-1、Dn，能够简易地形成各个麦克风22、23收音到的声音数据的收音指向性。
另外，图3所示的说明的处理以由麦克风阵列装置2进行为前提进行了说明，但是若信号处理部33同样是具有与麦克风的个数相同的AD转换器及延迟器和1个加算器的结构，则信号处理部33也可以进行上述的处理。
接下来，参照图4(A)及图4(B)，说明本实施方式的指向性控制系统10的动作概要。图4是表示本实施方式的指向性控制系统10的动作概要的图。图4(A)是表示1个相机装置11对映现在视场角CAR的范围内的被摄体进行拍摄的情况、麦克风阵列装置2对存在于收音方向上的被摄体的人物的会话和不存在于收音方向上的扬声器装置SP输出的音乐进行收音的情况的图。图4(B)是表示将从麦克风阵列装置2朝向与用户的手指FG从显示于显示器装置36的影像之中所指定的位置A’对应的收音范围中心位置A的方向作为收音方向而收音到的声音数据从扬声器装置37输出的情况的图。
在指向性控制系统10中，相机装置11对映现在既定的视场角CAR的范围内的被摄体(例如2人的人物)及扬声器装置SP进行拍摄。麦克风阵列装置2对周围的声音进行收音。在图4(A)中，被摄体的2人的人物正在会话，扬声器装置SP输出音乐的声音。相机装置11拍摄到的影像数据显示在指向性控制装置3的显示器装置36上(参照图4(B))。
在此，若用户的手指FG指定显示器装置36的位置A’即正在会话的2人的人物的大致中心位置或范围B，则指向性控制装置3使用表示位置A’或范围B的坐标数据，算出表示从麦克风阵列装置2的设置位置朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)作为麦克风阵列装置2的收音方向。麦克风阵列装置2使用指向性控制装置3算出的(θMAh、θMAv)的坐标数据，在从麦克风阵列装置2朝向收音范围中心位置A的方向上形成收音指向性MIX。
因此，麦克风阵列装置2能够使存在于形成有收音指向性MIX的方向上的2人的人物的会话(Hello)的音量等级比不存在于形成有收音指向性MIX的方向上的扬声器装置SP的音乐的音量等级大。
由此，指向性控制装置3能够使存在于形成有收音指向性MIX的方向上的2人的人物的会话(Hello)的音量等级比不存在于形成有收音指向性MIX的方向上的扬声器装置SP的音乐的音量等级更大地向扬声器装置37进行声音输出(参照图4(B))。
接下来，参照图5，说明本实施方式的指向性控制系统10、10A的初始设定(校准)。图5是说明本实施方式的指向性控制系统10、10A的初始设定(校准)的动作次序的流程图。初始设定(校准)包括取得指向性控制装置3的信号处理部33为了算出麦克风阵列装置2形成的收音指向性的方向所需的输入参数的动作。
以下，为了简化说明，例示指向性控制系统10、10A中的指向性控制系统10，而且，指向性控制系统10作为包括1个相机装置11的结构进行说明。
在图5中，以将构成指向性控制系统10的相机装置11及麦克风阵列装置2固定在预定的位置(例如活动会场的室内的顶棚面、壁面或台座)上的方式进行初始设置(ST1)。在本实施方式中，相机装置11及麦克风阵列装置2分别设置在不同的位置。
在相机装置11及麦克风阵列装置2进行了初始设置之后，信号处理部33进行为了算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)所需的各输入参数的测定(ST2)。在步骤ST2中，包括用户使用测定器(例如激光测距计)进行测定的情况、或相机装置11使用相机装置11自身的公知技术的功能进行测定并取得的情况、或者使用设置空间(例如建筑物)的设计图(布局)而取得的情况。步骤ST2中的各输入参数在后述的各实施方式中不同，因此各输入参数的详细的内容在后文叙述。
在步骤ST2之后，在步骤ST2中测定出的各输入参数向指向性控制装置3的信号处理部33输入(ST3)。例如相机装置11将通过相机装置11自身的公知技术的功能而取得的输入参数向指向性控制装置3的通信部31发送。通信部31将相机装置11发送的输入参数向信号处理部33输出。
而且，麦克风阵列装置2将通过麦克风阵列装置2自身的公知技术的功能而取得的输入参数向指向性控制装置3的通信部31发送。通信部31将麦克风阵列装置2发送的输入参数向信号处理部33输出。
而且，根据对指向性控制装置3进行操作的用户的输入操作，操作部32将输入参数向信号处理部33输出。
信号处理部33将在步骤ST3中取得的各输入参数暂时保存于存储器38(ST4)。由此，指向性控制系统10的初始设定(校准)的动作结束。
接下来，关于本实施方式的指向性控制系统10的指向性控制装置3算出麦克风阵列装置2的收音方向的动作次序，参照图6、80、81进行说明。图6是说明本实施方式的指向性控制系统10的指向性控制装置3算出麦克风阵列装置2的收音方向的动作次序的流程图。在图6中，示出本实施方式的指向性控制系统10的指向性控制装置3算出麦克风阵列装置2的收音方向的整体的动作次序，在图80、81中示出基本的计算的考虑方法。关于详细的计算过程，参照图7以后，在后文叙述。
在图6中，指向性控制装置3经由操作部32从显示于显示器装置36的画面上的影像数据之中接受任意的位置A’或范围B的指定(ST11)。指向性控制装置3将接受了显示于显示器装置36的画面上的影像数据的任意的位置A’或范围B的指定这一情况向相机装置11发送。
在步骤ST11之后，相机装置11在从指向性控制装置3接收到接受了位置A’或范围B的指定的情况下，取得以相机装置11的设置位置为起点至与步骤ST11中所指定的画面的位置A’或范围B对应的收音范围中心位置A的距离、水平角及垂直角(LCA、θCAh、θCAv)的全部或一部分的坐标(ST12)。
相机装置11将以相机装置11的设置位置为起点至与步骤ST11中所指定的画面的位置A’或范围B对应的收音范围中心位置A的距离、水平角及垂直角(LCA、θCAh、θCAv)的全部或一部分的坐标向指向性控制装置3发送。
指向性控制装置3的信号处理部33使用以步骤ST12中取得的相机装置11的设置位置为起点至与步骤ST11中所指定的画面的位置A’或范围B对应的收音范围中心位置A的距离、水平角及垂直角(LCA、θCAh、θCAv)的全部或一部分的坐标和在图5所示的步骤ST4中暂时保存于存储器38的各输入参数，算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)(ST13)。
指向性控制装置3将包含步骤ST13中算出的坐标(θMAh、θMAv)的数据的指向性形成指示向麦克风阵列装置2发送。麦克风阵列装置2根据来自指向性控制装置3的指向性形成指示，在指向性控制装置3算出的坐标(θMAh、θMAv)的收音方向上形成各个麦克风22、23的收音指向性(ST14)。
由此，麦克风阵列装置2能够增大从形成有收音指向性的收音方向(θMAh、θMAv)收音到的声音数据的音量等级，能够减小从未形成收音指向性的方向收音到的声音数据的音量等级。由此，指向性控制系统10的指向性控制装置3算出麦克风阵列装置2的收音方向的动作结束。
(相机装置仅传送摇摄/倾斜/变焦信息的情况)
而且，在到目前为止的说明中，图6所示的步骤ST12的动作通过相机装置11进行，但是相机装置11也可以将摇摄方向的角度信息、倾斜方向的角度、变焦信息向指向性控制装置3传送，指向性控制装置3算出从相机装置11到收音范围中心位置A的距离、水平角及垂直角(LCA、θCAh、θCAv)，这在以下的各实施方式中也同样。
另外，在本实施方式的指向性控制系统10中，麦克风阵列装置2对声音进行收音的时机没有限定为紧接着步骤ST14之后，可以是例如麦克风阵列装置2的电源接通之后。
(关于从相机坐标系向麦克风坐标系的坐标转换处理的一般化的说明)
图80是表示安装在房间的壁面上的相机CX、安装在房间的顶棚面上的全方位麦克风阵列装置MX和声源位置P的位置关系的说明图。图81是使用从PTZ相机装置1的相机坐标系转换的全方位麦克风阵列装置2的麦克风坐标系算出的、从全方位麦克风阵列装置2朝向声源P的位置的水平角及垂直角的说明图。
如图80所示，假定例如相机CX(例如PTZ相机装置1)安装在房间的壁面上、全方位麦克风阵列装置MX(例如全方位麦克风阵列装置2)安装在房间的顶棚面上的情况。在这种情况下，当以一个坐标系来考察空间整体时，若从相机CX到全方位麦克风阵列装置MX的位置(即，向量VCXMX)已知，则使用从相机CX观察到的声源P的位置(即，向量VCXP)，可知从全方位麦克风阵列装置MX观察到的声源P的位置(即，向量VMXP)。即，数学式(2)成立(参照图80)。
[数学式2]
然而，由相机CX拍摄到的图像中的声源P的位置由与相机CX独自的坐标系(以下，称为“相机坐标系”)对应的坐标表示，而且，成为全方位麦克风阵列装置MX的收音对象的声源P的位置由与全方位麦克风阵列装置MX独自的坐标系(以下，称为“麦克风坐标系”)对应的坐标表示。因此，为了使用从相机CX观察到的相机坐标系的声源P的位置算出从全方位麦克风阵列装置MX观察到的声源P的位置，需要从相机坐标系向麦克风坐标系的坐标转换处理。
与麦克风坐标系对应的坐标(X、Y、Z)使用与相机坐标系对应的坐标(x、y、z)和预定的坐标转换行列U，由数学式(3)表示。
[数学式3]
作为具体的一例，在相机坐标系的x轴、y轴、z轴中，在以z轴为中心旋转γ度、以x轴为中心旋转α度、以y轴为中心旋转β度并使相机CX的坐标平行移动(x0、y0、z0)左右的情况下，坐标转换行列U由数学式(4)表示。另外，在数学式(4)中，平行移动、坐标轴的旋转行列的累计顺序、旋转轴的选择没有限定于此。
[数学式4]
为了算出坐标转换行列U，可考虑使用安装有相机CX及全方位麦克风阵列装置MX的空间(例如房间)的设计图(布局)的方法(例如参照图81)，在没有设计图的情况下也可考虑使用实测结果的方法。而且，坐标转换行列U在相对于1台相机CX而安装有1台全方位麦克风阵列装置2的情况下被算出。但是，在安装有多个相机CX和1台全方位麦克风阵列装置MX的情况、安装有多个相机CX和多个全方位麦克风阵列装置MX的情况下，也需要在各个相机CX-全方位麦克风阵列装置MX之间算出坐标转换行列U。
在此，预先规定例如表示作为相机CX的PTZ相机装置1与作为全方位麦克风阵列装置MX的全方位麦克风阵列装置2之间的距离的相机坐标系中的坐标(x0、y0、z0)的数据和相机坐标系及麦克风坐标系，可知相机的水平基准轴所成的角ξ。用户根据布局图求出PTZ相机装置1在正交坐标系中的坐标的数据和角度ξ，并从操作部32输入。
以下，关于指向性控制装置3的信号处理部33的坐标转换处理部34z的坐标转换行列U及使用了坐标转换行列U的麦克风坐标系的收音方向坐标(Θ、Φ)的计算例，参照图81进行说明。
如图81所示，在收音空间(例如房间)的壁面上安装PTZ相机装置1，而且，在收音空间(例如房间)的顶棚面上安装全方位麦克风阵列装置2。壁面相对于水平的地板面设为铅垂(垂直)，而且，顶棚面相对于水平的地板面设为平行(水平)。
PTZ相机装置1的相机坐标系中，原点OC是PTZ相机装置1的分别在摇摄方向及倾斜方向上的旋转中心，与PTZ相机装置1的台座平行地规定x-y平面，该x-y平面与壁面平行。而且，x轴朝向铅垂上方向。
首先，PTZ相机装置1按照数学式(5)，将相机坐标系的球坐标系中的坐标(r、θ、)转换成正交坐标系中的坐标(x、y、z)，并将转换处理后的坐标(x、y、z)的数据向指向性控制装置3发送。
[数学式5]
从PTZ相机装置1观察到的全方位麦克风阵列装置2的原点OM在从PTZ相机装置1的正交坐标系观察时，设置在(x0、y0、z0)的位置。全方位麦克风阵列装置2的麦克风坐标系中，原点OM是全方位麦克风阵列装置2的中心，全方位麦克风阵列装置2的阵列形成面成为X-Y平面，该X-Y平面与顶棚面平行。而且，Z轴与阵列形成面(X-Y平面)垂直，朝向铅垂下方向。
指向性控制装置3的信号处理部33的坐标转换处理部34z使用从PTZ相机装置1接收到的PTZ相机装置1的正交坐标系中的坐标(x、y、z)的数据，使PTZ相机装置1的原点OC平行移动(x0、y0、z0)左右，然后以y轴为中心旋转90度，而且，以z轴为中心旋转ξ度，由此算出全方位麦克风阵列装置2的正交坐标系中的坐标(X、Y、Z)的数据(参照数学式(6))。另外，在数学式(6)中，平行移动、坐标轴的旋转行列的累计顺序没有特别限定，按照数学中的坐标转换的考虑方法，根据绕旋转轴的旋转和平行移动的顺序，各向量的内容发生变化。
[数学式6]
指向性控制装置3的信号处理部33的坐标转换处理部34z使用数学式(6)的计算结果，按照数学式(7)，从全方位麦克风阵列装置2的正交坐标系中的坐标(X、Y、Z)转换成全方位麦克风阵列装置2的球坐标系中的坐标(R、Θ、Φ)。由此，指向性控制装置3能够算出全方位麦克风阵列装置2的球坐标系中的坐标(Θ、Φ)作为收音方向坐标(Θ、Φ)。而且，指向性控制装置3的信号处理部33的输出控制部35对收音方向坐标(Θ、Φ)形成指向性。
[数学式7]
另外，上述的收音方向坐标(Θ、Φ)的计算例如如图81所示，以PTZ相机装置1的位置为基准进行了说明，但是没有限定为以PTZ相机装置1的位置为基准的情况，也可以以例如声源P的位置为基准。
而且，说明了PTZ相机装置1传送转换成正交坐标之后的数据的情况，但也可以将相机坐标系的数据向指向性控制装置3发送，通过指向性控制装置3进行坐标转换。
以下，说明没有安装相机装置11及全方位麦克风阵列装置2的空间(例如房间)的设计图(布局图)而以从相机装置11到声音位置的实测值为基础具体算出相对于从相机装置11观察到的声音位置的全方位麦克风阵列装置2的收音方向的方法的例子。
(表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的计算方法)
接下来，关于指向性控制装置3的信号处理部33算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的方法，参照图7～图18进行详细说明。在此说明总计4种计算方法。
(第一计算方法)
在第一计算方法中，在相机装置11的光轴CX的方向上设置基准点O。
信号处理部33基于(1)相机装置11与麦克风阵列装置2之间的距离LCM的水平分量(方向)的距离LCMh、(2)从相机装置11到基准点O的距离LCO及俯角θCO、(3)从麦克风阵列装置2到基准点O的距离LMO及俯角θMO、(4)相机装置11、麦克风阵列装置2、基准点O距水平面的各高度HC、HM、HO、(5)从相机装置11到收音范围中心位置A的水平角θCAh及垂直角θCAv、(6)收音范围中心位置A距水平面的高度HA，算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)。
在第一计算方法中，图5所示的步骤ST2中的输入参数是(1)相机装置11与麦克风阵列装置2之间的距离LCM的水平分量(方向)的距离LCMh、(2)从相机装置11到基准点O的距离LCO及俯角θCO、(3)从麦克风阵列装置2到基准点O的距离LMO及俯角θMO、(4)相机装置11、麦克风阵列装置2、基准点O距水平面的各高度HC、HM、HO。
(1)相机装置11与麦克风阵列装置2之间的距离LCM的水平分量(方向)的距离LCMh是在初始设置相机装置11和麦克风阵列装置2的情况下决定的固定值。
(2)从相机装置11到基准点O的距离LCO及俯角θCO例如通过用户在基准点O的位置处使激光测距计朝向相机装置11而能够简易地测定。
(3)从麦克风阵列装置2到基准点O的距离LMO及俯角θMO例如通过用户在基准点O的位置处使激光测距计朝向麦克风阵列装置2而能够简易地测定。
(4)相机装置11、麦克风阵列装置2、基准点O距水平面的各高度HC、HM、HO是在相机装置11、麦克风阵列装置2的各初始设定时决定的固定值，而且是在决定了基准点O的位置时确定的固定值。
而且，在第一计算方法中，在图6所示的步骤ST12的坐标(LCA、θCAh、θCAv)中，(5)使用从相机装置11到收音范围中心位置A的水平角θCAh及垂直角θCAv，它们通过相机装置11的公知技术的功能来取得。
此外，在第一计算方法中，(6)收音范围中心位置A距水平面的高度HA是预先决定的固定值，是例如在用户的手指FG指定位置A’时人物在收音范围中心位置A的周围的情况下选择人物的大小作为HA的值或输入的值。或者，在用户的手指FG指定位置A’时，在判定为人物(例如大人或小孩)在指向性控制装置3所指定的位置的情况下，可以使用既定的值(例如1.5m或0.8m)。
图7是表示第一计算方法中的用于算出麦克风阵列装置2的收音方向的基准点O与所指定的位置A’在显示器装置36的画面上的位置关系的说明图。第一计算方法的基准点O存在于相机装置11的光轴CX的方向，因此位于显示器装置36的画面的中心点。
而且，在以下的第一计算方法的说明中，用户的手指FG所指定的位置A’是与基准点O不同的位置，设为基准点O的右下方向的位置(参照图7)。
图8是表示第一计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、基准点O及收音范围中心位置A的各位置关系的图。图8(A)是立体图。图8(B)是水平方向俯视图。图8(C)是图8(B)的K-K’线的垂直方向剖视图。
图9是表示第一计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、基准点O及收音范围中心位置A的各位置关系的图。图9(A)是立体图。图9(B)是水平方向俯视图。图9(C)是图9(B)的Q-Q’线的垂直方向剖视图。
图10是表示第一计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、基准点O及收音范围中心位置A的各位置关系的图。图10(A)是立体图。图10(B)是水平方向俯视图。图10(C)是图10(B)的R-R’线的垂直方向剖视图。
以下，具体说明信号处理部33的表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的第一计算方法。在第一计算方法中，麦克风阵列装置2的水平角的0度方向基准线是朝向相机装置11的方向。而且，以下的各计算方法中的说明的计算动作作为通过信号处理部33进行的情况来说明，但也可以将信号处理部33改读为坐标转换处理部34z。
信号处理部33使用从相机装置11到基准点O的距离LCO及俯角θCO，按照数学式(8)算出从相机装置11到基准点O的距离LCO的水平分量的距离LCOh。
[数学式8]
LCOh＝LCO×cosθCO…(8)
信号处理部33使用从麦克风阵列装置2到基准点O的距离LMO及俯角θMO，按照数学式(9)算出从麦克风阵列装置2到基准点O的距离LMO的水平分量的距离LMOh。
[数学式9]
LMOh＝LMO×cosθMO…(9)
信号处理部33使用数学式(8)、(9)的各计算结果，根据图8(B)所示的对于△COM的余弦定理，按照数学式(10)算出从相机装置11到基准点O的俯角θCO的水平角θCOh的余弦值cosθCOh。
[数学式10]
信号处理部33使用数学式(8)、(9)的各计算结果，根据图8(B)所示的对于△COM的余弦定理，按照数学式(11)算出从相机装置11到基准点O的俯角θMO的水平角θMOh的余弦值cosθMOh。
[数学式11]
信号处理部33使用相机装置11及基准点O距水平面的各高度HC、HO、数学式(8)及(10)的各计算结果，按照数学式(12)算出从相机装置11到基准点O的距离LCO的垂直分量的距离LCOv。
[数学式12]
信号处理部33使用麦克风阵列装置2及基准点O距水平面的各高度HM、HO、数学式(9)及(11)的各计算结果，按照数学式(13)算出从麦克风阵列装置2到基准点O的距离LMO的垂直分量的距离LMOv。
[数学式13]
信号处理部33使用相机装置11及麦克风阵列装置2距水平面的各高度HC、HM、相机装置11与麦克风阵列装置2之间的距离LCM的水平分量的距离LCMh，按照数学式(14)算出相机装置11与麦克风阵列装置2的距离LCM的垂直分量的距离LCMv(＝LCM)。
[数学式14]
信号处理部33使用数学式(12)～(14)的各计算结果，根据图8(C)所示的对于△COM的余弦定理，按照数学式(15)算出从相机装置11到基准点O的俯角θCO的垂直角θCOv的余弦值cosθCOv。
[数学式15]
信号处理部33使用数学式(14)的计算结果、相机装置11及麦克风阵列装置2距水平面的各高度HC、HM，按照数学式(16)算出图8(C)所示的从相机装置11朝向麦克风阵列装置2的方向与水平面之间的角度θδ的正弦值sinθδ。
[数学式16]
接下来，信号处理部33使用数学式(15)、(16)的各计算结果、从相机装置11到收音范围中心位置A的垂直角θCAv、收音范围中心位置A距水平面的高度HA、相机装置11距水平面的高度HC，按照数学式(17)算出相机装置11与收音范围中心位置A的距离LCA。
[数学式17]
信号处理部33使用数学式(15)～(17)的各计算结果、从相机装置11到收音范围中心位置A的垂直角θCAv，按照数学式(18)算出相机装置11与收音范围中心位置A的距离LCA的水平分量的距离LCAh。
[数学式18]
信号处理部33使用数学式(10)、(18)的各计算结果、从相机装置11到收音范围中心位置A的水平角θCAh、相机装置11与麦克风阵列装置2之间的距离LCM的水平分量的距离LCMh，根据图8(B)所示的对于△CAM的余弦定理，按照数学式(19)算出从麦克风阵列装置2到收音范围中心位置A的距离的水平分量的距离LMAh。
[数学式19]
信号处理部33使用数学式(18)、(19)的各计算结果、相机装置11与麦克风阵列装置2之间的水平方向的距离LCMh，根据图8(B)所示的对于△CAM的余弦定理，按照数学式(20)算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的水平角θMAh的余弦值cosθMAh。
由此，信号处理部33按照数学式(21)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的水平角θMAh。
[数学式20]
[数学式21]
而且，信号处理部33使用数学式(21)的计算结果、麦克风阵列装置2距水平面的高度HM、收音范围中心位置A距水平面的高度HA，根据图10(C)所示的对于△MAP的正切，按照数学式(22)算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的垂直角θMAv的正切值tanθMAv。
由此，信号处理部33按照数学式(23)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的垂直角θMAv。
[数学式22]
[数学式23]
由此，在第一计算方法中，指向性控制装置3在相机装置11的光轴CX的方向上设置基准点O，使用相机装置11与基准点O的距离LCO及俯角θCO、麦克风阵列装置2与基准点O的距离LMO及俯角θMO、相机装置11与麦克风阵列装置2的距离LCM的水平分量的距离LCMh、相机装置11、麦克风阵列装置2、基准点O距水平面的各高度HC、HM、HO作为各输入参数。
而且，指向性控制装置3使用上述的各输入参数，以麦克风阵列装置2的位置为基准，算出朝向相机装置11拍摄为监视对象的预定范围的影像中的与通过用户的手指FG所指定的位置A’对应的收音范围中心位置A的方向、即表示从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)作为收音方向。
由此，本实施方式的指向性控制系统10根据第一计算方法，以麦克风阵列装置2的位置为基准，能够在所指定的收音范围中心位置A的方向上高精度地形成声音的收音指向性，能够高精度地对相应方向的声音数据进行收音。
(第二计算方法)
在第二计算方法中，不是相机装置11的光轴CX的方向，而是将从麦克风阵列装置2向铅垂下方向通过线STR悬垂的标记MAK的位置设为基准点O。
另外，线STR的长度小于麦克风阵列装置2距水平面的高度HM。而且，标记MAK例如在相机装置11进行了拍摄的情况下是用户在视觉上容易识别的颜色的球等。
信号处理部33基于(1)从相机装置11到向麦克风阵列装置2的铅垂下方向悬垂的标记MAK的距离LCO、(2)从麦克风阵列装置2到标记MAK的距离LMO、(3)相机装置11的光轴CX的方向与从相机装置11朝向标记MAK的方向之间的水平角θCMh(＝θCOh)及垂直角θCOv、(4)从相机装置11到收音范围中心位置A的距离LCA、水平角θCAh及垂直角θCAv，算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)。
在第二计算方法中，图5的步骤ST2中的输入参数是(1)从相机装置11到向麦克风阵列装置2的铅垂下方向悬垂的标记MAK的距离LCO、(2)从麦克风阵列装置2到标记MAK的距离LMO、(3)相机装置11的光轴CX的方向与从相机装置11朝向标记MAK的方向之间的水平角θCMh及垂直角θCOv。
(1)从相机装置11到向麦克风阵列装置2的铅垂下方向悬垂的标记MAK的距离LCO通过相机装置11的公知技术的功能来取得。例如，可以使用相机装置11使焦点对准标记MAK而进行了拍摄的情况下的焦点距离作为LCO。
(2)从麦克风阵列装置2到标记MAK的距离LMO与线STR的长度相等。
(3)相机装置11的光轴CX的方向与从相机装置11朝向标记MAK的方向之间的水平角θCMh及垂直角θCOv通过相机装置11的公知技术的功能来取得。
而且，在第二计算方法中，(4)从相机装置11到收音范围中心位置A的距离LCA、水平角θCAh及垂直角θCAv在图6所示的步骤ST12中通过相机装置11的公知技术的功能来取得。
图11是表示第二计算方法中的用于算出麦克风阵列装置2的收音方向的基准点O与所指定的位置A’在显示器装置36的画面上的位置关系的说明图。第二计算方法中的基准点O不存在于相机装置11的光轴CX的方向上，因此不位于显示器装置36的画面的中心点，而位于例如比显示器装置36的画面的中心点靠左上方向的位置。
而且，在以下的第二计算方法的说明中，用户的手指FG所指定的位置A’是与表示基准点O及光轴方向的画面的中心点的位置不同的位置，设为基准点O的右下方向的位置(参照图11)。
图12是表示第二计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、标记MAK的位置(基准点O)及收音范围中心位置A的各位置关系的图。图12(A)是立体图。图12(B)是水平方向俯视图。图12(C)是图12(B)的K-K’线的垂直方向剖视图。
图13是表示第二计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、标记MAK的位置(基准点O)及收音范围中心位置A的各位置关系的图。图13(A)是立体图。图13(B)是水平方向俯视图。图13(C)是图13(B)的R-R’线的垂直方向剖视图。
以下，具体说明信号处理部33的表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的第二计算方法。在第二计算方法中，麦克风阵列装置2的水平角的0度方向基准线是朝向相机装置11的方向，相机装置11与麦克风阵列装置2距水平面的各高度HC、HM相同。
信号处理部33使用从相机装置11到向麦克风阵列装置2的铅垂下方向悬垂的标记MAK的距离LCO、从麦克风阵列装置2到标记MAK的距离LMO，按照数学式(24)算出从相机装置11朝向标记MAK的方向与从相机装置11朝向麦克风阵列装置2的方向之间的角度θ’COv的正弦值sinθ’COv。
[数学式24]
信号处理部33使用数学式(24)的计算结果、从相机装置11到向麦克风阵列装置2的铅垂下方向悬垂的标记MAK的距离LCO，按照数学式(25)算出相机装置11与麦克风阵列装置2之间的距离LCM。
[数学式25]
LCM＝LCO×cosθ′COv…(25)
信号处理部33使用数学式(24)、(25)的各计算结果、从相机装置11到收音范围中心位置A的距离LCA及垂直角θCAv、相机装置11的光轴CX的方向与从相机装置11朝向标记MAK的方向之间的垂直角θCOv，按照数学式(26)算出从相机装置11到收音范围中心位置A的距离LCA的水平分量的距离LCAh。
[数学式26]
LCAh＝ＬＣＡ×cos(θ′COv+θCOv+θCAv)…(26)
信号处理部33使用数学式(25)、(26)的各计算结果、从相机装置11到收音范围中心位置A的水平角θCAh、相机装置11的光轴CX的方向与从相机装置11朝向标记MAK的方向之间的水平角θCMh，根据图12(B)所示的对于△CAM的余弦定理，按照数学式(27)算出从麦克风阵列装置2到收音范围中心位置A的距离的水平分量的距离LMAh。
[数学式27]
信号处理部33使用数学式(25)、(26)、(27)的各计算结果、相机装置11与麦克风阵列装置2之间的水平方向的距离LCMh，根据图12(B)所示的对于△CAM的余弦定理，按照数学式(28)算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的水平角θMAh的余弦值cosθMAh。
由此，信号处理部33按照数学式(29)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的水平角θMAh。
[数学式28]
[数学式29]
而且，信号处理部33使用从相机装置11到收音范围中心位置A的距离LCA及水平角θCAh、相机装置11的光轴CX的方向与从相机装置11朝向标记MAK的方向之间的水平角θCMh，按照数学式(30)算出从相机装置11到收音范围中心位置A的距离LCA的垂直分量的距离LCAv。
[数学式30]
LCAv＝ＬＣＡ×cos(θCMh+θCAh)…(30)
信号处理部33使用数学式(25)、(26)、(30)的各计算结果，根据图12(B)所示的对于△CAM的余弦定理，按照数学式(31)算出从麦克风阵列装置2到收音范围中心位置A的距离的垂直分量的距离LMAv。
[数学式31]
信号处理部33使用数学式(25)、(30)、(31)的各计算结果，根据图12(C)所示的对于△MAP的余弦定理，按照数学式(32)算出从麦克风阵列装置2朝向相机装置11的方向与从麦克风阵列装置2朝向收音范围中心位置A的方向之间的角度θ’MAv的余弦值cosθ’MAv。
[数学式32]
信号处理部33根据图13(C)所示的对于△MAS的正弦，按照数学式(33)算出从麦克风阵列装置2朝向相机装置11的方向与从麦克风阵列装置2朝向收音范围中心位置A的方向之间的角度θ’MAv的正弦值sinθ’MAv。
信号处理部33使用数学式(27)、(33)的各计算结果，按照式(34)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的垂直角θMAv的正切值tanθMAv。
由此，信号处理部33按照数学式(35)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的垂直角θMAv。
[数学式33]
[数学式34]
[数学式35]
由此，在第二计算方法中，指向性控制装置3设置向麦克风阵列装置2的铅垂下方向利用糸进行悬垂的标记MAK作为基准点O，使用相机装置11与标记MAK的距离LCO及俯角θCO的垂直角θCOv、相机装置11的光轴CX的方向与从相机装置11朝向麦克风阵列装置2的方向之间的角度θCMh、从麦克风阵列装置2到标记MAK的距离LMO作为各输入参数。
而且，指向性控制装置3使用上述的各输入参数，以麦克风阵列装置2的位置为基准，算出朝向相机装置11拍摄为监视对象的预定范围的影像中的与通过用户的手指FG所指定的位置A’对应的收音范围中心位置A的方向、即表示从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)作为收音方向。
由此，本实施方式的指向性控制系统10根据第二计算方法，与第一计算方法相比，各输入参数的个数少，因此能够更简易地算出表示从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)。而且，指向性控制系统10以麦克风阵列装置2的位置为基准，能够在所指定的收音范围中心位置A的方向上高精度地形成声音的收音指向性，能够高精度地对相应方向的声音数据进行收音。
另外，在第二计算方法中，标记MAK的位置可以是相机装置11的光轴CX的方向与麦克风阵列装置2的铅垂下方向的交点的位置。在这种情况下，光轴CX的方向与从相机装置11朝向标记MAK的方向之间的角度θCOv成为0(零)，因此信号处理部33的从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)的计算量减少。
而且，在第二计算方法中，在麦克风阵列装置2具有照射激光的功能的情况下，不使用标记MAK，麦克风阵列装置2向铅垂下方向照射激光，相机装置11对激光的照射地点(例如，麦克风阵列装置2的铅垂下方向的某高度的地点)的拍摄图像进行图像解析。由此，信号处理部33与上述的第二计算方法同样，能够算出从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)。
(第三计算方法)
在第三计算方法中，在相机装置11的光轴CX的方向上设置作为基准点O的声源。
信号处理部33基于(1)相机装置11与麦克风阵列装置2之间的距离LCM、(2)从相机装置11到光轴方向的预定的声源位置(基准点O)的距离LCO、(3)从麦克风阵列装置2到声源位置(基准点O)的水平角θMOh及垂直角θMOv、(4)相机装置11、麦克风阵列装置2及声源位置(基准点O)距水平面的各高度HC、HM、HO、(5)从相机装置11到收音范围中心位置A的距离LCA、水平角θCAh及垂直角θCAv，算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)。
在第三计算方法中，图5所示的步骤ST2的输入参数是(1)相机装置11与麦克风阵列装置2之间的距离LCM、(2)从相机装置11到光轴方向的预定的声源位置(基准点O)的距离LCO、(3)从麦克风阵列装置2到声源位置(基准点O)的水平角θMOh及垂直角θMOv、(4)相机装置11、麦克风阵列装置2及声源位置(基准点O)距水平面的各高度HC、HM、HO。
(1)相机装置11与麦克风阵列装置2之间的距离LCM是在初始设置了相机装置11和麦克风阵列装置2的情况下决定的固定值。
(2)从相机装置11到光轴方向的预定的声源位置(基准点O)的距离LCO例如通过用户在基准点O的位置处使激光测距计朝向相机装置11而能够简易地测定。
(3)从麦克风阵列装置2到声源位置(基准点O)的水平角θMOh及垂直角θMOv能够使用麦克风阵列装置2的公知技术的功能(例如声源检测功能)进行测定。
(4)相机装置11、麦克风阵列装置2、基准点O距水平面的各高度HC、HM、HO是在相机装置11、麦克风阵列装置2的各初始设定时决定的固定值，而且是在决定了基准点O的位置时确定的固定值。
而且，在第三计算方法中，(5)从相机装置11到收音范围中心位置A的距离LCA、水平角θCAh及垂直角θCAv在图6所示的步骤ST12中通过相机装置11的公知技术的功能来取得。
而且，在第三计算方法中，作为基准点O的声源存在于相机装置11的光轴CX的方向，因此用于算出麦克风阵列装置2的收音方向的基准点O与所指定的位置A’在显示器装置36的画面上的位置关系成为图7所示的位置关系，因此省略说明。
图14是表示第三计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、声源位置(基准点O)及收音范围中心位置A的各位置关系的图。图14(A)是立体图。图14(B)是水平方向俯视图。图14(C)是图14(B)的K-K’线的垂直方向剖视图。
图15是表示第三计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、声源位置(基准点O)及收音范围中心位置A的各位置关系的图。图15(A)是立体图。图15(B)是水平方向俯视图。图15(C)是图15(B)的Q-Q’线的垂直方向剖视图。
图16是表示第三计算方法的指向性控制系统10的相机装置11、麦克风阵列装置2、声源位置(基准点O)及收音范围中心位置A的各位置关系的图。图16(A)是立体图。图16(B)是水平方向俯视图。图16(C)是图16(B)的R-R’线的垂直方向剖视图。
以下，具体说明信号处理部33中的表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的第三计算方法。在第三计算方法中，麦克风阵列装置2的水平角的0度的基准线不是朝向相机装置11的方向，相机装置11与麦克风阵列装置2距水平面的各高度HC、HM相同。
首先，信号处理部33使用从相机装置11到光轴方向的预定的声源位置(基准点O)的距离LCO、相机装置11及声源位置(基准点O)距水平面的各高度HC、HO，按照数学式(36)算出从相机装置11到光轴方向的预定的声源位置(基准点O)的距离LCO的水平分量的距离LCOh。
[数学式36]
信号处理部33使用从麦克风阵列装置2到声源位置(基准点O)的垂直角θMOv、麦克风阵列装置2及声源位置(基准点O)距水平面的各高度HM、HO，按照数学式(37)算出从麦克风阵列装置2到光轴方向的声源位置(基准点O)的距离LMO的水平分量的距离LMOh。
[数学式37]
信号处理部33使用数学式(36)、(37)的各计算结果、相机装置11与麦克风阵列装置2之间的距离LCM，根据图14(B)所示的对于△COM的余弦定理，按照数学式(38)算出从相机装置11朝向声源(基准点O)的方向的俯角θCO的水平角θCOh的余弦值cosθCOh，而且同样，按照数学式(39)算出从麦克风阵列装置2的0度方向基准线朝向声源(基准点O)的方向的俯角(θMO-θMC)的水平角(θMOh-θMCh)的余弦值cos(θMOh-θMCh)。
由此，信号处理部33按照数学式(40)，能够算出麦克风阵列装置2的0度方向基准线与从麦克风阵列装置2朝向相机装置11的方向之间的角度θMCh。
[数学式38]
[数学式39]
[数学式40]
接下来，信号处理部33使用数学式(36)、(38)的各计算结果、相机装置11及声源位置(基准点O)距水平面的各高度HC、HO，按照数学式(41)算出从相机装置11到声源(基准点O)的距离LCO的垂直分量的距离LCOv。
[数学式41]
信号处理部33使用数学式(37)、(39)的各计算结果、麦克风阵列装置2及声源位置(基准点O)距水平面的各高度HM、HO，按照数学式(42)算出从麦克风阵列装置2到声源(基准点O)的距离LMO的垂直分量的距离LMOv。
[数学式42]
信号处理部33使用数学式(41)、(42)的各计算结果、相机装置11与麦克风阵列装置2之间的距离LCM(＝LCMv)，根据图14(C)所示的对于△COM的余弦定理，按照数学式(43)算出从相机装置11朝向声源(基准点O)的方向与从相机装置11朝向麦克风阵列装置2的方向之间的角度θCOv的余弦值cosθCOv。
[数学式43]
接下来，信号处理部33使用数学式(43)的计算结果、从相机装置11到收音范围中心位置A的距离LCA及垂直角θCAv，按照数学式(44)算出从相机装置11到收音范围中心位置A的距离LCA的水平分量的距离LCAh。
[数学式44]
LCAh＝ＬＣＡ×cos(θCOv+θCAv)…(44)
信号处理部33使用数学式(39)、(44)的各计算结果、相机装置11与麦克风阵列装置2之间的距离LCM，根据图14(B)所示的对于△CAM的余弦定理，按照数学式(45)算出从麦克风阵列装置2到收音范围中心位置A的距离LMA的水平分量的距离LMAh。
[数学式45]
信号处理部33使用数学式(44)、(45)的各计算结果、相机装置11与麦克风阵列装置2之间的距离LCM，根据图14(B)所示的对于△CAM的余弦定理，按照数学式(46)算出从麦克风阵列装置2的0度方向基准线朝向收音范围中心位置A的方向的俯角(θMA-θMC)的水平角(θMAh-θMCh)的余弦值cos(θMAh-θMCh)。
由此，信号处理部33按照数学式(47)算出从麦克风阵列装置2的0度方向基准线朝向收音范围中心位置A的方向的俯角θMA的水平角θMAh。
[数学式46]
[数学式47]
而且，信号处理部33使用数学式(40)的计算结果、从相机装置11到收音范围中心位置A的距离LCA及水平角θCAh，按照数学式(48)算出从相机装置11到收音范围中心位置A的距离LCA的垂直分量的距离LCAh。
[数学式48]
LCAv＝LCA×cos(θMCh+θCAh)…(48)
信号处理部33使用数学式(41)、(48)的各计算结果、从相机装置11到收音范围中心位置A的水平角θCAh、相机装置11与麦克风阵列装置2之间的距离LCM，根据图14(C)所示的对于△CAM的余弦定理，按照数学式(49)算出从麦克风阵列装置2到收音范围中心位置A的距离LMA的垂直分量的距离LMAv。
[数学式49]
信号处理部33使用数学式(48)、(49)的各计算结果、相机装置11与麦克风阵列装置2之间的距离LCM，根据图14(C)所示的对于△CAM的余弦定理，按照数学式(50)算出图14(B)所示的K-K’截面处的从麦克风阵列装置2朝向收音范围中心位置A的方向与从麦克风阵列装置2朝向相机装置11的方向之间的角度θ’MAv的余弦值cosθ’MAv。
[数学式50]
信号处理部33使用数学式(49)、(50)的各计算结果，按照数学式(51)算出麦克风阵列装置2、收音范围中心位置A距水平面的各高度HM、HA的差量(HM-HA)。
[数学式51]
HM-HA＝LMAv×sinθ′MAv…(51)
信号处理部33使用数学式(45)、(51)的各计算结果，根据图16(C)所示的对于△MSA的正切，按照数学式(52)算出从麦克风阵列装置2的0度方向基准线朝向收音范围中心位置A的俯角θMA的垂直角θMAv的正切值tanθMAv。
由此，信号处理部33按照数学式(53)，能够算出从麦克风阵列装置2的0度方向基准线到收音范围中心位置A的俯角θMA的垂直角θMAv。
[数学式52]
[数学式53]
由此，在第三计算方法中，指向性控制装置3在相机装置11的光轴CX的方向上设置作为基准点O的声源，使用相机装置11与声源(基准点O)的距离LCO、从麦克风阵列装置2朝向声源(基准点O)的俯角θMO的水平角θMOh及垂直角θMOv、相机装置11与麦克风阵列装置2的距离LCM、相机装置11、麦克风阵列装置2、基准点O距水平面的各高度HC、HM、HO作为各输入参数。
而且，指向性控制装置3使用上述的各输入参数，以麦克风阵列装置2的位置为基准，算出朝向相机装置11拍摄为监视对象的预定范围的影像中的与通过用户的手指FG所指定的位置A’对应的收音范围中心位置A的方向、即表示从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)作为收音方向。
由此，本实施方式的指向性控制系统10根据第三计算方法，即使在麦克风阵列装置2的0度方向基准线未预先设定为朝向相机装置11的方向的情况下，以麦克风阵列装置2的位置为基准，也能够在所指定的收音范围中心位置A的方向上高精度地形成声音的收音指向性，能够高精度地对相应方向的声音数据进行收音。
另外，在第一～第三各计算方法中，为了使表示麦克风阵列装置2的收音方向的坐标的计算简易，存在近似地算出表示该坐标的垂直角及水平角的部位，但是可以使用例如几何学的位置关系而更严格地算出。
(第四计算方法)
在第四计算方法中，相机装置11与麦克风阵列装置2使用专用夹具50连接并固定，例如设置于室内的顶棚面(参照图17或图18)。
专用夹具50使麦克风阵列装置2的例如0度方向基准线与相机装置11的例如0度方向基准线相向，相机装置11与麦克风阵列装置2以距水平面的各高度相同的方式连接并固定。另外，专用夹具50的形状只要是将相机装置11与麦克风阵列装置2以预定的水平角及垂直角连接并固定的形状，就可以任意。
使用专用夹具50将相机装置11与麦克风阵列装置2连接并固定，由此在第四计算方法中，相机装置11与麦克风阵列装置2之间的距离LCM成为与专用夹具的参数对应的固定值。
信号处理部33基于(1)专用夹具50的长度、(2)从相机装置11到收音范围中心位置(点A)的距离LCA、水平角θCAh及垂直角θCAv，算出表示麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)。
在第四计算方法中，图5所示的步骤ST2的输入参数是(1)专用夹具50的长度，即，使用哪个种类的专用夹具50这样的信息。例如若专用夹具50的长度为5m，则相机装置11与麦克风阵列装置2之间的距离LCM也成为5m，若专用夹具50的长度为10m，则相机装置11与麦克风阵列装置2之间的距离LCM也成为10m。
而且，在第四计算方法中，(2)从相机装置11到收音范围中心位置A的距离LCA、水平角θCAh及垂直角θCAv在图6所示的步骤ST12中通过相机装置11的公知技术的功能来取得。
图17是表示第四计算方法的麦克风阵列装置2与相机装置11使用专用夹具50连接而设置的情况下的麦克风阵列装置2、相机装置11、收音范围中心位置A的位置关系的说明图。图17(A)是立体图。图17(B)是水平方向俯视图。图17(C)是图17(B)的K-K’线的垂直方向剖视图。
图18是表示第四计算方法的麦克风阵列装置2与相机装置11使用专用夹具50连接而设置的情况下的麦克风阵列装置2、相机装置11、收音范围中心位置A的位置关系的说明图。图18(A)是立体图。图18(B)是水平方向俯视图。图18(C)是图18(B)的Q-Q’线的垂直方向剖视图。
以下，具体说明信号处理部33中的确定麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的第四计算方法。
信号处理部33使用从相机装置11到收音范围中心位置A的距离LCA及垂直角θCAv，按照数学式(54)算出从相机装置11到收音范围中心位置A的距离LCA的水平分量的距离LCAh。
[数学式54]
LCAh＝LCA×cosθCAv…(54)
信号处理部33使用数学式(54)的计算结果、从相机装置11到收音范围中心位置(点A)的水平角θCAh、相机装置11与麦克风阵列装置2之间的距离LCM，根据图17(B)所示的对于△CAM的余弦定理，按照数学式(55)算出从麦克风阵列装置2到收音范围中心位置A的距离的水平分量的距离LMAh。
[数学式55]
信号处理部33使用数学式(54)、(55)的各计算结果、相机装置11与麦克风阵列装置2之间的距离LCM，根据图17(B)所示的对于△CAM的余弦定理，按照数学式(56)算出从麦克风阵列装置2朝向收音范围中心位置A的俯角θMA的水平角θMAh的余弦值cosθMAh。
由此，信号处理部33按照数学式(57)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的水平角θMAh。
[数学式56]
[数学式57]
信号处理部33根据图17(C)所示的对于△CAP的正弦，按照数学式(58)算出麦克风阵列装置2与收音范围中心位置A距水平面的各高度的差量(HM-HA)。
[数学式58]
HM-HA＝HC-HA＝LCA×sinθCAv…(58)
而且，信号处理部33根据图18(C)所示的对于△MAS的正切，按照数学式(59)算出从麦克风阵列装置2朝向收音范围中心位置A的俯角θMA的垂直角θMAv的正切值tanθMAv。
由此，信号处理部33按照数学式(60)，能够算出从麦克风阵列装置2到收音范围中心位置A的俯角θMA的垂直角θMAv。
[数学式59]
[数学式60]
由此，在第四计算方法中，指向性控制装置3使用专用夹具50将麦克风阵列装置2与相机装置11连接并固定，在例如设置于室内的顶棚面的状态下，使用专用夹具50的长度、即麦克风阵列装置2与相机装置11之间的距离LCM作为输入参数。
而且，指向性控制装置3使用该输入参数，以麦克风阵列装置2的位置为基准，算出朝向相机装置11拍摄为监视对象的预定范围的影像中的与通过用户的手指FG所指定的位置A’对应的收音范围中心位置A的方向、即表示从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)作为收音方向。
由此，本实施方式的指向性控制系统10根据第四计算方法，与第一～第三各计算方法相比，各输入参数的个数少，相机装置11与麦克风阵列装置2的各0度方向基准线相向，因此能够更简易地算出从麦克风阵列装置2朝向收音范围中心位置A的方向的坐标(θMAh、θMAv)。而且，指向性控制系统10以麦克风阵列装置2的位置为基准，能够在所指定的收音范围中心位置A的方向上高精度地形成声音的收音指向性，能够高精度地对相应方向的声音数据进行收音。
另外，在上述的各实施方式中，说明了指向性控制装置3开始计算麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的时机设为用户的手指FG指定显示器装置36的画面的任意的位置A’或范围B的时刻，但没有限定于此。
例如，可以是通过相机装置11～1n对于既定的每预定间隔向摇摄方向、倾斜方向或摇摄方向及倾斜方向旋转而使相机装置11～1n的视场角CAR的范围不同的时刻。由此，指向性控制系统10预先决定收音方向，由此，用户不用指定麦克风阵列装置2的收音方向，而能够在既定的收音方向上形成声音的收音指向性。
另外，在上述的各计算方法中，以麦克风阵列装置2沿着与水平面平行的面设置这一情况为前提进行了说明。然而，也存在设置麦克风阵列装置2的顶棚面倾斜的情况。
在这种情况下，麦克风阵列装置2的收音方向的水平角θMAh或垂直角θMAv无法直接使用通过上述的第一～第四计算方法而信号处理部33算出的值，需要对顶棚面倾斜的角度的量进行修正。
以下，在设置麦克风阵列装置2的室内的顶棚面不是与水平面平行的方向而是倾斜的情况下，关于信号处理部33的麦克风阵列装置2的收音方向(θMAh、θMAv)中的例如垂直角θMAv的修正，参照图19进行说明。图19(A)、(B)是设置有麦克风阵列装置2和相机装置11的顶棚相对于水平面向αMv的方向倾斜的情况下的收音方向的垂直角的说明图。图19(C)是麦克风阵列装置2的收音方向θMAv的说明图。
通过上述的第一～第四各计算方法而信号处理部33算出的麦克风阵列装置2的收音方向的例如垂直角成为以与水平面平行的面HR为基准的收音方向的垂直角θ’MAv。在图19(B)中，垂直角θ’MAv的方向不是以麦克风阵列装置2的框体的长度方向NT的方向为基准的角度。
因此，信号处理部33算出垂直角θ’MAv，进而，算出室内的顶棚面的倾斜角度αMv。具体而言，信号处理部33使用相机装置11与麦克风阵列装置2的距离LCM的水平分量的距离LCMh、相机装置11、麦克风阵列装置2距水平面的各高度HC、HM，按照数学式(61)算出室内的顶棚面的倾斜角度αMv的余弦值cosαMv。
由此，信号处理部33使用数学式(61)的计算结果，算出室内的顶棚面的倾斜角度αMv(参照数学式(62))。
[数学式61]
[数学式62]
信号处理部33使用数学式(62)的计算结果、通过上述的第一～第四各计算方法算出的垂直角θ’MAv，按照数学式(63)算出麦克风阵列装置2的收音方向的垂直角θMAv。
[数学式63]
由此，指向性控制装置3即使在设置麦克风阵列装置2的室内的顶棚面相对于水平面不平行而倾斜预定的角度的情况下，也能够适当地算出麦克风阵列装置2的收音方向，以麦克风阵列装置2的位置为基准，能够在所指定的收音范围中心位置A的方向上高精度地形成声音的收音指向性，能够高精度地对相应方向的声音数据进行收音。
以下后述的第二～第五各实施方式涉及使来自相机装置的拍摄方向的水平角与来自麦克风阵列装置的收音方向的水平角的各基准方向一致的校准方法。
在此，已知对相机装置及麦克风阵列装置的各动作进行控制而得到相机装置拍摄的方向的声音数据的控制装置(例如参照参考专利文献1)。专利文献1所示的控制装置例如设置在TV会议系统能够利用的会议室内，对能够取得全方位的图像的相机装置和能够变更集音范围的麦克风阵列装置的各动作进行控制。
参考专利文献1所示的控制装置根据声音来检测说话者方向，从全方位的图像中切出以说话者为中心的区域的影像而压缩数据量，使麦克风阵列装置的波束方向朝向说话者，减少除说话者的会话以外的杂音。
(参考专利文献1)日本国专利第4252377号公报
例如，在一体地装入相机装置和麦克风阵列装置而配置在同轴上的情况下，相机装置的光轴与麦克风阵列装置的物理性的中心轴共用。因此，在麦克风阵列装置对相机装置拍摄的影像中的被摄体的会话声音进行收音的情况下，表示麦克风阵列装置的收音方向的坐标(水平角、垂直角)的垂直角与表示相机装置的拍摄方向的坐标(水平角、垂直角)的垂直角相同。
然而，在一体地装入相机装置和麦克风阵列装置而配置在同轴上并将相机装置和麦克风阵列装置各自单独动作的结构进行组合使用的情况下，若麦克风阵列装置及相机装置的各水平角的基准方向(例如0°方向)不一致，则表示麦克风阵列装置的收音方向的坐标(水平角、垂直角)的水平角与表示相机装置的拍摄方向的坐标(水平角、垂直角)的水平角不相同。
在上述的参考专利文献1中，相机装置与麦克风装置经由具有音响性且透明的圆筒而一体地连接，但并未提及使相机装置及麦克风装置的各水平角的基准方向一致这一情况。而且，相机装置与麦克风装置并未成为能够分别单独使用的构造。
因此，在一体地使用分别单独地动作的相机装置和麦克风装置时，若相机装置及麦克风装置的各水平角的基准方向不一致，则摇摄方向上的相机装置的拍摄范围与麦克风装置的收音范围不一致。因此，存在相机装置拍摄的影像中的被摄体的会话声音无法由麦克风装置适当地收音的课题。
因此，在本发明的第二～第五各实施方式中，为了解决上述的以往的课题，在一体地使用相机装置和麦克风阵列装置的情况下，说明使表示相机装置的拍摄方向的坐标的水平角与表示麦克风阵列装置的收音方向的坐标的水平角的各基准方向一致的校准方法的例子。
以下，关于本发明的校准方法的第二～第五各实施方式，参照附图进行说明。以下的各实施方式的校准方法是例如在全方位相机装置与全方位麦克风阵列装置一体地配置于同轴上的收音系统中使表示全方位相机装置的拍摄方向的坐标的水平角与表示全方位麦克风阵列装置的收音方向的坐标的水平角一致的方法。各实施方式的收音系统设置在例如预定的收音空间内的预定的设置面(例如活动会场的顶棚面)上。
(第二实施方式)
关于第二实施方式的校准方法，参照图20(A)、图20(B)及图20(C)进行说明。图20(A)是表示第二实施方式的收音系统1Z的校准方法的示意图。图20(B)是从铅垂方向的下侧观察全方位相机装置3z的俯视图。图20(C)是从铅垂方向的下侧观察全方位麦克风阵列装置5的俯视图。
全方位相机装置3z中，内置有未图示的光学系统(例如鱼眼透镜)及拍摄部(例如图像传感器)的框体由穹顶状的透明的罩3a覆盖，向在全方位麦克风阵列装置5的框体中心形成的开口部13的内侧的内周空间嵌入。全方位相机装置3z具有例如作为监视相机的功能，经由未图示的网络，与中央控制室的主计算机(未图示)连接，将全方位的影像显示在监视器(未图示)上。而且，全方位相机装置3z根据来自主计算机的远距离操作，也能够切出指定方向的影像而显示在监视器(未图示)上。
全方位麦克风阵列装置5具有向开口部13的内侧的内周空间嵌入全方位相机装置3z的框体的环状的框体17，沿着开口部13的周围即框体17的圆周方向将多个麦克风单元18呈同心圆状地配置。麦克风单元18使用例如高音质小型驻极体电容式麦克风(ECM：Electret Condenser Microphone)，在以下的各实施方式中也同样。全方位麦克风阵列装置5在预定的收音方向上形成指向性，对形成有指向性的收音方向的声音进行增强并收音。
另外，在包含本实施方式的各实施方式中，全方位相机装置及全方位麦克风阵列装置的结构及动作与上述的说明内容相同，但是关于在各实施方式中不同的内容，根据需要进行说明。
在此，在设置通过将全方位麦克风阵列装置5和全方位相机装置3z沿同轴i方向安装而一体化的收音系统1Z的情况下，为了使全方位相机装置3z的拍摄方向与全方位麦克风阵列装置5的收音方向一致，而需要使全方位相机装置3z与全方位麦克风阵列装置5的各水平角的基准方向(例如0°方向)一致。
在本实施方式中，为了使与同轴i方向正交的平面中的、全方位相机装置3z及全方位麦克风阵列装置5的各水平角的基准方向一致，而在全方位相机装置3z的罩3a的外周形成有沿着图20(B)中的上方向突起的作为卡定部件的一例的键11y。键11y形成在表示全方位相机装置3z的拍摄方向的坐标(水平角、垂直角)的水平角的基准方向g、即水平角0°的方向上。
而且，在全方位麦克风阵列装置5的开口部13的周缘部形成有在全方位相机装置3z的罩3a插通于开口部13时与键11y嵌合的作为卡定槽的一例的键槽15。键槽15形成在表示全方位麦克风阵列装置5的收音方向的坐标(水平角、垂直角)的水平角的基准方向h、即水平角0°的方向上。另外，在本实施方式中，键11y及键槽15的截面形状为四边形，但是除了四边形之外，也可以是多边形或半圆形。
在将全方位相机装置3z和全方位麦克风阵列装置5沿同轴i方向安装的情况下，以使键11y与键槽15嵌合的方式将全方位相机装置3z嵌入到全方位麦克风阵列装置5的开口部13的内侧的内周空间，由此全方位相机装置3z与全方位麦克风阵列装置5一体地合体。
由此，在本实施方式的校准方法中，例如以键11y与键槽15嵌合的方式将全方位相机装置3z嵌入到全方位麦克风阵列装置5的开口部13的内侧的内周空间，由此能够简易地使全方位相机装置3z的水平角的基准方向g与全方位麦克风阵列装置5的水平角的基准方向h一致，能够缓和全方位相机装置3z及全方位麦克风阵列装置5的设置时的制约。因此，在本实施方式的收音系统1Z中，全方位麦克风阵列装置5使用与表示全方位相机装置3z的拍摄方向的坐标(水平角、垂直角)的水平角相同的水平角，能够高精度地对收音方向的声音进行收音。
另外，在本实施方式中，是如下的情况：通过将全方位相机装置3z嵌入到全方位麦克风阵列装置5的开口部13的内侧的内周空间而将全方位相机装置3z与全方位麦克风阵列装置5一体化。
另外，本实施方式中图示的全方位相机装置3z是具备鱼眼透镜而能够拍摄全方向的相机装置，但也可以是具有摇摄方向的旋转、倾斜方向的旋转及变焦功能的半球状的透明的具有穹顶形状的相机装置。
(第三实施方式)
接下来，关于第三实施方式的校准方法，参照图21(A)、图21(B)及图21(C)进行说明。图21(A)是表示第三实施方式的收音系统1A的校准方法的示意图。图21(B)是从铅垂方向的下侧观察全方位相机装置3AZ的俯视图。图21(C)是从铅垂方向的下侧观察全方位麦克风阵列装置5A的俯视图。
另外，在包含本实施方式的以下的各实施方式中，对于与上述的第二实施方式相同的构成要素，使用同一附图标记，由此省略或简化说明，对不同的内容进行说明。
在本实施方式中，在全方位相机装置3AZ的罩3a的外周附加了例如图21(A)所示的三角形的标记21z。另外，标记21z的形状没有限定为三角形，也可以是例如四边形。标记21z附加于表示全方位相机装置3AZ的拍摄方向的坐标(水平角、垂直角)的水平角的基准方向g、即水平角0°的方向。
而且，在全方位麦克风阵列装置5A的开口部13的周缘部，在全方位相机装置3AZ的罩3a插通于开口部13时与标记21z相向的位置附加有同样的三角形的标记23z。另外，标记23z的形状没有限定为三角形，也可以是例如四边形。标记23z附加于全方位麦克风阵列装置5A的水平角的基准方向h、即水平角0°的方向。
在将全方位相机装置3AZ和全方位麦克风阵列装置5A沿同轴i方向安装的情况下，以使标记21z的尖端与标记23z的尖端相向的方式将全方位相机装置3AZ嵌入到全方位麦克风阵列装置5A的开口部13的内侧的内周空间，由此全方位相机装置3AZ与全方位麦克风阵列装置5A作为一体而合体。
由此，在本实施方式的校准方法中，例如以使三角形的标记21z、23的各尖端相向的方式将全方位相机装置3AZ嵌入到全方位麦克风阵列装置5A的开口部13的内侧的内周空间，由此能够简易地使全方位相机装置3AZ的水平角的基准方向g与全方位麦克风阵列装置5A的水平角的基准方向h一致。而且，在本实施方式的校准方法中，能够缓和全方位相机装置3AZ及全方位麦克风阵列装置5A的设置时的制约。因此，在本实施方式的收音系统1A中，全方位麦克风阵列装置5A使用与表示全方位相机装置3AZ的拍摄方向的坐标(水平角、垂直角)的水平角相同的水平角，能够高精度地对收音方向的声音进行收音。
另外，与上述的第二实施方式同样，在本实施方式中，可以不将全方位相机装置3AZ嵌入到全方位麦克风阵列装置5A的开口部13的内侧的内周空间，例如使在全方位相机装置3AZ的罩3a的外周刻设的外螺纹部与在全方位麦克风阵列装置5A的开口部13的内侧预先刻设的内螺纹部螺合，由此将全方位相机装置3AZ与全方位麦克风阵列装置5A一体化而合体。
(第四实施方式)
接下来，关于第四实施方式的校准方法，参照图22、图23(A)及图23(B)进行说明。图22是表示第四实施方式的收音系统1B的校准方法的示意图。图23(A)是表示在安装部件7上安装有全方位相机装置和全方位麦克风阵列装置的状态的俯视图。图23(B)是图23(A)的E-E剖视图。
在上述的第二、第三各实施方式的收音系统中，全方位麦克风阵列装置和全方位相机装置分别直接安装于预定的设置面。
在本实施方式的收音系统1B中，首先在预定的设置面(例如顶棚面8)上安装并固定安装部件7(安装件)，将全方位麦克风阵列装置5B及全方位相机装置3BZ这两方安装于安装部件7(参照图22)。由此，在本实施方式的收音系统1B中，全方位麦克风阵列装置5B与全方位相机装置3BZ一体化而合体。
在图23(A)中，示出从安装部件7的表面观察的情况、即从作为预定的设置面的一例的顶棚面8观察图23(B)所示的下方向的情况下的全方位相机装置3BZ及全方位麦克风阵列装置5B的安装状态。安装部件7是在表面具有凹凸的形成为大致圆盘状的金属制的部件。另外，安装部件7可以是陶瓷制或合成树脂(例如塑料或弹性体)制的部件。
在安装部件7的表面即与顶棚面8相向的安装部件7的表面，在同心圆上的3个部位形成有沿同轴i方向突出且用于安装固定全方位相机装置3BZ的卡定片7a。而且，在安装部件7的表面，在比形成有卡定片7a的同心圆大的直径的同心圆上的3个部位形成有沿同轴i方向突出且用于安装固定全方位麦克风阵列装置5B的卡定片7b。
图24(A)是表示固定销33z、35z与卡合孔71、73卡合的情况的侧视图。图24(B)是表示插通于卡合孔71、73的固定销33z、35z移动的情况的俯视图及侧视图。图24(C)是表示固定销33z、35卡定于卡合孔71、73的情况的俯视图及侧视图。
与在全方位相机装置3BZ的底面设置的固定销33z卡合的卡合孔71以一端部的直径比另一端部的直径大的大致葫芦状形成在卡定片7a上。同样，与在全方位麦克风阵列装置5B的底面设置的固定销35z卡合的卡合孔73以一端部的直径比另一端部的直径大的大致葫芦状形成在卡定片7b上。
固定销33z、35z分别包括具有卡合孔71、73的一端部与另一端部之间的粗细(直径)的头部和比头部细的主体部。
在安装部件7的表面，扇形的孔部7c、7d以向卡定片7a及卡定片7b的外侧扩展的方式分别形成在3个部位。这些扇形的孔部7c、7d的形状及位置设计成，在安装部件7上安装全方位相机装置3BZ及全方位麦克风阵列装置5B时，全方位相机装置3BZ及全方位麦克风阵列装置5B的各水平角的基准方向g、h一致。
在安装部件7的表面的中央部的3个部位形成有供螺丝31z插通的螺丝孔7e。通过使螺丝31z经由螺丝孔7e与顶棚面8螺合，从而将安装部件7固定于顶棚面8。
在全方位相机装置3BZ及全方位麦克风阵列装置5B安装于安装部件7的情况下，首先，将全方位相机装置3BZ安装于安装部件7。在这种情况下，使固定销33z与形成于卡定片7a的卡合孔71卡合(参照图24(A))。
即，如图24(A)所示，将向全方位相机装置3BZ的底面突出的固定销33z向卡合孔71的直径大的一端部侧插入。而后，如图24(B)所示，在固定销33z的头部从卡合孔71突出的状态下，通过使全方位相机装置3BZ旋转而使固定销33z在卡合孔71内移动。而后，如图24(C)所示，在固定销33z的头部移动到卡合孔71的另一端部侧的状态下，固定销33z与卡合孔71卡合，全方位相机装置3BZ在同轴i方向上被固定。
在将全方位相机装置3BZ安装于安装部件7之后，以使全方位相机装置3BZ从全方位麦克风阵列装置5B的开口部13的内侧露出的方式将全方位麦克风阵列装置5B安装于安装部件7。在这种情况下，使固定销35z与形成于卡定片7b的卡合孔73卡合。另外，将固定销35z固定于卡合孔73的次序与将固定销33z固定于卡合孔71的次序同样。
由此，在本实施方式的校准方法中，在安装固定于顶棚面8的安装部件7上一体地安装全方位相机装置3BZ及全方位麦克风阵列装置5B。由此，在本实施方式的校准方法中，在使全方位相机装置3BZ与全方位麦克风阵列装置5B的各水平角的基准方向一致的状态下，能够简易地设置全方位相机装置3BZ和全方位麦克风阵列装置5B。因此，在本实施方式的收音系统1B中，全方位麦克风阵列装置5B使用与表示全方位相机装置3BZ的拍摄方向的坐标(水平角、垂直角)的水平角相同的水平角，能够高精度地对收音方向的声音进行收音。
(第五实施方式)
接下来，关于第五实施方式的校准方法，参照图25(A)、图25(B)、图25(C)及图26进行说明。图25(A)是表示在第五实施方式的校准方法中将夹具61安装于全方位麦克风阵列装置5C的情况的侧视图。图25(B)是表示夹具61向全方位麦克风阵列装置5C的安装完成的情况的侧视图。图25(C)是夹具61向全方位麦克风阵列装置5C的安装完成的收音系统1C的外观立体图。图26是表示在全方位相机装置3CZ的拍摄图像80z上映现出夹具61的情况的图。
在本实施方式的校准方法中，收音系统1C的全方位相机装置3CZ及全方位麦克风阵列装置5C的结构及向设置面的安装次序与上述的第三实施方式的全方位相机装置3AZ及全方位麦克风阵列装置5A的安装次序同样，因此省略说明。
在全方位麦克风阵列装置5C的框体17的相向的两端部安装表示全方位麦克风阵列装置5C的水平角的基准方向h的夹具61。在本实施方式中，作为夹具61，以跨全方位相机装置3CZ的框体的方式装架丝线。丝线的两方的前端安装于在全方位麦克风阵列装置5C的框体17上预先形成的孔，由此夹具61安装于全方位麦克风阵列装置5C。
而且，在夹具61的一部分上附加表示水平角的基准方向(例如0°方向)的记号63。记号63可以着色成例如与夹具61的其他部分不同的颜色，夹具61的材质没有特别限定为陶瓷、合成树脂(例如塑料或弹性体)、金属等，形状也不局限于球体，也可以是圆柱或其他的形状。
在本实施方式中，如图25(A)及图25(B)所示，在全方位相机装置3CZ向全方位麦克风阵列装置5C的开口部13的内侧的内周空间嵌入之后，夹具61安装在全方位麦克风阵列装置5C的框体17的相向的两端部。
而且，在本实施方式中，如图25(C)所示，在夹具61以跨全方位相机装置3CZ的框体的方式进行了安装的状态下，全方位相机装置3CZ例如拍摄全方位方向(360°)的预定的拍摄范围的被摄体。在这种情况下，为了使夹具61以外的物体不太映现在拍摄图像中，全方位相机装置3CZ可以利用特定的颜色覆盖拍摄图像的背景部分。
而且，夹具61没有限定为一根丝线，只要表示水平角的基准的记号63固定在预定的位置而通过相机影像进行识别即可，其形状任意，可以由例如金属板制作，也可以为三腿形状。
而且，夹具61也可以是将全方位相机装置3的框体整体覆盖的不透明的穹顶状形状、即在全方位麦克风阵列装置5C的水平角的基准方向上具有作为记号的开口的形状。
图26所示的全方位相机装置3CZ产生的圆形的拍摄图像80z中，映现出通过拍摄图像80z的中心且表示基准方向h的夹具图像61A。在夹具图像61A上，表示全方位麦克风阵列装置5C的水平角的基准方向h(例如0°方向)的记号63的记号图像63A重叠地映现。记号图像63A可以通过全方位相机装置3CZ的图像处理来识别，也可以是收音系统1C的操作者通过目视来识别。
在拍摄图像80z中，全方位相机装置3CZ的水平角的基准方向g表示图26中的上下方向。因此，全方位相机装置3CZ能够从拍摄图像80z中算出作为夹具图像61A而表现的全方位麦克风阵列装置5C的水平角的基准方向h与全方位相机装置3CZ的水平角的基准方向g的角度差作为水平角的偏差量ε。
因此，在全方位相机装置3CZ与全方位麦克风阵列装置5C经由网络(未图示)而连接的情况下，全方位麦克风阵列装置5C能够将全方位麦克风阵列装置5的水平角的基准方向h设定为相对于全方位相机装置3CZ的水平角的基准方向g偏移了水平角的偏差量ε的值。即，全方位麦克风阵列装置5C能够使用向反方向返回了水平角的偏差量ε的角度作为表示实际的收音方向的坐标(水平角、垂直角)的水平角，来适当地计算收音方向的坐标。
由此，在本实施方式的校准方法中，全方位麦克风阵列装置5C使用例如全方位相机装置3CZ算出的水平角的偏差量ε，使表示全方位相机装置3CZ的拍摄方向的水平角与表示全方位麦克风阵列装置5C的收音方向的水平角一致，从而能够调整全方位麦克风阵列装置5C的收音方向的坐标(水平角、垂直角)。
以下，说明上述的校准方法的结构、作用及效果。
本发明的一实施方式是校准方法，具有如下工序：使拍摄预定的拍摄范围的影像的相机装置与对所述相机装置的拍摄范围的声音进行收音的麦克风阵列装置在同轴上进行对位；向在上述麦克风阵列装置的框体中心形成的开口部的周缘部安装上述相机装置；及通过向上述开口部的内侧安装上述相机装置，使与上述同轴正交的平面中的上述相机装置及上述麦克风阵列装置的各水平角的基准方向一致。
在上述的方法中，能够简易地使全方位相机装置3z的水平角的基准方向g与全方位麦克风阵列装置5的水平角的基准方向h一致，能够缓和全方位相机装置3z及全方位麦克风阵列装置5的设置时的制约。因此，在本实施方式的收音系统1Z中，全方位麦克风阵列装置5能够使用与表示全方位相机装置3z的拍摄方向的坐标(水平角、垂直角)的水平角相同的水平角，高精度地对收音方向的声音进行收音。
而且，本发明的一实施方式的校准方法中，在上述一致的工序中，使在上述相机装置的框体外周形成的卡定部件与在上述开口部的周缘部形成的卡定槽嵌合，由此使上述麦克风阵列装置的水平角的基准方向与上述相机装置的水平角的基准方向一致。
在上述的方法中，例如以使键11y与键槽15嵌合的方式将全方位相机装置3z向全方位麦克风阵列装置5的开口部13的内侧的内周空间嵌入，由此能够简易地使全方位相机装置3z与全方位麦克风阵列装置5的各水平角的基准方向一致。
另外，本发明的一实施方式的校准方法中，在上述一致的工序中，使向上述开口部的周缘部附加的第一标记部与向上述相机装置的框体外周附加的第二标记部相向，由此使上述麦克风阵列装置的水平角的基准方向与上述相机装置的水平角的基准方向一致。
在上述的方法中，例如以使三角形的标记21、23的各尖端相向的方式将全方位相机装置3AZ向全方位麦克风阵列装置5A的开口部13的内侧的内周空间嵌入，由此能够简易地使全方位相机装置3AZ的水平角的基准方向g与全方位麦克风阵列装置5A的水平角的基准方向h一致。
另外，本发明的一实施方式的校准方法中，在上述安装的工序中，上述相机装置的框体安装于预定的安装件，上述麦克风阵列装置的框体以将安装于上述预定的安装件的上述相机装置的框体向上述开口部的内侧嵌入的方式进行插通而安装于上述预定的安装件。
在上述的方法中，全方位相机装置3BZ及全方位麦克风阵列装置5B一体地安装在安装固定于顶棚面8的安装部件7上，因此能够使全方位相机装置3BZ与全方位麦克风阵列装置5B的各水平角的基准方向一致。
而且，本发明的一实施方式涉及一种校准方法，具有以下工序：使拍摄预定的拍摄范围的影像的相机装置与对上述相机装置的拍摄范围的声音进行收音的麦克风阵列装置在同轴上进行对位；向在上述麦克风阵列装置的框体中心形成的开口部的周缘部安装上述相机装置；将表示上述麦克风阵列装置的水平角的基准方向的夹具安装于上述麦克风阵列装置的框体的相向的两端部；通过上述相机装置拍摄上述夹具；基于上述夹具的拍摄图像，算出上述相机装置的水平角的基准方向与上述麦克风阵列装置的水平角的基准方向的偏差量；及使用算出的上述偏差量，调整上述麦克风阵列装置的收音方向的水平角，由此使与上述同轴正交的平面中的上述相机装置及上述麦克风阵列装置的各水平角的基准方向一致。
在上述的方法中，全方位麦克风阵列装置5C使用例如全方位相机装置3CZ算出的水平角的偏差量ε，使表示全方位相机装置3CZ的拍摄方向的水平角与表示全方位麦克风阵列装置5C的收音方向的水平角一致，从而能够调整全方位麦克风阵列装置5C的收音方向的坐标(水平角、垂直角)。
而且，在上述的各实施方式中，水平角的基准方向作为水平角为0°的方向进行了说明，但也可以设定任意角度作为基准方向。
而且，在上述的各实施方式的全方位麦克风阵列装置的框体的内部配置的各麦克风可以是无指向性麦克风，也可以使用双指向性麦克风、单一指向性麦克风、锐指向性麦克风、超指向性麦克风(例如枪式麦克风)或它们的组合。
以下后述的第六实施方式涉及指向性控制系统及水平偏差角计算方法，将连接相机装置与麦克风阵列装置的方向作为各自的基准方向，算出相机装置的正面方向(0°方向)与相机装置的基准方向之间的偏差角、麦克风阵列装置的正面方向(0°方向)与麦克风阵列装置的基准方向之间的偏差角，进行水平角的校准。
在上述的监视系统中，在相机装置与麦克风阵列装置作为分体配置在不同的位置的情况下，相机装置的光轴与麦克风阵列装置的物理性的中心轴不同。因此，在麦克风阵列装置对存在于相机装置的拍摄方向上的被摄体的会话声音进行收音的情况下，需要将表示麦克风阵列装置对会话声音进行收音的方向(以下，简称为“收音方向”)的坐标(水平角、垂直角)和表示相机装置的拍摄方向的坐标(水平角、垂直角)调整为适当值。
为了进行该调整，需要例如相机装置中表示相机装置的拍摄方向的坐标(以下，称为“拍摄方向坐标”)的水平角的正面方向(例如0°方向)已知，而且，麦克风阵列装置中表示麦克风阵列装置的收音方向的坐标(以下，称为“收音方向坐标”)的水平角的正面方向(例如0°方向)已知。
而且，需要适当地掌握相机装置与麦克风阵列装置的位置关系，为了使以相机装置为基准的麦克风阵列装置的方向和以麦克风阵列装置为基准的相机装置的方向也成为已知，例如在麦克风阵列装置的设置时优选使麦克风阵列装置的水平角的正面方向(例如0°方向)朝向相机装置。
然而，在专利文献1中，在相机装置的水平角的正面方向(例如0°方向)和麦克风阵列装置的水平角的正面方向(例如0°方向)不是已知的情况下，并未提及算出以相机装置为基准的麦克风阵列装置的方向和以麦克风阵列装置为基准的相机装置的方向这一情况，因此各水平角为来自哪个方向的角度不明，无法适当地掌握相机装置与麦克风阵列装置的位置关系。
因此，例如在麦克风阵列装置对被摄体的声音进行收音的期间，麦克风阵列装置的收音方向未朝向被摄体存在的方向，因此存在麦克风阵列装置难以适当地对存在于相机装置的拍摄方向上的被摄体的会话声音进行收音的课题。
而且，在设置有麦克风阵列装置的场所，在从后方设置相机装置的情况下，难以使麦克风阵列装置的水平角的正面方向(例如0°方向)朝向相机装置地设置的情况较多。而且，在设置有多个相机装置的场所，在从后方追加设置麦克风阵列装置的情况下，也存在无法使麦克风阵列装置的水平角的正面方向(例如0°方向)与多个相机装置的方向一致的课题。
因此，在本发明的第六实施方式中，说明如下的指向性控制系统及水平偏差角计算方法的例子：为了解决上述的以往的课题，算出表示相机装置的拍摄方向坐标和麦克风阵列装置的收音方向坐标的各水平角的0°方向与将两者连接的相互的基准方向之间的角度的水平偏差角，使麦克风阵列装置适当地对存在于相机装置的拍摄方向上的被摄体的会话声音进行收音。
以下，关于本发明的指向性控制系统及水平偏差角计算方法的第六实施方式，参照附图进行说明。本实施方式的指向性控制系统用作例如在工厂、公共设施(例如图书馆、活动会场)、店铺(例如零售店、银行)中设置的监视系统(包括有人监视系统及无人监视系统)。
另外，本发明也可以表现为具有构成指向性控制系统的各装置(例如后述的指向性控制装置)或构成指向性控制系统的各装置(例如后述的指向性控制装置)进行的各动作(步骤)的水平偏差角计算方法。
(第六实施方式)
(指向性控制系统的系统结构)
图27(A)是一体地安装有校准用全方位相机装置C1和全方位麦克风阵列装置2的情况下的本实施方式的指向性控制系统10的系统概要图。图27(B)是以使全方位麦克风阵列装置2的收音方向的水平角的基准方向与校准用全方位相机装置C1的拍摄方向的水平角的基准方向一致的方式安装全方位麦克风阵列装置2的情况下的本实施方式的指向性控制系统10A的系统概要图。
图27(A)所示的指向性控制系统10包括：拍摄被摄体(例如图27(A)中的2人的人物。以下同样。)的作为第一拍摄部的全方位相机装置11z；拍摄同一被摄体的作为第二拍摄部的校准用全方位相机装置C1；及对同一被摄体的声音(例如2人的人物的会话声音)进行收音的作为收音部的全方位麦克风阵列装置2。在图27(A)所示的指向性控制系统10中，例如在全方位麦克风阵列装置2的框体中心形成圆柱状的开口部21a(参照图2(D))，全方位麦克风阵列装置2与校准用全方位相机装置C1通过校准用全方位相机装置C1嵌入到开口部21a的内侧的内周空间而形成为一体。
全方位相机装置11z具有例如作为监视相机的功能，具有内置了未图示的光学系统(例如鱼眼透镜或广角透镜)及拍摄系统(例如图像传感器)的框体，并设置在预定的设置面(例如活动会场的室内的顶棚面或台座)上。全方位相机装置11z经由未图示的网络而与中央控制室的主计算机(未图示)连接，根据来自主计算机的远距离操作，进行摇摄方向动作、倾斜方向动作、变焦动作、拍摄动作、到与拍摄图像中所指定的位置(例如后述的指定位置A’)对应的实际的位置的测距动作及测角动作等。全方位相机装置11z拍摄例如存在于从全方位相机装置11z朝向后述的声音收音位置(或声音位置)A的第一拍摄方向CAX1上的被摄体(参照图27(A))。
校准用全方位相机装置C1具有用于算出例如全方位相机装置11z的拍摄方向坐标及全方位麦克风阵列装置2的收音方向坐标的各水平角的正面方向(例如0°方向)与将全方位相机装置11z和全方位麦克风阵列装置2连接的相互的基准方向的水平偏差角的作为校准用相机的功能。校准用全方位相机装置C1具有内置了未图示的光学系统(例如鱼眼透镜或广角透镜)及拍摄系统(例如图像传感器)的框体，设置在预定的设置面(例如顶棚面或台座)上。校准用全方位相机装置C1经由未图示的网络而与中央控制室的主计算机(未图示)连接，根据来自主计算机的远距离操作，进行摇摄方向动作、倾斜方向动作、变焦动作、拍摄动作、到与拍摄图像中所指定的位置(例如后述的指定位置A’)对应的实际的位置的测距动作及测角动作等。校准用全方位相机装置C1拍摄例如存在于从校准用全方位相机装置C1朝向后述的声音收音位置A的第二拍摄方向CAX2上的被摄体(参照图27(A))。
图27(A)所示的指向性控制系统10的全方位麦克风阵列装置2具有例如向开口部21a的内侧的内周空间嵌入校准用全方位相机装置C1的框体的环状型或圈状型的框体21(参照图2(D))。在全方位麦克风阵列装置2中，在开口部21a的周围、而且沿着框体21的圆周方向将多个麦克风单元22呈同心圆状地配置。麦克风单元18使用例如高音质小型驻极体电容式麦克风(ECM：Electret Condenser Microphone)，以下同样。全方位麦克风阵列装置2在例如从全方位麦克风阵列装置2朝向声音收音位置A的收音方向MIX上形成声音的收音指向性，对存在于收音方向MIX上的被摄体的声音进行收音。
另一方面，在图27(B)所示的指向性控制系统10A中，校准用全方位相机装置C1与全方位麦克风阵列装置2未形成为一体，校准用全方位相机装置C1与全方位麦克风阵列装置2作为分体进行动作。因此，在图27(B)所示的指向性控制系统10A中，在后述的指向性控制装置3算出了水平偏差角之后，拆下校准用全方位相机装置C1，以使校准用全方位相机装置C1的拍摄方向CAX2的水平角0°方向(第二正面方向，参照图31(B)或图32(B))与全方位麦克风阵列装置2的水平角0°方向一致的方式安装全方位麦克风阵列装置2。
由此，与图27(A)所示的指向性控制系统10同样，全方位麦克风阵列装置2能够共用地使用校准用全方位相机装置C1的水平角0°方向(第二正面方向)，因此能够在朝向声音收音位置A的收音方向MIX上适当地形成声音的收音指向性，能够适当地对存在于收音方向MIX上的被摄体的声音进行收音。以下，作为本实施方式的指向性控制系统的系统结构，假定图27(A)所示的指向性控制系统10进行说明，但是即便置换成图27(B)所示的指向性控制系统10A也能得到同样的效果。
另外，在本实施方式中，使用鱼眼透镜或包含广角透镜的全方位相机装置11z，但也可以是包含标准的透镜或望远透镜且机械地进行摇摄方向、倾斜方向上的动作及变焦动作的PTZ(Pan Tilt Zoom)相机装置。
图28(A)是表示图27(A)所示的指向性控制系统10的系统结构的一例的框图。图28(B)是表示图27(B)所示的指向性控制系统10A的系统结构的一例的框图。图28(A)所示的指向性控制系统10是包括全方位相机装置11z、全方位麦克风阵列装置2、校准用全方位相机装置C1、指向性控制装置3及记录器装置4的结构。全方位相机装置11z、全方位麦克风阵列装置2、校准用全方位相机装置C1、指向性控制装置3、记录器装置4经由网络NW而相互连接。网络NW可以是有线网络(例如内部网、因特网)，也可以是无线网络(例如无线LAN(LocalArea Network))，以下同样。
而且，在图28(B)所示的指向性控制系统10A中，除了校准用全方位相机装置C1与全方位麦克风阵列装置2作为分体形成的情况之外，是与图28(A)所示的指向性控制系统10同样的结构。
全方位相机装置11z与网络NW连接，测定并取得后述的用于算出全方位麦克风阵列装置2的收音方向(θMAh、θMAv)的输入参数(例如全方位相机装置11z与校准用全方位相机装置C1之间的距离LCK)，并将测定出的输入参数和拍摄到的图像数据经由网络NW向指向性控制装置3或记录器装置4发送。
校准用全方位相机装置C1与网络NW连接，同样测定并取得后述的用于算出全方位麦克风阵列装置2的收音方向(θMAh、θMAv)的输入参数(例如全方位相机装置11z与校准用全方位相机装置C1之间的距离LCK)，并将测定出的输入参数和拍摄到的图像数据经由网络NW向指向性控制装置3或记录器装置4发送。
全方位麦克风阵列装置2与网络NW连接，至少包括：包含麦克风且等间隔地设置的麦克风单元22、23(参照图2(A)～图2(E))；及用于控制各麦克风单元22、23的各动作的控制部(未图示)。
全方位麦克风阵列装置2使用各个麦克风单元22、23，对作为声音收音对象的被摄体存在的收音方向的声音进行收音，各个麦克风单元22、23收音到的声音数据经由网络NW向指向性控制装置3或记录器装置4发送。
全方位麦克风阵列装置2按照后述的来自指向性控制装置3的指向性形成指示，在指向性控制装置3的信号处理部33的坐标计算部34x算出的收音方向(θMAh、θMAv)上形成各个麦克风单元22、23的收音指向性。
由此，全方位麦克风阵列装置2能够相对增大从形成有收音指向性的收音方向(θMAh、θMAv)收音到的声音数据的音量等级，并能够相对减小从未形成收音指向性的方向收音到的声音数据的音量等级。另外，关于收音方向(θMAh、θMAv)的计算方法在后文叙述。
关于全方位麦克风阵列装置2的外观，参照图2如上所述，因此省略说明。另外，全方位麦克风阵列装置2的各麦克风单元22、23可以是无指向性麦克风，也可以使用双指向性麦克风、单一指向性麦克风、锐指向性麦克风、超指向性麦克风(例如枪式麦克风)或它们的组合。
指向性控制装置3与网络NW连接，可以是例如设置于监视系统控制室(未图示)的固定型的PC(Personal Computer)，也可以是用户能够便携的便携电话机、平板终端、智能手机等数据通信终端。
指向性控制装置3是至少包括通信部31、操作部32、信号处理部33、显示器装置36、扬声器装置37及存储器38的结构。信号处理部33包括水平偏差角计算部34w、坐标计算部34x及输出控制部34c。
通信部31经由网络NW，接收全方位相机装置11z、校准用全方位相机装置C1或全方位麦克风阵列装置2发送的图像数据或声音数据并向信号处理部33输出。
操作部32是用于将用户的输入操作的内容向信号处理部33通知的用户接口(UI：User Interface)，例如是鼠标、键盘等指点设备。而且，操作部32例如与显示器装置36的画面对应地配置，可以使用能够通过用户的手指FG或指示笔进行输入操作的触摸面板或触摸屏来构成。
操作部32根据用户的输入操作，取得表示用户希望音量等级的增大或减小的范围即图29所示的指定位置A’的坐标数据并向信号处理部33输出。
信号处理部33使用例如CPU(Central Processing Unit)、MPU(Micro ProcessingUnit)或DSP(Digital Signal Processor)而构成，进行用于整体性地总括指向性控制装置3的各部的动作的控制处理、与其他的各部之间的数据的输入输出处理、数据的运算(计算)处理及数据的存储处理。
作为偏差量计算部的水平偏差角计算部34w根据用户对显示于显示器装置36上的图像数据的任意位置(＝指定位置A’)的指定，基于从全方位相机装置11z朝向与指定位置A’对应的声音收音位置A的第一拍摄方向CAX1的方向角度信息、从校准用全方位相机装置C1朝向声音收音位置A的第二拍摄方向CAX2的方向角度信息、全方位相机装置11z与校准用全方位相机装置C1的距离，算出从连接全方位相机装置11z和校准用全方位相机装置C1的基准位置(图31(B)所示的K-K’线)到全方位相机装置11z的第一正面方向(水平角0°方向)的第一水平偏差角εCh、到校准用全方位相机装置C1的第二正面方向(水平角0°方向)的第二水平偏差角εKh。水平偏差角计算部34w的具体的计算方法参照图31及图32在后文叙述。
坐标计算部34x基于由水平偏差角计算部34w算出的第一水平偏差角εCh及第二水平偏差角εKh，算出从全方位麦克风阵列装置2朝向声音收音位置A的收音方向MIX的水平角θMAh及垂直角θMAv，作为表示全方位麦克风阵列装置2对被摄体的声音进行收音的收音方向的坐标(收音方向坐标)。
收音方向(θMAh、θMAv)中，θMAh表示从全方位麦克风阵列装置2朝向声音收音位置A的收音方向MIX的水平角，θMAv表示从全方位麦克风阵列装置2朝向声音收音位置A的收音方向MIX的垂直角。
全方位相机装置11z的坐标轴与全方位麦克风阵列装置2的坐标轴的关系根据第一水平偏差角εCh与第二水平偏差角εKh及相互的距离Lck可知，因此指向性控制装置3根据显示于显示器装置36的图像数据，按照声音集音位置的指定，算出收音方向(θMAh、θMAv)。
另外，声音收音位置A是操作部32在显示器装置36的画面上成为与通过用户的手指FG或指示笔指定的指定位置A’对应的实际的监视对象的现场的位置(参照图27(A)及图29)。
输出控制部34c对显示器装置36及扬声器装置37的动作进行控制，使从全方位相机装置11z发送的影像数据向显示器装置36进行重放输出，使从全方位麦克风阵列装置2发送的声音数据向扬声器装置37进行声音输出。而且，输出控制部34c对全方位麦克风阵列装置2的动作进行控制，在例如与由坐标计算部34x算出的收音方向坐标(θMAh、θMAv)对应的收音方向MIX上，将声音数据的收音指向性形成于全方位麦克风阵列装置2。
作为显示部的显示器装置36将全方位相机装置11z或校准用全方位相机装置C1拍摄到的图像数据显示于画面。
作为声音输出部的扬声器装置37对全方位麦克风阵列装置2收音到的声音数据或者在坐标计算部34x算出的收音方向(θMAh、θMAv)上形成了收音指向性之后全方位麦克风阵列装置2收音到的声音数据进行声音输出。另外，显示器装置36及扬声器装置37可以设为与指向性控制装置3形成分体的结构。
存储器38使用例如RAM(Random Access Memory)而构成，作为指向性控制装置3的各部的动作时的工作存储器发挥功能。
记录器装置4对全方位相机装置11z或校准用全方位相机装置C1拍摄到的图像数据、全方位麦克风阵列装置2收音到的声音数据进行记录。记录器装置4将全方位相机装置11z拍摄到的图像数据与全方位麦克风阵列装置2收音到的声音数据建立对应地进行记录。
接下来，关于本实施方式的指向性控制系统10的动作概要，参照图27(A)及图29进行说明。图29是表示从全方位麦克风阵列装置2朝向与用户的手指在显示于显示器装置36的图像中所指定的指定位置A’对应的声音收音位置A的方向作为收音方向而收音到的声音数据从扬声器装置37输出的情况的图。
在指向性控制系统10中，全方位相机装置11z拍摄图27(A)所示的被摄体(例如2人的人物)。全方位麦克风阵列装置2对包含被摄体的会话声音的周围的声音进行收音。在图27(A)中，被摄体的2人的人物正在会话。例如全方位相机装置11z拍摄到的图像数据显示于指向性控制装置3的显示器装置36(参照图29)。
在此，在通过用户的手指FG指定了显示器装置36的指定位置A’、即正在会话的2人的人物的中心位置或大致中心位置的情况下，指向性控制装置3取得表示指定位置A’的第一拍摄方向CAX1的坐标数据(θCAh、θCAv)。
指向性控制装置3根据通过校准而算出的全方位相机装置11z的坐标系与全方位麦克风阵列装置2的坐标系的关系，算出表示从全方位麦克风阵列装置2的设置位置朝向声音收音位置A的方向、即收音方向的收音方向坐标(θMAh、θMAv)作为全方位麦克风阵列装置2的收音方向。全方位麦克风阵列装置2使用指向性控制装置3算出的(θMAh、θMAv)的坐标数据，在从全方位麦克风阵列装置2朝向声音收音位置A的方向上形成收音指向性。
因此，全方位麦克风阵列装置2能够使存在于形成有收音指向性的方向上的2人的人物的会话(Hello)的音量等级比不存在于形成有收音指向性的方向上的从其他的物体发出的音量等级大。
由此，指向性控制装置3能够使扬声器装置37将存在于形成有收音指向性的方向上的2人的人物的会话(Hello)的音量等级比不存在于形成有收音指向性的方向上的其他的物体的音量等级更大地进行声音输出(参照图29)。
接下来，关于本实施方式的指向性控制系统10或指向性控制系统10A的详细的动作次序，参照图30(A)及图30(B)进行说明。图30(A)是说明本实施方式的指向性控制系统10、10A的第一水平偏差角εCh、第二水平偏差角εKh的计算及收音指向性的形成相关的动作次序的流程图。图30(B)是详细地说明图30(A)所示的步骤S20的校准的动作次序的流程图。
在图30(B)所示的校准的说明中，在初始设置中，包括将构成指向性控制系统10或指向性控制系统10A的全方位相机装置11z、校准用全方位相机装置C1及全方位麦克风阵列装置2向预定的设置面设置或安装的动作。为了简化图30(B)所示的校准的说明，例如说明图27(A)所示的指向性控制系统10的动作次序，在存在与图27(A)所示的指向性控制系统10的动作次序不同的内容的情况下，根据需要，说明指向性控制系统10A的动作次序。
在图30(A)中，设置全方位相机装置11z、校准用全方位相机装置C1及全方位麦克风阵列装置2，进行用于确定全方位相机装置11z与全方位麦克风阵列装置2的各坐标轴的关系的校准(ST20)。另外，步骤S20的动作的详情参照图30(B)在后文叙述。
在步骤ST20中结束了校准之后，例如通过用户的输入操作，在显示器装置36的画面上指定要从全方位相机装置11z拍摄到的影像(或图像)收音的位置(ST21)。
指向性控制装置3的坐标计算部34x使用通过步骤ST12(后述)测定出的输入参数LCK和通过步骤ST15算出的第一水平变位角εCh及第二水平变位角εKh，根据通过步骤ST21指定的第一拍摄方向CAX1的水平角及垂直角(θCAh、θCAv)，算出表示使被摄体的声音由全方位麦克风阵列装置2收音的收音方向的坐标(收音方向坐标，即(θMAh、θMAv))(ST22)。
指向性控制装置3的输出控制部34c在通过步骤ST22算出的收音方向坐标(θMAh、θMAv)的收音方向上形成各个麦克风单元22、23的收音指向性(ST23)。
由此，全方位麦克风阵列装置2能够相对增大从通过形成有收音指向性的收音方向坐标(θMAh、θMAv)确定的收音方向收音到的声音数据的音量等级，并能够相对减小从未形成收音指向性的方向收音到的声音数据的音量等级。
另外，在本实施方式的指向性控制系统10中，全方位麦克风阵列装置2对声音进行收音的时机没有限定为紧接着步骤ST20之后，也可以是例如全方位麦克风阵列装置2的电源接通之后。
关于步骤ST20的校准，详细地进行说明。在图30(B)中，以将构成指向性控制系统10的全方位相机装置11z、校准用全方位相机装置C1及全方位麦克风阵列装置2固定在预定的设置面(例如活动会场的室内的顶棚面或台座)上的方式进行初始设置(参照ST11、图31(A))。
在步骤ST11中，例如下面所述，将校准用全方位相机装置C1与全方位麦克风阵列装置2安装成一体。
具体而言，首先，在预定的设置面(例如台座)上安装并固定安装件(未图示，例如金属制的安装配件、陶瓷制的安装件或合成树脂(例如塑料或弹性体)制的安装件)。
在安装件安装于预定的设置面上之后，将校准用全方位相机装置C1及全方位麦克风阵列装置2这两方向安装件安装。如上所述，安装于安装件的校准用全方位相机装置C1与全方位麦克风阵列装置2通过校准用全方位相机装置C1嵌入到在全方位麦克风阵列装置2的框体中心形成的开口部21a的内周空间而形成为一体。而且，校准用全方位相机装置C1与全方位麦克风阵列装置2以各水平角的正面方向(0°方向)共用的方式形成为一体。
因此，校准用全方位相机装置C1的第二拍摄方向CAX2的水平角及垂直角与全方位麦克风阵列装置2的收音方向的水平角及垂直角相同，因此若至少通过算出第二水平偏差角εKh来判明第二正面方向，则能够适当地算出全方位麦克风阵列装置2的收音方向坐标。
在初始设置了全方位相机装置11z、校准用全方位相机装置C1及全方位麦克风阵列装置2之后，进行水平偏差角计算部34w为了算出第一水平偏差角εCh及第二水平偏差角εKh所需的输入参数(例如距离LCK)的测定(ST12)。距离LCK表示全方位相机装置11z与校准用全方位相机装置C1之间的距离。
在步骤ST12中，包括用户使用测定器(例如激光测距计)测定距离LCK的情况、或者全方位相机装置11z使用全方位相机装置11z自身的公知技术的功能来测定并取得距离LCK的情况。以下，为了简化说明，在步骤S12中，用户使用测定器(例如激光测距计)来测定距离LCK。信号处理部33取得根据用户的输入操作从操作部32输出的作为输入参数的距离LCK的数据。
在步骤ST12之后，指向性控制装置3经由操作部32从显示于显示器装置36的画面的图像数据之中接受任意的指定位置A’的指定(ST13)。指向性控制装置3将接受了显示于显示器装置36的画面的图像数据的指定位置A’的指定这一情况向全方位相机装置11z及校准用全方位相机装置C1发送。
在步骤ST13之后，在全方位相机装置11z从指向性控制装置3接收到接受了指定位置A’的指定的情况下，测定并取得以全方位相机装置11z的设置位置为起点朝向与在步骤ST13中所指定的图像数据上的指定位置A’对应的声音收音位置A的第一拍摄方向CAX1的水平角及垂直角(θCAh、θCAv)的坐标数据(ST14)。但是，在步骤ST14中得到的水平角及垂直角(θCAh、θCAv)的坐标数据中的水平角θCAh是还未判明第一正面方向为哪个方向的状态的数据。
而且，在校准用全方位相机装置C1从指向性控制装置3接收到接受了指定位置A’的指定的情况下，测定并取得以校准用全方位相机装置C1的设置位置为起点朝向与在步骤ST13中所指定的图像数据上的指定位置A’对应的声音收音位置A的第二拍摄方向CAX2的水平角及垂直角(θKAh、θKAv)的坐标数据(ST14)。同样，在步骤ST14中得到的水平角及垂直角(θKAh、θKAv)的坐标数据中的水平角θKAh是还未判明第二正面方向为哪个方向的状态的数据。
全方位相机装置11z将第一拍摄方向CAX1的水平角及垂直角(θCAh、θCAv)的坐标数据向指向性控制装置3发送。校准用全方位相机装置C1将第二拍摄方向CAX2的水平角及垂直角(θKAh、θKAv)的坐标数据向指向性控制装置3发送。
指向性控制装置3的水平偏差角计算部34w基于通过步骤S 12测定出的输入参数LCK、通过步骤S14测定出的第一拍摄方向CAX1的水平角及垂直角(θCAh、θCAv)的坐标数据及第二拍摄方向CAX2的水平角及垂直角(θKAh、θKAv)的坐标数据，算出第一水平偏差角εCh及第二水平偏差角εKh(ST15)。关于步骤S15的动作的详情，参照图31及图32在后文叙述。
由此，指向性控制装置3在算出全方位麦克风阵列装置2的收音方向坐标之前，能够判明全方位相机装置11z的水平角的第一正面方向(水平角0°)为哪个方向，而且，能够判明校准用全方位相机装置C1的第二正面方向(水平角0°)为哪个方向。
在此，在步骤ST11的初始设置中，在以使全方位麦克风阵列装置2的收音方向的水平角的正面方向(例如0°方向)与校准用全方位相机装置C1的水平角的正面方向(0°方向)一致的方式设置全方位麦克风阵列装置2的情况下(ST16为“是”)，结束校准而进入步骤ST21。
另一方面，在步骤ST11的初始设置中，在没有以使全方位麦克风阵列装置2的收音方向的水平角的基准方向(例如0°方向)与校准用全方位相机装置C1的水平角的正面方向(0°方向)一致的方式设置全方位麦克风阵列装置2的情况下(ST16为“否”)，指向性控制系统10的动作次序进入步骤ST21。
即，在步骤ST17中，以使全方位麦克风阵列装置2的收音方向的水平角的正面方向(例如0°方向)与校准用全方位相机装置C1的水平角的正面方向(0°方向)一致的方式设置全方位麦克风阵列装置2(ST17)。
在步骤ST17中，例如下述那样，以使全方位麦克风阵列装置2的收音方向的水平角的基准方向(例如0°方向)与校准用全方位相机装置C1的第二拍摄方向CAX2的水平角的基准方向一致的方式设置全方位麦克风阵列装置2。
具体而言，在校准用全方位相机装置C1的框体的外周附加例如三角形或四边形的标记(未图示)。标记在表示校准用全方位相机装置C1的第二拍摄方向的水平角的正面方向(0°方向)的方向上被附加。而且，在全方位麦克风阵列装置2的框体中心形成的开口部21a的周缘部，在与校准用全方位相机装置C1的标记相向的位置，附加例如同样形状的标记(未图示)。
因此，以使校准用全方位相机装置C1的标记与全方位麦克风阵列装置2的标记相向的方式设置全方位麦克风阵列装置2，由此以使全方位麦克风阵列装置2的收音方向的水平角的正面方向(0°方向)与校准用全方位相机装置C1的第二拍摄方向CAX2的水平角的正面方向一致的方式设置全方位麦克风阵列装置2，结束校准。
(表示全方位麦克风阵列装置2的收音方向的坐标(θMAh、θMAv)的计算方法)
接下来，关于指向性控制装置3的水平偏差角计算部34w算出第一水平偏差角εCh及第二水平偏差角εKh的方法，参照图31及图32，详细地进行说明。
图31是表示本实施方式的全方位相机装置11z、校准用全方位相机装置C1及声音收音位置A的各位置关系的图。图31(A)是立体图。图31(B)是从图7(A)中的上侧观察铅垂下方向的情况下的俯视图。图31(C)是图7(B)的K-K’线的垂直方向剖视图。
图32是表示本实施方式的全方位相机装置11z、校准用全方位相机装置C1及声音收音位置A的各位置关系的图。图32(A)是立体图。图32(B)是从图32(A)中的上侧观察铅垂下方向的情况下的俯视图。图32(C)是图32(B)的K-K’线的垂直方向剖视图。
水平偏差角计算部34w根据显示于显示器装置36的图像数据的由用户对任意的指定位置A’的指定，基于(1)通过步骤ST12测定出的全方位相机装置11z与校准用全方位相机装置C1之间的距离LCK、(2)通过步骤ST14测定出的第一拍摄方向CAX1的水平角及垂直角(θCAh、θCAv)的坐标、(3)通过步骤ST14测定出的第二拍摄方向CAX2的水平角及垂直角(θKAh、θKAv)的坐标、(4)在步骤ST11的初始设置时测定出的全方位相机装置11z、校准用全方位相机装置C1距水平面的各高度HC、HK、(5)声音收音位置A距水平面的高度HA，算出第一水平偏差角εCh及第二水平偏差角εKh。
(4)全方位相机装置11z、校准用全方位相机装置C1及全方位麦克风阵列装置2距水平面的各高度HC、HK、HM是在全方位相机装置11z、校准用全方位相机装置C1、全方位麦克风阵列装置2的各初始设置时决定的固定值。例如，全方位相机装置11z、校准用全方位相机装置C1及全方位麦克风阵列装置2距水平面的各高度HC、HK、HM相同。
(5)声音收音位置A距水平面的高度HA是预先决定的固定值，在例如用户的手指FG指定了指定位置A’时，在人物处于声音收音位置A的周围的情况下，是选择人物的大小作为HA的值或输入的值。或者，在用户的手指FG指定了指定位置A’时，在判定为人物(例如大人或小孩)处于指向性控制装置3所指定的位置的情况下，可以使用既定的值(例如1.5m或0.8m)。
以下，具体说明水平偏差角计算部34w的第一水平偏差角εCh及第二水平偏差角εKh的计算方法。首先，作为说明本计算方法的前提，确定全方位相机装置11z的第一拍摄方向CAX1的水平角的情况下所需的表示水平角的正面方向(0°方向)的第一正面方向还不是已知，即未知(参照图31(B)或图32(B))。同样，在确定校准用全方位相机装置C1的第二拍摄方向CAX2的水平角的情况下所需的表示水平角的正面方向(0°方向)的第二正面方向还不是已知，即未知(参照图31(B)或图32(B))。
水平偏差角计算部34w在图31(C)所示的△CAS中，基于全方位相机装置11z距水平面的高度HC、声音收音位置A距水平面的高度HA、第一拍摄方向CAX1的垂直角θCAv，按照数学式(64)算出从全方位相机装置11z到声音收音位置A的距离的水平分量的距离LCAh。
[数学式64]
水平偏差角计算部34w在图32(C)所示的△KAS中，基于校准用全方位相机装置C1距水平面的高度HK、声音收音位置A距水平面的高度HA、第二拍摄方向CAX2的垂直角θKAv，按照数学式(65)算出从校准用全方位相机装置C1到声音收音位置A的距离的水平分量的距离LKAh。
[数学式65]
水平偏差角计算部34w使用距离LCK和通过数学式(64)及数学式(65)算出的距离LCAh及LKAh，根据图31(B)所示的△KCA的余弦定理，按照数学式(66)，算出全方位相机装置11z和校准用全方位相机装置C1相向的直线与从全方位相机装置11z到声音收音位置A的直线K-K‘所成的水平角ψKCAh的余弦值cosψKCAh。
[数学式66]
水平偏差角计算部34w根据数学式(66)的计算结果，按照数学式(67)，算出水平角ψKCAh。
[数学式67]
水平偏差角计算部34w使用距离LCK和通过数学式(64)及数学式(65)算出的距离LCAh及LKAh，根据图31(B)所示的△KCA的余弦定理，按照数学式(68)，算出全方位相机装置11z和校准用全方位相机装置C1相向的直线与从校准用全方位相机装置C1到声音收音位置A的直线K-K‘所成的水平角ψCKAh的余弦值cosψCKAh。
[数学式68]
水平偏差角计算部34w根据数学式(68)的计算结果，按照数学式(69)，算出水平角ψKCAh。
[数学式69]
水平偏差角计算部34w使用第一拍摄方向CAX1的水平角θCAh和通过数学式(67)算出的水平角ψKCAh，按照数学式(70)，算出第一水平偏差角εCh。
[数学式70]
εCh＝θCAh-ψKCAh…(70)
水平偏差角计算部34w使用第二拍摄方向CAX2的水平角θKAh和通过数学式(68)算出的水平角ψCKAh，按照数学式(71)，算出第二水平偏差角εKh。
[数学式71]
εKh＝θKAh-ψCKAh…(71)
由此，在本实施方式的指向性控制系统10或指向性控制系统10A中，全方位相机装置11z及校准用全方位相机装置C1拍摄同一被摄体的图像，全方位麦克风阵列装置2对所拍摄的被摄体的声音进行收音。当显示于显示器装置36的全方位相机装置11z的图像数据中任意的指定位置A’被指定时，指向性控制装置3的水平偏差角计算部34w算出全方位相机装置11z的水平角的正面方向相对于将全方位相机装置11z与校准用全方位相机装置C1连接的相互的基准方向所成的偏差的角度即第一水平偏差角εCh和校准用全方位相机装置C1的水平角的第二正面方向与校准用全方位相机装置C1的基准方向所成的偏差的角度即第二水平偏差角εKh。
由此，在指向性控制系统10中，指向性控制装置3根据从全方位相机装置11z朝向声音收音位置A的拍摄方向坐标，能够算出以包围校准用全方位相机装置C1的框体周围的方式安装的全方位麦克风阵列装置2或者以与校准用全方位相机装置C1的水平角的基准方向一致的方式安装于校准用全方位相机装置C1的位置的全方位麦克风阵列装置2的收音方向坐标。
即，指向性控制装置3在算出全方位麦克风阵列装置2的收音方向坐标之前，能够判明全方位相机装置11z的水平角的第一正面方向距全方位相机装置11z的基准方向产生多少偏差，而且，能够判明校准用全方位相机装置C1的第二正面方向距校准用全方位相机装置C1的基准方向产生多少偏差。因此，在指向性控制系统10中，校准用全方位相机装置C1的第二拍摄方向CAX2的水平角及垂直角与全方位麦克风阵列装置2的收音方向的水平角及垂直角相同，因此通过算出第一水平偏差角εCh和第二水平偏差角εKh，根据距离Lck能够适当地算出全方位麦克风阵列装置2的收音方向坐标。
即，指向性控制装置3能够适当地算出由全方位相机装置11z拍摄到的图像数据的朝向任意的声音收音位置的来自全方位麦克风阵列装置2的收音方向坐标。
以下，说明上述的本发明的指向性控制系统及水平偏差角计算方法的结构、作用及效果。
本发明的一实施方式是指向性控制系统，具备：第一拍摄部，拍摄被摄体的图像；第二拍摄部，拍摄上述被摄体的图像；收音部，对上述被摄体的声音进行收音；显示部，显示由上述第一拍摄部拍摄到的图像数据；及偏差量计算部，根据所显示的上述图像数据的任意位置的指定，算出从上述第一拍摄部朝向与上述图像数据的指定位置对应的声音收音位置的第一拍摄方向的水平角与第一基准水平角之间的第一水平偏差角和从上述第二拍摄部朝向上述声音收音位置的第二拍摄方向的水平角与第二基准方向之间的第二水平偏差角。
在上述的结构中，全方位相机装置11z及校准用全方位相机装置C1拍摄同一被摄体的图像，全方位麦克风阵列装置2对所拍摄的被摄体的声音进行收音。当显示于显示器装置36的全方位相机装置11z的图像数据中任意的指定位置A’被指定时，指向性控制装置3的水平偏差角计算部34w算出全方位相机装置11z的水平角的第一正面方向(例如0°方向)相对于将全方位相机装置11z与校准用全方位相机装置C1连接的相互的基准方向所成的偏差的角度即第一水平偏差角εCh、校准用全方位相机装置C1的水平角的第二正面方向与校准用全方位相机装置C1的基准方向所成的偏差的角度即第二水平偏差角εKh。
由此，在指向性控制系统10中，指向性控制装置3根据从全方位相机装置11z朝向声音收音位置A的拍摄方向坐标，能够算出以包围校准用全方位相机装置C1的框体周围的方式安装的全方位麦克风阵列装置2或者以与校准用全方位相机装置C1的水平角的基准方向一致的方式安装于校准用全方位相机装置C1的位置的全方位麦克风阵列装置2的收音方向坐标的各水平角的正面方向(例如0°方向)与相互的基准方向所成的各偏差量。因此，在指向性控制系统10中，指向性控制装置3能够适当地算出由全方位相机装置11z拍摄到的图像数据的朝向任意的声音收音位置的来自全方位麦克风阵列装置2的收音方向坐标。
而且，本发明的一实施方式的指向性控制系统中，上述偏差量计算部基于从上述第一拍摄部到上述第二拍摄部的距离、从上述第一拍摄部朝向上述声音收音位置的水平角及垂直角、从上述第二拍摄部朝向上述声音收音位置的水平角及垂直角、上述第一拍摄部距水平面的高度、上述第二拍摄部距上述水平面的高度和上述声音收音位置距上述水平面的高度，算出上述第一水平偏差角及上述第二水平偏差角。
在上述的结构中，指向性控制装置3的水平偏差角计算部34w基于从全方位相机装置11z到校准用全方位相机装置C1的距离LCK、从全方位相机装置11z朝向声音收音位置A的水平角θCAh及垂直角θCAv、从校准用全方位相机装置C1朝向声音收音位置A的水平角θKAh及垂直角θKAv、全方位相机装置11z距水平面的高度HC、校准用全方位相机装置C1距水平面的高度HK、声音收音位置A距水平面的高度HA，算出第一水平偏差角εCh及第二水平偏差角εKh。由此，指向性控制装置3能够简易地算出第一水平偏差角εCh及第二水平偏差角εKh。
而且，本发明的一实施方式的指向性控制系统中，还具备坐标计算部，该坐标计算部基于上述第一水平偏差角及上述第二水平偏差角，算出从上述收音部朝向上述声音收音位置的方向的水平角及垂直角，作为表示使上述被摄体的声音由上述收音部进行收音的收音方向的坐标。
在上述的结构中，指向性控制装置3的坐标计算部34x基于由水平偏差角计算部34w算出的第一水平偏差角εCh及第二水平偏差角εKh，能够算出以包围校准用全方位相机装置C1的框体周围的方式安装的全方位麦克风阵列装置2或者以与校准用全方位相机装置C1的水平角的基准方向一致的方式安装于校准用全方位相机装置C1的位置的全方位麦克风阵列装置2的收音方向坐标的水平角及垂直角。
另外，本发明的一实施方式的指向性控制系统中，还具备输出控制部，该输出控制部在算出的与表示上述收音方向的坐标对应的上述收音方向上形成声音数据的收音指向性。
在上述的结构中，指向性控制装置3的输出控制部34c在由坐标计算部34x算出的全方位麦克风阵列装置2的收音方向坐标所对应的收音方向MIX上，将声音数据的收音指向性形成于全方位麦克风阵列装置2。由此，指向性控制装置3能够使全方位麦克风阵列装置2适当地对存在于全方位相机装置11z的拍摄方向上的被摄体的会话声音进行收音。
另外，本发明的一实施方式的指向性控制系统中，在上述收音部的框体中心形成圆柱状的开口部，上述收音部与上述第二拍摄部通过上述第二拍摄部嵌入到上述开口部的内周空间而形成为一体。
在上述的结构中，在全方位麦克风阵列装置2的框体中心形成圆柱状的开口部，全方位麦克风阵列装置2与校准用全方位相机装置C1通过校准用全方位相机装置C1嵌入到开口部21a的内周空间而形成为一体。由此，全方位麦克风阵列装置2能够将从校准用全方位相机装置C1朝向声音收音位置A的第二拍摄方向CAX2的水平角及垂直角共用地用作全方位麦克风阵列装置2的收音方向MIX的水平角及垂直角。
而且，本发明的一实施方式是包括第一拍摄部、第二拍摄部及收音部的指向性控制系统的水平偏差角计算方法，该水平偏差角计算方法具有以下步骤：在上述第一拍摄部中，拍摄被摄体的图像；在上述第二拍摄部中，拍摄上述被摄体的图像；在上述收音部中，对上述被摄体的声音进行收音；将由上述第一拍摄部拍摄到的图像数据显示于显示部；及根据显示于上述显示部的上述图像数据的任意位置的指定，算出从上述第一拍摄部朝向与上述图像数据的指定位置对应的声音位置的第一拍摄方向的水平角与第一基准方向之间的第一水平偏差角和从上述第二拍摄部朝向上述声音收音位置的第二拍摄方向的水平角与第二基准方向之间的第二水平偏差角。
在上述的方法中，全方位相机装置11z及校准用全方位相机装置C1拍摄同一被摄体的图像，全方位麦克风阵列装置2对拍摄的被摄体的声音进行收音。当显示于显示器装置36的全方位相机装置11z的图像数据中任意的指定位置A’被指定时，指向性控制装置3的水平偏差角计算部34w算出全方位相机装置11z的水平角的第一正面方向(例如0°方向)相对于将全方位相机装置11z与校准用全方位相机装置C1连接的相互的基准方向所成的偏差的角度即第一水平偏差角εCh、校准用全方位相机装置C1的水平角的第二正面方向与校准用全方位相机装置C1的基准方向所成的偏差的角度即第二水平偏差角εKh。
由此，在指向性控制系统10中，指向性控制装置3根据从全方位相机装置11z朝向声音收音位置A的拍摄方向坐标，能够算出以包围校准用全方位相机装置C1的框体周围的方式安装的全方位麦克风阵列装置2或者以与校准用全方位相机装置C1的水平角的基准方向一致的方式安装于校准用全方位相机装置C1的位置的全方位麦克风阵列装置2的收音方向坐标的各水平角的正面方向(例如0°方向)与相互的基准方向所成的各偏差量。因此，在指向性控制系统10中，指向性控制装置3能够适当地算出由全方位相机装置11z拍摄到的图像数据的朝向任意的声音收音位置的来自全方位麦克风阵列装置2的收音方向坐标。
以下后述的第七～第十各实施方式涉及判定作为声源而存在于收音空间内的对象物距基准面的高度并使用对象物距基准面的高度来形成由麦克风阵列装置收音到的声音的收音指向性的指向性控制系统及指向性控制方法。
在专利文献1中，假定例如电视会议系统的使用方式，并以相机装置、麦克风阵列装置、对象物(例如人物)存在于同一平面上的情况为前提。然而，在上述的监视系统中，相机装置、麦克风阵列装置、对象物(例如人物)实际上存在于同一平面上的情况较少。
例如如图46所示，相机装置CA及麦克风阵列装置Mic-A从作为声音的收音对象的对象物(2人的人物)来看设置于上方(例如店铺的顶棚面)的情况较多，因此相机装置CA、麦克风阵列装置Mic-A及对象物(2人的人物)存在于立体的三维的坐标上。图46是以往的监视系统的课题的说明图。
因此，在图46所示的监视系统中，在麦克风阵列装置Mic-A对相机装置CA拍摄的对象物(2人的人物)的会话进行收音的情况下，若使用专利文献1的方法，则存在无法适当地算出表示麦克风阵列装置Mic-A收音的方向的坐标(水平角、垂直角)的课题。
而且，在图46所示的监视系统中，在麦克风阵列装置Mic-A对相机装置CA拍摄的对象物(2人的人物)的会话进行收音的情况下，即使表示从相机装置CA朝向对象物的方向的水平角及垂直角相同，当对象物的声源位置(以下，简称为“对象声源位置”或“声音位置”)距基准面(例如地板面)的高度不同时，也会产生从麦克风阵列装置Mic―A朝向对象声源位置的收音指向方向无法唯一确定的课题。
例如在图46中，点A、点A’、点A”是距相机装置CA的水平角及垂直角相同的位置，但是若点A、点A’、点A”距基准面(例如地板面)的高度HA、HA’、HA”中的任一个未确定，则从麦克风阵列装置Mic-A朝向点A、点A’、点A”的收音指向方向完全不同。即，麦克风阵列装置Mic-A难以高精度地对相机装置CA的被摄体即对象物(2人的人物)的会话进行收音。
因此，在本发明的第七～第十各实施方式中，为了解决上述的以往的课题，说明判定存在于收音空间内的对象声源位置距基准面的高度并以对象声源位置距基准面的高度为基础在从麦克风阵列装置朝向对象声源位置的收音指向方向上形成声音的收音指向性的指向性控制系统及指向性控制方法的例子。
以下，关于本发明的指向性控制系统及指向性控制方法的第七～第十各实施方式，参照附图进行说明。各实施方式的指向性控制系统用作例如在工厂、企业、公共设施(例如活动会场)或店铺(例如零售店)设置的监视系统(包括有人监视系统及无人监视系统)，但是设置场所没有特别限定。在以下的各实施方式中，各实施方式的指向性控制系统例如设置在店铺内进行说明。
另外，本发明也可以表现为指向性控制方法，具有构成指向性控制系统的各装置(例如后述的指向性控制装置)或构成指向性控制系统的各装置进行的各动作(步骤)。
(第七实施方式)
(指向性控制系统的系统结构)
图33是表示第七实施方式的指向性控制系统10的系统结构的框图。图33所示的指向性控制系统10包括至少一个相机装置11～1n、全方位麦克风阵列装置2、指向性控制装置3及记录器装置4。n表示相机装置的台数，为1以上的整数。相机装置11～1n、全方位麦克风阵列装置2、指向性控制装置3、记录器装置4经由网络NW而相互连接。网络NW可以是有线网络(例如内部网、因特网)，也可以是无线网络(例如无线LAN(Local Area Network))，在以下的各实施方式中也同样。
至少一个作为拍摄部的相机装置11～1n具有内置未图示的光学系统(例如广角透镜)及拍摄系统(例如图像传感器)的框体，固定设置在例如店铺内的顶棚面或预定的台座(参照图34(A))上，具有作为监视相机的功能。相机装置11～1n与经由网络NW而连接的中央控制室(未图示)的指向性控制装置3连接，根据来自指向性控制装置3的远距离操作，进行摇摄方向动作、倾斜方向动作、变焦动作、拍摄动作、距与拍摄影像中所指定的位置(例如后述的图34(B)所示的指定位置A’)对应的实际的对象声源位置A的测距动作及测角动作等。
而且，相机装置11～1n拍摄存在于以光轴为中心的既定的视场角内的对象物的影像(包括静态画面及动态画面。以下同样。)。相机装置11～1n取得拍摄到的影像数据和后述的用于算出收音指向方向的水平角θMAh及垂直角θMAv的输入参数，经由网络NW，向指向性控制装置3或记录器装置4发送。
作为收音部的全方位麦克风阵列装置2具有例如在框体中心形成有开口部21a的环型或圈型(环状型)的形状的框体21C(参照图2(D))，固定设置在例如店铺内的顶棚面或预定的台座(参照图34(A))上。全方位麦克风阵列装置2在从全方位麦克风阵列装置2的设置位置M朝向后述的对象声源位置A的收音指向方向上形成用于高精度地对声音进行收音的收音指向性，高精度地对存在于收音指向方向上的对象物(2人的人物)的会话声音(例如“Hello”)进行收音。另外，关于全方位麦克风阵列装置2的框体形状，没有限定为环型或圈型(环状型)形状，参照图2如上所述，因此省略说明。
在全方位麦克风阵列装置2中，在开口部21a的周围而且沿着框体21C的圆周方向，将多个麦克风单元22呈同心圆状地配置。麦克风单元22使用例如高音质小型驻极体电容式麦克风(ECM：Electret Condenser Microphone)，在以下的各实施方式中也同样。
全方位麦克风阵列装置2与网络NW连接，至少包括：包含等间隔地设置的麦克风的麦克风单元22、23(参照图2(A)～图2(E))；及用于对各麦克风单元22、23的各动作进行控制的控制部(未图示)。
全方位麦克风阵列装置2使用各个麦克风单元22、23，对作为声音收音对象的对象物(声源)存在的收音指向方向的声音进行收音，对各个麦克风单元22、23收音到的声音数据实施预定的声音处理，经由网络NW，向指向性控制装置3或记录器装置4发送。
全方位麦克风阵列装置2根据后述的来自指向性控制装置3的指向性形成指示，在指向性控制装置3的信号处理部33的收音指向方向计算部34b算出的收音指向坐标(θMAh、θMAv)上形成各个麦克风单元22、23的收音指向性。
由此，全方位麦克风阵列装置2能够相对增大从形成有收音指向性的收音指向坐标(θMAh、θMAv)收音到的声音的音量等级，并能够相对减小从未形成收音指向性的方向收音到的声音的音量等级。另外，关于收音指向坐标(θMAh、θMAv)的计算方法在后文叙述。
指向性控制装置3与网络NW连接，可以是例如在企业内的中央控制室(未图示)设置的固定型的PC(Personal Computer)，也可以是用户能够便携的便携电话机、平板终端、智能手机等数据通信终端机。
指向性控制装置3至少包括通信部31、操作部32、信号处理部33、显示器装置36、扬声器装置37及存储器38。信号处理部33至少包括声源高度判定部34a、收音指向方向计算部34b及输出控制部34c。
通信部31经由网络NW，接收相机装置11～1n或全方位麦克风阵列装置2发送的影像数据或声音数据而向信号处理部33输出。
操作部32是用于将用户的输入操作的内容向信号处理部33通知的用户接口(UI：User Interface)，例如是鼠标、键盘等指点设备。而且，操作部32可以使用例如与显示器装置36的画面对应地配置并通过用户的手指FG或指示笔能够进行输入操作的触摸面板或触摸屏构成。
操作部32根据用户的输入操作，取得表示用户希望音量等级的增大或减小的场所、即图34(B)所示的指定位置A’的坐标数据而向信号处理部33输出。
信号处理部33使用例如CPU(Central Processing Unit)、MPU(Micro ProcessingUnit)或DSP(Digital Signal Processor)构成，进行用于整体性地总括指向性控制装置3的各部的动作的控制处理、与其他各部之间的数据的输入输出处理、数据的运算(计算)处理及数据的存储处理。
当显示于显示器装置36的影像数据、例如由相机装置11拍摄到的影像数据中指定位置A’由用户的手指FG或指示笔指定时，作为高度判定部的声源高度判定部34a判定与所指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA。在以下的各实施方式中，只要没有特别说明，例如基准面就设为店铺内的地板面BL。
具体而言，当显示于显示器装置36的影像数据的指定位置A’由用户的手指FG指定时，声源高度判定部34a从设定文件CF1读出与指定位置A’的坐标数据对应的对象声源位置A距地板面BL的高度数据。声源高度判定部34a将与读出的指定位置A’的坐标数据对应的对象声源位置A距地板面BL的高度数据判定为与指定位置A’对应的对象声源位置A距地板面BL的高度HA。
收音指向方向计算部34b根据显示于显示器装置36的影像数据的指定位置A’的指定，算出表示从全方位麦克风阵列装置2的设置位置M朝向与指定位置A’对应的对象声源位置A的收音指向方向的坐标(θMAh、θMAv)(以下，简称为“收音指向坐标”)。
收音指向坐标(θMAh、θMAv)中，θMAh表示从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向的水平角，θMAv表示从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向的垂直角。另外，对象声源位置A是操作部32成为显示于显示器装置36的影像数据中与由用户的手指FG或指示笔指定的指定位置A’对应的实际的监视对象的现场的位置。
作为控制部的输出控制部34c对相机装置11～1n、全方位麦克风阵列装置2、显示器装置36及扬声器装置37的各动作进行控制，将从相机装置11～1n发送的影像数据向显示器装置36进行重放输出，将从全方位麦克风阵列装置2发送的声音数据向扬声器装置37进行声音输出。输出控制部34c在由收音指向方向计算部34b算出的收音方向坐标(θMAh、θMAv)所对应的收音指向方向上，将声音数据的收音指向性形成于全方位麦克风阵列装置2。
作为显示部的显示器装置36将相机装置11～1n拍摄到的影像数据显示于画面。
作为声音输出部的扬声器装置37对全方位麦克风阵列装置2收音到的声音数据或者在收音指向方向计算部34b算出的收音指向坐标(θMAh、θMAv)的收音指向方向上形成了收音指向性之后全方位麦克风阵列装置2收音到的声音数据进行声音输出。另外，显示器装置36及扬声器装置27可以设为与指向性控制装置3不同的结构。
作为存储部的存储器38使用例如RAM(Random Access Memory)而构成，作为指向性控制装置3的各部的动作时的程序存储器、数据存储器、工作存储器发挥功能。而且，存储器38存储图33所示的设定文件CF1。在设定文件CF1中，至少包括例如相机装置11距地板面BL的高度HC的数据、全方位麦克风阵列装置2距地板面BL的高度HM的数据、例如与相机装置11拍摄的影像数据的预定的指定位置A’对应的对象声源位置A距地板面BL的高度HA的数据(第一设定数据)。
记录器装置4将相机装置11～1n拍摄到的影像数据与全方位麦克风阵列装置2收音到的声音数据建立对应地记录。
接下来，关于本实施方式的指向性控制系统10的动作概要，参照图34(A)及图34(B)进行说明。图34(A)是表示在设置有指向性控制系统10的收音空间K内相机装置11拍摄对象物(2人的人物)的情况、全方位麦克风阵列装置2对存在于收音指向方向上的对象物(2人的人物)的会话和来自不存在于收音指向方向上的扬声器装置SP的输出音乐进行收音的情况的图。
图34(B)是表示从全方位麦克风阵列装置2朝向与通过用户的手指FG在显示于显示器装置36的影像数据中指定的指定位置A’对应的对象声源位置A的收音指向方向的收音声音(例如「Hello」)的音量等级比来自扬声器装置SP的输出音乐(例如)的音量等级大地进行声音输出的情况的图。
在图34(A)所示的指向性控制系统10中，相机装置11拍摄映现于相机装置11固有的视场角的范围内的被摄体(例如图34(A)所示的2人的人物)。全方位麦克风阵列装置2在收音空间K内对全方位麦克风阵列装置2的设置位置M的周围的声音进行收音。在图34(A)中，作为对象物的2人的人物进行会话，“Hello”是会话内容的一例。相机装置11拍摄到的影像数据显示于指向性控制装置3的显示器装置36(参照图34(B))，显示例如作为对象物的2人的人物和扬声器装置SP。
在图34(B)中，当通过用户的手指FG指定显示器装置36的指定位置A’时，指向性控制装置3从设定文件CF1读出与表示指定位置A’的坐标数据对应的对象声源位置A距地板面BL的高度HA的数据，并使用读出的高度HA的数据，算出从全方位麦克风阵列装置2的设置位置M朝向对象声源位置A的收音指向坐标(θMAh、θMAv)。全方位麦克风阵列装置2使用指向性控制装置3算出的收音指向坐标(θMAh、θMAv)的坐标数据，在从全方位麦克风阵列装置2的设置位置M朝向对象声源位置A的方向上形成收音指向性。
接下来，关于本实施方式的指向性控制系统10的初始设定的动作次序，参照图35(A)进行说明。图35(A)是说明第七实施方式的指向性控制系统10的初始设定的动作次序的流程图。在初始设定中，包括例如相机装置11～1n或全方位麦克风阵列装置2被初始设置的动作、取得收音指向方向计算部34b为了算出收音指向方向所需的输入参数的动作，在以下的各实施方式中也同样。
在图35(A)中，以将构成指向性控制系统10的相机装置11及全方位麦克风阵列装置2固定于预定的位置(例如店铺内的顶棚面或台座)的方式进行初始设置(ST1)。相机装置11及全方位麦克风阵列装置2分别设置在不同的位置(参照图34(A))。
在初始设置了相机装置11及全方位麦克风阵列装置2之后，进行收音指向方向计算部34b为了算出收音指向坐标(θMAh、θMAv)所需的各输入参数的测定(ST2)。在步骤ST2中，包括用户使用测定器(例如激光测距计)进行测定的情况、或者相机装置11使用相机装置11自身的公知技术的功能进行测定并取得的情况。步骤ST2的各输入参数按照收音指向坐标的各计算方法而不同，详情参照图36～图38进行说明。
在步骤ST2之后，在步骤ST2中测定出的各输入参数从相机装置11向指向性控制装置3的信号处理部33输入，或者从操作部32向信号处理部33输入(ST3)。例如相机装置11将通过相机装置11自身的公知技术的功能而取得的输入参数向指向性控制装置3的通信部31发送。通信部31将相机装置11发送的输入参数向信号处理部33输出。而且，操作部32根据用户的输入操作，将作为输入参数的一例的对象声源位置A距地板面BL的高度HA的数据向信号处理部33输出。
信号处理部33生成包含步骤ST3中取得的各输入参数的设定文件CF1，并保存于存储器38(ST4)。由此，指向性控制系统10的初始设定的动作结束。
接下来，关于本实施方式的指向性控制系统10的初始设定后的动作次序，参照图35(B)进行说明。图35(B)是说明第七实施方式的指向性控制系统10的初始设定后的动作次序的流程图。
在图35(B)中，指向性控制装置3经由操作部32，从图34(B)所示的显示器装置36上显示的影像数据之中接受指定位置A’的指定(ST11)。指向性控制装置3将在显示器装置36上显示的影像数据之中接受了指定位置A’的指定的内容向相机装置11发送。
在步骤ST11之后，相机装置11在从指向性控制装置3接收到接受了指定位置A’的指定的内容的情况下，取得以相机装置11的设置位置C为起点到与步骤ST11中所指定的指定位置A’对应的对象声源位置A的水平角及垂直角(θCAh、θCAv)的坐标数据(ST12)。
相机装置11将以相机装置11的设置位置C为起点到与步骤ST11中所指定的指定位置A’对应的对象声源位置A的水平角及垂直角(θCAh、θCAv)的坐标数据向指向性控制装置3发送。
指向性控制装置3的信号处理部33的声源高度判定部34a从在步骤ST4中存储于存储器38的设定文件CF1读出与指定位置A’的坐标数据对应的对象声源位置A距地板面BL的高度数据。声源高度判定部34a将与读出的指定位置A’的坐标数据对应的对象声源位置A距地板面BL的高度数据判定为与指定位置A’对应的对象声源位置A距地板面BL的高度HA。
而且，指向性控制装置3的信号处理部33的收音指向方向计算部34b使用从相机装置11到对象声源位置A的水平角及垂直角(θCAh、θCAv)的坐标数据和从设定文件CF1读出的各输入参数(包括与指定位置A’对应的对象声源位置A距地板面BL的高度HA)，算出从全方位麦克风阵列装置2的设置位置M朝向对象声源位置A的收音指向坐标(θMAh、θMAv)(ST13)。关于收音指向坐标(θMAh、θMAv)的计算处理，参照图36及图37详细叙述。
指向性控制装置3将在步骤ST13中算出的包含收音指向坐标(θMAh、θMAv)的坐标数据的指向性形成指示向全方位麦克风阵列装置2发送。全方位麦克风阵列装置2根据来自指向性控制装置3的指向性形成指示，在通过指向性控制装置3算出的收音指向坐标(θMAh、θMAv)表示的收音指向方向上形成各个麦克风单元22、23的收音指向性(ST14)。
由此，全方位麦克风阵列装置2能够增大从通过形成有收音指向性的收音指向坐标(θMAh、θMAv)表示的收音指向方向收音到的声音数据的音量等级，并能够减小从未形成收音指向性的方向收音到的声音数据的音量等级。由此，指向性控制系统10的初始设定后的动作结束。
另外，在本实施方式的指向性控制系统10中，全方位麦克风阵列装置2对声音进行收音的时机没有限定为紧接着步骤ST14之后，例如也可以是全方位麦克风阵列装置2的电源接通之后。
(表示全方位麦克风阵列装置2的收音指向方向的坐标(θMAh、θMAv)的计算方法)
在此，关于指向性控制装置3的信号处理部33的收音指向方向计算部34b算出全方位麦克风阵列装置2的收音指向坐标(θMAh、θMAv)的方法，参照图36及图37进行详细说明。
图36(A)是表示相机装置11、全方位麦克风阵列装置2、基准点O及对象声源位置A的各位置的立体图。图36(B)是从图36(A)的铅垂上方向观察铅垂下方向的水平方向俯视图。图36(C)是图36(B)的K-K’线的垂直方向剖视图。
图37(A)是表示相机装置11、全方位麦克风阵列装置2、基准点O及对象声源位置A的各位置的立体图。图37(B)是从图37(A)的铅垂上方向观察铅垂下方向的水平方向俯视图。图37(C)是图37(B)的Q-Q’线的垂直方向剖视图。
收音指向方向计算部34b基于(1)相机装置11与全方位麦克风阵列装置2之间的距离LCM、(2)从相机装置11到对象声源位置A的水平角θCAh及垂直角θCAv、(3)相机装置11、全方位麦克风阵列装置2距地板面BL的各高度HC、HM(HC＝HM)、(4)对象声源位置A距地板面BL的高度HA，算出全方位麦克风阵列装置2的收音指向坐标(θMAh、θMAv)。
在本计算方法中，图35(A)所示的步骤ST2的输入参数是(1)相机装置11与全方位麦克风阵列装置2之间的距离LCM、(3)相机装置11、全方位麦克风阵列装置2距地板面BL的各高度HC、HM(HC＝HM)。
而且，本计算方法的各输入参数中，(1)相机装置11与全方位麦克风阵列装置2之间的距离LCM是例如在图35(A)所示的步骤ST1的初始设置时测定出的固定值。(3)相机装置11、全方位麦克风阵列装置2距地板面BL的各高度HC、HM(HC＝HM)例如是在图35(A)所示的步骤ST1的初始设置时测定出的固定值。而且，为了简化说明，相机装置11、全方位麦克风阵列装置2距地板面BL的各高度HC、HM相等而进行说明，但也可以不同。
而且，本计算方法的各输入参数中，(2)从相机装置11到对象声源位置A的水平角θCAh及垂直角θCAv在图35(B)所示的步骤ST12中通过相机装置11的公知技术的功能来取得。
而且，在本计算方法中，(4)对象声源位置A距地板面BL的高度HA是由指向性控制装置3的信号处理部33的声源高度判定部34a判定的固定值，即在图35(A)所示的步骤ST4中写入到设定文件CF1的固定值(预定值)。
以下，关于收音指向方向计算部34b的全方位麦克风阵列装置2的收音指向坐标(θMAh、θMAv)的计算方法，具体地进行说明。
收音指向方向计算部34b在图36(C)所示的△CAP中，使用相机装置11、全方位麦克风阵列装置2距地板面BL的各高度HC、HM、从相机装置11到对象声源位置A的垂直角θCAv，按照数学式(58)算出从相机装置11到对象声源位置A的距离LCA的水平分量的距离LCAh。
收音指向方向计算部34b使用数学式(64)的计算结果、从相机装置11到对象声源位置A的水平角θCAh、相机装置11与全方位麦克风阵列装置2之间的距离LCM，根据图36(B)所示的对于△CAM的余弦定理，按照数学式(72)算出从全方位麦克风阵列装置2到对象声源位置A的距离的水平分量的距离LMAh。
[数学式72]
收音指向方向计算部34b使用数学式(64)、(72)的各计算结果、相机装置11与全方位麦克风阵列装置2之间的距离LCM，根据图36(B)所示的对于△CAM的余弦定理，按照数学式(73)算出从全方位麦克风阵列装置2朝向对象声源位置A的俯角θMA的水平角θMAh的余弦值cosθMAh。
由此，收音指向方向计算部34b按照数学式(74)，能够算出从全方位麦克风阵列装置2到对象声源位置A的俯角θMA的水平角θMAh。
[数学式73]
[数学式74]
而且，收音指向方向计算部34b根据图37(C)所示的对于△MAS的正切，按照数学式(75)算出从全方位麦克风阵列装置2朝向对象声源位置A的俯角θMA的垂直角θMAv的正切值tanθMAv。
由此，收音指向方向计算部34b按照数学式(76)，能够算出从全方位麦克风阵列装置2到对象声源位置A的俯角θMA的垂直角θMAv。
[数学式75]
[数学式76]
由此，在本实施方式的指向性控制系统10中，指向性控制装置3的声源高度判定部34a在显示于显示器装置36的影像数据的显示画面上，根据用户对指定位置A’的指定，判定与所指定的影像数据的指定位置A’对应的对象声源位置A距地板面BL的高度HA。指向性控制装置3的收音指向方向计算部34b基于对象声源位置A距地板面BL的高度HA，算出表示从全方位麦克风阵列装置2朝向与所指定的指定位置A’对应的对象声源位置A的收音指向方向的收音指向坐标。指向性控制装置3的输出控制部34c在通过算出的收音指向坐标表示的收音指向方向上，将声音的收音指向性形成于全方位麦克风阵列装置2。
由此，在指向性控制系统10中，指向性控制装置3能够唯一地判定在收音空间K内存在于相机装置11拍摄的拍摄方向上的对象物的对象声源位置A距地板面BL的高度HA，基于对象声源位置A距地板面BL的高度HA，能够准确地算出从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向。而且，指向性控制装置3在算出的收音指向方向上，能够将声音的收音指向性形成于全方位麦克风阵列装置2。
而且，在本实施方式的指向性控制系统10中，在指向性控制装置3的存储器38中存储有例如包含将根据用户的输入操作而指定的影像数据的指定位置A’所对应的对象声源位置A与对象声源位置A距地板面BL的高度(固定值)预先建立对应而得到的第一设定数据的设定文件CF1。
因此，声源高度判定部34a基于设定文件CF1的第一设定数据，能够简易地判定例如根据用户的输入操作而指定的指定位置A’所对应的对象声源位置A距地板面BL的高度HA。
(第八实施方式)
在第八实施方式中，指向性控制装置3A将对象声源位置A距地板面BL的高度的选择项显示于显示器装置36，例如催促用户选择任一选择项。指向性控制装置3A根据任一选择项的选择，判定对象声源位置A距地板面BL的高度。
图38(A)是表示第八实施方式的指向性控制系统10A的系统结构的框图。图38(B)是表示显示于显示器装置36的、影像数据的显示画面WD1和用于选择对象声源位置A距地板面BL的高度HA的选择画面WD2的图。图38(A)所示的指向性控制系统10A包括至少一个相机装置11～1n、全方位麦克风阵列装置2、指向性控制装置3A及记录器装置4。
指向性控制装置3A包括通信部31、操作部32、信号处理部33A、显示器装置36、扬声器装置37及存储器38A。信号处理部33A至少包括声源高度判定部34aA、收音指向方向计算部34b及输出控制部34cA。图38(A)所示的构成指向性控制系统10A的各部的动作与图33所示的构成指向性控制系统10的各部的动作相同的情况标注同一附图标记而省略或简化说明，对不同的内容进行说明。
在本实施方式中，存储器38A存储图38(A)所示的设定文件CF2。在设定文件CF2中至少包含例如相机装置11距地板面BL的高度HC的数据、全方位麦克风阵列装置2距地板面BL的高度HM的数据、例如与作为相机装置11拍摄的影像数据的预定的指定位置A’对应的对象声源位置A距地板面BL的高度HA的选择项的多个种类的高度数据(第二设定数据)。
例如如图38(A)及图38(B)所示，在第二设定数据中，对象声源高度HA-A是假定了成人男性的平均身高的170cm，对象声源高度HA-B是假定了成人女性的平均身高的150cm，对象声源高度HA-A是假定了小孩的身高的120cm。信号处理部33A的输出控制部34cA读出存储器38A的设定文件CF2，将包含用于选择与通过用户的手指FG指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA的选择项的选择画面WD2显示于显示器装置36。
信号处理部33A的声源高度判定部34aA将与在选择画面WD2上通过用户的手指FG选择的选择项对应的对象声源高度(例如对象声源高度HA-A)判定为与在图38(B)所示的影像数据的显示画面WD1上通过用户的手指FG指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA。
接下来，关于本实施方式的指向性控制系统10A的初始设定的动作次序，参照图39(A)进行说明。图39(A)是说明第八实施方式的指向性控制系统10A的初始设定的动作次序的流程图。在图39(A)所示的流程图中，对于与图35(A)所示的流程图相同内容的步骤，标注同一步骤编号并省略或简化说明，对不同的内容进行说明。
在图39(A)中，在步骤ST2之后，在步骤ST2中测定出的各输入参数从相机装置11向指向性控制装置3A的信号处理部33A输入，或者从操作部32向信号处理部33A输入(ST3A)。例如，操作部32根据用户的输入操作，将作为输入参数的一例的对象声源位置A距地板面BL的高度HA的作为选择项的多个种类的高度数据(第二设定数据)向信号处理部33A输出。
信号处理部33A生成包含步骤ST3中取得的各输入参数的设定文件CF2并保存于存储器38A(ST4)。由此，指向性控制系统10A的初始设定的动作结束。
接下来，关于本实施方式的指向性控制系统10A的初始设定后的动作次序，参照图39(B)进行说明。图39(B)是说明第八实施方式的指向性控制系统10A的初始设定后的动作次序的流程图。在图39(B)所示的流程图中，对于与图35(B)所示的流程图相同内容的步骤，标注同一步骤编号并省略或简化说明，对不同的内容进行说明。
在图39(B)中，在步骤ST12之后，输出控制部34cA读出存储器38A的设定文件CF2，将包含用于选择与通过用户的手指FG指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA的选择项的选择画面WD2显示于显示器装置36(参照图38(B))。
在此，在选择画面WD2上，通过用户的手指FG，选择用于选择对象声源位置A距地板面BL的高度HA的多个选择项中的任一选择项(ST15)。声源高度判定部34aA将与通过用户的手指FG选择的选择项对应的对象声源高度(例如对象声源高度HA-A)判定为与在图38(B)所示的影像数据的显示画面WD1上通过用户的手指FG指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA。
指向性控制装置3A的信号处理部33A的收音指向方向计算部34b使用从相机装置11到对象声源位置A的水平角及垂直角(θCAh、θCAv)的坐标数据、根据在步骤ST15中选择的选择项而判定出的对象声源位置A距地板面BL的高度HA，算出从全方位麦克风阵列装置2的设置位置M朝向对象声源位置A的收音指向坐标(θMAh、θMAv)(ST13A)。步骤ST13A的计算内容及步骤ST14的动作内容与上述的第七实施方式的计算内容及动作内容相同，因此省略说明。由此，指向性控制系统10A的初始设定后的动作结束。
由此，在本实施方式的指向性控制系统10A中，在指向性控制装置3A的存储器38A存储有包含多个种类的高度HA-A、HA-B、HA-D、…的高度数据(第二设定数据)作为对象声源位置A距地板面BL的高度的设定文件CF2。指向性控制装置3A的输出控制部34cA将设定文件CF2的第二设定数据的多个种类的高度数据的选择项作为对象声源位置A距地板面BL的高度而显示于显示器装置36。
因此，指向性控制装置3A的声源高度判定部34aA根据所显示的多个种类的高度数据的选择项中的任一选择，能够简易地判定例如与根据用户的输入操作而指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA。
而且，在本实施方式的指向性控制系统10A中，也与第七实施方式的指向性控制系统10同样，指向性控制装置3A能够唯一地判定收音空间K内存在于相机装置11拍摄的拍摄方向上的对象物的对象声源位置A距地板面BL的高度HA，基于对象声源位置A距地板面BL的高度HA，能够准确地算出从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向。而且，指向性控制装置3能够在算出的收音指向方向上将声音的收音指向性形成于全方位麦克风阵列装置2。
(第九实施方式)
在第九实施方式中，指向性控制装置3B将用于直接输入对象声源位置A距地板面BL的高度的输入表格画面WD3显示于显示器装置36，例如催促用户进行输入。指向性控制装置3B将向输入表格画面WD3输入的数据判定为对象声源位置A距地板面BL的高度HA。
图40(A)是表示第九实施方式的指向性控制系统10B的系统结构的框图。图40(B)是表示显示器装置36上显示的、影像数据的显示画面WD1和用于输入对象声源位置A距地板面BL的高度的输入表格画面WD3的图。图40(A)所示的指向性控制系统10B包括至少一个相机装置11～1n、全方位麦克风阵列装置2、指向性控制装置3B及记录器装置4。
指向性控制装置3B包括通信部31、操作部32、信号处理部33B、显示器装置36、扬声器装置37及存储器38B。信号处理部33B至少包括声源高度判定部34aB、收音指向方向计算部34b及输出控制部34cB。图40(A)所示的构成指向性控制系统10B的各部的动作与图33所示的构成指向性控制系统10的各部的动作相同的情况标注同一附图标记而省略或简化说明，对不同的内容进行说明。
在本实施方式中，存储器38B存储图40(A)所示的设定文件CF3。在设定文件CF2中至少包含例如相机装置11距地板面BL的高度HC的数据和全方位麦克风阵列装置2距地板面BL的高度HM的数据，在以下的第十实施方式中也同样。
信号处理部33B的输出控制部34cB将用于让用户直接输入与通过用户的手指FG指定的指定位置A’对应的对象声源位置A距地板面BL的高度的输入表格画面WD3显示于显示器装置36。
信号处理部33B的声源高度判定部34aB将向输入表格画面WD3输入的对象声源位置A距地板面BL的高度的数值判定为用户所希望的对象声源位置A距地板面BL的高度HA。
接下来，关于本实施方式的指向性控制系统10B的初始设定的动作次序，参照图41(A)进行说明。图41(A)是说明第九实施方式的指向性控制系统10B的初始设定的动作次序的流程图。在图41(A)所示的流程图中，对于与图35(A)所示的流程图相同内容的步骤标注同一步骤编号而省略或简化说明，对不同的内容进行说明。
在图41(A)中，在步骤ST2之后，在步骤ST2中测定出的各输入参数从相机装置11向指向性控制装置3B的信号处理部33B输入，或者从操作部32向信号处理部33B输入(ST3B)。另外，在步骤ST3B中，与图35(A)所示的步骤ST3或图40(A)所示的步骤ST3A不同，输入参数中不包含对象声源位置A距地板面BL的高度HA。
信号处理部33B生成包含步骤ST3B中取得的各输入参数的设定文件CF3而保存于存储器38A(ST4)。由此，指向性控制系统10B的初始设定的动作结束。
接下来，关于本实施方式的指向性控制系统10B的初始设定后的动作次序，参照图41(B)进行说明。图41(B)是说明第九实施方式的指向性控制系统10B的初始设定后的动作次序的流程图。在图41(B)所示的流程图中，对于与图35(B)所示的流程图相同内容的步骤标注同一步骤编号而省略或简化说明，对不同的内容进行说明。
在图41(B)中，在步骤ST12之后，输出控制部34cB将用于让用户直接输入与通过用户的手指FG指定的指定位置A’对应的对象声源位置A距地板面BL的高度的输入表格画面WD3显示于显示器装置36(参照图40(B))。
在此，在输入表格画面WD3上，通过用户的输入操作(例如手指FG的输入或来自键盘(未图示)的输入)，作为对象声源位置A距地板面BL的高度的数值被直接输入(ST16)。声源高度判定部34aB将向输入表格画面WD3输入的对象声源位置A距地板面BL的高度的数值判定为用户所希望的对象声源位置A距地板面BL的高度HA。
指向性控制装置3B的信号处理部33B的收音指向方向计算部34b使用从相机装置11到对象声源位置A的水平角及垂直角(θCAh、θCAv)的坐标数据、根据步骤ST16中的向输入表格画面WD3的输入而判定出的对象声源位置A距地板面BL的高度HA，算出全方位麦克风阵列装置2的从设置位置M朝向对象声源位置A的收音指向坐标(θMAh、θMAv)(ST13B)。步骤ST13B的计算内容及步骤ST14的动作内容与上述的第七实施方式的计算内容及动作内容相同，因此省略说明。由此，指向性控制系统10B的初始设定后的动作结束。
由此，在本实施方式的指向性控制系统10B中，指向性控制装置3B的输出控制部34cB将用于直接输入对象声源位置A距地板面BL的高度的输入表格画面WD3显示于显示器装置36。
因此，指向性控制装置3B的声源高度判定部34aB根据对象声源位置A距地板面BL的高度向所显示的输入表格画面WD3的输入，能够准确地判定用户所希望的对象声源位置A距地板面BL的高度。由此，指向性控制装置3B的收音指向方向计算部34b能够准确地算出从全方位麦克风阵列装置2朝向与所指定的指定位置A’对应的对象声源位置A的收音指向方向的收音指向坐标。
而且，在本实施方式的指向性控制系统10B中，也与第七实施方式的指向性控制系统10同样，指向性控制装置3B能够唯一地判定收音空间K内存在于相机装置11拍摄的拍摄方向上的对象物的对象声源位置A距地板面BL的高度HA，基于对象声源位置A距地板面BL的高度HA，能够准确地算出从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向。而且，指向性控制装置3B能够在算出的收音指向方向上将声音的收音指向性形成于全方位麦克风阵列装置2。
(第十实施方式)
在第十实施方式中，在显示于显示器装置36的影像数据的显示画面WD4上，例如通过用户的手指FG指定了对象物(例如人物)的周围的第一指定位置A1’和第二指定位置A1’的铅垂下方向(正下方)的地板面BL上的第二指定位置A2’时，指向性控制装置3C算出与第一指定位置A1’对应的对象声源位置A1距地板面BL的高度。指向性控制装置3C将算出的高度判定为对象声源位置A1距地板面BL的高度HA1。
图42(A)是表示第十实施方式的指向性控制系统10C的系统结构的框图。图42(B)是表示在显示于显示器装置36的影像数据的显示画面WD4上指定了第一指定位置A1’和第二指定位置A2’的情况的图。图42(A)所示的指向性控制系统10C包括至少一个相机装置11～1n、全方位麦克风阵列装置2、指向性控制装置3B及记录器装置4。
指向性控制装置3C包括通信部31、操作部32、信号处理部33C、显示器装置36、扬声器装置37及存储器38B。信号处理部33C至少包括声源高度判定部34aC、收音指向方向计算部34b及输出控制部34c。图42(A)所示的构成指向性控制系统10C的各部的动作与图33所示的构成指向性控制系统10的各部的动作相同的情况标注同一附图标记而省略或简化说明，对不同的内容进行说明。
在显示于显示器装置36的影像数据的显示画面WD4上，例如通过用户的手指FG指定了第一指定位置A1’和与第一指定位置A1’对应的地板面BL上的第二指定位置A2’时，信号处理部33C的高度判定部34aC算出与所指定的第一指定位置A1’对应的对象声源位置A1距地板面BL的高度。
另外，本实施方式的指向性控制系统10C的初始设定的动作次序(参照图43(A))与图41(A)所示的第十实施方式的指向性控制系统10B的初始设定的动作次序相同，因此省略说明。图43(A)是说明第十实施方式的指向性控制系统10C的初始设定的动作次序的流程图。
接下来，关于本实施方式的指向性控制系统10C的初始设定后的动作次序，参照图43(B)进行说明。图43(B)是说明第十实施方式的指向性控制系统10C的初始设定后的动作次序的流程图。在图43(B)所示的流程图中，对于与图35(B)所示的流程图相同内容的步骤，标注同一步骤编号而省略或简化说明，对不同的内容进行说明。
在图43(B)中，指向性控制装置3C经由操作部32从图42(B)所示的显示于显示器装置36的影像数据的显示画面WD4接受第一指定位置A1’及第二指定位置A2’的指定(ST11C)。指向性控制装置3C将在显示于显示器装置36的影像数据的显示画面WD4中接受了第一指定位置A1’及第二指定位置A2’的指定的内容向相机装置11发送。
在步骤ST11C之后，相机装置11从指向性控制装置3C接收到接受了第一指定位置A1’及第二指定位置A2’的指定的内容的情况下，取得以相机装置11的设置位置C为起点到步骤ST11C中指定的第一指定位置A1’所对应的对象声源位置A1的水平角及垂直角(θCA1h、θCA1v)的坐标数据、到步骤ST11C中指定的第二指定位置A2’所对应的位置A2的水平角及垂直角(θCA2h、θCA2v)的坐标数据(ST12C)。
相机装置11将以相机装置11的设置位置C为起点到步骤ST11C中指定的第一指定位置A1’所对应的对象声源位置A1的水平角及垂直角(θCA1h、θCA1v)的坐标数据、到第二指定位置A2’所对应的位置A2的水平角及垂直角(θCA2h、θCA2v)的坐标数据向指向性控制装置3C发送。
指向性控制装置3C的信号处理部33C的高度判定部34aC使用从相机装置11发送的(θCA1h、θCA1v)的坐标数据及(θCA2h、θCA2v)的坐标数据，算出与通过用户的手指FG指定的第一指定位置A1’对应的对象声源位置A1距地板面BL的高度HA1(ST17)。关于步骤ST17的详情，参照图44及图45在后文叙述。
指向性控制装置3C的信号处理部33C的收音指向方向计算部34b使用从相机装置11到对象声源位置A1的水平角及垂直角(θCAh、θCAv)的坐标数据、在步骤ST17中算出的对象声源位置A1距地板面BL的高度HA1，算出从全方位麦克风阵列装置2的设置位置M朝向对象声源位置A的收音指向坐标(θMAh、θMAv)(ST13C)。步骤ST13C的计算内容及步骤ST14的动作内容与上述的第七实施方式的计算内容及动作内容相同，因此省略说明。由此，指向性控制系统10C的初始设定后的动作结束。
(对象声源位置A1距地板面BL的高度HA1的计算方法)
在此，关于指向性控制装置3C的信号处理部33C的声源高度判定部34aC算出对象声源位置A1距地板面BL的高度HA1的方法(以下，称为“真正高度计算方法”)，参照图44及图45，详细地进行说明。
图44(A)是从相机装置11向存在于地板面BL上的对象物(人物)的对象声源位置A1及对象声源位置A1的铅垂下方向的地板面BL上的位置A2的距离及方向的说明图。图44(B)是从铅垂上方向朝铅垂下方向观察相机装置11和对象声源位置A1及地板面BL上的位置A2的俯视图。图44(C)是图44(B)的A-A’剖视图。
图45(A)是从相机装置11向存在于在地板面BL上设置的台RC上的对象物(人物)的对象声源位置A1及对象声源位置A1的铅垂下方向的台RC上的位置A2的距离及方向的说明图。图45(B)是从铅垂上方向朝铅垂下方向观察相机装置11和对象声源位置A1及台RC上的位置A2的俯视图。图45(C)是图45(B)的A-A’剖视图。
声源高度判定部34aC基于(1)相机装置11距地板面BL的高度HC、(2)从相机装置11到对象声源位置A1的距离(水平分量)LCA1h及角度(垂直角)θCA1v、(3)从相机装置11到地板面BL上的位置A2的距离(水平分量)LCA2h及角度(垂直角)θCA2v，算出与所指定的第一指定位置A1’对应的对象声源位置A1距地板面BL的高度HA1。
在真正高度计算方法中，图43(A)所示的步骤ST2的输入参数是相机装置11距地板面BL的高度HC。而且，从相机装置11到对象声源位置A1的角度(垂直角)θCA1v、从相机装置11到地板面BL上的位置A2的角度(垂直角)θCA2v在步骤ST12C中从相机装置11得到。
以下，关于声源高度判定部34aC算出对象声源位置A1距地板面BL的高度HA1的计算方法(真正高度计算方法)，具体进行说明。
声源高度判定部34aC根据图44(C)所示的对于△CA1Q的正切，按照数学式(77)算出从相机装置11朝向对象声源位置A1的拍摄方向的垂直角θCA1v的正切值tanθCA1v。在数学式(77)中，LCA1h是从相机装置11到对象声源位置A1的距离的水平分量。
[数学式77]
同样，声源高度判定部34aC根据图44(C)所示的对于△CA2Q的正切，按照数学式(78)算出从相机装置11朝向地板面BL上的位置A2的拍摄方向的垂直角θCA2v的正切值tanθCA2v。在数学式(78)中，LCA2h是从相机装置11到地板面BL上的位置A2的距离的水平分量。
[数学式78]
在此，对象声源位置A1与地板面BL上的位置A2虽然在图44(A)所示的铅垂上方向或铅垂下方向上的坐标不同，但是水平分量的坐标相同。因此，如图44(B)所示，从相机装置11到对象声源位置A1的距离LCA1的水平分量LCA1h与从相机装置11到地板面BL上的位置A2的距离LCA2的水平分量LCA2h相等(参照数学式(79))。
[数学式79]
LCA1h＝LCA2h…(79)
因此，声源高度判定部34aC使用数学式(77)～(79)的各计算结果，按照数学式(80)算出对象声源位置A1距地板面BL的高度HA1。
[数学式80]
而且，在对象物(人物)不存在于地板面BL上而存在于在地板面BL上设置的预定的高度HD的台RC上的情况下(参照图45(A))，关于对象声源位置A1距地板面BL的高度HA1的计算方法也进行说明。
声源高度判定部34aC根据图45(C)所示的对于△CA1Q的正切，按照数学式(81)算出从相机装置11朝向对象声源位置A1的拍摄方向的垂直角θCA1v的正切值tanθCA1v。在数学式(81)中，LCA1h是从相机装置11到对象声源位置A1的距离的水平分量。
[数学式81]
同样，声源高度判定部34aC根据图45(C)所示的对于△CA2Q的正切，按照数学式(82)算出从相机装置11朝向台RC上的位置A2的拍摄方向的垂直角θCA2v的正切值tanθCA2v。在数学式(82)中，LCA2h是从相机装置11到台RC上的位置A2的距离的水平分量。
[数学式82]
在此，对象声源位置A1与台RC上的位置A2虽然在图45(A)所示的铅垂上方向或铅垂下方向上坐标不同，但是水平分量的坐标相同。因此，如图45(B)所示，从相机装置11到对象声源位置A1的距离LCA1的水平分量LCA1h与从相机装置11到台RC上的位置A2的距离LCA2的水平分量LCA2h相等(参照数学式(79))。
因此，声源高度判定部34aC使用数学式(79)、(81)及(82)的各计算结果，按照数学式(83)算出对象声源位置A1距地板面BL的高度HA1。
[数学式83]
由此，在本实施方式的指向性控制系统10C中，指向性控制装置3C的声源高度判定部34aC根据显示于显示器装置36的影像数据的第一指定位置A1’和与第一指定位置A1’对应的地板面BL上的第二指定位置A2’的指定，能够准确地算出与所指定的第一指定位置A1’对应的对象声源位置A1距地板面BL的高度。
因此，指向性控制装置3C不需要生成将与影像数据的指定位置对应的对象声源位置与对象声源位置距地板面BL的高度预先建立对应的设定文件，不用将对象声源位置距地板面BL的高度的选择项或输入表格显示于显示器装置36，根据2个指定位置的指定这样简易的指定操作，就能够准确地算出用户所希望的对象声源位置A1距地板面BL的高度。
而且，在本实施方式的指向性控制系统10C中，与第七实施方式的指向性控制系统10同样，指向性控制装置3C能够唯一地判定在收音空间K内存在于相机装置11拍摄的拍摄方向上的对象物的对象声源位置A1距地板面BL的高度HA，基于对象声源位置A1距地板面BL的高度HA1，能够准确地算出从全方位麦克风阵列装置2朝向对象声源位置A1的收音指向方向。而且，指向性控制装置3C在算出的收音指向方向上，能够将声音的收音指向性形成于全方位麦克风阵列装置2。
以下，说明上述的本发明的指向性控制系统及指向性控制方法的结构、作用及效果。
本发明的一实施方式是指向性控制系统，具备：至少一个拍摄部，拍摄影像；收音部，对声音进行收音；显示部，显示由上述至少一个拍摄部拍摄到的影像数据；高度判定部，根据上述影像数据的位置指定，判定与所指定的上述影像数据的指定位置对应的对象声源位置距基准面的高度；收音指向方向计算部，基于上述对象声源位置距基准面的高度，算出从上述收音部朝向上述对象声源位置的收音指向方向；及控制部，在算出的上述收音指向方向上，将上述声音的收音指向性形成于上述收音部。
在上述的结构中，指向性控制装置3的声源高度判定部34a根据显示于显示器装置36的影像数据中的用户对指定位置A’的指定，判定与所指定的影像数据的指定位置A’对应的对象声源位置A距地板面BL的高度HA。指向性控制装置3的收音指向方向计算部34b基于对象声源位置A距地板面BL的高度HA，算出从全方位麦克风阵列装置2朝向与所指定的指定位置A’对应的对象声源位置A的收音指向方向。指向性控制装置3的输出控制部34c在算出的收音指向方向上，将声音的收音指向性形成于全方位麦克风阵列装置2。
由此，在指向性控制系统10中，指向性控制装置3能够唯一地判定收音空间K内存在于相机装置11拍摄的拍摄方向上的对象物的对象声源位置A距地板面BL的高度HA，基于对象声源位置A距地板面BL的高度HA，能够准确地算出从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向。而且，指向性控制装置3能够在算出的收音指向方向上，将声音的收音指向性形成于全方位麦克风阵列装置2。
而且，本发明的一实施方式的指向性控制系统中，还具备存储部，该存储部存储将与上述影像数据的指定位置对应的对象声源位置与上述对象声源位置距基准面的高度预先建立对应的第一设定数据，上述高度判定部基于上述第一设定数据，判定与所指定的上述指定位置对应的对象声源位置距基准面的高度。
在上述的结构中，在指向性控制装置3的存储器38存储有设定文件CF1，该设定文件CF1包含例如将与根据用户的输入操作而指定的影像数据的指定位置A’对应的对象声源位置A与对象声源位置A距地板面BL的高度预先建立对应的第一设定数据。
因此，声源高度判定部34a基于设定文件CF1的第一设定数据，能够简易地判定例如与根据用户的输入操作而指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA。
而且，本发明的一实施方式的指向性控制系统中，还具备存储部，该存储部存储包含多种高度数据的第二设定数据作为上述对象声源位置距基准面的高度，上述控制部将上述第二设定数据的上述多种高度数据的选择项作为上述对象声源位置距基准面的高度而显示于上述显示部，上述高度判定部根据所显示的上述多种高度数据的选择项中的任一选择，判定与所指定的上述指定位置对应的对象声源位置距基准面的高度。
在上述的结构中，在指向性控制装置3A的存储器38A中存储有包含多个种类的高度HA-A、HA-B、HA-D、…的高度数据(第二设定数据)作为对象声源位置A距地板面BL的高度的设定文件CF2。指向性控制装置3A的输出控制部34cA将设定文件CF2的第二设定数据的多个种类的高度数据的选择项作为对象声源位置A距地板面BL的高度而显示于显示器装置36。
因此，指向性控制装置3A的声源高度判定部34aA根据所显示的多个种类的高度数据的选择项中的任一选择，能够简易地判定例如与根据用户的输入操作而指定的指定位置A’对应的对象声源位置A距地板面BL的高度HA。
而且，本发明的一实施方式的指向性控制系统中，上述控制部将上述对象声源位置距基准面的高度的输入表格显示于上述显示部，上述高度判定部根据上述对象声源位置距基准面的高度向所显示的上述输入表格的输入，判定与所指定的上述指定位置对应的对象声源位置距基准面的高度。
在上述的结构中，指向性控制装置3B的输出控制部34cB将用于直接输入对象声源位置A距地板面BL的高度的输入表格画面WD3显示于显示器装置36。
因此，指向性控制装置3B的声源高度判定部34aB根据对象声源位置A距地板面BL的高度向所显示的输入表格画面WD3的输入，能够准确地判定用户所希望的对象声源位置A距地板面BL的高度。由此，指向性控制装置3B的收音指向方向计算部34b能够准确地算出从全方位麦克风阵列装置2朝向与所指定的指定位置A’对应的对象声源位置A的收音指向方向。
而且，本发明的一实施方式的指向性控制系统中，上述高度判定部根据所显示的上述影像数据的第一指定位置和与上述第一指定位置对应的上述基准面上的第二指定位置的指定，算出与所指定的上述第一指定位置对应的上述对象声源位置距基准面的高度。
在上述的结构中，指向性控制装置3C的高度判定部34aC根据显示于显示器装置36上的影像数据的第一指定位置A1’和与第一指定位置A1’对应的地板面BL上的第二指定位置A2’的指定，能够准确地算出与所指定的第一指定位置A1’对应的对象声源位置A1距地板面BL的高度。
因此，指向性控制装置3C不需要生成将与影像数据的指定位置对应的对象声源位置与对象声源位置距地板面BL的高度预先建立对应的设定文件，不用将对象声源位置距地板面BL的高度的选择项或输入表格显示于显示器装置36，根据2个指定位置的指定这样简易的指定操作，就能够准确地算出用户所希望的对象声源位置A1距地板面BL的高度。
而且，本发明的一实施方式的指向性控制系统中，上述高度判定部基于上述至少一个拍摄部距上述基准面的高度、从上述至少一个拍摄部到与上述第一指定位置对应的上述对象声源位置的距离及角度和从上述至少一个拍摄部到与上述第二指定位置对应的上述基准面的位置的距离及角度，算出与所指定的上述第一指定位置对应的上述对象声源位置距基准面的高度。
在上述的结构中，指向性控制装置3C的声源高度判定部34aC基于相机装置11距地板面BL的高度HC、从相机装置11到第一指定位置A1’所对应的对象声源位置A1的距离LCA1h及角度θCA1v、从相机装置11到第二指定位置A2’所对应的地板面BL的位置A2的距离LCA2h及角度θCA2v，能够准确地算出与所指定的第一指定位置A1’对应的对象声源位置A1距地板面BL的高度。
而且，本发明的一实施方式是包括拍摄影像的至少一个拍摄部和对声音进行收音的收音部的指向性控制系统的指向性控制方法，该指向性控制方法具有以下步骤：显示由上述至少一个拍摄部拍摄到的影像数据；根据上述影像数据的位置指定，判定与所指定的上述影像数据的指定位置对应的对象声源位置距基准面的高度；基于上述对象声源位置距基准面的高度，算出从上述收音部朝向上述对象声源位置的收音指向方向；及在算出的上述收音指向方向上，将上述声音的收音指向性形成于上述收音部。
在上述的方法中，指向性控制装置3的声源高度判定部34a根据显示于显示器装置36的影像数据中的用户对指定位置A’的指定，判定与所指定的影像数据的指定位置A’对应的对象声源位置A距地板面BL的高度HA。指向性控制装置3的收音指向方向计算部34b基于对象声源位置A距地板面BL的高度HA，算出从全方位麦克风阵列装置2朝向与所指定的指定位置A’对应的对象声源位置A的收音指向方向。指向性控制装置3的输出控制部34c在算出的收音指向方向上，将声音的收音指向性形成于全方位麦克风阵列装置2。
由此，在指向性控制系统10中，指向性控制装置3能够唯一地判定收音空间K内存在于相机装置11拍摄的拍摄方向上的对象物的对象声源位置A距地板面BL的高度HA，基于对象声源位置A距地板面BL的高度HA，能够准确地算出从全方位麦克风阵列装置2朝向对象声源位置A的收音指向方向。而且，指向性控制装置3能够在算出的收音指向方向上，将声音的收音指向性形成于全方位麦克风阵列装置2。
以下后述的第十一实施方式涉及控制对声音进行收音的麦克风阵列装置的收音指向性的指向性控制系统及指向性控制方法。
在专利文献1中，例如假定电视会议系统的使用方式，并以相机装置、麦克风阵列装置、被摄体(例如发声者)存在于同一平面上的情况为前提。然而，在上述的监视系统中，相机装置、麦克风阵列装置、被摄体(例如店铺的店员、顾客)全部实际存在于同一平面上的情况较少。
例如相机装置及麦克风阵列装置从被摄体来看设置于上方(例如店铺的顶棚面)的情况较多，因此相机装置、麦克风阵列装置及被摄体不存在于平面的二维的坐标上，反而是存在于立体的三维的坐标上的情况较多。
因此，在上述的监视系统中，在麦克风阵列装置对相机装置拍摄的影像中的被摄体的会话进行收音的情况下，存在难以直接使用通过专利文献1的方法算出的表示麦克风阵列装置收音的方向的坐标(水平角、垂直角)的课题。
因此，当将麦克风阵列装置的收音范围仅使用相机的摇摄方向即水平方向的角度的专利文献1的控制系统应用于上述的监视系统时，麦克风阵列装置难以高精度地对相机装置的拍摄方向的声音进行收音。
而且，在上述的监视系统中，在相机装置与麦克风阵列装置一体地装入而配置在同轴上的情况下，相机装置的光轴与麦克风阵列装置的物理性的中心轴共用。因此，在麦克风阵列装置对存在于相机装置的拍摄方向上的被摄体的会话进行收音的情况下，表示麦克风阵列装置收音的方向(以下，称为“收音方向”)的坐标(水平角、垂直角)与表示相机装置的拍摄方向的坐标(水平角、垂直角)相同。
然而，在相机装置与麦克风阵列装置作为分体而配置于不同位置的情况下，相机装置的光轴与麦克风阵列装置的物理性的中心轴不同。因此，在麦克风阵列装置对存在于相机装置的拍摄方向上的被摄体的会话进行收音的情况下，存在表示麦克风阵列装置的收音方向的坐标(水平角、垂直角)与表示相机装置的拍摄方向的坐标(水平角、垂直角)不相同的课题。
因此，在本发明的第十一实施方式中，为了解决上述的以往的课题，说明以麦克风阵列装置为基准在朝向相机装置的拍摄图像的指定位置所对应的目的声源位置(或声音位置)的收音方向上形成收音指向性而高精度地对收音方向的声音进行收音的指向性控制系统及指向性控制方法的例子。
(第十一实施方式)
以下，作为本发明的指向性控制系统及指向性控制方法的第十一实施方式，关于例如收音系统及收音控制方法的实施方式(以下，称为“本实施方式”)，参照附图进行说明。本实施方式的收音系统用作在例如工厂、公共设施(例如图书馆、活动会场)或店铺(例如零售店、银行)设置的监视系统(包括有人监视系统及无人监视系统)。
另外，本发明也可以表现为具有构成收音系统的装置(例如后述的指向性控制装置)或构成收音系统的装置进行的各动作(步骤)的收音控制方法。
(收音系统的系统结构)
图47是表示本实施方式的收音系统10的系统结构的框图。图47所示的收音系统10是包括PTZ(Pan Tilt Zoom)相机装置1、全方位麦克风阵列装置2、指向性控制装置3、记录器装置4的结构。PTZ相机装置1、全方位麦克风阵列装置2、指向性控制装置3、记录器装置4经由网络NW而相互连接。网络NW可以是有线网络(例如内部网、因特网)，也可以是无线网络(例如无线LAN(Local Area Network))。在图47所示的收音系统10中，为了简化说明，PTZ相机装置1仅图示1台，但也可以是包含多个PTZ相机装置的结构。
以下，对构成收音系统10的各装置进行说明。
作为拍摄部的一例的PTZ相机装置1固定设置于例如店铺内的顶棚或台座(参照图48(A))上。PTZ相机装置1具有例如作为监视系统的监视相机的功能，通过来自与网络NW连接的监视控制室(未图示)的远距离操作，使用作为公知技术的在摇摄方向或倾斜方向上的框体驱动功能及变焦功能(例如缩小处理、放大处理)，拍摄存在于预定的收音区域(例如店铺内的既定的区域)的对象物(例如人物)。PTZ相机装置1经由网络NW，将通过拍摄而得到的拍摄图像数据向指向性控制装置3或记录器装置4发送。
在显示于显示器装置36的拍摄图像数据中，当通过用户的手指FG指定了校准用标记MAK、MAK3、校准用地板放置标记MAK2(参照后述)及全方位麦克风阵列装置2中的至少一个时，PTZ相机装置1从指向性控制装置3接收拍摄图像数据中的指定位置的坐标数据。PTZ相机装置1算出从PTZ相机装置1的设置位置到校准用标记MAK、MAK3、校准用地板放置标记MAK2及全方位麦克风阵列装置2中的至少一个的距离、方向的参数。PTZ相机装置1中的距离、方向的参数的计算处理是公知技术，因此省略说明。
而且，在后述的显示器装置36上显示的拍摄图像数据中，当通过用户的手指FG指定任意位置(例如指定位置A’)时，PTZ相机装置1从指向性控制装置3接收拍摄图像数据中的指定位置A’的坐标数据。PTZ相机装置1算出从PTZ相机装置1的设置位置到指定位置A’所对应的实际的现场的位置(目的声源位置A)的距离、方向的参数。PTZ相机装置1将从PTZ相机装置1的设置位置到校准用标记MAK、MAK3、校准用地板放置标记MAK2、全方位麦克风阵列装置2及目的声源位置A中的至少一个的距离、方向的参数向指向性控制装置3发送。
作为收音部的一例的全方位麦克风阵列装置2固定设置在例如店铺内的顶棚或台座(参照图48(A))上。全方位麦克风阵列装置2至少包括多个麦克风单元22、23(参照图2(A)～(E))均等设置的麦克风部和控制麦克风部的各麦克风单元22、23的动作的控制部(未图示)。
全方位麦克风阵列装置2根据从指向性控制装置3发送的指向性形成指示(参照后述)，在指向性形成指示所包含的收音方向坐标(θMAh、θMAv)表示的收音方向上形成各个麦克风单元22、23的收音指向性。全方位麦克风阵列装置2对各个麦克风单元22、23收音到的声音数据实施预定的声音处理，将通过预定的声音处理而得到的声音数据经由网络NW向指向性控制装置3或记录器装置4发送。
由此，全方位麦克风阵列装置2能够相对增大形成有收音指向性的收音方向的声音数据的音量等级，并能够相对减小未形成收音指向性的方向的声音数据的音量等级。另外，关于收音方向坐标(θMAh、θMAv)的计算方法，在后文叙述。
另外，关于全方位麦克风阵列装置2的外观，参照图2(A)～(E)在后文叙述。全方位麦克风阵列装置2的构成各麦克风单元22、23的麦克风可以是无指向性麦克风，也可以是双指向性麦克风、单一指向性麦克风、锐指向性麦克风、超指向性麦克风(例如枪式麦克风)或它们的组合。
指向性控制装置3可以是例如设置于监视控制室(未图示)的固定型的PC(Personal Computer)，也可以是用户能够便携的便携电话机、PDA(Personal DigitalAssistant)、平板终端、智能手机等数据通信终端。
指向性控制装置3至少包括通信部31、操作部32、信号处理部33、显示器装置36、扬声器装置37及存储器38。信号处理部33至少包括收音方向计算部34及输出控制部35。
通信部31接收PTZ相机装置1发送的拍摄图像数据或全方位麦克风阵列装置2发送的声音数据而向信号处理部33输出。
操作部32是用于将用户的输入操作的内容向信号处理部33通知的用户接口(UI：User Interface)，例如是鼠标、键盘等指点设备。而且，操作部32可以使用例如与显示器装置36的画面对应地配置并通过用户的手指FG或指示笔能够进行输入操作的触摸面板或触摸屏而构成。
操作部32在显示于显示器装置36的PTZ相机装置1的拍摄图像数据(参照图48(B))之中，将用户希望增大音量等级的范围即图48(B)所示的收音范围B中通过用户的手指FG指定的指定位置A’的坐标数据向信号处理部33输出。
而且，显示于显示器装置36的PTZ相机装置1的拍摄图像数据之中，当通过用户的手指FG指定校准用标记MAK、MAK3、校准用地板放置标记MAK2(参照后述)及全方位麦克风阵列装置2中的至少一个时，操作部32将所指定的位置的坐标数据向信号处理部33输出。
信号处理部33使用例如CPU(Central Processing Unit)、MPU(Micro ProcessingUnit)或DSP(Digital Signal Processor)而构成，进行用于整体性地总括指向性控制装置3的各部的动作的控制处理、与其他的各部之间的数据的输入输出处理、数据的运算(计算)处理及数据的存储处理。
收音方向计算部34在校准时(参照后述)，若从操作部32取得显示于显示器装置36的校准用标记MAK、MAK3、校准用地板放置标记MAK2及全方位麦克风阵列装置2中的至少一个的坐标数据，则从通信部31向PTZ相机装置1发送坐标数据。收音方向计算部34从通信部31取得从PTZ相机装置1的设置位置到校准用标记MAK、MAK3、校准用地板放置标记MAK2及全方位麦克风阵列装置2中的至少一个的距离、方向的参数。
收音方向计算部34使用从PTZ相机装置1的设置位置到校准用标记MAK、MAK3、校准用地板放置标记MAK2及全方位麦克风阵列装置2中的至少一个的距离、方向的参数，算出按照各校准方法(参照后述)而不同的校准参数。
而且，收音方向计算部34在计算收音方向坐标(θMAh、θMAv)时(参照后述)，若从操作部32取得指定位置A’的坐标数据，则从通信部31向PTZ相机装置1发送坐标数据。收音方向计算部34从通信部31取得从PTZ相机装置1的设置位置到目的声源位置A的距离、方向的参数。
收音方向计算部34使用从PTZ相机装置1的设置位置到目的声源位置A的距离、方向的参数(后述参照)、在校准时算出的校准参数(参照后述)，算出从全方位麦克风阵列装置2的设置位置朝向目的声源位置A(参照后述)的收音方向的收音方向坐标(θMAh、θMAv)。收音方向坐标(θMAh、θMAv)中，θMAh表示从全方位麦克风阵列装置2的设置位置朝向目的声源位置A的收音方向的水平角，θMAv表示从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的垂直角。
另外，在以下的说明中，目的声源位置定义为显示于显示器装置36的PTZ相机装置1的拍摄图像数据中成为与通过用户(例如用户的手指FG或指示笔)指定的指定位置A’对应的实际的监视对象的现场的位置。而且，为了简化本实施方式的说明，目的声源位置作为1个进行说明，但是与通过用户指定的指定位置对应的目的声源位置也可以为多个。
输出控制部35对显示器装置36及扬声器装置37的动作进行控制，将从PTZ相机装置1发送的拍摄图像数据显示于显示器装置36，将从全方位麦克风阵列装置2发送的声音数据向扬声器装置37进行声音输出。而且，输出控制部35对全方位麦克风阵列装置2的动作进行控制，例如在由收音方向计算部34算出的收音方向坐标(θMAh、θMAv)表示的收音方向MIX上，将通过全方位麦克风阵列装置2收音到的声音的收音指向性形成于全方位麦克风阵列装置2，或者在输出控制部35自身中形成通过全方位麦克风阵列装置2收音到的声音的收音指向性(参照图48(A))。
作为显示部的一例的显示器装置36使用例如LCD(Liquid Crystal Display)或有机EL(Electroluminescence)而构成，在输出控制部35的控制下，显示PTZ相机装置1的拍摄图像数据。
作为声音输出部的一例的扬声器装置37对通过全方位麦克风阵列装置2收音到的声音的声音数据或者在收音方向坐标(θMAh、θMAv)表示的收音方向上形成了收音指向性之后收音到的声音的声音数据进行声音输出。另外，显示器装置36及扬声器装置37可以设为与指向性控制装置3不同的结构。
作为存储部的一例的存储器38例如使用RAM(Random Access Memory)而构成，作为指向性控制装置3的各部的动作时的工作存储器发挥功能。
记录器装置4将PTZ相机装置1的拍摄图像数据与通过全方位麦克风阵列装置2收音到的声音的声音数据建立对应地存储。
接下来，关于本实施方式的收音系统10的动作概要，参照图48(A)及图48(B)进行说明。图48(A)是表示本实施方式的收音系统10的动作概要的图。图48(B)是表示存在于从全方位麦克风阵列装置2朝向显示于显示器装置36上的拍摄图像数据中指定的指定位置A’所对应的目的声源位置A的收音方向上的人物的声音的音量等级比不存在于收音方向上的扬声器装置SP的声音音量等级更大地输出的情况的图。
在图48(A)所示的收音系统10中，PTZ相机装置1拍摄存在于目的声源位置A的周围的对象物(例如2人的人物)和在从目的声源位置A分离的位置设置的扬声器装置SP。而且，全方位麦克风阵列装置2对设置有收音系统10的收音区域的声音进行收音。在图48(A)中，作为收音的对象物的2人的人物进行会话，扬声器装置SP对音乐进行声音输出。PTZ相机装置1的拍摄图像数据显示于指向性控制装置3的显示器装置36(参照图48(B))。
在此，当例如通过用户的手指FG在显示于显示器装置36的拍摄图像数据之中指定作为对象物的2人的人物的大致中心位置的指定位置A’时，指向性控制装置3使用表示指定位置A’的坐标数据，算出从全方位麦克风阵列装置2的设置位置朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。全方位麦克风阵列装置2使用指向性控制装置3算出的收音方向坐标(θMAh、θMAv)的坐标数据，在从全方位麦克风阵列装置2朝向目的声源位置A的收音方向上形成声音的收音指向性(收音方向MIX)。
因此，全方位麦克风阵列装置2能够使存在于形成有收音指向性(收音方向MIX)的方向上的2人的人物的会话(Hello)的音量等级大于未存在于形成有收音指向性(收音方向MIX)的方向上的扬声器装置SP的音乐的音量等级。
由此，指向性控制装置3能够使扬声器装置37将存在于形成有收音指向性(收音方向MIX)的方向上的2人的人物的会话(Hello)的音量等级比未存在于形成有收音指向性(收音方向MIX)的方向上的扬声器装置SP的音乐的音量等级更大地进行声音输出(参照图48(B))。
接下来，关于本实施方式的收音系统10的详细的动作次序，参照图49(A)及(B)进行说明。图49(A)是说明本实施方式的收音系统10的动作次序的整体的流程图。图49(B)是详细说明本实施方式的收音系统10的校准的动作次序的流程图。在此，校准定义为指向性控制装置3为了算出收音方向坐标(θMAh、θMAv)所需且算出或取得按照各校准方法而不同的预定的校准参数的动作。
在图49(A)中，构成本实施方式的收音系统10的PTZ相机装置1及全方位麦克风阵列装置2分别以固定在不同的预定的位置(例如活动会场的室内的顶棚面或台座)上的方式进行初始设置(ST11)。
在PTZ相机装置1及全方位麦克风阵列装置2的初始设置后，收音方向计算部34进行为了算出收音方向坐标(θMAh、θMAv)所需的校准参数的计算或取得的处理即校准(ST12)。
在此，关于校准的处理内容，参照图49(B)进行说明。在本实施方式中，参照图50以后的附图来说明多个校准方法，但是在图49(B)中，说明各个校准方法共用的内容。而且，在各个校准方法中，使用至少一个校准用标记MAK、MAK3或校准用地板放置标记MAK2，但是在图49(B)中，说明使用例如校准用标记MAK的情况。
在图49(B)中，设置校准用标记MAK(ST12-1)。校准用标记MAK是在各个校准方法中使用的标记(例如球或纸)等固体物或圆形物体，以包含于PTZ相机装置1的拍摄视野角内的方式设置，因此显示于显示器装置36。
在步骤ST12-1之后，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK时，操作部32取得指定位置的坐标数据并向信号处理部33输出(ST12-2)。当从操作部32取得显示于显示器装置36的校准用标记MAK的坐标数据时，收音方向计算部34从通信部31向PTZ相机装置1发送坐标数据。PTZ相机装置1算出从PTZ相机装置1的设置位置到校准用标记MAK的距离、方向的参数并向指向性控制装置3发送。通信部31从PTZ相机装置1接收从PTZ相机装置1的设置位置到校准用标记MAK的距离、方向的参数而向信号处理部33输出。收音方向计算部34从通信部31取得从PTZ相机装置1的设置位置到校准用标记MAK的距离、方向的参数。
收音方向计算部34使用从PTZ相机装置1的设置位置到校准用标记MAK的距离、方向的参数，算出按照各校准方法(参照后述)而不同的校准参数(ST12-3)。在步骤ST12-3之后，将步骤ST12-1中设置的校准用标记MAK拆下(ST12-4)。另外，收音方向计算部34将在步骤ST12-3中算出的校准参数暂时保存于存储器38。由此，步骤ST12所示的校准的处理结束。
在图49(A)中，操作部32在显示于显示器装置36的PTZ相机装置1的拍摄图像数据(参照图48(B))之中，取得用户希望增大音量等级的范围、即与目的声源位置A对应的指定位置A’的坐标数据并向信号处理部33输出(ST13)。
当从操作部32取得指定位置A’的坐标数据时，收音方向计算部34从通信部31向PTZ相机装置1发送坐标数据。PTZ相机装置1从指向性控制装置3接收拍摄图像数据中的指定位置A’的坐标数据，算出从PTZ相机装置1的设置位置到与指定位置A’对应的目的声源位置A的距离、方向的参数。PTZ相机装置1将从PTZ相机装置1的设置位置到与指定位置A’对应的目的声源位置A的距离、方向的参数向指向性控制装置3发送。收音方向计算部34从通信部31取得从PTZ相机装置1的设置位置到目的声源位置A的距离、方向的参数。
收音方向计算部34使用从PTZ相机装置1的设置位置到目的声源位置A的距离、方向的参数和ST12的在校准时算出的校准参数，算出从全方位麦克风阵列装置2的设置位置朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)(ST14)。
输出控制部35生成用于在步骤ST14算出的收音方向坐标(θMAh、θMAv)的坐标数据表示的收音方向上形成声音的指向性的指向性形成指示，将包含收音方向坐标(θMAh、θMAv)的坐标数据的指向性形成指示从通信部31向全方位麦克风阵列装置2发送。全方位麦克风阵列装置2根据从指向性控制装置3发送的指向性形成指示，在指向性形成指示所包含的收音方向坐标(θMAh、θMAv)表示的收音方向MIX上形成各个麦克风单元22、23的收音指向性(ST15)。由此，本实施方式的收音系统10的动作结束。
另外，在步骤ST15所示的收音指向性的形成处理中，说明了全方位麦克风阵列装置2按照从指向性控制装置3发送的指向性形成指示而进行的情况，但是指向性控制装置3也可以进行步骤S15所示的收音指向性的形成处理。具体而言，输出控制部35使用在步骤ST14中算出的收音方向坐标(θMAh、θMAv)的坐标数据和通过全方位麦克风阵列装置2收音到的声音的声音数据，进行参照图3说明的指向性的形成处理。由此，指向性控制装置3能够容易地得到在收音方向坐标(θMAh、θMAv)表示的收音方向MIX上高精度地形成有收音指向性的声音数据。
另外，在本实施方式的收音系统10中，全方位麦克风阵列装置2对声音进行收音的时机没有限定为紧接着步骤ST14之后，也可以是例如在步骤ST11的初始设置后将全方位麦克风阵列装置2的电源接通之后。
(与校准方法对应的收音方向坐标(θMAh、θMAv)的计算方法)
接下来，关于指向性控制装置3的收音方向计算部34算出按照各校准方法而不同的校准参数和收音方向坐标(θMAh、θMAv)的方法，参照图50～图79进行详细说明。在此，说明了总计10种校准方法即10种校准参数的计算方法，并说明了总计4种收音方向坐标(θMAh、θMAv)的计算方法。另外，总计10种校准参数的计算方法中的任一计算方法与总计4种收音方向坐标(θMAh、θMAv)的计算方法中的任一计算方法对应。
(与第一校准方法对应的第一收音方向坐标的计算方法)
首先，关于第一校准方法和通过第一校准方法算出校准参数之后的第一收音方向坐标的计算方法，参照图50、图51(A)～(C)、图52(A)～(C)及图53(A)～(C)进行说明。
图50是第十一实施方式的第一校准方法的说明图。图51(A)是表示第一校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图。图51(B)是图51(A)的水平方向俯视图。图51(C)是图51(B)的K-K’线的垂直方向剖视图。
图52(A)是表示第一校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图52(B)是图52(A)的水平方向俯视图。图52(C)是图52(B)的Q-Q’线的垂直方向剖视图。图53(A)是表示第一校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图53(B)是图53(A)的水平方向俯视图。图53(C)是图53(B)的R-R’线的垂直方向剖视图。
在第一校准方法中，PTZ相机装置1在沿摇摄方向、倾斜方向进行了驱动之后聚焦于校准用标记MAK进行变焦，因此校准用标记MAK位于显示器装置36的画面的中心点(参照图50)。
在第一校准方法中，PTZ相机装置1、全方位麦克风阵列装置2距水平面(例如店铺内的地板。以下同样，作为水平面的一例设为地板)的各高度相同，从全方位麦克风阵列装置2的预定位置(例如全方位麦克风阵列装置2的框体中心。以下同样)向铅垂方向的正下方，使用例如线STR或绳，悬吊作为固体物的校准用标记MAK(参照图51(A))。从全方位麦克风阵列装置2到校准用标记MAK的距离LMO固定。第一校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。
当通过用户的手指FG指定显示于显示器装置36上的校准用标记MAK的中心点O(参照图50)时，收音方向计算部34使用从全方位麦克风阵列装置2到校准用标记MAK的距离LMO，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。参照图51(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh的计算方法。
在以下的各校准方法的说明中，来自PTZ相机装置1的水平角成为0度的正面方向设为不是从PTZ相机装置1朝向全方位麦克风阵列装置2的方向，来自全方位麦克风阵列装置2的水平角成为0度的正面方向设为从全方位麦克风阵列装置2朝向PTZ相机装置1的方向(例如参照图51(B))。
在以下的第一～第五各校准方法的说明中，PTZ相机装置1与全方位麦克风阵列装置2距地面的各高度相同(例如参照图51(C))。因此，从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv和从全方位麦克风阵列装置2朝向PTZ相机装置1的垂直角θCMv均为零(θCMv＝θMCv＝0)。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O(参照图50)时，收音方向计算部34取得从PTZ相机装置1朝向校准用标记MAK的水平角θCOh、垂直角θCOv。水平角θCOh、垂直角θCOv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用标记MAK从全方位麦克风阵列装置2的预定位置向铅垂方向的正下方垂下，因此从PTZ相机装置1朝向校准用标记MAK的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图51(C)所示的△COM中，使用从PTZ相机装置1朝向校准用标记MAK的垂直角θCOv和从全方位麦克风阵列装置2到校准用标记MAK的距离LMO，按照数学式(78)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。另外，校准用标记MAK从全方位麦克风阵列装置2的预定位置向铅垂方向的正下方垂下，因此PTZ相机装置1与校准用标记MAK之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式84]
LCOh＝ＬCMh＝LMO/tanθCOv…(84)
接下来，在第一收音方向坐标(θMAh、θMAv)的计算方法中，校准用标记MAK与目的声源位置A距地板的各高度相同(HO＝HA)，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度相同。
具体而言，收音方向计算部34使用(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh、(4)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv，算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。参照图52(B)、(C)及图53(B)、(C)，具体说明收音方向计算部34的第一收音方向坐标(θMAh、θMAv)的计算方法。
(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh使用第一校准方法中通过PTZ相机装置1算出的值(θCMh＝θCOh)。
(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh是第一校准方法的校准参数(参照数学式(84))。
(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh是第一校准方法中根据PTZ相机装置1及全方位麦克风阵列装置2的位置关系而赋予的既定值(零)。
(4)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv使用显示于显示器装置36的拍摄图像数据中根据指定位置A’的指定通过PTZ相机装置1算出的值。
收音方向计算部34在图52(C)所示的△CAS’中，使用相当于全方位麦克风阵列装置2与目的声源位置A距地板的高度之差的距离LMO(＝LMOv)、从PTZ相机装置1朝向目的声源位置A的垂直角θCAv，按照数学式(85)算出从PTZ相机装置1到目的声源位置A的距离LCA的水平方向的距离LCAh。
[数学式85]
LCAh＝LMO/tanθCAv…(85)
收音方向计算部34使用数学式(78)、(79)的各计算结果、相当于从PTZ相机装置1朝向目的声源位置A的水平角θCAh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh之差的角度(θCAh-θCMh)，根据图52(B)所示的△CAM的余弦定理，按照数学式(86)算出从全方位麦克风阵列装置2到目的声源位置A的距离LMA的水平方向的距离LMAh。
[数学式86]
收音方向计算部34使用数学式(84)～(86)的各计算结果，根据图52(B)所示的△CAM的余弦定理，按照数学式(87)算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh的余弦值cosθMAh。由此，收音方向计算部34按照数学式(88)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh。
[数学式87]
[数学式88]
而且，收音方向计算部34使用数学式(86)的计算结果、相当于全方位麦克风阵列装置2与目的声源位置A距地板的高度之差的距离LMO，根据图53(C)所示的△MAS”的正切，按照数学式(89)算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv的正切值tanθMAv。由此，收音方向计算部34按照数学式(90)，能够算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv。
[数学式89]
[数学式90]
由此，在第一校准方法及第一收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O时，即使在由于例如全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，收音方向计算部34在计算收音方向坐标时，不需要用户输入目的声源位置A距水平面的高度HA，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向坐标(θMAh、θMAv)。
(与第二校准方法对应的第二收音方向坐标的计算方法)
接下来，关于第二校准方法和通过第二校准方法算出了校准参数之后的第二收音方向坐标的计算方法，参照图54、图55(A)～(C)、图56(A)～(C)及图57(A)～(C)进行说明。
图54是第十一实施方式的第二校准方法的说明图。图55(A)是表示第二校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图。图55(B)是图55(A)的水平方向俯视图。图55(C)是图55(B)的K-K’线的垂直方向剖视图。
图56(A)是表示第二校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图56(B)是图56(A)的水平方向俯视图。图56(C)是图56(B)的Q-Q’线的垂直方向剖视图。图57(A)是表示第二校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图57(B)是图57(A)的水平方向俯视图。图57(C)是图57(B)的R-R’线的垂直方向剖视图。
在第二校准方法中，与第一校准方法同样，PTZ相机装置1沿摇摄方向、倾斜方向进行了驱动之后聚焦于校准用标记MAK进行变焦，因此校准用标记MAK位于显示器装置36的画面的中心点(参照图54)。
在第二校准方法中，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度相同，从全方位麦克风阵列装置2的预定位置向铅垂方向的正下方，使用例如线STR或绳，悬吊作为固体物的校准用标记MAK(参照图55(A))。从全方位麦克风阵列装置2到校准用标记MAK的距离LMO固定。第二校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O(参照图54)时，收音方向计算部34使用从全方位麦克风阵列装置2到校准用标记MAK的距离LMO，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。参照图55(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O(参照图54)时，收音方向计算部34取得从PTZ相机装置1朝向校准用标记MAK的水平角θCOh、垂直角θCOv。水平角θCOh、垂直角θCOv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用标记MAK从全方位麦克风阵列装置2的预定位置向铅垂方向的正下方垂下，因此从PTZ相机装置1朝向校准用标记MAK的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34使用从PTZ相机装置1朝向校准用标记MAK的垂直角θCOv、从全方位麦克风阵列装置2到校准用标记MAK的距离LMO，按照数学式(91)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。另外，校准用标记MAK从全方位麦克风阵列装置2的预定位置向铅垂方向的正下方垂下，因此PTZ相机装置1与校准用标记MAK之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式91]
LCOh＝LCMh＝LMO/tanθCOv…(91)
接下来，在第二收音方向坐标(θMAh、θMAv)的计算方法中，目的声源位置A距地板的高度是由用户输入的输入值，与第一收音方向坐标(θMAh、θMAv)的计算方法不同。而且，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度HC、HM相同。
具体而言，收音方向计算部34使用(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh、(4)PTZ相机装置1、全方位麦克风阵列装置2距地板的各高度HC、HM、(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv、(6)由用户输入的、目的声源位置A距地板的高度HA，算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。参照图56(B)、(C)及图57(B)、(C)，具体说明收音方向计算部34的第二收音方向坐标(θMAh、θMAv)的计算方法。
(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh使用第二校准方法中通过PTZ相机装置1算出的值(LCMh＝LCOh)。
(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh是第二校准方法的校准参数(参照数学式(85))。
(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh是在第二校准方法中根据PTZ相机装置1及全方位麦克风阵列装置2的位置关系而赋予的既定值(零)。
(4)PTZ相机装置1、全方位麦克风阵列装置2距地板的各高度HC、HM在第二收音方向坐标的计算方法中是既定值(HC＝HM)。
(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv使用显示于显示器装置36的拍摄图像数据中根据指定位置A’的指定通过PTZ相机装置1算出的值。
(6)目的声源位置A距地板的高度HA是通过用户的输入操作而输入的值。
收音方向计算部34在图56(C)所示的△CAS’中，使用相当于PTZ相机装置1与目的声源位置A距地板的高度之差的距离(HC-HA)、从PTZ相机装置1朝向目的声源位置A的垂直角θCAv，按照数学式(92)算出从PTZ相机装置1到目的声源位置A的距离LCA的水平方向的距离LCAh。
[数学式92]
LCAh＝(HC-HA)/tanθCAv…(92)
收音方向计算部34使用数学式(91)、(92)的各计算结果、相当于从PTZ相机装置1朝向目的声源位置A的水平角θCAh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh之差的角度(θCAh-θCMh)，根据图56(B)所示的△CAM的余弦定理，按照数学式(93)算出从全方位麦克风阵列装置2到目的声源位置A的距离LMA的水平方向的距离LMAh。
[数学式93]
收音方向计算部34使用数学式(91)～(93)的各计算结果，根据图56(B)所示的△CAM的余弦定理，按照数学式(94)算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh的余弦值cosθMAh。由此，收音方向计算部34按照数学式(95)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh。
[数学式94]
[数学式95]
而且，收音方向计算部34使用数学式(93)的计算结果、相当于全方位麦克风阵列装置2与目的声源位置A距地板的高度之差的距离(HM-HA)，根据图57(C)所示的△MAS”的正切，按照数学式(96)算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv的正切值tanθMAv。由此，收音方向计算部34按照数学式(97)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv。
[数学式96]
[数学式97]
由此，在第二校准方法及第二收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O时，即使在由于例如全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，收音方向计算部34使用全方位麦克风阵列装置2的初始设置时测定比较简易的全方位麦克风阵列装置2距地板的高度HM。因此，在校准用标记MAK从全方位麦克风阵列装置2垂下的情况下，能够简化垂下距离的调整。而且，目的声源位置A距地板的高度HA可以使用用户所希望的值，因此目的声源位置A距地板的高度HA的选择的自由度提高。
(与第三校准方法对应的第二收音方向坐标的计算方法)
接下来，关于第三校准方法和通过第三校准方法算出了校准参数之后的第二收音方向坐标的计算方法，参照图58及图59(A)～(C)进行说明。
图58是第十一实施方式的第三校准方法的说明图。图59(A)是表示第三校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图。图59(B)是图59(A)的水平方向俯视图。图59(C)是图59(B)的K-K’线的垂直方向剖视图。
在第三校准方法中，与第一校准方法同样，PTZ相机装置1沿摇摄方向、倾斜方向进行了驱动之后聚焦于校准用地板放置标记MAK2进行变焦，因此校准用地板放置标记MAK2位于显示器装置36的画面的中心点(参照图58)。
在第三校准方法中，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度相同，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2(参照图59(A))。因此，从全方位麦克风阵列装置2到校准用地板放置标记MAK2的距离LMO与全方位麦克风阵列装置2距地板的高度HM相同(LMO＝HM)。第三校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2距地板的高度HM。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O(参照图58)时，收音方向计算部34使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO、从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2距地板的高度HM。参照图59(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh、全方位麦克风阵列装置2距水平面(例如地板)的高度HM的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O(参照图58)时，收音方向计算部34取得从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO、从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh、垂直角θCOv。距离LCO、水平角θCOh、垂直角θCOv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图59(C)所示的△COM中，使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO、从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv，按照数学式(98)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。另外，校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此PTZ相机装置1与校准用地板放置标记MAK2之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式98]
LCOh＝LCMh＝LCO/cosθCOv…(98)
而且，收音方向计算部34在图59(C)所示的△COM中，使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO、从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv，按照数学式(99)算出全方位麦克风阵列装置2距地板的高度HM。
[数学式99]
HM＝LCO/sinθCOv…(99)
另外，通过第三校准方法算出了校准参数之后的收音方向计算部34的收音方向坐标(θMAh、θMAv)的计算方法与上述的第二收音方向坐标(θMAh、θMAv)的计算方法相同，因此省略说明。
由此，在第三校准方法及第二收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O(参照图59)时，收音方向计算部34使用例如PTZ相机装置1的聚焦功能，能够简易地算出从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
(与第四校准方法对应的第二收音方向坐标的计算方法)
接下来，关于第四校准方法和通过第四校准方法算出了校准参数之后的第二收音方向坐标的计算方法，参照图60及图61(A)～(C)进行说明。
图60是第十一实施方式的第四校准方法的说明图。图61(A)是表示第四校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图。图61(B)是图61(A)的水平方向俯视图。图61(C)是图61(B)的K-K’线的垂直方向剖视图。
在第四校准方法中，与第一校准方法同样，PTZ相机装置1沿着摇摄方向、倾斜方向进行了驱动之后聚焦于校准用地板放置标记MAK2进行变焦，因此校准用地板放置标记MAK2位于显示器装置36的画面的中心点(参照图60)。
在第四校准方法中，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度相同，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2(参照图61(A))。因此，从全方位麦克风阵列装置2到校准用地板放置标记MAK2的距离LMO与全方位麦克风阵列装置2距地板的高度HM相同(LMO＝HM)。第四校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2距地板的高度HM。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及圆周上的端点O’这两个部位(参照图60)时，收音方向计算部34使用校准用地板放置标记MAK2的半径RO、从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点O的垂直角θCOv、从PTZ相机装置1朝向校准用地板放置标记MAK2的端点O’的垂直角θCO’v，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2距地板的高度HM。参照图61(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh、全方位麦克风阵列装置2距地板的高度HM的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及圆周上的端点O’这两个部位(参照图60)时，收音方向计算部34取得从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点O的水平角θCOh、垂直角θCOv、从PTZ相机装置1朝向校准用地板放置标记MAK2的端点O’的水平角θCO’h、垂直角θCO’v。水平角θCOh、垂直角θCOv、水平角θCO’h、垂直角θCO’v的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
在此，当显示于显示器装置36的校准用地板放置标记MAK2的中心点O首先被指定时，输出控制部35显示用于表示接着应指定的部位的引导线GUD。由此，输出控制部35能够使用户简易地掌握显示于显示器装置36的校准用地板放置标记MAK2的中心点的接着应指定的端点O’的位置。
另外，圆周上的端点O’不是校准用地板放置标记MAK2的圆周上的任意位置，而是赋予与从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点的水平角θCOh相同的水平角的位置。因此，从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点的水平角θCOh与从PTZ相机装置1朝向校准用地板放置标记MAK2的圆周上的端点O’的水平角θCO’h相同(θCOh＝θCO’h)。
收音方向计算部34在图61(C)所示的△COM中，按照数学式(100)算出从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点O的垂直角θCOv、全方位麦克风阵列装置2距地板的高度HM、PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh的关系式。
[数学式100]
tanθCOv＝HM/LCMh…(100)
同样，收音方向计算部34在图61(C)所示的△CO’T中，按照数学式(101)算出从PTZ相机装置1朝向校准用地板放置标记MAK2的端点O’的垂直角θCO’v、全方位麦克风阵列装置2距地板的高度HM、PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、校准用地板放置标记MAK2的半径RO的关系式。
[数学式101]
tanθCO′v＝HM/(LCMh+RO)…(101)
收音方向计算部34使用由数学式(100)、(101)表示的关系式，按照数学式(102)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。
[数学式102]
LCOh＝LCMh＝RO×tanθCO′v/(tanθCOv-tanθCO′v)…(102)
而且，收音方向计算部34使用数学式(100)、(102)的各计算结果，按照数学式(103)算出全方位麦克风阵列装置2距地板的高度HM。另外，收音方向计算部34按照数学式(103)也能够算出PTZ相机装置1距地板的高度HC。
[数学式103]
HM＝HC＝LCMh×tanθCOv…(103)
另外，通过第四校准方法算出了校准参数之后的收音方向计算部34的收音方向坐标(θMAh、θMAv)的计算方法与上述的第二收音方向坐标(θMAh、θMAv)的计算方法相同，因此省略说明。
由此，在第四校准方法及第二收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及圆周上的端点O’这两个部位(参照图60)时，即使在例如从全方位麦克风阵列装置2到校准用地板放置标记MAK2的中心点的距离的测定困难的情况下，收音方向计算部34也能够简易地算出全方位麦克风阵列装置2距地板的高度HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
(与第五校准方法对应的第一收音方向坐标的计算方法)
接下来，关于第五校准方法和通过第五校准方法算出了校准参数之后的第一收音方向坐标的计算方法，参照图62及图63(A)～(C)进行说明。
图62是第十一实施方式的第五校准方法的说明图。图63(A)是表示第五校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK3的位置关系的图。图63(B)是图63(A)的水平方向俯视图。图63(C)是图63(B)的K-K’线的垂直方向剖视图。
在第五校准方法中，与第一校准方法同样，PTZ相机装置1沿着摇摄方向、倾斜方向进行了驱动之后聚焦于校准用标记MAK3进行变焦，因此校准用标记MAK3位于显示器装置36的画面的中心点(参照图62)。
在第五校准方法中，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度相同，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方且距地板的高度固定的位置设置圆形的校准用标记MAK3(参照图63(A))。因此，校准用标记MAK3距地板的高度HO为既定值。第五校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2与校准用标记MAK3之间的距离LMOv(＝LMO)。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK3的中心点O(参照图62)时，收音方向计算部34使用从PTZ相机装置1到校准用标记MAK3的距离LCOv、从PTZ相机装置1朝向校准用标记MAK3的垂直角θCOv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2与校准用标记MAK3之间的距离LMOv。参照图63(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh、全方位麦克风阵列装置2与校准用标记MAK3之间的距离LMOv的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK3的中心点O(参照图62)时，收音方向计算部34取得从PTZ相机装置1朝向校准用标记MAK3的中心点O的水平角θCOh、垂直角θCOv、从PTZ相机装置1到校准用标记MAK3的中心点O的距离LCO(＝LCOv)。距离LCO、水平角θCOh、垂直角θCOv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用标记MAK3设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方且距地板高度固定的位置，因此，从PTZ相机装置1朝向校准用标记MAK3的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图63(C)所示的△COM中，使用从PTZ相机装置1到校准用标记MAK3的中心点O的距离LCO(＝LCOv)、从PTZ相机装置1朝向校准用标记MAK3的中心点O的垂直角θCOv，按照数学式(104)，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。
[数学式104]
LCOh＝LCMh＝LCO×cosθCOv…(104)
而且，收音方向计算部34在图63(C)所示的△COM中，使用从PTZ相机装置1到校准用标记MAK3的距离LCO(＝LCOv)、从PTZ相机装置1朝向校准用标记MAK3的垂直角θCOv，按照数学式(105)，算出全方位麦克风阵列装置2与校准用标记MAK3之间的距离LMOv。
[数学式105]
LMOv＝LCO×sinθCOv…(105)
另外，通过第五校准方法算出了校准参数之后的收音方向计算部34的收音方向坐标(θMAh、θMAv)的计算方法与上述的第一收音方向坐标(θMAh、θMAv)的计算方法相同，因此省略说明。
由此，在第五校准方法及第一收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK3的中心点O(参照图62)时，即使在由于例如全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2距校准用标记MAK3的高度LMOv作为校准参数。
(与第六校准方法对应的第三收音方向坐标的计算方法)
接下来，关于第六校准方法和通过第六校准方法算出了校准参数之后的第三收音方向坐标的计算方法，参照图64、图65(A)～(C)、图66(A)～(C)及图67(A)～(C)进行说明。
图64是第十一实施方式的第六校准方法的说明图。图65(A)是表示第六校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图。图65(B)是图65(A)的水平方向俯视图。图65(C)是图65(B)的K-K’线的垂直方向剖视图。
图66(A)是表示第六校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图66(B)是图66(A)的水平方向俯视图。图66(C)是图66(B)的Q-Q’线的垂直方向剖视图。图67(A)是表示第六校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图67(B)是图67(A)的水平方向俯视图。图67(C)是图67(B)的R-R’线的垂直方向剖视图。
在第六校准方法中，以PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度不同、且全方位麦克风阵列装置2存在于PTZ相机装置1的拍摄视野角内的方式设置。因此，PTZ相机装置1沿摇摄方向、倾斜方向进行了驱动之后聚焦于全方位麦克风阵列装置2及校准用标记MAK这两方进行变焦，因此全方位麦克风阵列装置2及校准用标记MAK位于显示器装置36的画面的中心点(参照图64)。
在第六校准方法中，全方位麦克风阵列装置2距地板的高度HM高于PTZ相机装置1距地板的高度HC(HC<HM)，从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方，使用例如线STR或绳，悬吊作为固体物的校准用标记MAK(参照图65(A))。从全方位麦克风阵列装置2到校准用标记MAK的距离LMO固定。第六校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1与校准用标记MAK之间的垂直方向的距离LMOv’。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O及全方位麦克风阵列装置2(参照图64)这两个部位时，收音方向计算部34使用从PTZ相机装置1朝向校准用标记MAK的垂直角θCOv、从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1与校准用标记MAK之间的垂直方向的距离LMOv’。参照图65(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh和垂直方向的距离LMOv’的计算方法。
在以下的第六～第十各校准方法的说明中，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度不同(例如参照图65(C))。因此，从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv、从全方位麦克风阵列装置2朝向PTZ相机装置1的垂直角θCMv均不为零(θCMv＝θMCv≠0)。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O及全方位麦克风阵列装置2(参照图64)这两个部位时，收音方向计算部34取得从PTZ相机装置1朝向校准用标记MAK的水平角θCOh、垂直角θCOv、从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、垂直角θCMv。水平角θCOh、垂直角θCOv、水平角θCMh、垂直角θCMv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用标记MAK从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方垂下，因此从PTZ相机装置1朝向校准用标记MAK的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图65(C)所示的△COP中，按照数学式(106)算出从PTZ相机装置1朝向校准用标记MAK的中心点O的垂直角θCOv、PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1与校准用标记MAK之间的垂直方向的距离LMOv’的关系式。
[数学式106]
tanθCOv＝LMOv′/LCMh…(106)
同样，收音方向计算部34在图65(C)所示的△CMP中，按照数学式(107)算出从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv、PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1与全方位麦克风阵列装置2之间的垂直方向的距离LMOv“的关系式。
[数学式107]
tanθCMv＝LMOv″/LCMh…(107)
而且，全方位麦克风阵列装置2与校准用标记MAK之间的垂直方向的距离LMOv成为PTZ相机装置1与校准用标记MAK之间的垂直方向的距离LMOv’及PTZ相机装置1与全方位麦克风阵列装置2之间的垂直方向的距离LMOv“之和，因此数学式(108)成立。
[数学式108]
LMOv＝LMOv′+LMOv″…(108)
收音方向计算部34使用由数学式(106)～(108)表示的关系式，按照数学式(109)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(110)算出PTZ相机装置1与校准用标记MAK之间的垂直方向的距离LMOv’，按照数学式(111)算出PTZ相机装置1与全方位麦克风阵列装置2之间的垂直方向的距离LMOv“。
[数学式109]
LCMh＝LMO/(tanθCOv+tanθCMv)…(109)
[数学式110]
LMOv′＝LMO×tanθCOv/(tanθCOv+tanCMv)…(110)
[数学式111]
LMOv″＝LMO×tanθCMv/(tanθCOv+tanCMv)…(111)
接下来，在第三收音方向坐标(θMAh、θMAv)的计算方法中，校准用标记MAK与目的声源位置A距地板的各高度HO、HA相同(HO＝HA)，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度HC、HM不同(HC≠HM)。
具体而言，收音方向计算部34使用(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、垂直角θCMv、(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh、(4)PTZ相机装置1距目的声源位置A的高度LMOv’、全方位麦克风阵列装置2距目的声源位置A的高度LMO、(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv，算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。参照图66(B)、(C)及图67(B)、(C)，具体说明收音方向计算部34的第三收音方向坐标(θMAh、θMAv)的计算方法。
(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、垂直角θCMv使用第六校准方法中通过PTZ相机装置1算出的值(θCMh＝θCOh)。
(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh是第六校准方法的校准参数(参照数学式(109))。
(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh是第六校准方法中根据PTZ相机装置1及全方位麦克风阵列装置2的位置关系而赋予的既定值(零)。
(4)PTZ相机装置1距目的声源位置A的高度LMOv’是第六校准方法的校准参数(参照数学式(110))，全方位麦克风阵列装置2距目的声源位置A的高度LMO是既定值。
(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv使用显示于显示器装置36的拍摄图像数据中根据指定位置A’的指定通过PTZ相机装置1算出的值。
收音方向计算部34在图66(C)所示的△CAS’中，使用从PTZ相机装置1朝向目的声源位置A的垂直角θCAv、数学式(110)的计算结果即PTZ相机装置1与校准用标记MAK之间的垂直方向的距离LMOv’，按照数学式(112)算出从PTZ相机装置1到目的声源位置A的距离LCA的水平方向的距离LCAh。
[数学式112]
LCAh＝LMOv′/tanθCAv…(112)
收音方向计算部34使用数学式(109)、(112)的各计算结果、从PTZ相机装置1朝向目的声源位置A的水平角θCAh、从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh，根据图66(B)所示的△CAM的余弦定理，按照数学式(113)算出从全方位麦克风阵列装置2到目的声源位置A的距离LMA的水平方向的距离LMAh。
[数学式113]
收音方向计算部34使用数学式(109)、(112)、(113)的各计算结果，根据图66(B)所示的△CAM的余弦定理，按照数学式(114)算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh的余弦值cosθMAh。由此，收音方向计算部34按照数学式(115)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh。
[数学式114]
[数学式115]
而且，收音方向计算部34使用数学式(108)、(113)的各计算结果，根据图67(C)所示的△MAS”的正切，按照数学式(116)算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv的正切值tanθMAv。由此，收音方向计算部34按照数学式(117)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv。
[数学式116]
[数学式117]
由此，在第六校准方法及第三收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK的中心点O及全方位麦克风阵列装置2(参照图64)这两个部位时，即使在由于例如全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，收音方向计算部34即使在PTZ相机装置1及全方位麦克风阵列装置2距地板的高度不同的情况下，也无需使用户输入目的声源位置A距地板的高度HA，就能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的坐标。
(与第七校准方法对应的第四收音方向坐标的计算方法)
接下来，关于第七校准方法和通过第七校准方法算出了校准参数之后的第四收音方向坐标的计算方法，参照图68、图69(A)～(C)、图70(A)～(C)及图71(A)～(C)进行说明。
图68是第十一实施方式的第七校准方法的说明图。图69(A)是表示第七校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图。图69(B)是图69(A)的水平方向俯视图。图69(C)是图69(B)的K-K’线的垂直方向剖视图。
图70(A)是表示第七校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图70(B)是图70(A)的水平方向俯视图。图70(C)是图70(B)的Q-Q’线的垂直方向剖视图。图71(A)是表示第七校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图71(B)是图71(A)的水平方向俯视图。图71(C)是图71(B)的R-R’线的垂直方向剖视图。
在第七校准方法中，以PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度不同、且全方位麦克风阵列装置2存在于PTZ相机装置1的拍摄视野角内的方式设置。因此，PTZ相机装置1在沿摇摄方向、倾斜方向进行了驱动之后聚焦于全方位麦克风阵列装置2及校准用标记MAK这两方进行变焦，因此全方位麦克风阵列装置2及校准用标记MAK位于显示器装置36的画面的中心点(参照图68)。
在第七校准方法中，全方位麦克风阵列装置2距地板的高度HM高于PTZ相机装置1距地板的高度HC(HC<HM)，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2(参照图69(A))。第七校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2(参照图68)这两个部位时，收音方向计算部34使用从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv、从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv、从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。参照图69(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh和高度HM、HC的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2(参照图68)这两个部位时，收音方向计算部34取得从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv、从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh、垂直角θCOv、从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、垂直角θCMv。距离LCOv、水平角θCOh、垂直角θCOv、水平角θCMh、垂直角θCMv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用地板放置标记MAK2在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2，因此从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图69(C)所示的△COP中，使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO(＝LCOv)、从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点O的垂直角θCOv，按照数学式(118)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(119)算出PTZ相机装置1距地板的高度HC。
[数学式118]
LCOh＝LCMh＝LCOv×cosθCOv…(118)
[数学式119]
HC＝LCOv×sinθCOv…(119)
收音方向计算部34在图69(C)所示的△CMP中，使用数学式(118)的计算结果和从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv，按照数学式(120)算出相当于全方位麦克风阵列装置2距地板的高度HM与PTZ相机装置1距地板的高度HC之差(HM-HC)的距离LMOv”。由此，收音方向计算部34使用数学式(119)、(120)的各计算结果，按照数学式(121)算出全方位麦克风阵列装置2距地板的高度HM。
[数学式120]
LMOv″＝HM-HC＝LCMh×tanθCMv＝(LCOv×cosθCOv×tanθCMv…(120)
[数学式121]
HM＝HC+LMOv″＝LCOv×sinθCOv+(LCOv×cosθCOv×tanθCMv…(121)
接下来，在第四收音方向坐标(θMAh、θMAv)的计算方法中，目的声源位置A距地板的高度是由用户输入的输入值，与第三收音方向坐标(θMAh、θMAv)的计算方法不同。而且，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度HC、HM不同。
具体而言，收音方向计算部34使用(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh、(4)PTZ相机装置1、全方位麦克风阵列装置2距地板的各高度HC、HM、(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv、(6)由用户输入的、目的声源位置A距地板的高度HA，算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。参照图70(B)、(C)及图71(B)、(C)，具体说明收音方向计算部34的第四收音方向坐标(θMAh、θMAv)的计算方法。
(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh使用第七校准方法中通过PTZ相机装置1算出的值(θCMh＝θCOh)。
(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh是第七校准方法的校准参数(参照数学式(112))。
(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh是第七校准方法中根据PTZ相机装置1及全方位麦克风阵列装置2的位置关系而赋予的既定值(零)。
(4)PTZ相机装置1、全方位麦克风阵列装置2距地板的各高度HC、HM是第七校准方法的校准参数(参照数学式(119)、(121))。
(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv使用显示于显示器装置36的拍摄图像数据中根据指定位置A’的指定通过PTZ相机装置1算出的值。
(6)目的声源位置A距水平面(例如地板)的高度HA是通过用户的输入操作输入的值。
收音方向计算部34在图70(C)所示的△CAS’中，使用相当于PTZ相机装置1与目的声源位置A距地板的高度之差(HC-HA)的距离、从PTZ相机装置1朝向目的声源位置A的垂直角θCAv，按照数学式(122)算出从PTZ相机装置1到目的声源位置A的距离LCA的水平方向的距离LCAh。
[数学式122]
LCAh=(HC-HA)/tanθCAv…(122)
收音方向计算部34使用数学式(118)、(122)的各计算结果、从PTZ相机装置1朝向目的声源位置A的水平角θCAh、从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh，根据图70(B)所示的△CAM的余弦定理，按照数学式(123)算出从全方位麦克风阵列装置2到目的声源位置A的距离LMA的水平方向的距离LMAh。
[数学式123]
收音方向计算部34使用数学式(118)、(122)、(123)的各计算结果，根据图70(B)所示的△CAM的余弦定理，按照数学式(124)算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh的余弦值cosθMAh。由此，收音方向计算部34按照数学式(125)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh。
[数学式124]
[数学式125]
而且，收音方向计算部34使用数学式(123)的计算结果、数学式(121)的计算结果即相当于全方位麦克风阵列装置2距地板的高度HM与目的声源位置A距地板的高度HA之差(HM-HA)的距离，根据图71(C)所示的△MAS”的正切，按照数学式(126)算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv的正切值tanθMAv。由此，收音方向计算部34按照数学式(127)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv。
[数学式126]
[数学式127]
由此，在第七校准方法及第四收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2(参照图68)这两个部位时，收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，收音方向计算部34使用校准时算出的水平角θCMh、水平方向的距离LCMh、PTZ相机装置1及全方位麦克风阵列装置2距水平面的各高度HC、HM、既定的水平角θMCh、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv、通过用户输入的目的声源位置A距水平面的高度HA的输入值，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标。而且，目的声源位置A距地板的高度HA可以使用用户所希望的值，因此目的声源位置A距地板的高度HA的选择的自由度提高。
(与第八校准方法对应的第四收音方向坐标的计算方法)
接下来，关于第八校准方法和通过第八校准方法算出了校准参数之后的第四收音方向坐标的计算方法，参照图72及图73(A)～(C)进行说明。
图72是第十一实施方式的第八校准方法的说明图。图73(A)是表示第八校准方法的PTZ相机装置1、全方位麦克风阵列装置2、校准用标记MAK及校准用地板放置标记MAK2的位置关系的图。图73(B)是图73(A)的水平方向俯视图。图73(C)是图73(B)的K-K’线的垂直方向剖视图。
在第八校准方法中，以PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度HC、HM不同、且全方位麦克风阵列装置2存在于PTZ相机装置1的拍摄视野角外的方式设置。因此，PTZ相机装置1沿摇摄方向、倾斜方向进行了驱动之后聚焦于校准用标记MAK及校准用地板放置标记MAK2这两方进行变焦，因此校准用标记MAK及校准用地板放置标记MAK2位于显示器装置36的画面的中心点(参照图72)。
在第八校准方法中，全方位麦克风阵列装置2距地板的高度HM高于PTZ相机装置1距地板的高度HC(HC<HM)，从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方，使用例如线STR或绳，悬吊作为固体物的校准用标记MAK，而且，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2(参照图73(A))。第八校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK及校准用地板放置标记MAK2的各中心点O’、O”(参照图72)这两个部位时，收音方向计算部34使用从PTZ相机装置1朝向校准用标记MAK的垂直角θCO’v、从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCO”v、从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO”v，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。参照图73(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh和高度HM、HC的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK及校准用地板放置标记MAK2的各中心点O’、O”(参照图72)这两个部位时，收音方向计算部34取得从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO”v、从PTZ相机装置1朝向校准用标记MAK的水平角θCO’h、垂直角θCO’v、从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCO”h、垂直角θCO”v。距离LCO”v、水平角θCO’h、垂直角θCO’v、水平角θCO”h、垂直角θCO”v的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用标记MAK从全方位麦克风阵列装置2的预定位置向铅垂方向的正下方垂下，且校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此从PTZ相机装置1朝向校准用标记MAK及校准用地板放置标记MAK2的各水平角θCO’h、θCO”h与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCO’h＝θCO”h＝θCMh)。
收音方向计算部34在图73(C)所示的△CO”P中，使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO”v(＝LCO”)、从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCO”v，按照数学式(128)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(129)算出PTZ相机装置1距地板的高度HC。另外，由于校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此PTZ相机装置1与校准用地板放置标记MAK2之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式128]
LCOh=LCMh=LCO″v×cosθCO″v…(128)
[数学式129]
HC=LCO″v×sinθCO″v…(129)
根据图73(C)所示的△CO”O’的正弦定理，数学式(130)的关系式成立。因此，收音方向计算部34使用数学式(130)的计算结果，按照数学式(131)算出全方位麦克风阵列装置2距地板的高度HM。
[数学式130]
LCO″v/sin(π/2+θCO′v＝(HM-LMO′v)/sin(θCO″v-θCO′v)…(130)
[数学式131]
HM＝LMO′v+LCO″v×sin(θCO″v-θCO′v)/sin(π/2+θCO′v)…(131)
另外，通过第八校准方法算出了校准参数之后的收音方向计算部34的收音方向坐标(θMAh、θMAv)的计算方法与上述的第四收音方向坐标(θMAh、θMAv)的计算方法相同，因此省略说明。
由此，在第八校准方法及第四收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK及校准用地板放置标记MAK2的各中心点O’、O”(参照图72)这两个部位时，收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距地板的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
(与第九校准方法对应的第四收音方向坐标的计算方法)
接下来，关于第九校准方法和通过第九校准方法算出了校准参数之后的第四收音方向坐标的计算方法，参照图74及图75(A)～(C)进行说明。
图74是第十一实施方式的第九校准方法的说明图。图75(A)是表示第九校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK2的位置关系的图。图75(B)是图75(A)的水平方向俯视图。图75(C)是图75(B)的K-K’线的垂直方向剖视图。
在第九校准方法中，以PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度HC、HM不同、且全方位麦克风阵列装置2存在于PTZ相机装置1的拍摄视野角外的方式设置。因此，PTZ相机装置1沿摇摄方向、倾斜方向进行了驱动之后聚焦于校准用地板放置标记MAK2进行变焦，因此校准用地板放置标记MAK2位于显示器装置36的画面的中心点(参照图74)。
在第九校准方法中，全方位麦克风阵列装置2距地板的高度HM高于PTZ相机装置1距地板的高度HC(HC<HM)，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2(参照图75(A))。第九校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O(参照图74)时，收音方向计算部34使用从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv、从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC。参照图75(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh和高度HC的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O(参照图74)时，收音方向计算部34取得从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv、从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh、垂直角θCOv。距离LCOv、水平角θCOh、垂直角θCOv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图75(C)所示的△COP中，使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv(＝LCO)、从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv，按照数学式(132)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(133)算出PTZ相机装置1距地板的高度HC。另外，校准用地板放置标记MAK2设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此PTZ相机装置1与校准用地板放置标记MAK2之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式132]
LCOh=LCMh=LCOv×cosθCOv…(132)
[数学式133]
HC=LCOv×sinθCOv…(133)
另外，通过第九校准方法算出了校准参数之后的收音方向计算部34的收音方向坐标(θMAh、θMAv)的计算方法与上述的第四收音方向坐标(θMAh、θMAv)的计算方法相同，因此省略说明。
由此，在第九校准方法及第四收音方向坐标(θMAh、θMAv)的计算方法中，即使在PTZ相机装置1及全方位麦克风阵列装置2距地板的高度不同、且来自PTZ相机装置1的拍摄视野角内不存在全方位麦克风阵列装置2的情况下，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O(参照图74)时，收音方向计算部34也能够简易地算出PTZ相机装置1距地板的高度HC，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
(与第十校准方法对应的第四收音方向坐标的计算方法)
最后，关于第十校准方法和通过第十校准方法算出了校准参数之后的第四收音方向坐标的计算方法，参照图76、图77(A)～(C)、图78(A)～(C)及图79(A)～(C)进行说明。
图76是第十一实施方式的第十校准方法的说明图。图77(A)是表示第十校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用标记MAK的位置关系的图。图77(B)是图77(A)的水平方向俯视图。图77(C)是图77(B)的K-K’线的垂直方向剖视图。
图78(A)是表示第十校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图78(B)是图78(A)的水平方向俯视图。图78(C)是图78(B)的Q-Q’线的垂直方向剖视图。图79(A)是表示第十校准方法的PTZ相机装置1、全方位麦克风阵列装置2及目的声源位置A的位置关系的图。图79(B)是图79(A)的水平方向俯视图。图79(C)是图79(B)的R-R’线的垂直方向剖视图。
在第十校准方法中，以PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度不同、且全方位麦克风阵列装置2存在于PTZ相机装置1的拍摄视野角内的方式设置。因此，PTZ相机装置1沿摇摄方向、倾斜方向进行了驱动之后聚焦于全方位麦克风阵列装置2及校准用标记MAK这两方进行变焦，因此全方位麦克风阵列装置2及校准用标记MAK位于显示器装置36的画面的中心点(参照图76)。
在第十校准方法中，PTZ相机装置1距地板的高度HC高于全方位麦克风阵列装置2距地板的高度HM(HM<HC)，在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2(参照图77(A))。第十校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2(参照图76)这两个部位时，收音方向计算部34使用从PTZ相机装置1朝向校准用地板放置标记MAK2的垂直角θCOv、从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv、从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。参照图77(B)及(C)，具体说明收音方向计算部34的水平方向的距离LCMh和高度HM、HC的计算方法。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2(参照图76)这两个部位时，收音方向计算部34取得从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv(＝LCO)、从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh、垂直角θCOv、从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、垂直角θCMv。距离LCOv、水平角θCOh、垂直角θCOv、水平角θCMh、垂直角θCMv的数据在由PTZ相机装置1算出之后，从PTZ相机装置1向指向性控制装置3发送。另外，校准用地板放置标记MAK2在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2，因此，从PTZ相机装置1朝向校准用地板放置标记MAK2的水平角θCOh与从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh相同(θCOh＝θCMh)。
收音方向计算部34在图77(C)所示的△COP中，使用从PTZ相机装置1到校准用地板放置标记MAK2的距离LCOv(＝LCO)、从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点O的垂直角θCOv，按照数学式(134)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(135)算出PTZ相机装置1距地板的高度HC。
[数学式134]
LCOh＝LCMh＝LCOv×cosθCOv…(134)
[数学式135]
HC＝LCOv×sinθCOv…(135)
收音方向计算部34在图77(C)所示的△CMP中，使用数学式(134)的计算结果、从PTZ相机装置1朝向校准用地板放置标记MAK2的中心点O的垂直角θCOv与从PTZ相机装置1朝向全方位麦克风阵列装置2的垂直角θCMv之差(θCOv-θCMv)，按照数学式(136)算出PTZ相机装置1距地板的高度HC与全方位麦克风阵列装置2距地板的高度HM之差(HC-HM)的距离，按照数学式(137)算出全方位麦克风阵列装置2距地板的高度HM。
[数学式136]
HC＝LCOv×sinθCOv…(136)
[数学式137]
HM＝HC-LCOv×cosθCOv×tan(θCOv-θCMv)
＝LCOv×(sinθCOv-cosθCOv×tan(θCOv-θCMv))…(137)
接下来，在第四收音方向坐标(θMAh、θMAv)的计算方法中，目的声源位置A距水平面(例如地板)的高度是通过用户输入的输入值，与第三收音方向坐标(θMAh、θMAv)的计算方法不同。而且，PTZ相机装置1与全方位麦克风阵列装置2距地板的各高度HC、HM不同。
具体而言，收音方向计算部34使用(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh、(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh、(4)PTZ相机装置1、全方位麦克风阵列装置2距地板的各高度HC、HM、(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv、(6)由用户输入的、目的声源位置A距地板的高度HA，算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。参照图78(B)、(C)及图79(B)、(C)，具体说明收音方向计算部34的收音方向坐标(θMAh、θMAv)的计算方法。
(1)从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh使用第十校准方法中通过PTZ相机装置1算出的值(θCMh＝θCOh)。
(2)PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh是第十校准方法的校准参数(参照数学式(134))。
(3)从全方位麦克风阵列装置2朝向PTZ相机装置1的水平角θMCh是第十校准方法中根据PTZ相机装置1及全方位麦克风阵列装置2的位置关系赋予的既定值(零)。
(4)PTZ相机装置1、全方位麦克风阵列装置2距地板的各高度HC、HM是第十校准方法的校准参数(参照数学式(135)、(137))。
(5)从PTZ相机装置1朝向目的声源位置A的水平角θCAh、垂直角θCAv使用显示于显示器装置36的拍摄图像数据中根据指定位置A’的指定通过PTZ相机装置1算出的值。
(6)目的声源位置A距地板的高度HA是通过用户的输入操作而输入的值。
收音方向计算部34在图78(C)所示的△CAS’中，使用相当于PTZ相机装置1与目的声源位置A距地板的高度之差(HC-HA)的距离、从PTZ相机装置1朝向目的声源位置A的垂直角θCAv，按照数学式(138)算出从PTZ相机装置1到目的声源位置A的距离LCA的水平方向的距离LCAh。
[数学式138]
LCAh＝(HC-HA)/tanθCAv…(138)
收音方向计算部34使用数学式(134)、(138)的各计算结果、从PTZ相机装置1朝向目的声源位置A的水平角θCAh、从PTZ相机装置1朝向全方位麦克风阵列装置2的水平角θCMh，根据图78(B)所示的△CAM的余弦定理，按照数学式(139)算出从全方位麦克风阵列装置2到目的声源位置A的距离LMA的水平方向的距离LMAh。
[数学式139]
收音方向计算部34使用数学式(134)、(138)、(139)的各计算结果，根据图78(B)所示的△CAM的余弦定理，按照数学式(140)算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh的余弦值cosθMAh。由此，收音方向计算部34按照数学式(141)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的水平角θMAh。
[数学式140]
[数学式141]
而且，收音方向计算部34使用数学式(139)的计算结果、数学式(137)的计算结果即相当于全方位麦克风阵列装置2距地板的高度HM与目的声源位置A距地板的高度HA之差(HM-HA)的距离，根据图79(C)所示的△MAS”的正切，按照数学式(142)算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv的正切值tanθMAv。由此，收音方向计算部34按照数学式(143)能够算出从全方位麦克风阵列装置2朝向目的声源位置A的垂直角θMAv。
[数学式142]
[数学式143]
由此，在第十校准方法及第四收音方向坐标(θMAh、θMAv)的计算方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2(参照图76)这两个部位时，收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，收音方向计算部34使用在校准时算出的水平角θCMh、水平方向的距离LCMh、PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度HC、HM、既定的水平角θMCh、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv、通过用户输入的目的声源位置A距地板的高度HA的输入值，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标。而且，目的声源位置A距地板的高度HA可以使用用户所希望的值，因此目的声源位置A距地板的高度HA的选择的自由度提高。
另外，与第十校准方法对应的第四收音方向坐标的计算方法和与全方位麦克风阵列装置2距地板的高度HM比PTZ相机装置1距地板的高度HC高的情况所对应的第七校准方法对应的第四收音方向坐标的计算方法相同。而且，在全方位麦克风阵列装置2距地板的高度HM比PTZ相机装置1距地板的高度HC高的情况下，第六校准方法所对应的第三收音方向坐标的计算方法、或第八、第九各校准方法所对应的第四收音方向坐标的计算方法也同样适用，由此收音方向计算部能够算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标。
以下，说明上述的本发明的指向性控制系统及指向性控制方法的结构、作用及效果。
本发明的一实施方式是指向性控制系统，具备：拍摄部，拍摄预定的收音区域的对象物；收音部，对上述收音区域的声音进行收音；显示部，显示由上述拍摄部拍摄到的上述对象物的图像数据；收音方向计算部，根据上述对象物的图像数据的任意位置的指定，算出从上述收音部朝向与上述图像数据的指定位置对应的目的声源位置的收音方向；收音控制部，在由上述收音方向计算部算出的上述收音方向上，形成由上述收音部收音到的声音的收音指向性。
在上述的结构中，PTZ相机装置1适用在公知的摇摄方向和倾斜方向上的框体驱动功能及变焦功能，拍摄存在于预定的收音区域的对象物(例如人物)。全方位麦克风阵列装置2对存在于PTZ相机装置1的拍摄方向上的对象物的声音进行收音。当显示于显示器装置36的PTZ相机装置1的拍摄图像数据中任意位置被指定时，指向性控制装置3的收音方向计算部34算出从PTZ相机装置1朝向与指定位置A’对应的目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。指向性控制装置3的输出控制部35在算出的收音方向坐标(θMAh、θMAv)表示的收音方向上，形成由全方位麦克风阵列装置2收音到的声音的收音指向性。
由此，在收音系统10中，在PTZ相机装置1的显示有拍摄图像数据的显示器装置36上，由于与目的声源位置A对应的指定位置A’被指定，因此指向性控制装置3在算出收音方向坐标前预先必要的校准时，能够容易地取得计算预定的校准参数所需的输入参数(例如距离、方向)，并能够简易地算出校准参数。因此，指向性控制装置3以全方位麦克风阵列装置2为基准，能够容易地形成朝向与PTZ相机装置1的拍摄图像数据的中的指定位置A’对应的目的声源位置A的收音方向上的收音指向性，能够容易地得到高精度地收音到的收音方向的声音的声音数据。
而且，本发明的一实施方式的指向性控制系统中，上述拍摄部及上述收音部距水平面的各高度相同，上述收音方向计算部使用从上述拍摄部朝向上述收音部的水平角、上述拍摄部与上述收音部之间的水平方向的距离、从上述收音部朝向上述拍摄部的水平角和从上述拍摄部朝向上述目的声源位置的水平角及垂直角，算出从上述收音部朝向上述目的声源位置的收音方向的水平角及垂直角。
在上述的结构中，PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度相同。因此，指向性控制装置3的收音方向计算部34使用校准时算出的水平角θCMh、水平方向的距离LCMh、既定的水平角θMCh、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向坐标。
而且，指向性控制装置3的收音方向计算部34在计算收音方向坐标时不需要用户输入目的声源位置A距地板的高度HA，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方，垂下距上述收音部的距离固定的第一标记，上述第一标记距上述水平面的高度与上述目的声源位置距上述水平面的高度相同，上述收音方向计算部根据显示于上述显示部的上述第一标记的指定，使用上述收音部与上述第一标记之间的距离，算出上述拍摄部与上述收音部之间的水平方向的距离。
在上述的结构中，向全方位麦克风阵列装置2的正下方垂下距全方位麦克风阵列装置2的距离(LMOv)固定的校准用标记MAK，校准用标记MAK及目的声源位置A距地板的各高度HO、HA相同。因此，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK时，即使在例如由于全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，指向性控制装置3的收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，上述拍摄部及上述收音部距水平面的各高度相同，上述收音方向计算部使用从上述拍摄部朝向上述收音部的水平角、上述拍摄部与上述收音部之间的水平方向的距离、从上述收音部朝向上述拍摄部的水平角、上述拍摄部及上述收音部距水平面的各高度、从上述拍摄部朝向上述目的声源位置的水平角及垂直角和上述目的声源位置距水平面的高度的输入值，算出从上述收音部朝向上述目的声源位置的收音方向的水平角及垂直角。
在上述的结构中，PTZ相机装置1及全方位麦克风阵列装置2距水平面的各高度相同。因此，指向性控制装置3的收音方向计算部34使用校准时算出的水平角θCMh、水平方向的距离LCMh、既定的水平角θMCh、既定的PTZ相机装置1及全方位麦克风阵列装置2距水平面的各高度HC、HM、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv、通过用户输入的目的声源位置A距地板的高度HA的输入值，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标。
而且，指向性控制装置3的收音方向计算部34使用全方位麦克风阵列装置2的初始设置时测定比较简易的全方位麦克风阵列装置2距水平面的高度HM。因此，在从全方位麦克风阵列装置2垂下校准用标记MAK的情况下，能够简化垂下距离的调整。而且，目的声源位置A距地板的高度HA能够使用用户所希望的值，因此目的声源位置A距地板的高度HA的选择的自由度提高。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方，垂下距上述收音部的距离固定的第一标记，上述收音部距上述水平面的高度为预定值，上述收音方向计算部根据显示于上述显示部的上述第一标记的指定，使用上述收音部与上述第一标记之间的距离，算出上述拍摄部与上述收音部之间的水平方向的距离。
在上述的结构中，向全方位麦克风阵列装置2的正下方垂下距全方位麦克风阵列装置2的距离(LMOv)固定的校准用标记MAK，全方位麦克风阵列装置2距水平面的高度HM已知。因此，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK时，即使在例如由于全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，指向性控制装置3的收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方的上述水平面上的位置设置圆形的第二标记，上述收音方向计算部根据显示于上述显示部的上述第二标记的中心点的指定，使用从上述拍摄部到上述第二标记的距离和从上述拍摄部朝向上述第二标记的垂直角，算出上述拍摄部与上述收音部之间的水平方向的距离和上述收音部距上述水平面的高度。
在上述的结构中，在全方位麦克风阵列装置2的正下方的水平面上的位置设置圆形的校准用地板放置标记MAK2。因此，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O时，指向性控制装置3的收音方向计算部34使用例如PTZ相机装置1的聚焦功能，能够简易地算出从PTZ相机装置1到校准用地板放置标记MAK2的距离LCO，进而，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方的上述水平面上的位置设置具有预定的半径的圆形的第二标记，上述收音方向计算部根据显示于上述显示部的上述第二标记的中心点及圆周上的端点的指定，使用从上述拍摄部朝向上述第二标记的中心点的垂直角、从上述拍摄部朝向上述第二标记的圆周上的端点的垂直角和上述第二标记的半径，算出上述拍摄部与上述收音部之间的水平方向的距离和上述收音部距上述水平面的高度。
在上述的结构中，在全方位麦克风阵列装置2的正下方的地板上的位置设置具有预定的半径的圆形的校准用地板放置标记MAK2。因此，即使在例如无法测定从全方位麦克风阵列装置2到校准用地板放置标记MAK2的距离的情况下，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及圆周上的端点O’这两个部位时，即使例如从全方位麦克风阵列装置2到校准用地板放置标记MAK2的中心点的距离的测定困难的情况下，指向性控制装置3的收音方向计算部34也能够简易地算出全方位麦克风阵列装置2距地板的高度HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方设置距上述水平面的高度固定的第三标记，上述第三标记距上述水平面的高度与上述目的声源位置距上述水平面的高度相同，上述收音方向计算部根据显示于上述显示部的上述第三标记的指定，使用从上述拍摄部到上述第三标记的距离和从上述拍摄部朝向上述第三标记的垂直角，算出上述拍摄部与上述收音部之间的水平方向的距离和上述收音部距上述第三标记的高度。
在上述的结构中，在全方位麦克风阵列装置2的正下方，在距水平面的高度HO固定的位置设置校准用标记MAK3，校准用标记MAK3及目的声源位置A距水平面的高度HO、HA相同。因此，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK3的中心点O时，即使在例如由于全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，指向性控制装置3的收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、全方位麦克风阵列装置2距校准用标记MAK3的高度LMOv作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，上述拍摄部及上述收音部距水平面的各高度不同，上述收音部以存在于上述拍摄部的拍摄视野角内的方式设置，上述收音方向计算部使用从上述拍摄部朝向上述收音部的水平角及垂直角、上述拍摄部与上述收音部之间的水平方向的距离、从上述收音部朝向上述拍摄部的水平角、上述拍摄部距上述目的声源位置的高度、上述收音部距上述目的声源位置的高度和从上述拍摄部朝向上述目的声源位置的水平角及垂直角，算出从上述收音部朝向上述目的声源位置的收音方向的水平角及垂直角。
在上述的结构中，PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度不同，全方位麦克风阵列装置2以存在于PTZ相机装置1的拍摄视野角内、即全方位麦克风阵列装置2显示于显示器装置36的方式设置。因此，指向性控制装置3的收音方向计算部34使用校准时算出的水平角θCMh及垂直角θCMv、水平方向的距离LCMh、PTZ相机装置1及全方位麦克风阵列装置2距目的声源位置A的各高度LMOv’、LMO、既定的水平角θMCh、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向坐标。
而且，指向性控制装置3的收音方向计算部34即使在PTZ相机装置1及全方位麦克风阵列装置2距地板的高度不同的情况下，也无需用户输入目的声源位置A距地板的高度HA，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的坐标。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方，垂下距上述收音部的距离固定的第一标记，上述第一标记距上述水平面的高度与上述目的声源位置距上述水平面的高度相同，上述收音方向计算部根据显示于上述显示部的上述收音部及上述第一标记的指定，使用从上述拍摄部朝向上述收音部的垂直角和从上述拍摄部朝向上述第一标记的垂直角，算出上述拍摄部与上述收音部之间的水平方向的距离和上述拍摄部距上述目的声源位置的高度。
在上述的结构中，向全方位麦克风阵列装置2的正下方垂下距全方位麦克风阵列装置2的距离(LMOv)固定的校准用标记MAK，校准用标记MAK及目的声源位置A距地板的各高度HO、HA相同。因此，当通过用户的手指FG指定显示于显示器装置36的全方位麦克风阵列装置2及校准用标记MAK这两个部位时，即使在例如由于全方位麦克风阵列装置2的正下方的地板上存在障碍物而PTZ相机装置1无法拍摄全方位麦克风阵列装置2的正下方的地板面的情况下，指向性控制装置3的收音方向计算部34也能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，上述拍摄部及上述收音部距水平面的各高度不同，上述收音部以存在于上述拍摄部的拍摄视野角内的方式设置，上述收音方向计算部使用从上述拍摄部朝向上述收音部的水平角、上述拍摄部与上述收音部之间的水平方向的距离、从上述收音部朝向上述拍摄部的水平角、上述拍摄部距上述水平面的高度、上述收音部距上述水平面的高度、从上述拍摄部朝向上述目的声源位置的水平角及垂直角和上述目的声源位置距水平面的高度的输入值，算出从上述收音部朝向上述目的声源位置的收音方向的水平角及垂直角。
在上述的结构中，PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度不同，全方位麦克风阵列装置2以显示于显示器装置36的方式设置。因此，指向性控制装置3的收音方向计算部34使用校准时算出的水平角θCMh、水平方向的距离LCMh、PTZ相机装置1及全方位麦克风阵列装置2距地板面的各高度HC、HM、既定的水平角θMCh、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv、通过用户输入的目的声源位置A距地板的高度HA的输入值，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标。
而且，目的声源位置A距地板的高度HA可以使用用户所希望的值，因此目的声源位置A距地板的高度HA的选择的自由度提高。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方的上述水平面上的位置设置圆形的第二标记，上述收音方向计算部根据显示于上述显示部的上述收音部及上述第二标记的中心点的指定，使用从上述拍摄部朝向上述收音部的垂直角、从上述拍摄部朝向上述第二标记的垂直角和从上述拍摄部到上述第二标记的距离，算出上述拍摄部与上述收音部之间的水平方向的距离、上述拍摄部距上述水平面的高度和上述收音部距上述水平面的高度。
在上述的结构中，在全方位麦克风阵列装置2的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2。因此，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O及全方位麦克风阵列装置2这两个部位时，指向性控制装置3的收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距地板的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，上述拍摄部及上述收音部距水平面的各高度不同，上述收音部以存在于上述拍摄部的拍摄视野角外的方式设置，上述收音方向计算部使用从上述拍摄部朝向上述收音部的水平角、上述拍摄部与上述收音部之间的水平方向的距离、从上述收音部朝向上述拍摄部的水平角、上述拍摄部距上述水平面的高度、上述收音部距上述水平面的高度、从上述拍摄部朝向上述目的声源位置的水平角及垂直角和上述目的声源位置距水平面的高度的输入值，算出从上述收音部朝向上述目的声源位置的收音方向的水平角及垂直角。
在上述的结构中，PTZ相机装置1及全方位麦克风阵列装置2距地板的各高度不同，全方位麦克风阵列装置2以存在于PTZ相机装置1的拍摄视野角外、即全方位麦克风阵列装置2不显示于显示器装置36的方式设置。因此，指向性控制装置3的收音方向计算部34使用校准时算出的水平角θCMh、水平方向的距离LCMh、PTZ相机装置1及全方位麦克风阵列装置2距水平面的各高度HC、HM、既定的水平角θMCh、从PTZ相机装置1朝向目的声源位置A的水平角θCAh及垂直角θCAv、通过用户输入的目的声源位置A距水平面的高度HA的输入值，能够简易地算出从全方位麦克风阵列装置2朝向目的声源位置A的收音方向的收音方向坐标。
而且，目的声源位置A距地板的高度HA能够使用用户所希望的值，因此目的声源位置A距地板的高度HA的选择的自由度提高。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方，垂下距上述收音部的距离固定的第一标记，在上述收音部的正下方的上述水平面上的位置设置圆形的第二标记，上述收音方向计算部根据显示于上述显示部的上述第一标记及上述第二标记的中心点的指定，使用从上述拍摄部朝向上述第一标记的垂直角、从上述拍摄部朝向上述第二标记的垂直角和从上述拍摄部到上述第二标记的距离，算出上述拍摄部与上述收音部之间的水平方向的距离、上述拍摄部距上述水平面的高度和上述收音部距上述水平面的高度。
在上述的结构中，在全方位麦克风阵列装置2的正下方垂下距全方位麦克风阵列装置2的距离固定的校准用标记MAK，在全方位麦克风阵列装置2的正下方的地板上的位置设置圆形的校准用地板放置标记MAK2。因此，当通过用户的手指FG指定显示于显示器装置36的校准用标记MAK及校准用地板放置标记MAK2的中心点这两个部位时，指向性控制装置3的收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
而且，本发明的一实施方式的指向性控制系统中，在上述收音部的正下方的上述水平面上的位置设置圆形的第二标记，上述收音方向计算部根据显示于上述显示部的上述第二标记的中心点的指定，使用从上述拍摄部朝向上述第二标记的垂直角和从上述拍摄部到上述第二标记的距离，算出上述拍摄部与上述收音部之间的水平方向的距离和上述拍摄部距上述水平面的高度。
在上述的结构中，在全方位麦克风阵列装置2的正下方的水平面上的位置设置圆形的校准用地板放置标记MAK2。因此，PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度不同，即使在从PTZ相机装置1的拍摄视野角内不存在全方位麦克风阵列装置2的情况下，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK2的中心点O时，指向性控制装置3的收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距地板的高度HC，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh作为校准参数。
本发明的一实施方式是包括对预定的收音区域的对象物进行拍摄的拍摄部和对上述收音区域的声音进行收音的收音部的指向性控制系统的指向性控制方法，上述指向性控制方法具有以下步骤：对由上述拍摄部拍摄到的上述对象物的图像数据进行显示；接受所显示的上述对象物的图像数据中的任意位置的指定；根据上述对象物的图像数据中的任意位置的指定，算出从上述收音部朝向与上述图像数据的指定位置对应的目的声源位置的收音方向；及在算出的上述收音方向上，形成由上述收音部收音到的声音的收音指向性。
在上述的方法中，PTZ相机装置1使用公知的摇摄方向或倾斜方向上的框体驱动功能及变焦功能，拍摄存在于预定的收音区域的对象物(例如人物)。全方位麦克风阵列装置2对存在于PTZ相机装置1的拍摄方向上的对象物的声音进行收音。当在显示于显示器装置36的PTZ相机装置1的拍摄图像数据上指定任意位置时，指向性控制装置3的收音方向计算部34算出从PTZ相机装置1朝向与指定位置A’对应的目的声源位置A的收音方向的收音方向坐标(θMAh、θMAv)。指向性控制装置3的输出控制部35在算出的收音方向坐标(θMAh、θMAv)表示的收音方向上，形成由全方位麦克风阵列装置2收音到的声音的收音指向性。
由此，在收音系统10中，在PTZ相机装置1的显示有拍摄图像数据的显示器装置36上指定与目的声源位置A对应的指定位置A’，因此指向性控制装置3在算出收音方向坐标前预先必要的校准时，能够容易地取得计算预定的校准参数所需的输入参数(例如距离、方向)，能够简易地算出校准参数。因此，指向性控制装置3以全方位麦克风阵列装置2为基准，能够容易地形成朝向与PTZ相机装置1的拍摄图像数据中的指定位置A’对应的目的声源位置A的收音方向上的收音指向性，能够容易地得到高精度地收音到的收音方向的声音的声音数据。
(第十一实施方式的校准方法的变形例)
接下来，关于第十一实施方式的收音系统10的校准方法的变形例(以下，称为“本变形例”)，参照图82～图91进行说明。在本变形例中，与上述的收音方向坐标的计算方法不同，PTZ相机装置1及全方位麦克风阵列装置2的各水平角的正面方向(0度方向)未相向，而且是指不同的方向。
具体而言，在上述的收音方向坐标的计算方法中，从全方位麦克风阵列装置2观察PTZ相机装置1的方向的水平角θMCh为零。换言之，表示全方位麦克风阵列装置2的X轴方向(水平角的0度方向，参照图82)的偏差量的水平角θMCh为0，但是在以下的本变形例中，说明该水平角θMCh不为零的情况。另外，在以下的本变形例中，说明校准参数的计算方法，使用了校准参数的收音方向坐标的计算方法与上述的第十一实施方式相同，因此省略说明。
(与第十一校准方法对应的校准参数的计算方法)
在第十一校准方法中，PTZ相机装置1及全方位麦克风阵列装置2距水平面(地板面)的高度HC、HM相等，但是HC及HM并非已知。第十一校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。
图82(A)是在第十一校准方法中使用的校准用地板放置标记MAK4的俯视图。图82(B)是PTZ相机装置1的聚焦功能的点O及点X的放大画面。图82(A)所示的校准用地板放置标记MAK4可以使用例如片材构成。片材的中心点O以对应于全方位麦克风阵列装置2的中心位置的铅垂下方向的正下方的方式设置。点X以与全方位麦克风阵列装置2的水平角的正面方向(0度方向)一致的方式设置。校准用地板放置标记MAK4的从中心点O到点X的距离(圆的半径R0)为已知(固定)值。
PTZ相机装置1通过与用户的输入操作(例如手指FG对显示器装置36的触摸操作)对应的PTZ相机装置1自身的聚焦功能，聚焦于校准用地板放置标记MAK4的点O，由此算出从PTZ相机装置1到点O的距离LCO、水平角θCOh及垂直角θCOv。而且，PTZ相机装置1通过与用户的输入操作(例如手指FG对显示器装置36的触摸操作)对应的PTZ相机装置1自身的聚焦功能，聚焦于校准用地板放置标记MAK4的点X，由此算出从PTZ相机装置1到点X的距离LCX、水平角θCXh及垂直角θCXv。PTZ相机装置1的计算结果向指向性控制装置3发送。
图83(A)是表示第十一校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图。图83(B)是图83(A)的水平方向俯视图。图83(C)是图83(B)的K-K’剖视图。图84(A)是表示第十一校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图。图84(B)是图84(A)的水平方向俯视图。图84(C)是图84(B)的L-L’剖视图。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK4的中心点O及点X(参照图82(B))这两个部位时，收音方向计算部34使用校准用地板放置标记MAK4的半径R0、从PTZ相机装置1朝向校准用地板放置标记MAK4的中心点O的距离LCO、垂直角θCOv、从PTZ相机装置1朝向校准用地板放置标记MAK4的点X的垂直角θCXv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。参照图83(B)、图83(C)、图84(B)及图84(C)，具体说明收音方向计算部34的水平方向的距离LCMh、高度HM、HC、水平角θMCh的计算方法。
收音方向计算部34在图83(C)所示的△COM中，使用从PTZ相机装置1到校准用地板放置标记MAK4的中心点O的距离LCO、从PTZ相机装置1朝向校准用地板放置标记MAK4的中心点O的垂直角θCOv，按照数学式(144)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(145)算出PTZ相机装置1距地板的高度HC。另外，校准用地板放置标记MAK4设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此PTZ相机装置1与校准用地板放置标记MAK4之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式144]
LCOh＝LCMh＝LCO×cosθCOv …(144)
[数学式145]
HC＝HM＝LCO×sinθCOv…(145)
而且，收音方向计算部34在图84(C)所示的△CXM中，使用从PTZ相机装置1到校准用地板放置标记MAK4的点X的距离LCX、从PTZ相机装置1朝向校准用地板放置标记MAK4的点X的垂直角θCXv，按照数学式(146)算出从PTZ相机装置1到校准用地板放置标记MAK4的点X的水平方向的距离LCXh。
[数学式146]
LCXh＝LCX×cosθCXv…(146)
收音方向计算部34根据图83(B)或图84(B)所示的△CXM的余弦定理，使用数学式(144)～数学式(146)的各计算结果，按照数学式(147)算出表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。
[数学式147]
由此，在本变形例的第十一校准方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK4的中心点O及点X这两个部位时，收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh作为校准参数。
由此，全方位麦克风阵列装置2的水平角的正面方向(0度方向)可知，因此指向性控制装置3即使在对于1个全方位麦克风阵列装置2设置了多个PTZ相机装置1的收音系统的系统结构的情况下，也能够同样地算出各PTZ相机装置1与全方位麦克风阵列装置2之间的校准参数。因此，没有将全方位麦克风阵列装置2朝向PTZ相机装置1设置等全方位麦克风阵列装置2的设置限制，全方位麦克风阵列装置2的设置变得容易。
(与第十二校准方法对应的校准参数的计算方法)
在第十二校准方法中，PTZ相机装置1及全方位麦克风阵列装置2距水平面(地板面)的高度HC、HM相等，HC及HM为已知。第十二校准方法的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。另外，PTZ相机装置1距地板的高度HC已知，但是也可以通过第十二校准方法而具体算出。另外，在第十二校准方法的说明中，省略或简化与第十一校准方法的说明相同的内容的说明，对不同的内容进行说明。
图85(A)是在第十二校准方法中使用的校准用地板放置标记MAK4的俯视图。图85(B)是PTZ相机装置1的聚焦功能的点O及点X的放大画面。图85(A)所示的校准用地板放置标记MAK4与图82(A)所示的校准用地板放置标记MAK4相同，因此省略说明。
图86(A)是表示第十二校准方法中的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图。图86(B)是图86(A)的水平方向俯视图。图86(C)是图86(B)的K-K’剖视图。图87(A)是表示第十二校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图。图87(B)是图87(A)的水平方向俯视图。图87(C)是图87(B)的L-L’剖视图。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK4的中心点O及点X(参照图85(B))这两个部位时，收音方向计算部34使用校准用地板放置标记MAK4的半径R0、从PTZ相机装置1朝向校准用地板放置标记MAK4的中心点O的距离LCO、垂直角θCOv、从PTZ相机装置1朝向校准用地板放置标记MAK4的点X的垂直角θCXv，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。参照图86(B)、图86(C)、图87(B)及图87(C)，具体说明收音方向计算部34的水平方向的距离LCMh和水平角θMCh的计算方法。
收音方向计算部34在图86(C)所示的△COM中，使用从PTZ相机装置1到校准用地板放置标记MAK4的中心点O的距离LCO、从PTZ相机装置1朝向校准用地板放置标记MAK4的中心点O的垂直角θCOv，按照数学式(148)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh。另外，收音方向计算部34也可以按照数学式(148)算出PTZ相机装置1距地板的高度HC。
[数学式148]
LCOh＝HC/tanθCOv＝LCMh…(148)
而且，收音方向计算部34在图87(C)所示的△CXM中，使用从PTZ相机装置1到校准用地板放置标记MAK4的点X的距离LCX、PTZ相机装置1距水平面的高度HC(已知的值)或通过数学式(148)算出的PTZ相机装置1距水平面的高度HC、从PTZ相机装置1朝向校准用地板放置标记MAK4的点X的垂直角θCXv，按照数学式(149)算出从PTZ相机装置1到校准用地板放置标记MAK4的点X的水平方向的距离LCXh。
[数学式149]
LCXh＝HC/tanθCXv…(149)
收音方向计算部34根据图86(B)或图87(B)所示的△CXM的余弦定理，使用数学式(148)及数学式(149)的各计算结果，按照数学式(150)算出表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。
[数学式150]
由此，在本变形例的第十二校准方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK4的中心点O及点X这两个部位时，收音方向计算部34能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh作为校准参数。另外，在第十二校准方法中，收音方向计算部34即使在PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM不相等的情况下，也能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM。
由此，全方位麦克风阵列装置2的水平角的正面方向(0度方向)可知，因此指向性控制装置3即使在对于1个全方位麦克风阵列装置2设置了多个PTZ相机装置1的收音系统的系统结构的情况下，也能够同样地算出各PTZ相机装置1与全方位麦克风阵列装置2之间的校准参数。因此，没有将全方位麦克风阵列装置2朝向PTZ相机装置1设置等全方位麦克风阵列装置2的设置限制，全方位麦克风阵列装置2的设置变得容易。
(与第十三校准方法对应的校准参数的计算方法)
在第十三校准方法中，PTZ相机装置1及全方位麦克风阵列装置2距水平面(地板面)的高度HC、HM相等，但是HC及HM并非已知。第十三校准方法中的校准参数是PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。另外，在第十三校准方法的说明中，省略或简化与第十一校准方法的说明相同的内容的说明，对不同内容进行说明。
图88(A)是在第十三校准方法中使用的校准用地板放置标记MAK4的俯视图。图88(B)是基于PTZ相机装置1的聚焦功能的点O、点O’及点X的放大画面。图88(B)所示的点O’是得到与从PTZ相机装置1到的中心点O的水平角θCOh相同的水平角的点，指向性控制装置3为了视觉性地表示得到该相同的水平角的部位而将引导线GUD2显示于显示器装置36。
PTZ相机装置1通过与用户的输入操作(例如手指FG对显示器装置36的触摸操作)对应的PTZ相机装置1自身的聚焦功能，聚焦于校准用地板放置标记MAK4的中心点O，由此算出从PTZ相机装置1到中心点O的距离LCO、水平角θCOh及垂直角θCOv。而且，PTZ相机装置1通过与用户的输入操作(例如手指FG对显示器装置36的触摸操作)对应的PTZ相机装置1自身的聚焦功能，聚焦于校准用地板放置标记MAK4的点X，由此算出从PTZ相机装置1到点X的距离LCX、水平角θCXh及垂直角θCXv。而且，PTZ相机装置1通过与用户的输入操作(例如手指FG对显示器装置36的触摸操作)对应的PTZ相机装置1自身的聚焦功能，聚焦于校准用地板放置标记MAK4的点O’，由此算出从PTZ相机装置1到点O’的距离LCO’、水平角θCO’h及垂直角θCO’v。PTZ相机装置1的计算结果向指向性控制装置3发送。
图89(A)是表示第十三校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图。图89(B)是图89(A)的水平方向俯视图。图89(C)是图89(B)的K-K’剖视图。图90(A)是表示第十三校准方法的PTZ相机装置1、全方位麦克风阵列装置2及校准用地板放置标记MAK4的位置关系的图。图90(B)是图90(A)的水平方向俯视图。图90(C)是图90(B)的L-L’剖视图。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK4的中心点O、点X及点O’这三个部位时，收音方向计算部34使用校准用地板放置标记MAK4的半径R0、从PTZ相机装置1朝向校准用地板放置标记MAK4的中心点O的垂直角θCOv、从PTZ相机装置1朝向校准用地板放置标记MAK4的点X的垂直角θCXv、从PTZ相机装置1朝向校准用地板放置标记MAK4的点O’的垂直角θCO’v，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。参照图89(B)、图89(C)、图90(B)及图90(C)，具体说明收音方向计算部34的水平方向的距离LCMh、高度HM、HC、水平角θMCh的计算方法。
收音方向计算部34在图89(C)所示的△COM中，使用从PTZ相机装置1朝向校准用地板放置标记MAK4的中心点O的垂直角θCOv，按照数学式(151)求出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距水平面的高度HC的关系式，而且，使用校准用地板放置标记MAK4的半径R0、从PTZ相机装置1朝向校准用地板放置标记MAK4的点O’的垂直角θCO’v，按照数学式(152)求出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距水平面的高度HC的关系式。另外，校准用地板放置标记MAK4设置在从全方位麦克风阵列装置2的预定位置朝向铅垂方向的正下方的地板上的位置，因此PTZ相机装置1与校准用地板放置标记MAK4之间的水平方向的距离LCOh等于PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh(LCOh＝LCMh)。
[数学式151]
tanθCOv＝HC/LCMh…(151)
[数学式152]
tanθCO′v＝HC/(LCMh+R0)…(152)
收音方向计算部34使用数学式(151)及数学式(152)的各计算结果，按照数学式(153)算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh，按照数学式(154)算出PTZ相机装置1距地板的高度HC。
[数学式153]
LCOh＝R0×tanθCO′v/(tanθCOv-tanθCO′v)＝LCCMh…(153)
[数学式154]
而且，收音方向计算部34在图91(C)所示的△CXM中，使用数学式(154)的计算结果、从PTZ相机装置1朝向校准用地板放置标记MAK4的点X的垂直角θCXv，按照数学式(155)算出从PTZ相机装置1到校准用地板放置标记MAK4的点X的水平方向的距离LCXh。
[数学式155]
LCXh＝HC/tanθCXv…(155)
收音方向计算部34根据图89(B)或图90(B)所示的△CXM的余弦定理，使用数学式(153)～数学式(155)的各计算结果，按照数学式(156)算出表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh。
[数学式156]
由此，在本变形例的第十三校准方法中，当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK4的中心点O、点O’及点X这三个部位时，收音方向计算部34能够简易地算出PTZ相机装置1及全方位麦克风阵列装置2距水平面的高度HC、HM，而且，能够简易地算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh作为校准参数。
由此，全方位麦克风阵列装置2的水平角的正面方向(0度方向)可知，因此指向性控制装置3即使在相对于1个全方位麦克风阵列装置2设置有多个PTZ相机装置1的收音系统的系统结构的情况下，也能够同样地算出各PTZ相机装置1与全方位麦克风阵列装置2之间的校准参数。因此，没有将全方位麦克风阵列装置2朝向PTZ相机装置1设置等全方位麦克风阵列装置2的设置限制，全方位麦克风阵列装置2的设置变得容易。
另外，在第十三校准方法使用的校准用地板放置标记MAK4中，用户需要预先规定表示全方位麦克风阵列装置2的水平角的正面方向(0度方向)的点X。然而，也可以省略预先规定点X的用户的作业，从PTZ相机装置1的图像读取表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh，从操作部32直接输入。
在这种情况下，用户使用图91(A)所示的带有角度存储器的校准用地板放置标记MAK5。图91(A)是带有角度存储器的校准用地板放置标记MAK5的俯视图。图91(B)是PTZ相机装置1的聚焦功能的点O及点O’的放大画面。另外，图91(B)所示的点O及点O’的位置与图88(B)所示的点O及点O’相同。
当通过用户的手指FG指定显示于显示器装置36的校准用地板放置标记MAK5的中心点O及点O’这两个部位、进而用户将从图像读取的角度信息从操作部32输入时，收音方向计算部34使用校准用地板放置标记MAK5的半径R0、从PTZ相机装置1朝向校准用地板放置标记MAK5的中心点O的垂直角θCOv、从PTZ相机装置1朝向校准用地板放置标记MAK5的点O’的垂直角θCO’v，算出PTZ相机装置1与全方位麦克风阵列装置2之间的水平方向的距离LCMh、PTZ相机装置1距地板的高度HC、全方位麦克风阵列装置2距地板的高度HM。表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh是用户从操作部32输入的值。以下的校准参数的计算方法与第四实施例的校准方法的说明相同，作为未知数的表示全方位麦克风阵列装置2的X轴方向的偏差量的水平角θMCh被直接输入，因此省略说明。
另外，本申请基于2013年2月15日提出的日本专利申请(特愿2013-028402)、2013年6月6日提出的日本专利申请(特愿2013-119850)、2013年6月20日提出的日本专利申请(特愿2013-129964)、2013年7月25日提出的日本专利申请(特愿2013-154867)、2013年10月18日提出的日本专利申请(特愿2013-217707)，其内容作为参照而援引于本申请中。
工业实用性
本发明作为以麦克风阵列装置为基准、从相机装置拍摄的预定范围的影像朝向与所指定的位置对应的场所或方向而形成声音的收音指向性、从而高精度地对相应方向的声音数据进行收音的指向性控制系统及指向性控制方法是有用的。
本发明作为在一体地使用相机装置和麦克风阵列装置的情况下、使表示相机装置的拍摄方向的坐标的水平角与表示麦克风阵列装置的收音方向的坐标的水平角的各基准方向一致的校准方法是有用的。
本发明作为算出表示相机装置的拍摄方向坐标和麦克风阵列装置的收音方向坐标的各水平角的0°方向与将两者连接的相互的基准方向之间的角度的水平偏差角而使麦克风阵列装置适当地对存在于相机装置的拍摄方向上的被摄体的会话声音进行收音的指向性控制系统及水平偏差角计算方法是有用的。
本发明作为判定存在于收音空间内的对象声源位置距基准面的高度并以对象声源位置距基准面的高度为基础而在从麦克风阵列装置朝向对象声源位置的收音指向方向上形成声音的收音指向性的指向性控制系统及指向性控制方法是有用的。
本发明作为以麦克风阵列装置为基准而形成朝向相机装置的拍摄图像中的对应于指定位置的目的声源位置的收音方向上的收音指向性、从而高精度地对收音方向的声音进行收音的指向性控制系统及指向性控制方法是有用的。
附图标记说明
1 PTZ相机装置
1Z、1A、1B、1C 收音系统
2、2A、2B、2C、2D 麦克风阵列装置(全方位麦克风阵列装置)
3、3A、3B、3C 指向性控制装置
3z、3A、3C、3D 全方位相机装置
4 记录器(记录器装置)
5、5A、5B、5C 全方位麦克风阵列装置
7 安装部件
7a、7b 卡定片
7c、7d 孔部
7e 螺丝孔
8 顶棚面
10、10A 指向性控制系统(收音系统)
11、11n 相机装置
11y 键
11z 全方位相机装置
13 开口部
15 键槽
17 框体
18 麦克风单元
21z、23z 标记
26 加算部
31、31A 通信部
32 操作部
33、33A、33B、33C 信号处理部
34 收音方向计算部
34a 声源高度判定部
34b 收音指向方向计算部
34c 输出控制部
34w 水平偏差角计算部
34x 坐标计算部
34z 坐标转换处理部
35 输出控制部
36 显示器装置
37 扬声器装置
38、38A、38B 存储器
61 夹具
63 记号
61A 夹具图像
63A 记号图像
71 卡合孔
221、222、223、22(n-1)、22n 麦克风
241、242、243、24(n-1)、24n A/D转换器
251、252、253、25(n-1)、25n 延迟器
C1 校准用全方位相机装置
CF1、CF2、CF3 设定文件

Claims (5)

1.一种校准方法，具有以下工序：
使拍摄预定拍摄范围的影像的相机装置与对所述相机装置的拍摄范围的声音进行收音的麦克风阵列装置在同轴上进行对位；
向在所述麦克风阵列装置的框体中心形成的开口部的周缘部安装所述相机装置；及
通过向所述开口部的内侧安装所述相机装置，使与所述同轴正交的平面中的所述相机装置及所述麦克风阵列装置的各水平角的基准方向一致。
2.根据权利要求1所述的校准方法，其中，
在所述一致的工序中，使在所述相机装置的框体外周形成的卡定部件与在所述开口部的周缘部形成的卡定槽嵌合，由此使所述麦克风阵列装置的水平角的基准方向与所述相机装置的水平角的基准方向一致。
3.根据权利要求1所述的校准方法，其中，
在所述一致的工序中，使向所述开口部的周缘部附加的第一标记部与向所述相机装置的框体外周附加的第二标记部相向，由此使所述麦克风阵列装置的水平角的基准方向与所述相机装置的水平角的基准方向一致。
4.根据权利要求1所述的校准方法，其中，
在所述安装的工序中，所述相机装置的框体安装于预定的安装件，所述麦克风阵列装置的框体以将安装于所述预定的安装件的所述相机装置的框体向所述开口部的内侧嵌入的方式进行插通而安装于所述预定的安装件。
5.一种校准方法，具有以下工序：
使拍摄预定拍摄范围的影像的相机装置与对所述相机装置的拍摄范围的声音进行收音的麦克风阵列装置在同轴上进行对位；
向在所述麦克风阵列装置的框体中心形成的开口部的周缘部安装所述相机装置；
将表示所述麦克风阵列装置的水平角的基准方向的夹具安装于所述麦克风阵列装置的框体的相向的两端部；
通过所述相机装置拍摄所述夹具；
基于所述夹具的拍摄图像，算出所述相机装置的水平角的基准方向与所述麦克风阵列装置的水平角的基准方向的偏差量；及
使用算出的所述偏差量，调整所述麦克风阵列装置的收音方向的水平角，由此使与所述同轴正交的平面中的所述相机装置及所述麦克风阵列装置的各水平角的基准方向一致。
CN201480017437.4A 2013-02-15 2014-02-14 指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法 Active CN105075288B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
JP2013-028402 2013-02-15
JP2013028402 2013-02-15
JP2013119850 2013-06-06
JP2013-119850 2013-06-06
JP2013129964 2013-06-20
JP2013-129964 2013-06-20
JP2013154867 2013-07-25
JP2013-154867 2013-07-25
JP2013217707 2013-10-18
JP2013-217707 2013-10-18
PCT/JP2014/000775 WO2014125835A1 (ja) 2013-02-15 2014-02-14 指向性制御システム、キャリブレーション方法、水平偏差角算出方法及び指向性制御方法

Publications (2)

Publication Number Publication Date
CN105075288A CN105075288A (zh) 2015-11-18
CN105075288B true CN105075288B (zh) 2018-10-19

Family

ID=51353846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480017437.4A Active CN105075288B (zh) 2013-02-15 2014-02-14 指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法

Country Status (5)

Country Link
US (2) US9860439B2 (zh)
EP (1) EP2958339B1 (zh)
JP (2) JP6253031B2 (zh)
CN (1) CN105075288B (zh)
WO (1) WO2014125835A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294839B2 (en) 2013-03-01 2016-03-22 Clearone, Inc. Augmentation of a beamforming microphone array with non-beamforming microphones
CN105763956B (zh) 2014-12-15 2018-12-14 华为终端（东莞）有限公司 视频聊天中录音的方法和终端
JP6631193B2 (ja) * 2015-01-23 2020-01-15 株式会社リコー 動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法
JP6416032B2 (ja) * 2015-03-31 2018-10-31 株式会社熊谷組 診断装置
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
KR20170017401A (ko) * 2015-08-06 2017-02-15 엘지이노텍 주식회사 이미지 처리 장치
JP5979458B1 (ja) 2015-11-06 2016-08-24 パナソニックＩｐマネジメント株式会社 無人飛行体検知システム及び無人飛行体検知方法
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
US10063967B2 (en) 2016-03-22 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Sound collecting device and sound collecting method
WO2017170007A1 (ja) * 2016-03-30 2017-10-05 日本電気株式会社 監視装置、監視方法、及び記録媒体
WO2017208820A1 (ja) * 2016-05-30 2017-12-07 ソニー株式会社 映像音響処理装置および方法、並びにプログラム
US20170365271A1 (en) * 2016-06-15 2017-12-21 Adam Kupryjanow Automatic speech recognition de-reverberation
CN108089152B (zh) 2016-11-23 2020-07-03 杭州海康威视数字技术股份有限公司 一种设备控制方法、装置及系统
US10299060B2 (en) * 2016-12-30 2019-05-21 Caavo Inc Determining distances and angles between speakers and other home theater components
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
EP3681173A4 (en) * 2017-09-08 2020-12-02 Panasonic Intellectual Property Management Co., Ltd. SOUND CAPTURING DEVICE, SOUND CAPTURING SYSTEM, SOUND CAPTURING PROCESS, PROGRAM, AND CALIBRATION METHOD
CN109696658B (zh) * 2017-10-23 2021-08-24 京东方科技集团股份有限公司 采集设备、声音采集方法、声源跟踪系统及其方法
US10567746B2 (en) * 2017-11-14 2020-02-18 Caterpillar Inc. Calibration jig
JP6881267B2 (ja) * 2017-12-05 2021-06-02 日本電信電話株式会社 制御装置、変換装置、制御方法、変換方法、およびプログラム
WO2019149337A1 (en) 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
JP2018101987A (ja) * 2018-01-31 2018-06-28 パナソニックＩｐマネジメント株式会社 監視エリアの音源表示システム及び音源表示方法
EP3525482B1 (en) * 2018-02-09 2023-07-12 Dolby Laboratories Licensing Corporation Microphone array for capturing audio sound field
US10873727B2 (en) * 2018-05-14 2020-12-22 COMSATS University Islamabad Surveillance system
WO2019231632A1 (en) 2018-06-01 2019-12-05 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
TWI655451B (zh) * 2018-06-11 2019-04-01 臺中榮民總醫院嘉義分院 空間定位及方向指引動態回饋系統
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020061353A1 (en) 2018-09-20 2020-03-26 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
TW202044236A (zh) 2019-03-21 2020-12-01 美商舒爾獲得控股公司 具有抑制功能的波束形成麥克風瓣之自動對焦、區域內自動對焦、及自動配置
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
CN110009916A (zh) * 2019-05-05 2019-07-12 江苏聆世科技有限公司 汽车鸣笛检测设备及方法
TW202101422A (zh) 2019-05-23 2021-01-01 美商舒爾獲得控股公司 可操縱揚聲器陣列、系統及其方法
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
CN110493690B (zh) * 2019-08-29 2021-08-13 北京搜狗科技发展有限公司 一种声音采集方法及装置
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
JP6739064B1 (ja) * 2020-01-20 2020-08-12 パナソニックＩｐマネジメント株式会社 撮像装置
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
CN111625025B (zh) * 2020-04-24 2023-04-28 Oppo（重庆）智能科技有限公司 参数校准方法、装置、存储介质及电子设备
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN113923562B (zh) * 2020-07-10 2024-08-20 北京搜狗智能科技有限公司 拾音方法和装置
US11714157B2 (en) * 2020-11-10 2023-08-01 Amazon Technologies, Inc. System to determine direction toward user
CN112466323A (zh) * 2020-11-24 2021-03-09 中核检修有限公司 一种光学图像与声学图像融合方法及系统
CN112379330B (zh) * 2020-11-27 2023-03-10 浙江同善人工智能技术有限公司 一种多机器人协同的3d声源识别定位方法
US12114118B2 (en) 2021-01-13 2024-10-08 Shure Acquisition Holdings, Inc. Audio device housing
WO2022165007A1 (en) 2021-01-28 2022-08-04 Shure Acquisition Holdings, Inc. Hybrid audio beamforming system
CN112967488B (zh) * 2021-04-09 2022-05-06 宁波奥克斯电气股份有限公司 一种空调器显示控制方法及装置、空调器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286680A (ja) * 1995-02-17 1996-11-01 Takenaka Komuten Co Ltd 音抽出装置
JPH1051889A (ja) * 1996-08-05 1998-02-20 Toshiba Corp 音声収集装置及び音声収集方法
JP2006222618A (ja) * 2005-02-09 2006-08-24 Casio Comput Co Ltd カメラ装置、カメラ制御プログラム及び記録音声制御方法
CN101137008A (zh) * 2007-07-11 2008-03-05 裘炅 一种将位置信息隐藏于视频、音频或图的摄像装置及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5957596A (ja) * 1982-09-27 1984-04-03 Sony Corp マイクロホン装置
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
US6157403A (en) 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
US20030160862A1 (en) * 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
JP4269883B2 (ja) 2003-10-20 2009-05-27 ソニー株式会社 マイクロホン装置、再生装置及び撮像装置
JP2007214753A (ja) 2006-02-08 2007-08-23 Matsushita Electric Ind Co Ltd 制御方法及び制御装置
JP2008271157A (ja) * 2007-04-19 2008-11-06 Fuji Xerox Co Ltd 音声強調装置及び制御プログラム
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
US8363512B2 (en) * 2009-02-27 2013-01-29 Honda Motors Method and apparatus for estimating sound source
JP2010213091A (ja) 2009-03-11 2010-09-24 Ikegami Tsushinki Co Ltd 音源位置推定装置
JP5198530B2 (ja) * 2010-09-28 2013-05-15 株式会社東芝 音声付き動画像呈示装置、方法およびプログラム
JP2012186551A (ja) 2011-03-03 2012-09-27 Hitachi Ltd 制御装置、制御システムと制御方法
US10048933B2 (en) * 2011-11-30 2018-08-14 Nokia Technologies Oy Apparatus and method for audio reactive UI information and display
EP2680616A1 (en) * 2012-06-25 2014-01-01 LG Electronics Inc. Mobile terminal and audio zooming method thereof
US20150186109A1 (en) * 2012-08-10 2015-07-02 Nokia Corporation Spatial audio user interface apparatus
US9007524B2 (en) * 2012-09-25 2015-04-14 Intel Corporation Techniques and apparatus for audio isolation in video processing
JP6216169B2 (ja) * 2012-09-26 2017-10-18 キヤノン株式会社 情報処理装置、情報処理方法
US10068363B2 (en) * 2013-03-27 2018-09-04 Nokia Technologies Oy Image point of interest analyser with animation generator
US9516412B2 (en) 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US9414153B2 (en) * 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP6217930B2 (ja) * 2014-07-15 2017-10-25 パナソニックＩｐマネジメント株式会社 音速補正システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08286680A (ja) * 1995-02-17 1996-11-01 Takenaka Komuten Co Ltd 音抽出装置
JPH1051889A (ja) * 1996-08-05 1998-02-20 Toshiba Corp 音声収集装置及び音声収集方法
JP2006222618A (ja) * 2005-02-09 2006-08-24 Casio Comput Co Ltd カメラ装置、カメラ制御プログラム及び記録音声制御方法
CN101137008A (zh) * 2007-07-11 2008-03-05 裘炅 一种将位置信息隐藏于视频、音频或图的摄像装置及方法

Also Published As

Publication number Publication date
US10244162B2 (en) 2019-03-26
JPWO2014125835A1 (ja) 2017-02-02
EP2958339A1 (en) 2015-12-23
CN105075288A (zh) 2015-11-18
JP6253031B2 (ja) 2017-12-27
EP2958339A4 (en) 2017-01-18
US9860439B2 (en) 2018-01-02
US20160142620A1 (en) 2016-05-19
WO2014125835A1 (ja) 2014-08-21
EP2958339B1 (en) 2019-09-18
US20180160032A1 (en) 2018-06-07
JP2018057023A (ja) 2018-04-05
JP6485715B2 (ja) 2019-03-20

Similar Documents

Publication Publication Date Title
CN105075288B (zh) 指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法
CA3097164C (en) Generating floor maps for buildings from automated analysis of visual data from the buildings&#39; interiors
US11238652B2 (en) Presenting integrated building information using building models
CN104243779B (zh) 指向性控制系统及声音输出控制方法
CA3113355C (en) Automated control of image acquisition via use of acquisition device sensors
US11514674B2 (en) Automated analysis of image contents to determine the acquisition location of the image
CN110337318A (zh) 混合现实装置中的虚拟和真实对象记录
US20180321798A1 (en) Information processing apparatus and operation reception method
CN105378801A (zh) 全息图快照网格
CN114270811A (zh) 用于基于光场的远程呈现通信的设备位姿检测以及位姿相关图像的捕获和处理
CN109274998A (zh) 动态电视墙及其影音播放方法
US9426573B2 (en) Sound field encoder
US10732706B2 (en) Provision of virtual reality content
CA2714383A1 (en) Device and method for measuring a quantity over a spatial region
CN202293994U (zh) 基于三维深度摄像头实时人体扫描三维雕塑装置
KR100923337B1 (ko) 환경 특성 정보 생성 장치 및 방법, 및 컴퓨터 판독가능 매체
Blaise et al. Acquisition & integration of spatial and acoustic features: A workflow tailored to small-scale heritage architecture
EP2760223B1 (en) Sound field encoder
EP2760222A1 (en) Sound field reproduction
JPS59184973A (ja) ロボツトの環境理解システム
JP6610064B2 (ja) 建築素材凹凸模様画像処理システム、方法、及びプログラム
CA2840674A1 (en) Sound field encoder
JP2024093477A (ja) プログラム、漏れ検査装置及び漏れ検査方法
TW202120890A (zh) 方位堪輿裝置及其方位定向方法
Bruns et al. Template for an Acta IMEKO paper

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant