JP2017175474A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017175474A5 JP2017175474A5 JP2016060974A JP2016060974A JP2017175474A5 JP 2017175474 A5 JP2017175474 A5 JP 2017175474A5 JP 2016060974 A JP2016060974 A JP 2016060974A JP 2016060974 A JP2016060974 A JP 2016060974A JP 2017175474 A5 JP2017175474 A5 JP 2017175474A5
- Authority
- JP
- Japan
- Prior art keywords
- sound
- imaging area
- sound parameter
- unit
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 70
- 230000000007 visual effect Effects 0.000 claims description 29
- 238000009795 derivation Methods 0.000 claims description 26
- 230000000875 corresponding Effects 0.000 claims description 8
Description
本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出する音パラメータ導出部と、前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を、前記撮像エリアの音パラメータ導出単位毎に重畳して前記モニタに表示する信号処理部と、を備え、前記音パラメータ導出部は、前記音源視覚画像が重畳された前記撮像エリアの撮像画像の中で一部の矩形範囲が指定されると、前記撮像エリアの音パラメータ導出単位を前記撮像エリアの撮像画像と前記矩形範囲とのサイズ比で除した値毎に、前記矩形範囲の音パラメータを導出する、モニタリングシステムを提供する。 The present invention comprises a camera for picking up an image pickup area, a microphone array for picking up sound in the image pickup area, a monitor for displaying a picked up image of the image pickup area picked up by the camera, and a picked up image of the image pickup area a predetermined number of pixels constituting a sound parameter derivation unit of the imaging area, based on sound collected by the microphone array, sound parameters specifying the loudness of the imaging area, the sound of the image pickup area a sound parameter deriving unit for deriving for each parameter derivation units, depending on a comparison of the plurality of threshold values related to the size of the sound the sound parameters derived by the parameter derivation unit and sound stage the sound parameters to different visual image specifically the converted sound visual images, a signal processing unit to be displayed on the monitor superimposed on each sound parameter derivation unit of the imaging area, the For example, the sound parameter deriving unit, a part of the rectangular area in the captured image of the imaging area of the sound source visual image is superimposed is designated, the sound parameter derivation unit of the imaging area of the imaging area A monitoring system is provided, which derives sound parameters of the rectangular range for each value divided by a size ratio of a captured image and the rectangular range.
また、本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出する音パラメータ導出部と、音の大きさを段階的に規定する複数の閾値の各閾値と、前記各閾値との比較に応じて前記音パラメータが異なる視覚画像に段階的に変換される音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更する閾値調整部と、前記音パラメータ導出部により導出された前記音パラメータと前記閾値調整部により変更された前記対応関係とを基に、前記撮像エリアの音パラメータ導出単位毎に、前記音パラメータに対応する前記音源視覚画像を前記撮像エリアの撮像画像に重畳して前記モニタに表示する信号処理部と、を備える、モニタリングシステムを提供する。 Further, according to the present invention, there are provided a camera for picking up an image pickup area, a microphone array for picking up sound of the image pickup area, a monitor for displaying a picked up image of the image pickup area picked up by the camera, and an image pickup of the image pickup area A sound parameter for specifying the size of the sound of the imaging area based on the sound collected by the microphone array with the predetermined number of pixels constituting the image as the sound parameter derivation unit of the imaging area, the imaging area A sound parameter deriving unit for deriving each sound parameter deriving unit, each threshold value of a plurality of threshold values defining the magnitude of the sound stepwise, and a visual image having different sound parameters according to comparison with each threshold value A threshold adjustment unit that changes the setting of the correspondence relationship with the sound source visual image converted in stages according to the captured image of the imaging area, and the sound parameter derivation unit Based on said correspondence relation changed by the sound parameter and the threshold adjustment unit is, for each sound parameter derivation unit of the imaging area, the sound source visual image corresponding to the sound parameters captured image of the imaging area And a signal processing unit for displaying on the monitor in a superimposed manner.
また、本発明は、カメラとマイクアレイとを有するモニタリングシステムにおけるモニタリング方法であって、前記カメラにより、撮像エリアを撮像し、前記マイクアレイにより、前記撮像エリアの音声を収音し、前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を、前記撮像エリアの音パラメータ導出単位毎に重畳して前記モニタに表示することを特徴とし、さらに、前記音源視覚画像が重畳された前記撮像エリアの撮像画像の中で一部の矩形範囲が指定されると、前記撮像エリアの音パラメータ導出単位を前記撮像エリアの撮像画像と前記矩形範囲とのサイズ比で除した値毎に、前記矩形範囲の音パラメータを導出する、モニタリング方法を提供する。 Further, the present invention is a monitoring method in a monitoring system having a camera and a microphone array, wherein an imaging area is imaged by the camera, sound of the imaging area is collected by the microphone array, and the camera is The picked-up image of the picked-up image pickup area is displayed on a monitor, and a predetermined number of pixels constituting the picked-up image of the pickup area is taken as a sound parameter derivation unit of the pickup area. A sound parameter specifying the size of the sound in the imaging area is derived for each unit of sound parameter derivation in the imaging area, and a comparison is made between the derived sound parameter and a plurality of threshold values regarding the size of the sound Te, the source visual images stepwise convert the sound parameters to different visual images, sound parameters guiding the imaging area Superimposed on each unit is characterized in that displayed on the monitor, further, a part of the rectangular area in the captured image of the image pickup area source visual image is superimposed is designated, the imaging area A monitoring method is provided, in which the sound parameter of the rectangular range is derived for each value obtained by dividing the sound parameter derivation unit by the size ratio of the captured image of the imaging area and the rectangular range.
また、本発明は、カメラとマイクアレイとを有するモニタリングシステムにおけるモニタリング方法であって、前記カメラにより、撮像エリアを撮像し、前記マイクアレイにより、前記撮像エリアの音声を収音し、前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出し、音の大きさを段階的に規定する複数の閾値の各閾値と、前記各閾値との比較に応じて前記音パラメータが異なる視覚画像に段階的に変換される音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更し、導出された前記音パラメータと変更された前記対応関係とを基に、前記撮像エリアの音パラメータ導出単位毎に、前記音パラメータに対応する前記音源視覚画像を前記撮像エリアの撮像画像に重畳して前記モニタに表示する、モニタリング方法を提供する。 Further, the present invention is a monitoring method in a monitoring system having a camera and a microphone array, wherein an imaging area is imaged by the camera, sound of the imaging area is collected by the microphone array, and the camera is The picked-up image of the picked-up image pickup area is displayed on a monitor, and a predetermined number of pixels constituting the picked-up image of the pickup area is taken as a sound parameter derivation unit of the pickup area. Further, sound parameters for specifying the size of the sound in the imaging area are derived for each unit of sound parameter derivation in the imaging area, and each threshold of a plurality of thresholds for defining the size of the sound in a stepwise manner; The imaging of the setting of the correspondence with the sound source visual image in which the sound parameters are gradually converted to different visual images according to the comparison with the threshold, Changed according to the rear of the captured image, the derived based on said correspondence has been changed to the sound parameters for each sound parameter derivation unit of the imaging area, the sound source visual image corresponding to the sound parameter A monitoring method is provided, which is superimposed on a captured image of the imaging area and displayed on the monitor.
Claims (8)
前記撮像エリアの音声を収音するマイクアレイと、
前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、
前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出する音パラメータ導出部と、
前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を、前記撮像エリアの音パラメータ導出単位毎に重畳して前記モニタに表示する信号処理部と、を備え、
前記音パラメータ導出部は、前記音源視覚画像が重畳された前記撮像エリアの撮像画像の中で一部の矩形範囲が指定されると、前記撮像エリアの音パラメータ導出単位を前記撮像エリアの撮像画像と前記矩形範囲とのサイズ比で除した値毎に、前記矩形範囲の音パラメータを導出する、
モニタリングシステム。 A camera for imaging an imaging area;
A microphone array for picking up the sound of the imaging area;
A monitor for displaying a captured image of the imaging area captured by the camera;
A sound parameter for specifying the size of the sound of the imaging area based on the sound collected by the microphone array, using a predetermined number of pixels constituting the captured image of the imaging area as a sound parameter derivation unit of the imaging area A sound parameter deriving unit that derives the sound parameter for each unit of sound parameter derivation in the imaging area;
A sound source visual image obtained by stepwise converting the sound parameters into different visual images according to a comparison between the sound parameters derived by the sound parameter deriving unit and a plurality of thresholds related to the magnitude of the sound in the imaging area And a signal processing unit that superimposes each sound parameter derivation unit and displays it on the monitor;
The sound parameter deriving unit is configured such that, when a part of a rectangular range is designated in the captured image of the imaging area on which the sound source visual image is superimposed, a sound parameter deriving unit of the imaging area is a captured image of the imaging area Deriving a sound parameter of the rectangular range for each value divided by a size ratio of the rectangular range to the rectangular range ;
Monitoring system.
前記撮像エリアの音声を収音するマイクアレイと、
前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、
前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出する音パラメータ導出部と、
音の大きさを段階的に規定する複数の閾値の各閾値と、前記各閾値との比較に応じて前記音パラメータが異なる視覚画像に段階的に変換される音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更する閾値調整部と、
前記音パラメータ導出部により導出された前記音パラメータと前記閾値調整部により変更された前記対応関係とを基に、前記撮像エリアの音パラメータ導出単位毎に、前記音パラメータに対応する前記音源視覚画像を前記撮像エリアの撮像画像に重畳して前記モニタに表示する信号処理部と、を備える、
モニタリングシステム。 A camera for imaging an imaging area;
A microphone array for picking up the sound of the imaging area;
A monitor for displaying a captured image of the imaging area captured by the camera;
A sound parameter for specifying the size of the sound of the imaging area based on the sound collected by the microphone array, using a predetermined number of pixels constituting the captured image of the imaging area as a sound parameter derivation unit of the imaging area A sound parameter deriving unit that derives the sound parameter for each unit of sound parameter derivation in the imaging area;
Setting of the correspondence between sound source visual images in which the sound parameters are stepwise converted into different visual images according to comparison with each threshold of a plurality of thresholds which define the magnitude of sound stepwise A threshold adjustment unit that changes the image according to the captured image of the imaging area;
The sound source visual image corresponding to the sound parameter for each sound parameter derivation unit of the imaging area based on the sound parameter derived by the sound parameter derivation unit and the correspondence changed by the threshold value adjustment unit A signal processing unit that superimposes on the monitor image of the image pickup area and displays it on the monitor,
Monitoring system.
前記閾値調整部は、前記撮像エリアの音パラメータ導出単位毎の前記音パラメータの出現頻度を基に、前記音源視覚画像を規定する前記各閾値の幅を変更する、
モニタリングシステム。 The monitoring system according to claim 2, wherein
The threshold adjustment unit changes the width of each of the thresholds defining the sound source visual image, based on the appearance frequency of the sound parameter for each sound parameter derivation unit of the imaging area .
Monitoring system.
前記閾値調整部は、前記音パラメータの上限値に対応する音源視覚画像の使用を規定する閾値間の幅の変更操作に応じて、前記幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する、
モニタリングシステム。 The monitoring system according to claim 2, wherein
The threshold adjustment unit is configured to exclude the width between the thresholds after the width is changed according to the change operation of the width between the thresholds defining the use of the sound source visual image corresponding to the upper limit value of the sound parameter. Equally change the width between all thresholds,
Monitoring system.
前記閾値調整部は、前記音パラメータの下限値に対応する音源視覚画像の使用を規定する閾値間の幅の変更操作に応じて、前記幅が変更された後の閾値間の幅を除く他の全ての閾値間の幅を均等に変更する、
モニタリングシステム。 The monitoring system according to claim 2, wherein
The threshold adjustment unit is configured to exclude the width between the thresholds after the width is changed according to the change operation of the width between the thresholds defining the use of the sound source visual image corresponding to the lower limit value of the sound parameter. Equally change the width between all thresholds,
Monitoring system.
前記閾値調整部は、前記音パラメータの上限値に対応する音源視覚画像の使用を規定する閾値間の幅と前記音パラメータの下限値に対応する音源視覚画像の使用を規定する閾値間の幅との変更操作に応じて、前記幅が変更された後の上端閾値間及び下端閾値間の幅を除く他の全ての閾値間の幅を均等に変更する、
モニタリングシステム。 The monitoring system according to claim 2, wherein
The threshold adjustment unit may have a width between the threshold defining the use of the sound source visual image corresponding to the upper limit of the sound parameter and a width between the threshold defining the use of the sound source visual image corresponding to the lower limit of the sound parameter. Change the widths between all the other thresholds except the width between the upper threshold and the lower threshold after the width is changed according to the changing operation of
Monitoring system.
前記カメラにより、撮像エリアを撮像し、
前記マイクアレイにより、前記撮像エリアの音声を収音し、
前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、
前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出し、
導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を、前記撮像エリアの音パラメータ導出単位毎に重畳して前記モニタに表示することを特徴とし、
さらに、前記音源視覚画像が重畳された前記撮像エリアの撮像画像の中で一部の矩形範囲が指定されると、前記撮像エリアの音パラメータ導出単位を前記撮像エリアの撮像画像と前記矩形範囲とのサイズ比で除した値毎に、前記矩形範囲の音パラメータを導出する、
モニタリング方法。 A monitoring method in a monitoring system having a camera and a microphone array, comprising:
The imaging area is imaged by the camera,
The microphone array picks up the sound of the imaging area,
Displaying on a monitor a captured image of the imaging area captured by the camera;
A sound parameter for specifying the size of the sound of the imaging area based on the sound collected by the microphone array, using a predetermined number of pixels constituting the captured image of the imaging area as a sound parameter derivation unit of the imaging area Are derived for each sound parameter deriving unit of the imaging area,
A sound source visual image obtained by stepwise converting the sound parameters into different visual images according to the comparison between the derived sound parameter and a plurality of threshold values regarding the magnitude of the sound, for each sound parameter derivation unit of the imaging area It is characterized in that it is superimposed and displayed on the monitor;
Furthermore, when a part of the rectangular range is designated in the captured image of the imaging area on which the sound source visual image is superimposed, a sound parameter deriving unit of the imaging area is the captured image of the imaging area and the rectangular range Deriving a sound parameter of the rectangular range for each value divided by the size ratio of
Monitoring method.
前記カメラにより、撮像エリアを撮像し、
前記マイクアレイにより、前記撮像エリアの音声を収音し、
前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、
前記撮像エリアの撮像画像を構成する所定数の画素を前記撮像エリアの音パラメータ導出単位として、前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの音パラメータ導出単位毎に導出し、
音の大きさを段階的に規定する複数の閾値の各閾値と、前記各閾値との比較に応じて前記音パラメータが異なる視覚画像に段階的に変換される音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更し、
導出された前記音パラメータと変更された前記対応関係とを基に、前記撮像エリアの音パラメータ導出単位毎に、前記音パラメータに対応する前記音源視覚画像を前記撮像エリアの撮像画像に重畳して前記モニタに表示する、
モニタリング方法。 A monitoring method in a monitoring system having a camera and a microphone array, comprising:
The imaging area is imaged by the camera,
The microphone array picks up the sound of the imaging area,
Displaying on a monitor a captured image of the imaging area captured by the camera;
A sound parameter for specifying the size of the sound of the imaging area based on the sound collected by the microphone array, using a predetermined number of pixels constituting the captured image of the imaging area as a sound parameter derivation unit of the imaging area Are derived for each sound parameter deriving unit of the imaging area,
Setting of the correspondence between sound source visual images in which the sound parameters are stepwise converted into different visual images according to comparison with each threshold of a plurality of thresholds which define the magnitude of sound stepwise , According to the captured image of the imaging area,
The sound source visual image corresponding to the sound parameter is superimposed on the captured image of the imaging area based on the derived sound parameter and the changed correspondence relationship for each of the sound parameter derivation units of the imaging area. Display on the monitor
Monitoring method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060974A JP6664119B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
PCT/JP2017/005872 WO2017163688A1 (en) | 2016-03-24 | 2017-02-17 | Monitoring system and monitoring method |
US15/454,722 US10397525B2 (en) | 2016-03-24 | 2017-03-09 | Monitoring system and monitoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016060974A JP6664119B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017175474A JP2017175474A (en) | 2017-09-28 |
JP2017175474A5 true JP2017175474A5 (en) | 2019-04-25 |
JP6664119B2 JP6664119B2 (en) | 2020-03-13 |
Family
ID=59972440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016060974A Active JP6664119B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6664119B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220308157A1 (en) * | 2019-08-28 | 2022-09-29 | Sony Interactive Entertainment Inc. | Image processing apparatus, system, image processing method, and image processing program |
CN113851002B (en) * | 2021-10-15 | 2022-04-22 | 江阴市人人达科技有限公司 | Ectopic facility interactive synchronization system and method |
CN114964650B (en) * | 2022-08-01 | 2022-11-18 | 杭州兆华电子股份有限公司 | Gas leakage alarm method and device based on acoustic imaging |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4886770B2 (en) * | 2005-05-05 | 2012-02-29 | 株式会社ソニー・コンピュータエンタテインメント | Selective sound source listening for use with computer interactive processing |
US9226088B2 (en) * | 2011-06-11 | 2015-12-29 | Clearone Communications, Inc. | Methods and apparatuses for multiple configurations of beamforming microphone arrays |
JP5642027B2 (en) * | 2011-07-06 | 2014-12-17 | 株式会社日立パワーソリューションズ | Abnormal sound diagnosis apparatus and abnormal sound diagnosis method |
CN104302466A (en) * | 2012-04-16 | 2015-01-21 | 维斯塔斯风力系统有限公司 | A method of fabricating a composite part and an apparatus for fabricating a composite part |
JP5939444B2 (en) * | 2012-12-25 | 2016-06-22 | 株式会社Jvcケンウッド | Imaging device |
JP6061693B2 (en) * | 2013-01-18 | 2017-01-18 | 株式会社日立パワーソリューションズ | Abnormality diagnosis apparatus and abnormality diagnosis method using the same |
US10547902B2 (en) * | 2014-07-18 | 2020-01-28 | Sony Corporation | Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system |
-
2016
- 2016-03-24 JP JP2016060974A patent/JP6664119B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016535394A5 (en) | ||
EP2887642A3 (en) | Method, apparatus and computer program product for image refocusing for light-field images | |
EP2012271A3 (en) | Image processing system and method | |
JP2017175475A5 (en) | ||
JP2011041089A5 (en) | ||
EP2536126A3 (en) | Image processing apparatus, image processing method, and program | |
JP2016208306A5 (en) | ||
JP2013232780A5 (en) | ||
JP2017175474A5 (en) | ||
JP2012023532A5 (en) | ||
JP2015103104A5 (en) | ||
JP2017118296A5 (en) | ||
JP2019159739A5 (en) | ||
JP2012222541A5 (en) | ||
TW201624096A (en) | Calibration guidance system and operation method of a calibration guidance system | |
WO2017220600A3 (en) | Method for calibrating an image-capturing sensor consisting of at least one sensor camera, using a time-coded patterned target | |
JP2019020778A5 (en) | ||
JP2019068117A5 (en) | Image processing device and image processing method, imaging device | |
JP2006295506A5 (en) | ||
EP2883501A3 (en) | Ultrasound diagnosis device and operating method of the same | |
JP2012104932A5 (en) | ||
EP2613529A3 (en) | Monitoring system including an array of cameras for eye movement recording | |
US20170048447A1 (en) | Image processing apparatus, image processing method, and program | |
JP2020087005A5 (en) | ||
JP2019159593A5 (en) | Information processing equipment, information processing methods, and programs |