JP2017175475A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017175475A5 JP2017175475A5 JP2016060975A JP2016060975A JP2017175475A5 JP 2017175475 A5 JP2017175475 A5 JP 2017175475A5 JP 2016060975 A JP2016060975 A JP 2016060975A JP 2016060975 A JP2016060975 A JP 2016060975A JP 2017175475 A5 JP2017175475 A5 JP 2017175475A5
- Authority
- JP
- Japan
- Prior art keywords
- sound
- area
- imaging area
- monitoring system
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims 31
- 230000000873 masking Effects 0.000 claims 21
- 230000000007 visual effect Effects 0.000 claims 16
- 238000001514 detection method Methods 0.000 claims 5
Claims (12)
前記撮像エリアの音声を収音するマイクアレイと、
前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、
前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出する音パラメータ導出部と、
前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成する信号処理部と、を備え、
前記信号処理部は、前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、
モニタリングシステム。 A camera for imaging an imaging area;
A microphone array for picking up the sound of the imaging area;
A monitor for displaying a captured image of the imaging area captured by the camera;
A sound parameter deriving unit which derives a sound parameter specifying the size of the sound in the imaging area based on the sound collected by the microphone array for each predetermined unit of pixels constituting the imaged image in the imaging area; ,
According to the comparison between the sound parameter derived by the sound parameter deriving unit and the threshold value relating to the magnitude of sound, the sound source visual image obtained by converting the sound parameter into a visual image for each predetermined unit of the pixels is captured A signal processing unit that generates a translucent map of sound parameter maps connected so as to correspond to the size of the captured image of the area;
The signal processing unit superimposes the translucent map on a captured image of the imaging area and displays the superimposed image on the monitor.
Monitoring system.
前記音の大きさに関する閾値は複数設けられ、
前記信号処理部は、前記音パラメータと前記複数の閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを異なる視覚画像に段階的に変換した音源視覚画像を用いて、複数種類の前記音源視覚画像を有する前記音パラメータマップの半透明マップを生成する、
モニタリングシステム。 The monitoring system according to claim 1, wherein
There are a plurality of thresholds for the magnitude of the sound
The signal processing unit uses a plurality of sound source visual images in which the sound parameters are stepwise converted into different visual images for each predetermined unit of the pixels according to the comparison between the sound parameter and the plurality of threshold values. Generating a translucent map of the sound parameter map having the source visual image of the kind
Monitoring system.
前記マイクアレイにより収音された音声を基に、前記撮像エリアの撮像画像に現れる無人飛行体の検知を除外するためのマスキングエリアを設定するマスキングエリア設定部と、
前記マイクアレイにより収音された音声と前記マスキングエリア設定部により設定された前記マスキングエリアとを基に、前記マスキングエリア外における前記無人飛行体を検知する検知部と、をさらに備え、
前記信号処理部は、前記マスキングエリア外で前記無人飛行体が検知された場合に、前記撮像エリアの撮像画像中の前記無人飛行体の周囲に、前記無人飛行体の音の大きさを示す前記音源視覚画像を半透明化して前記モニタに表示する、
モニタリングシステム。 The monitoring system according to claim 1, wherein
A masking area setting unit for setting a masking area for excluding detection of an unmanned air vehicle appearing in a captured image of the imaging area based on the sound collected by the microphone array;
A detection unit for detecting the unmanned air vehicle outside the masking area based on the sound collected by the microphone array and the masking area set by the masking area setting unit;
The signal processing unit is configured to indicate the magnitude of the sound of the unmanned air vehicle around the unmanned air vehicle in the captured image of the imaging area when the unmanned air vehicle is detected outside the masking area. Make the sound source visual image translucent and display it on the monitor,
Monitoring system.
音の大きさを段階的に規定する複数の閾値の各閾値と複数種類の前記音源視覚画像との対応関係の設定を、前記撮像エリアの撮像画像に応じて変更する閾値調整部、をさらに備え、
前記信号処理部は、前記音パラメータ導出部により導出された前記音パラメータと前記閾値調整部により変更された前記対応関係とを基に、前記画素の所定単位毎の音源視覚画像を前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成する、
モニタリングシステム。 The monitoring system according to claim 2, wherein
And a threshold adjustment unit configured to change the setting of the correspondence between each of a plurality of threshold values that define the magnitude of the sound in stages and the plurality of types of the sound source visual image according to the captured image of the imaging area. ,
The signal processing unit is configured to generate a sound source visual image for each predetermined unit of the pixels in the imaging area based on the sound parameter derived by the sound parameter deriving unit and the correspondence changed by the threshold adjustment unit. Generate a translucent map of sound parameter maps connected to correspond to the size of the captured image;
Monitoring system.
前記撮像エリアの音声を収音するマイクアレイと、A microphone array for picking up the sound of the imaging area;
前記カメラにより撮像された前記撮像エリアの撮像画像を表示するモニタと、A monitor for displaying a captured image of the imaging area captured by the camera;
前記マイクアレイにより収音された音声を基に、前記撮像エリアの撮像画像に現れる無人飛行体の検知を除外するためのマスキングエリアを設定するマスキングエリア設定部と、A masking area setting unit for setting a masking area for excluding detection of an unmanned air vehicle appearing in a captured image of the imaging area based on the sound collected by the microphone array;
前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出する音パラメータ導出部と、A sound parameter deriving unit which derives a sound parameter specifying the size of the sound in the imaging area based on the sound collected by the microphone array for each predetermined unit of pixels constituting the imaged image in the imaging area; ,
前記マスキングエリア外において、前記音パラメータ導出部により導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像画像に重畳して前記モニタに表示する信号処理部と、を備える、A sound source that converts the sound parameter for each predetermined unit of the pixel into a visual image according to a comparison between the sound parameter derived by the sound parameter deriving unit and a threshold related to the size of the sound outside the masking area A signal processing unit that superimposes a visual image on the captured image and displays it on the monitor;
モニタリングシステム。Monitoring system.
前記マスキングエリア設定部は、前記音パラメータ導出部により導出された前記音パラメータが音の大きさに関するマスキングエリア閾値以上となった音源領域を前記モニタに重畳して表示し、さらに、ユーザ確定操作により、前記モニタに表示された前記音源領域を前記マスキングエリアとして設定する、The masking area setting unit superimposes and displays on the monitor a sound source area in which the sound parameter derived by the sound parameter deriving unit is equal to or more than a masking area threshold related to the size of the sound. Setting the sound source area displayed on the monitor as the masking area;
モニタリングシステム。Monitoring system.
前記マスキングエリア設定部は、前記モニタに表示された前記音源領域をさらに追加するためのユーザ追加操作により、前記ユーザ追加操作後の音源領域を前記マスキングエリアとして設定する、The masking area setting unit sets a sound source area after the user addition operation as the masking area by a user addition operation for further adding the sound source area displayed on the monitor.
モニタリングシステム。Monitoring system.
前記マスキングエリア設定部は、前記モニタに表示された前記音源領域の少なくとも一部を削除するためのユーザ削除操作により、前記ユーザ削除操作後の音源領域を前記マスキングエリアとして設定する、The masking area setting unit sets a sound source area after the user deletion operation as the masking area by a user deletion operation for deleting at least a part of the sound source area displayed on the monitor.
モニタリングシステム。Monitoring system.
前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚画像に段階的に変換した前記音源視覚画像を、前記撮像エリアの撮像画像を構成する画素の所定単位毎に重畳して前記モニタに表示する、The signal processing unit is configured to, according to a comparison between the sound parameter and a plurality of threshold values related to the magnitude of the sound, the sound source visual image obtained by stepwise converting the sound parameter into different visual images, the imaging area And superimposing on a predetermined unit of pixels constituting a captured image of
モニタリングシステム。Monitoring system.
前記マイクアレイにより収音された音声と前記マスキングエリア設定部により設定された前記マスキングエリアとを基に、前記マスキングエリア外における前記無人飛行体を検知する検知部を、さらに備える、A detection unit for detecting the unmanned air vehicle outside the masking area based on the sound collected by the microphone array and the masking area set by the masking area setting unit;
モニタリングシステム。Monitoring system.
前記カメラにより、撮像エリアを撮像し、
前記マイクアレイにより、前記撮像エリアの音声を収音し、
前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、
前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出し、
導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像エリアの撮像画像の大きさに対応するように連結した音パラメータマップの半透明マップを生成し、
生成された前記半透明マップを前記撮像エリアの撮像画像に重畳して前記モニタに表示する、
モニタリング方法。 A monitoring method in a monitoring system having a camera and a microphone array, comprising:
The imaging area is imaged by the camera,
The microphone array picks up the sound of the imaging area,
Displaying on a monitor a captured image of the imaging area captured by the camera;
Based on the sound collected by the microphone array, a sound parameter for specifying the size of the sound in the imaging area is derived for each predetermined unit of pixels constituting the imaged image in the imaging area,
According to the comparison between the derived sound parameter and the threshold value relating to the size of the sound, a sound source visual image obtained by converting the sound parameter into a visual image for each predetermined unit of the pixels Generate a translucent map of the sound parameter map linked to correspond to the
The generated translucent map is superimposed on the captured image of the imaging area and displayed on the monitor.
Monitoring method.
前記カメラにより、撮像エリアを撮像し、The imaging area is imaged by the camera,
前記マイクアレイにより、前記撮像エリアの音声を収音し、The microphone array picks up the sound of the imaging area,
前記カメラにより撮像された前記撮像エリアの撮像画像をモニタに表示し、Displaying on a monitor a captured image of the imaging area captured by the camera;
前記マイクアレイにより収音された音声を基に、前記撮像エリアの撮像画像に現れる無人飛行体の検知を除外するためのマスキングエリアを設定し、Setting a masking area for excluding detection of an unmanned air vehicle appearing in a captured image of the imaging area based on the sound collected by the microphone array;
前記マイクアレイにより収音された音声を基に、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの撮像画像を構成する画素の所定単位毎に導出し、Based on the sound collected by the microphone array, a sound parameter for specifying the size of the sound in the imaging area is derived for each predetermined unit of pixels constituting the imaged image in the imaging area,
前記マスキングエリア外において、前記導出された前記音パラメータと音の大きさに関する閾値との比較に応じて、前記画素の所定単位毎の、前記音パラメータを視覚画像に変換した音源視覚画像を、前記撮像画像に重畳して前記モニタに表示する、Outside the masking area, according to the comparison between the derived sound parameter and a threshold related to the size of the sound, a sound source visual image obtained by converting the sound parameter into a visual image for each predetermined unit of the pixels is provided. Superimposing on a captured image and displaying it on the monitor,
モニタリング方法。Monitoring method.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016060975A JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
| PCT/JP2017/005872 WO2017163688A1 (en) | 2016-03-24 | 2017-02-17 | Monitoring system and monitoring method |
| US15/454,722 US10397525B2 (en) | 2016-03-24 | 2017-03-09 | Monitoring system and monitoring method |
| JP2021044572A JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016060975A JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021044572A Division JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017175475A JP2017175475A (en) | 2017-09-28 |
| JP2017175475A5 true JP2017175475A5 (en) | 2019-04-25 |
| JP6865371B2 JP6865371B2 (en) | 2021-04-28 |
Family
ID=59972370
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016060975A Active JP6865371B2 (en) | 2016-03-24 | 2016-03-24 | Monitoring system and monitoring method |
| JP2021044572A Active JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021044572A Active JP7122708B2 (en) | 2016-03-24 | 2021-03-18 | Image processing device, monitoring system and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6865371B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019093297A1 (en) * | 2017-11-13 | 2019-05-16 | 日本電気株式会社 | Information processing device, control method, and program |
| CN109003425A (en) * | 2018-08-10 | 2018-12-14 | 北京车和家信息技术有限公司 | A kind of method for early warning and relevant device |
| WO2020065973A1 (en) * | 2018-09-28 | 2020-04-02 | 日本電気株式会社 | Detection system, detection method and program |
| CN112147570A (en) * | 2019-06-27 | 2020-12-29 | 上海银基信息安全技术股份有限公司 | Positioning method and system |
| CN112004028B (en) * | 2020-09-03 | 2021-06-15 | 南京国础工程技术有限公司 | Intelligent security monitoring management system for smart community based on machine vision |
| US11646046B2 (en) | 2021-01-29 | 2023-05-09 | Qualcomm Incorporated | Psychoacoustic enhancement based on audio source directivity |
| CN113851002B (en) * | 2021-10-15 | 2022-04-22 | 江阴市人人达科技有限公司 | Ectopic facility interactive synchronization system and method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005004518A (en) * | 2003-06-12 | 2005-01-06 | Sharp Corp | Monitoring device |
| KR100677156B1 (en) * | 2004-12-08 | 2007-02-02 | 삼성전자주식회사 | Method of managing sound source and an apparatus thereof |
| JP4539385B2 (en) * | 2005-03-16 | 2010-09-08 | カシオ計算機株式会社 | Imaging device, imaging control program |
| JP5189536B2 (en) * | 2009-03-26 | 2013-04-24 | 池上通信機株式会社 | Monitoring device |
| EP2680616A1 (en) * | 2012-06-25 | 2014-01-01 | LG Electronics Inc. | Mobile terminal and audio zooming method thereof |
| JP6125457B2 (en) * | 2014-04-03 | 2017-05-10 | 日本電信電話株式会社 | Sound collection system and sound emission system |
-
2016
- 2016-03-24 JP JP2016060975A patent/JP6865371B2/en active Active
-
2021
- 2021-03-18 JP JP2021044572A patent/JP7122708B2/en active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017175475A5 (en) | ||
| WO2016106383A3 (en) | First-person camera based visual context aware system | |
| WO2016003863A3 (en) | System and method of three-dimensional model generation | |
| JP2017520050A5 (en) | ||
| JP6712778B2 (en) | Object detection device, object detection system, and object detection method | |
| EP2677500A3 (en) | Event-based image processing apparatus and method | |
| WO2015041872A8 (en) | Method and apparatus for selectively providing information on objects in a captured image | |
| EP2822267A3 (en) | Method and apparatus for previewing a dual-shot image | |
| EP2958054A3 (en) | Hazard detection in a scene with moving shadows | |
| EP3016025A3 (en) | Image processing device, image processing method, POI information creation system, warning system, and guidance system | |
| JP2015228954A5 (en) | ||
| JP2017129567A5 (en) | ||
| JP2013167941A5 (en) | ||
| JP2015103104A5 (en) | ||
| JP2018524896A5 (en) | ||
| EP4250232A3 (en) | Three-dimensional point group data generation method, position estimation method, three-dimensional point group data generation device, and position estimation device | |
| JP2019159739A5 (en) | ||
| EP2883501A3 (en) | Ultrasound diagnosis device and operating method of the same | |
| JP2019071619A (en) | Video signal processing apparatus, video signal processing method, and camera apparatus | |
| WO2015144145A3 (en) | Method and device for displaying objects on a vehicle display | |
| JP2018101942A5 (en) | ||
| JP2014186505A5 (en) | ||
| JP2017016062A5 (en) | Control device, control method and program | |
| JP2021077039A5 (en) | Image processing device, image processing method, and program | |
| JP2011234237A5 (en) |