JP2007228459A - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP2007228459A JP2007228459A JP2006049595A JP2006049595A JP2007228459A JP 2007228459 A JP2007228459 A JP 2007228459A JP 2006049595 A JP2006049595 A JP 2006049595A JP 2006049595 A JP2006049595 A JP 2006049595A JP 2007228459 A JP2007228459 A JP 2007228459A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- abnormal
- data
- monitoring
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、監視区域を監視カメラで撮影し、かつ監視区域内及びその周囲の音声を記録して、通信ケーブル、インターネット、携帯電話回線網等を通して監視可能にした監視システムに関するものである。 The present invention relates to a monitoring system in which a surveillance area is photographed by a surveillance camera and voices in and around the surveillance area are recorded so that the surveillance area can be monitored through a communication cable, the Internet, a mobile phone network, or the like.
従来、監視システムには、監視区域を映像と音声とにより異常を監視するものがあり、物音がしたり、大きな音がする等の音声の音量レベルが所定閾値以上であると、監視カメラが作動するようにしたものである。図10を参照して説明すると、カメラユニット1に光学ユニット2が装着され、カメラユニット1には、CCD3からの画像信号を処理するカメラ制御回路部4とカメラ全体を制御する全体制御回路部5とが設けられており、音センサ8と光センサ9からの情報が全体制御回路部5に入力され、全体制御回路部5は、音センサ8が一定以上の音量を検出した場合にだけ異常状態と認識し、カメラ制御回路部4を制御して撮影するようにしている。異常時撮影された映像は、カメラユニット1とケーブル6で接続されたモニタ7に映像として映し出され、監視区域の状況を監視することができる。(例えば、特許文献1参照)
Conventionally, there are monitoring systems that monitor abnormalities in the monitoring area with video and audio. When the sound volume level is higher than a predetermined threshold, such as when there is a noise or a loud sound, the monitoring camera is activated. It is what you do. Referring to FIG. 10, the
しかしながら、従来の監視システムは、監視区域内で聴取可能な音の音量レベルが所定閾値を超えた際に監視区域の撮影を開始しており、監視員が異常を捉えるためには常時モニタを監視する必要があるが、監視側では音声情報がどのような内容又は原因によるものかをモニタの映像で確認して判断するしかなかった。即ち、単なる物が落下した衝撃音であったり、異常とは認められない要因による音で作動して映像が映し出される場合があり、このような音量レベルのみで映像を監視する監視システムでは、監視区域内又はその周囲で発生した音の発生要因を把握することができず、また、異常でもないのに騒音で頻繁に映像が映し出されて、監視員を悩ませる結果となり、好ましいものではなく、映像に加えて異常事態を音声により判別できるような監視システムではなかった。 However, the conventional monitoring system starts shooting the monitoring area when the volume level of the sound that can be heard in the monitoring area exceeds a predetermined threshold, and the monitor constantly monitors the monitor in order to detect an abnormality. However, the monitoring side only has to determine what kind of content or cause the audio information is from on the monitor image. In other words, it may be an impact sound when a simple object is dropped, or it may be activated by a sound caused by a factor that is not recognized as abnormal, and the image is projected. The cause of the sound generated in or around the area cannot be grasped, and although it is not abnormal, the image is frequently projected with noise, which causes annoyance to the surveillance staff. In addition to video, it was not a monitoring system that could detect abnormal situations by voice.
本発明は、上述のような課題に鑑みなされたものであり、監視区域の映像に加えて監視区域内及びその周囲の聴取可能な音を識別して異常を警告することが可能な監視システムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and provides a monitoring system capable of identifying an audible sound in and around a monitoring area in addition to an image of the monitoring area and warning an abnormality. The purpose is to provide.
本発明は上記課題を達成するためになされたものであり、請求項1の発明は、監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラが撮影する前記監視区域の音を拾うマイクが該カメラに付設され、前記監視装置が、前記カメラから出力される映像信号を画像処理手段により画像処理し、かつ前記マイクで拾った音から音声/非音声認識手段により音素を認識し、該音素の時系列データから異常音声/異常音識別手段にて所定の音声/非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声/異常音識別手段からの異常音声/異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記画像処理手段から出力される画像データに重畳して出力することを特徴とする監視システムである。
The present invention has been made to achieve the above object, and the invention of
A microphone for picking up sound of the monitoring area photographed by the camera is attached to the camera, and the monitoring device performs image processing on a video signal output from the camera by image processing means, and from the sound picked up by the microphone. The phoneme is recognized by the voice / non-voice recognition means, and after the predetermined voice / non-voice is recognized by the abnormal voice / abnormal sound identification means from the time-series data of the phoneme, it is an abnormal voice or abnormal sound to be warned. If the abnormal voice / abnormal sound from the abnormal voice / abnormal sound identification means is converted to warning character data by the character data output means, the warning character data is converted into the image processing means. It superimposes on the image data output from and outputs, It is the monitoring system characterized by the above-mentioned.
また、請求項2の発明は、前記監視装置が前記異常音声/異常音を報知する音声出力手段を有することを特徴とする請求項1に記載の監視システムである。
The invention according to
また、請求項3の発明は、前記監視装置が前記警告文字データを重畳した画像データをネットワークに送出する第1の送出手段を備えることを特徴とする請求項1又は2に記載の監視システムである。 According to a third aspect of the present invention, in the monitoring system according to the first or second aspect, the monitoring device includes first transmission means for transmitting image data on which the warning character data is superimposed to a network. is there.
また、請求項4の発明は、前記監視装置が、前記警告文字データを重畳した画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第2の送出手段を備えることを特徴とする請求項1,2又は3に記載の監視システムである。
According to a fourth aspect of the present invention, the monitoring device includes a second sending unit that converts the image data superimposed with the warning character data into data that can be received by a mobile phone and sends the data to a network. The monitoring system according to
また、請求項5の発明は、監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラとマイクとが所定の監視区域に設置され、前記監視装置が、該カメラの映像信号と該マイクが拾った音をデジタルデータに変換してネットワークに送出する送出手段と、該送出手段からの情報をネットワークを介して受信する監視装置とを備え、該監視装置が、前記カメラからの画像データを収得して記憶手段に記憶し、かつ前記マイクからの音データを音声/非音声認識手段により音素を認識し、該音素の時系列データから異常音声/異常音識別手段にて所定の音声/非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声/異常音識別手段からの異常音声/異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記記憶手段から出力される画像データに重畳することを特徴とする監視システムである。
Further, the invention of
The camera and the microphone are installed in a predetermined monitoring area, and the monitoring device converts the video signal of the camera and the sound picked up by the microphone into digital data and sends it to the network; A monitoring device that receives the information on the network via the network, the monitoring device acquires the image data from the camera and stores it in the storage means, and the sound data from the microphone is voice / non-voice recognition means Is recognized by the abnormal voice / abnormal sound identification means from the time-series data of the phoneme, and then it is determined whether or not it is an abnormal voice or abnormal sound to be warned. If it is determined that there is an abnormality, the abnormal voice / abnormal sound from the abnormal voice / abnormal sound identification means is converted into warning character data by the character data output means, and the warning character data is output from the storage means. A monitoring system, characterized in that superimposed on the image data.
また、請求項6の発明は、前記監視装置が、前記画像データに前記警告文字データを重畳してネットワークに送出する第1の送出手段を備えることを特徴とする請求項5に記載の監視システムである。 According to a sixth aspect of the present invention, in the monitoring system according to the fifth aspect, the monitoring device includes a first transmission unit that transmits the warning character data to the network by superimposing the warning character data on the image data. It is.
また、請求項7の発明は、前記監視装置が、前記異常音声/異常音を報知する音声出力手段を備えることを特徴とする請求項5又は6に記載の監視システムである。
The invention according to
また、請求項8の発明は、前記監視装置が、前記画像データに前記警告文字データを重畳し、該画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第2の送出手段を備えることを特徴とする請求項5,6又は7に記載の監視システムである。
In the invention according to
また、請求項9の発明は、前記監視装置が、時刻データ送出手段を備え、前記警告文字データを前記画像データに重畳するとともに、該時刻データ送出手段からの時刻情報に基づいて、監視区域の位置情報に対応して異常発生日時を重畳して出力することを特徴とする請求項1〜8の何れかに記載の監視システムである。
According to a ninth aspect of the present invention, the monitoring device includes time data sending means, superimposes the warning character data on the image data, and based on time information from the time data sending means, The monitoring system according to any one of
なお、上記音声/非音声認識手段は、ニューラルネットワークに限定するものではないが、ニューラルネットワークは、音素の特徴的パラメータを格納する特徴データベース部を備えており、特徴データベース部から教師信号をニューラルネットワークに加えて識別効率を高めることによって、監視カメラが設置される場所に応じて最適な警戒すべき音声/非音声の識別効率を高めることができ、他の音声認識手段と比較してニューラルネットワークが好ましい。 The speech / non-speech recognition means is not limited to a neural network, but the neural network includes a feature database unit for storing phoneme characteristic parameters, and a teacher signal is transmitted from the feature database unit to the neural network. In addition to improving the discrimination efficiency, it is possible to increase the optimal voice / non-speech discrimination efficiency to be warned according to the location where the surveillance camera is installed. preferable.
請求項1の発明では、監視区域をカメラで撮影して録画する監視システムにおいて、前記カメラが撮影する前記監視区域の音を拾うマイクが該カメラに付設され、監視装置が前記カメラから出力される映像信号を画像処理手段により画像処理し、かつ前記マイクで拾った音から音声/非音声認識手段により音素を認識し、該音素の時系列データから異常音声/異常音識別手段にて所定の音声/非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声/異常音識別手段からの異常音声/異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記画像処理手段から出力される画像データに重畳して出力することを特徴とする監視システムであるので、音声/非音声認識手段が防犯ブザーの音や悲鳴などの非音声と音声の音素を検出し、時系列で出力される音素を異常音声/異常音識別手段にて監視対象として異常と認められる音声または非音声であるか否かを判定することが可能であり、モニタ画面に異常を知らせる警告文を異常発生時の映像に重畳して表示することができ、単なる映像よりも異常を認識し易いといった利点があり、監視業務の効率化が図れる利点がある。 According to a first aspect of the present invention, in a surveillance system for photographing and recording a surveillance area with a camera, a microphone for picking up sound of the surveillance area photographed by the camera is attached to the camera, and a surveillance device is output from the camera. The video signal is image-processed by the image processing means, the phoneme is recognized by the voice / non-speech recognition means from the sound picked up by the microphone, and the predetermined voice is detected by the abnormal voice / abnormal sound identification means from the time series data of the phoneme. / After recognizing non-speech, it is determined whether it is an abnormal sound or abnormal sound to be warned. If it is determined as abnormal, abnormal sound / abnormal sound from the abnormal sound / abnormal sound identifying means is converted into character data. Since the monitoring system is characterized in that it is converted into warning character data by the output means and the warning character data is superimposed on the image data output from the image processing means, The voice recognition means detects non-voice and voice phonemes such as security buzzer sounds and screams, and the voices or non-voices that are recognized as abnormal as the monitoring target by the abnormal voice / abnormal sound identification means for the phonemes output in time series It is possible to determine whether or not the alarm is present, and a warning message informing the abnormality on the monitor screen can be displayed superimposed on the video at the time of occurrence of the abnormality, which makes it easier to recognize the abnormality than a simple video. There is an advantage that the efficiency of the monitoring work can be improved.
また、請求項2の発明では、前記監視装置が前記異常音声/異常音を報知する音声出力手段を有することを特徴とする請求項1に記載の監視システムであるので、警告文が映像に映し出されるのみならず、異常を知らせる警告情報を音声で報知することができ、単なる映像よりも異常を認識し易い利点がある。
Further, in the invention according to
また、請求項3の発明では、前記監視装置が前記警告文字データを重畳した画像データをネットワークに送出する第1の送出手段を備えることを特徴とする請求項1又は2に記載の監視システムであるので、音声または非音声による異常を認識した場合に、異常をインターネットに配信することが可能であり、監視者等の特定の者は離れた場所の監視区域の異常状態を監視することができる利点がある。 According to a third aspect of the present invention, in the monitoring system according to the first or second aspect, the monitoring device includes a first transmission unit that transmits image data on which the warning character data is superimposed to a network. Therefore, when an abnormality due to voice or non-voice is recognized, the abnormality can be distributed to the Internet, and a specific person such as a monitor can monitor the abnormal state of a remote monitoring area. There are advantages.
また、請求項4の発明では、前記監視装置が、前記警告文字データを重畳した画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第2の送出手段を備えることを特徴とする請求項1,2又は3に記載の監視システムであるので、監視区域の異常をインターネットを経由して携帯電話網に配信することが可能であり、監視者等の特定の者は、離れた場所であっても携帯電話により異常状態を確認することができる利点がある。
According to a fourth aspect of the present invention, the monitoring device includes a second transmission unit that converts the image data superimposed with the warning character data into data that can be received by a mobile phone and transmits the data to a network. Since the monitoring system according to
また、請求項5の発明では、監視区域を撮影するカメラの撮影画像を監視装置に記録する監視システムにおいて、
前記カメラとマイクとが所定の監視区域に設置され、前記監視装置が、該カメラの映像信号と該マイクが拾った音をデジタルデータに変換してネットワークに送出する送出手段と、該送出手段からの情報をネットワークを介して受信する監視装置とを備え、該監視装置が、前記カメラからの画像データを収得して記憶手段に記憶し、かつ前記マイクからの音データを音声/非音声認識手段により音素を認識し、該音素の時系列データから異常音声/異常音識別手段にて所定の音声/非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声/異常音識別手段からの異常音声/異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記記憶手段から出力される画像データに重畳することを特徴とする監視システムであるので、音声/非音声認識手段が防犯ブザーの音や悲鳴などの非音声や音声の音素を検出し、この時系列に出力される音素が異常音声/異常音識別手段にて異常音声または異常音であるか否かを判定し、異常であると判断された場合、異常を知らせる警告文が映像に重畳されてモニタ画面に表示され、単なる映像よりも異常を認識し易い利点がある。また、各監視区域にカメラとマイクとをセットし、離れた場所に監視装置を設置し、複数の監視区域を一箇所で監視することができ、監視効率が良好である利点がある。
In the invention of
The camera and the microphone are installed in a predetermined monitoring area, and the monitoring device converts the video signal of the camera and the sound picked up by the microphone into digital data and sends it to the network; A monitoring device that receives the information on the network via the network, the monitoring device acquires the image data from the camera and stores it in the storage means, and the sound data from the microphone is voice / non-voice recognition means Is recognized by the abnormal voice / abnormal sound identification means from the time-series data of the phoneme, and then it is determined whether or not it is an abnormal voice or abnormal sound to be warned. If it is determined that there is an abnormality, the abnormal voice / abnormal sound from the abnormal voice / abnormal sound identification means is converted into warning character data by the character data output means, and the warning character data is output from the storage means. Since it is a monitoring system characterized by superimposing it on image data, the voice / non-voice recognition means detects non-voice and voice phonemes such as security buzzer sounds and screams, and the phonemes output in this time series are The abnormal voice / abnormal sound identification means determines whether or not it is abnormal voice or abnormal sound. If it is determined to be abnormal, a warning message notifying the abnormality is superimposed on the video and displayed on the monitor screen. There is an advantage that it is easier to recognize the abnormality than the image. In addition, a camera and a microphone are set in each monitoring area, a monitoring device is installed in a distant place, and a plurality of monitoring areas can be monitored at one place, and there is an advantage that the monitoring efficiency is good.
また、請求項6の発明では、前記監視装置が、前記画像データに前記警告文字データを重畳してネットワークに送出する第1の送出手段を備えることを特徴とする請求項5に記載の監視システムであるので、監視区域の異常情報がインターネットを介して配信されるので、離れた場所から監視区域を監視できる利点がある。 According to a sixth aspect of the present invention, in the monitoring system according to the fifth aspect of the present invention, the monitoring device includes first transmission means for superimposing the warning character data on the image data and transmitting the image data to a network. Therefore, since the abnormal information of the monitoring area is distributed via the Internet, there is an advantage that the monitoring area can be monitored from a remote place.
また、請求項7の発明では、前記監視装置が、前記異常音声/異常音を報知する音声出力手段を備えることを特徴とする請求項5又は6に記載の監視システムであるので、警告文が映像に映し出されるとともに、異常事態を警告する具体的なキーワードを音声で知らせることができるので、単なる映像よりも異常を認識し易い利点がある。
Further, in the invention of
また、請求項8の発明では、前記監視装置が、前記画像データに前記警告文字データを重畳し、該画像データを携帯電話が受信可能なデータに変換してネットワークに送出する第2の送出手段を備えることを特徴とする請求項5,6又は7に記載の監視システムであるので、音声または非音声による異常事態を認識した場合に、映像とともに警告文がインターネットに配信して監視者等の特定の者が監視区域の異常を離れた場所であっても確認することができる利点がある。
In the invention according to
また、請求項9の発明では、前記監視装置が、時刻データ送出手段を備え、前記警告文字データを前記画像データに重畳するとともに、該時刻データ送出手段からの時刻情報に基づいて、監視区域の位置情報に対応して異常発生日時を重畳して出力することを特徴とする請求項1〜8の何れかに記載の監視システムであるので、映像とともに異常が発生した日時と監視区域(場所)を特定することができる利点がある。
According to a ninth aspect of the present invention, the monitoring device includes a time data sending unit, superimposes the warning character data on the image data, and based on time information from the time data sending unit, The monitoring system according to any one of
なお、上記音声/非音声認識手段が、ニューラルネットワークである場合、監視区域で監視する警戒事項を表す「火事だ,ドロボー,助けて、キャー」等のキーワードや防犯ブザー音等の音素を学習させることで、種々の監視区域の監視項目に対応することができ、汎用性にある監視システムを提供できる利点がある。 If the speech / non-speech recognition means is a neural network, learn keywords such as “fire, robo, help, car” and phonemes such as security buzzer, which represent warning items to be monitored in the surveillance area. Thus, there is an advantage that it is possible to deal with monitoring items in various monitoring areas and to provide a versatile monitoring system.
以下、本発明に係る監視システムについて図面を参照して説明する。図1は、本発明の一実施形態を示すブロック図であり、図2は監視装置の機能ブロック図であり、図3は監視システムのブロック図である。図4は音声/非音声認識処理部の一例を示すニューラルネットワークの図である。図5は異常発生時の画像を選択する方法を説明するための説明図であり、図6は携帯電話の表示画面を示す図である。また、図7は、本発明の他の実施形態を示すブロック図であり、図8はその監視装置の機能ブロック図であり、図9は監視システムのブロック図である。 Hereinafter, a monitoring system according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of the present invention, FIG. 2 is a functional block diagram of a monitoring device, and FIG. 3 is a block diagram of a monitoring system. FIG. 4 is a diagram of a neural network showing an example of a voice / non-voice recognition processing unit. FIG. 5 is an explanatory diagram for explaining a method of selecting an image when an abnormality occurs, and FIG. 6 is a diagram showing a display screen of a mobile phone. 7 is a block diagram showing another embodiment of the present invention, FIG. 8 is a functional block diagram of the monitoring apparatus, and FIG. 9 is a block diagram of the monitoring system.
(実施形態1)
図1〜図6を参照し、本発明の一実施形態の監視システムについて説明する。図1に示すように、本実施形態の監視システムは、監視装置10にマイクMとカメラCとが接続され、監視装置10はインターネットNを経由してクライアント・コンピュータPCに接続され、またインターネットNを経由して携帯電話回線網Dに接続されて携帯電話端末Tと接続されている。マイクMは監視区域E1 内又はその周辺の音を拾い、カメラCは監視区域E1 内を撮影し、この音声情報と映像情報とが監視装置10に送り込まれ、監視者は、クライアント・コンピュータPCや携帯電話端末Tで監視区域E1 の監視を映像と音声情報とで監視することができる。監視装置10は複数の監視区域E1 〜Enにそれぞれ設置され、それらのマイクMとカメラCとが通信ケーブルを介して監視装置10に接続される。無論、監視装置10が監視する監視区域が一箇所の場合や複数箇所の場合があるし、マイクMはカメラCと一体であってもよいし、カメラCに隣接または離間させて配置してもよい。
(Embodiment 1)
With reference to FIGS. 1-6, the monitoring system of one Embodiment of this invention is demonstrated. As shown in FIG. 1, in the monitoring system of this embodiment, a microphone M and a camera C are connected to a
監視装置10は、マイクMで捉えた音が監視項目に係わる音声または非音声であるか否かを判定して監視項目に係わる音声または非音声であれば、警告すべき事態(アラーム信号の発生)であると判定して警告文字データを出力し、アラーム発生時点の画像を選択し、この画像に警告文字データを重畳し、さらに、警告文字データを音声に変換して警告する機能を有する。また、監視装置10は、警告文字データを画面に重畳した警告表示映像をインターネットに配信するためのアップロード機能(送出手段)を有する。
The
監視者は、インターネットNを介してクライアント・コンピュータPCによって、アップロードされた警告表示映像をモニタに表示して監視することができるし、インターネットNと携帯電話回線網Dとを接続してアップロードされた警告表示映像を携帯電話端末Tの表示画面(ディスプレィ)に表示させて各監視区域E1 〜Enを離れた場所から監視することができる。なお、当然ながらクライアント・コンピュータPC及び携帯電話端末Tは、暗唱番号及びパスワード或いは生体認証等による個人認証ができない限り、このネットワーク上の警告表示映像を確認することはできない。また、このネットワークへの外部からの侵入ができないようにルータを設置したり、ファイアーウオールを形成することが望ましい。 The monitor can monitor the uploaded warning display video on the monitor by the client computer PC via the Internet N, and is uploaded by connecting the Internet N and the mobile phone network D. The warning display video can be displayed on the display screen (display) of the mobile phone terminal T to monitor each of the monitoring areas E 1 to En from a remote location. Needless to say, the client computer PC and the mobile phone terminal T cannot confirm the warning display video on the network unless the personal identification can be performed by the password and password or biometric authentication. In addition, it is desirable to install a router or form a firewall so that the network cannot be invaded from the outside.
さらに、監視装置10について、図2の機能ブロック図を参照して説明する。先ず、音声信号処理系について説明する。監視装置10はCPU(中央演算制御装置)を備えたものであり、マイクMにより監視区域内で拾った音をデジタル処理して音素を認識する音声/非音声認識手段11と、音声/非音声認識手段11により出力された音素の時系列データが入力される制御処理部12とが設けられ、制御処理部12には、音声/非音声認識手段11から得られる音素の時系列データからどのような内容であるかを識別する異常音声/異常音識別手段12aと、異常音声/異常音識別手段12aにより識別された異常音声/異常音を音声データとして出力し、スピーカSを駆動するための音声情報を出力する異常音声データ送出手段12bと、異常が発生した日時を特定するための時刻データ送出手段12d等との機能を有し、さらに、異常音声データ送出手段12bからの異常音声データを音声信号として出力する異常音声出力手段13と、異常音声/異常音識別手段12aにより識別された異常音声/異常音を警告文字データ信号として出力する異常音声文字データ送出手段14とを備えている。なお、異常音声/異常音識別手段12aは制御処理部12の前段で処理してもよい。
Further, the
なお、上記音素については後述するとし、上記音声/非音声において、音声とは、意味として理解できる人の声であり、例えば、異常状態を示す、ドロボ−、強盗、火事だ、火災だ、助けて、やめて等であり、非音声とは、意味を持たない人の声や物音であり、悲鳴、鳴き声(赤ん坊の泣き声等)、防犯ブザーの音、ガチャン(ガラスが壊れる音、車両がぶつかる音、物を壊す音)等を意味するものとする。音声/非音声による異常を認識した場合、異常音声/異常音認識処理情報をスピーカSを駆動させて監視員に報知するが、スピーカSを駆動する音声又は警告文字データ信号で表示される文字は、音声の場合、「「ドロボ−、強盗、火事だ、火災だ、助けて、やめて等」の音声を認識しました。至急対処してください。」等であり、非音声の場合は、「「防犯ブザー音、悲鳴等」を認識しました。至急対処してください。」等である。 The above phonemes will be described later. In the above voice / non-voice, the voice is a voice of a person who can be understood as a meaning, for example, a drool, a burglar, a fire, a fire, a help, indicating an abnormal state. Non-speech is a voice or sound of an insignificant person, screaming, screaming (baby crying, etc.), security buzzer sound, gachan (glass breaking sound, vehicle crashing sound) , Sound that breaks things). When an abnormality due to voice / non-voice is recognized, the abnormal voice / abnormal sound recognition processing information is notified to the monitor by driving the speaker S, but the character displayed by the voice or warning character data signal driving the speaker S is In the case of voice, I recognized the voice of "Drobbing, robber, fire, fire, help, stop, etc." Please deal with it as soon as possible. In the case of non-speech, etc., "" Security buzzer sound, scream, etc. "was recognized. Please deal with it as soon as possible. Etc.
次に、映像信号処理系について説明する。監視装置10には、カメラCからの映像信号をデジタル信号に変換し圧縮処理する画像処理手段15と、画像処理手段15により圧縮処理された画像データをフレームまたはフィールド画像毎に繰り返して記憶する画像記憶手段16と、画像記憶手段16に記憶されたフレームまたはフィールド画像を伸長してNTSC方式の映像信号に変換する映像出力手段17と、映像出力手段17からの映像信号に上記異常音声文字データ送出手段14からの警告文字データ信号に基づく警告文を重畳してモニタWに出力する映像合成手段18と、画像記憶手段16に記憶されたフレームまたはフィールド画像Aを、異常音声文字データ送出手段14からの文字信号を取り込み、図6に示す携帯電話端末のディスプレィに表示可能な所定の画像サイズ内に収まるように変換する画像サイズ変換手段19と、映像に警告情報(アラーム発生日時,アラーム発生場所,警告文)を重畳した警告表示映像をインターネットNへの配信とインターネットNを経由して携帯電話網に配信するためにWebサーバ(図示省略)にアップロードする送出手段20とを備えている。
Next, the video signal processing system will be described. The
携帯電話端末のディスプレィは、図6に示すように、表示画面A,Bとからなり、表示画面Aは監視画像を表示する表示領域であり、表示画面Bは異常発生時の異常情報を文字で表示する領域である。表示画面Bには、異常情報としてアラーム発生日時、アラーム発生場所、異常音声/異常音認識処理情報が表示される。なお、携帯電話の画面サイズは、最大で240画素(横)×320画素(縦)のQVGA(Quarter Video Graphics Array)サイズであり、その実効サイズは240画素(横)×224画素(縦)である。フレームまたはフィールド画像(表示画面)Aは、画像サイズ変換手段19により、この画像サイズ内に収まるように変換される。 As shown in FIG. 6, the display of the mobile phone terminal is composed of display screens A and B. The display screen A is a display area for displaying a monitoring image. This is the area to be displayed. On the display screen B, alarm occurrence date / time, alarm occurrence location, and abnormal voice / abnormal sound recognition processing information are displayed as abnormality information. The screen size of the mobile phone is a maximum of 240 pixels (horizontal) × 320 pixels (vertical) QVGA (Quarter Video Graphics Array) size, and the effective size is 240 pixels (horizontal) × 224 pixels (vertical). is there. The frame or field image (display screen) A is converted by the image size conversion means 19 so as to be within this image size.
続いて、本実施形態について、図2,図3を参照して詳細に説明する。監視装置10にはマイクMとカメラCとが通信ケーブルで接続され、かつマイクMで捉えた音及びカメラCで撮影された監視区域の映像はVTR、HDDレコーダ、或いはDVDレコーダREに記録されている。また、監視装置10にはモニタWが接続され、かつシリアル信号処理部21を介してキーボード等の入力装置が接続され、この入力装置により監視装置10を制御することができる。
Next, the present embodiment will be described in detail with reference to FIGS. A microphone M and a camera C are connected to the
音声/非音声認識手段11は、マイクMにより監視区域内又はその周辺からの拾った音声/非音声音を増幅してA/D変換器によりデジタル信号に変換する音声/非音声取込み部11aと、デジタル化した音声/非音声を10〜30チャネル程度の帯域フィルタ群を用いたり、高速フーリエ変換(FFT)を用いて直接的に音声スペクトルを計算したりする等、音声認識の前処理にあたる短時間スペクトル分析を行って、音声/非音声を音素に分解する音声分析部11bと、音声分析部11bから得られる音素の時系列データが入力されて音声/非音声を認識する音声認識処理部11cと、音素の特徴的パラメータを格納し、音声認識処理部11cに教師信号とし供給する特徴データーベース部11dとからなる。なお、音声分析部11bでは、非音声が音声と同様な短時間スペクトル分析して音素に分解される。非音声にも子音や母音と同様に特徴的パターンがある。
The voice / non-speech recognition means 11 includes a voice /
音声認識処理部11cは、例えば、公知の時間遅れニューラルネットワーク(TDNN:Time Delay Neural Network)により構成され、図4はその構造図の概要を示し、TDNNは音の認識の単位である音素を認識し、その音素の時系列データから音声/非音声を認識することができる。音声認識処理部11cには、各音素グループに分類されて各グループ毎にTDNNが設けられ、音声分析部11bから音声/非音声をスペクトル分析した音素の時系列データが各TDNNの入力層Iに供給され、第1と第2の隠れ層H1,H2にて、グループ間の識別を行って音素を識別して出力層Oから特定された音素が出力される。なお、日本語の音素は全部で24種類(b,d,g,p,t,k,m,n,N,s,sh,h,z,ch,ts,r,w,y,a,i,u,e,o,Q(無音))あり、音素は母音と子音に分類され、さらに、有声子音と無声子音とに分けられ、有声子音には、破裂音,摩擦音,流音,鼻音音等があり、無声子音には破裂音,破擦音,摩擦音等があり、TDNNは各グル−プ毎に設けられている。また、音声認識処理部11cでは、音声のみならず、非音声が認識処理される。音声分析部11bでは音声以外に防犯ブザーや悲鳴等の非音声が音素として分解されて出力されるので、音声認識処理部11cでは、音声のみならず非音声における特徴的パターンから非音声を認識することができる。
The speech
なお、図4のTDNNは、子音/b/d/gを認識するグループを例示したものであり、その構造は、入力層(Input Layer)I、第1と第2の隠れ層(Hidden Layer)H1,H2、出力層(Output Layer)Oからなる多層パーセプトロン型を構成している。この型のTDNNは、特徴データーベース11dからの教師信号に基づいて、教師信号との誤差を逆に伝搬するバックプロパゲーション(Back-Propagation:誤差逆伝搬法)学習ができることに特徴がある。図4のTDNNにおいて、入力層Iは、横軸が時間軸を表し、縦軸が周波数軸を表している。横軸の時間軸は、10ミリ秒毎にスペクトル分析を行った15フレームの周波数パターンであり、縦軸の周波数軸は、0〜6000Hzまでを16の帯域(16チャンネルスペクトラム)に分割して、15フレーム分の音素の特徴成分である時系列データ(15フレーム×16次元=240点)が入力層Iに入力される。第1隠れ層H1には、入力層Iの3フレーム(30ミリ秒)の局所的な特徴成分を検出する特徴検出器(素子)が並んでいる。第2の隠れ層H2には第1隠れ層H1の5フレーム(50ミリ秒)のより大局的な特徴成分を検出する特徴検出器が並んでいる。出力層Oは、第2隠れ層H2の出力値の時間方向への総和を出力とし音素「b」を認識することができる。また、母音を含む他の音素グループも同様のTDNNで認識することができる。因みに、音声認識処理部11cでは、全ての音素グループのTDNNを用意する必要はなく、認識対象の音素グループのTDNNを用意すればよい。
The TDNN in FIG. 4 exemplifies a group for recognizing consonant / b / d / g, and its structure is an input layer (Input Layer) I, first and second hidden layers (Hidden Layer). A multilayer perceptron type composed of H1, H2 and an output layer (Output Layer) O is formed. This type of TDNN is characterized in that it can perform back-propagation (Back-Propagation) learning that reversely propagates an error from the teacher signal based on the teacher signal from the feature database 11d. In the TDNN of FIG. 4, in the input layer I, the horizontal axis represents the time axis and the vertical axis represents the frequency axis. The time axis on the horizontal axis is a frequency pattern of 15 frames obtained by performing spectrum analysis every 10 milliseconds. The frequency axis on the vertical axis divides 0 to 6000 Hz into 16 bands (16 channel spectrum), Time series data (15 frames × 16 dimensions = 240 points), which is a characteristic component of phonemes for 15 frames, is input to the input layer I. In the first hidden layer H1, feature detectors (elements) for detecting local feature components of three frames (30 milliseconds) of the input layer I are arranged. In the second hidden layer H2, feature detectors for detecting more global feature components of 5 frames (50 milliseconds) of the first hidden layer H1 are arranged. The output layer O can recognize the phoneme “b” by using the sum of the output values of the second hidden layer H2 in the time direction as an output. Also, other phoneme groups including vowels can be recognized by the same TDNN. Incidentally, in the speech
このように音声認識処理部11cでは、音素の時系列データがTDNNの入力層Iに与えられ、自己評価、或いは特徴データベース部11dから入力される音素データに基づいて、比較評価を繰り返し行うことによって、各層間の重み付け量が設定され、各音素(母音/子音)の認識処理が行われ、その音素の認識結果が出力層Oから出力され、出力層Oからの時系列の音素(子音、母音)が出力され、後段で音声/非音声を認識することができる。なお、音声認識処理部11cは、TDNN等の公知のソフトやディバイス等が用いられる。
As described above, in the speech
制御処理部12はCPUにより演算処理する機能を有する。制御処理部12については、図2の機能ブロック図を参照し説明する。音声認識処理部11cからの出力される音声/非音声情報が異常音声/異常音識別手段12aに入力される。異常音声/異常音識別手段12aでは、音声/非音声入力情報を認識し、各監視区域にあった警戒するべき音声や非音声を、理解可能な異常音声/異常音情報(異常音声:ドロボー、火事だ、助けて、やめて等,異常音情報:防犯ブザー音や悲鳴等)として認識し、音声合成と文字化するための音声識別情報とアラーム信号(異常事態検出信号)とを送出する。
The
一方、時刻データ送出手段12dは、時刻発生部12cから西暦、月、日、時刻の日時情報が入力され、異常音声識別手段12aからの異常音声情報に基づくアラーム信号により、時刻データ送出手段12dから日時情報が出力される。この日時情報は、後述のように、アラーム発生場所、音声識別情報(警告情報)とともに、所定の出力形式のフォーマットの映像信号に重畳或いは付加されて警告表示映像とし出力される。この警告表示映像はモニタWに表示され、かつインターネットNを介してクライアント・コンピュータPCや携帯電話端末Tの画面に表示される。
On the other hand, the time data sending means 12d receives the date / time information of the year, month, day, and time from the
また、異常音声データ送出手段12bからの音声識別情報は音声合成処理部13aに入力され、既存の音声合成手段によりアナログ音声が作成され、音声合成されたアナログ信号が音声出力部13bにより増幅されてスピーカSに出力される。さらに、異常音声データ送出手段12bからの音声識別情報が文字データ出力部14に入力され、文字データ出力部14では、音声識別情報に基づいて文字データに変換し、文字信号合成部18,画像変換サーバ部19及びネットワーク処理部20にそれぞれ出力する。
The voice identification information from the abnormal voice
次に、映像処理系について説明すると、画像処理手段15は、映像取込み部15aと、映像処理部15bからなり、映像取り込み部15aでは、カメラCが撮影した監視区域の映像であるNTSC等のアナログ映像信号を取り込むための入力インターフェースであり、映像処理部15bは、このNTSCのアナログ映像信号をデコードし、A/D変換し圧縮処理してデジタル圧縮データとし、画像メモリ(画像記録手段)16に送出する。
Next, the video processing system will be described. The image processing means 15 includes a
画像メモリ16は、複数のフレームまたはフィールドメモリからなり、監視映像であるデジタル圧縮データが複数のフレームまたはフィールドメモリに繰り返し上書き記録されている。映像出力処理部17は、画像メモリ16に記録された映像圧縮データを読み出して伸張してNTSCにエンコードし、文字信号合成部(映像合成手段)18に送り込み、文字信号合成部(映像合成手段)18では映像信号に警告文等を重畳してモニタWに出力する。また、文字信号合成部18では、監視区域の異常状態を示す警告情報や発生日時、監視区域(場所)等の監視に必要な情報が文字情報として映像信号に重畳されてモニタWに出力される。
The
画像メモリ16では、図5に示したように、異常音声/異常音識別手段12aが異常認識処理を開始(アラーム信号が発生した時点)又は異常認識処理が完了した時点t1 で、制御処理部12の制御機能により、画像メモリ16への上書き処理を停止し、連続する記録画像認識処理時間t0 分遡って異常が発生した時点の記録画像F0 を映像出力処理部17で処理し、文字信号合成部18を経て、異常発生時の映像又は画像としてモニタWに出力する。さらに、制御処理部12では、この異常の発生を検知した時点の記録画像F0 の前後複数枚の画像を携帯電話端末T又は監視装置10のクライアント・コンピュータPCが出力できる。
In the
画像変換サーバ部(画像サイズ変換手段)19は、映像信号を携帯電話端末Tの画面に表示できる画像形式(JPEG等)で、画像サイズ(QVGAサイズ等)に表示可能なサイズに変換し、異常状態の情報や発生時刻、監視区域(場所)等の監視に必要な情報が文字情報として所定フォーマットに付加されてネットワーク処理部(ネットワークへの送出手段)20に送出される。 The image conversion server unit (image size conversion means) 19 converts the video signal into an image format (JPEG or the like) that can be displayed on the screen of the mobile phone terminal T to a size that can be displayed in the image size (QVGA size or the like). Information necessary for monitoring, such as status information, time of occurrence, and monitoring area (location), is added as character information to a predetermined format and sent to the network processing unit (network sending means) 20.
ネットワーク処理部(送出手段)20は、異常状態の警告情報や発生日時、監視区域(場所)等の監視に必要な情報が文字情報としアラーム発生時の画像を、クライアント・コンピュータPCや携帯電話端末TにインターネットNを介してWWWブラウザで表示可能な出力形式として配信(アップロード)する機能を備えている。 The network processing unit (transmission means) 20 uses the alarm information, the date and time of occurrence, the information necessary for monitoring, such as the monitoring area (location), as character information, and the image at the time of occurrence of the alarm. It has a function of delivering (uploading) to T as an output format that can be displayed on a WWW browser via the Internet N.
また、監視装置10は、ルータRを介してインターネットNに接続され、クライアント・コンピュータPCはルータRを介してインターネットNに接続され、また、携帯電話端末Tが接続された携帯電話網DはルータRを介してインターネットNに接続されており、クライアント・コンピュータPC及び携帯電話端末Tは、監視区域の状態を離れた場所であっても監視することができる。なお、ルータは、ネットワーク上を流れるパケットデータをプロトコルから解析し、どの経路で流せばよいか判断して転送を行う機能を有し、また、データの伝達経路を設定できる機能も併せ持ち、関係の無いデータを流さない機能を有し、システムのセキュリテーを高めるのに効果的である。
The
(実施形態2)
次に、本発明の他の実施形態について図7から図9を参照して説明する。図7は、本発明の他の実施形態を示すブロック図であり、図8は、他の実施形態の機能ブロック図であり、図9は、他の実施形態の監視システムのブロック図である。
(Embodiment 2)
Next, another embodiment of the present invention will be described with reference to FIGS. FIG. 7 is a block diagram showing another embodiment of the present invention, FIG. 8 is a functional block diagram of the other embodiment, and FIG. 9 is a block diagram of a monitoring system of the other embodiment.
本実施形態は、図7に示すように、上記実施形態とは異なり、各監視区域にカメラCとマイクMが設置され、カメラCとマイクMには、監視区域で捉えた音と映像をインターネットNに送出する送出手段22を備えている。この送出手段22は、各監視区域の映像と音声をWWWブラウザで検索して視聴することができる形態に変換して自動的にWebサーバにアップロードする機能を有し、カメラCは、所謂ネットワークカメラである。この実施形態では、監視装置10を監視区域に設置される必要はなく、インターネットNを介して離れた場所に設置したものであり、上記実施形態とは異なっている。携帯電話端末Tは上記実施形態と同一である。なお、上記実施形態と同一部分は可能な限り説明を省略する。
As shown in FIG. 7, this embodiment differs from the above embodiment in that a camera C and a microphone M are installed in each monitoring area, and the camera C and the microphone M receive sound and video captured in the monitoring area on the Internet. Sending means 22 for sending to N is provided. The sending means 22 has a function of converting the video and audio of each monitoring area into a form that can be searched and viewed with a WWW browser and automatically uploading it to a Web server. The camera C is a so-called network camera. It is. In this embodiment, the
また、音声/非音声認識手段11は、マイクMが拾った音声/非音声をネットワークの送出手段20から受信されるパケット信号として取得し、パケット信号による音声/非音声がどのような内容であるかを認識し、この音声または非音声が異常音声であると認識された場合、異常音声/異常音が制御処理部12の異常音声/異常音識別手段12aに入力され、上記実施形態で説明したように、異常音声/異常音は音声又は警告文字情報に変換してスピーカSで報知したり、モニタWに監視映像に重畳した文字情報とした警告表示映像が表示される。また、携帯電話端末Tにも同様に警告表示画像を表示することができる。また、画像取得手段15a′は、デジタル化された画像信号を取得し、その画像信号を画像記憶手段16に記録し、上記実施形態と同様な画像処理を経て警告文字情報が重畳されている。
The voice /
この実施形態では、各監視区域に一対のカメラとマイクを設置してこれらからの音声及び画像が、異常音声や異常音を検出した時のみインターネットNを経由してクライアント・コンピュータPC又は携帯電話端末Tで警告表示文字情報と画像により監視することができ、上記実施形態と比較して各監視区域に監視装置を設置する必要がなく、多くの監視区域を少ない人員で監視できる。 In this embodiment, a pair of cameras and microphones are installed in each surveillance area, and the client computer PC or mobile phone terminal via the Internet N only when the sound and image from these cameras detect abnormal sound or sound. It is possible to monitor with warning display character information and images at T, and it is not necessary to install a monitoring device in each monitoring area as compared with the above embodiment, and many monitoring areas can be monitored with a small number of people.
上述のように本発明は、監視区域で発生した異常を、現地で発生する音声及び非音声の抽出された特徴をニューラルネットワークを利用して認識し、その認識結果が異常を示すものであれば、監視者に異常を警告する際のトリガーとして利用したものである。また、抽出された特徴によるニューラルネットワークの認識結果を文字情報に変換し、異常発生当時の監視画像に付加して配信する。この監視画像により記録した異常状態発生当時の監視画像を、専任の監視者の監視モニタへ送ると同時に、監視場所から離れた場所にいるクライアント・コンピュータPCや携帯電話端末へインターネットや携帯電話回線網のネットワークを経由して監視画像を配信することができる。 As described above, the present invention recognizes the abnormalities occurring in the monitoring area by using the neural network to recognize the extracted features of voice and non-voice generated in the field, and the recognition result indicates abnormalities. This is used as a trigger to warn the monitor of abnormality. Moreover, the recognition result of the neural network based on the extracted features is converted into character information, added to the monitoring image at the time of occurrence of the abnormality, and distributed. The monitoring image recorded at the time of occurrence of the abnormal state recorded by the monitoring image is sent to the monitoring monitor of a dedicated supervisor, and at the same time, the client computer PC or mobile phone terminal located away from the monitoring location is connected to the Internet or a mobile phone network. The monitoring image can be distributed via the network.
なお、本発明では、監視区域を監視する際に、火災を監視するのか、進入者を監視するのか、看護を目的とする監視システムであるのか、などによって、異常状態における異常音声の内容が異なり、従って、音声/非音声認識手段は異なった異常音声または異常音を認識しなければならず、音声/非音声認識手段をニューラルネットワークで構成することによって、学習により汎用性のある監視システムを提供することができる。 In the present invention, when monitoring a monitoring area, the content of abnormal sound in an abnormal state differs depending on whether it is a fire monitoring, an intruder monitoring, or a monitoring system for nursing purposes. Therefore, the voice / non-voice recognition means must recognize different abnormal voices or abnormal sounds, and by providing the voice / non-voice recognition means with a neural network, a versatile monitoring system is provided by learning. can do.
本発明の活用例としては、監視者が監視区域とは離れた場所に居たとしても監視映像又は画像に加えて異常音声を警告文字として表示してどのような異常事態であるかを自動的に認識して監視することができる監視システムとして利用することができ、種々の異常事態に対応する監視システムとして活用できる。 As an example of use of the present invention, even if the monitor is away from the monitoring area, an abnormal sound is automatically displayed as a warning character in addition to the monitoring video or image to automatically identify the abnormal situation. It can be used as a monitoring system that can be recognized and monitored, and can be used as a monitoring system corresponding to various abnormal situations.
10 監視装置
11 音声/非音声認識手段
11a 音声/非音声取込み部
11b 音声分析部
11c 音声認識処理部
11d 特徴データベース部
12 制御処理部
12a 異常音声/異常音識別手段
12b 異常音声データ送出手段
12c 時刻発生部
12d 時刻データ送出手段
13 異常音声出力手段
13a 音声合成処理部
13b 音声出力部
14 異常音声文字データ送出手段
15 画像処理手段
15a′ 画像取得手段
15a 映像取込み部
15b 映像処理部
16 画像メモリ(画像記録手段)
17 映像出力処理部(映像出力手段)
18 文字信号合成部(映像合成手段)
19 画像変換サーバ部(画像サイズ変換手段)
20,22 ネットワーク処理部(送出手段)
21 シリアル信号処理部
C カメラ
D 携帯電話回線網
E1 〜En 監視区域
M マイク
N インターネット
PC クライアント・コンピュータ
R ルータ
RE VTR,DVDレコーダ,HDDレコーダ
S スピーカ
T 携帯電話端末
W モニタ
DESCRIPTION OF
17 Video output processing unit (video output means)
18 Character signal synthesis unit (video synthesis means)
19 Image conversion server unit (image size conversion means)
20, 22 Network processing unit (transmission means)
21 serial signal processing unit C camera D mobile phone network E 1 to En monitoring area M microphone N Internet PC client computer R router RE VTR, DVD recorder, HDD recorder S speaker T mobile phone terminal W monitor
Claims (9)
前記カメラが撮影する前記監視区域の音を拾うマイクが該カメラに付設され、前記監視装置が、前記カメラから出力される映像信号を画像処理手段により画像処理し、かつ前記マイクで拾った音から音声/非音声認識手段により音素を認識し、該音素の時系列データから異常音声/異常音識別手段にて所定の音声/非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声/異常音識別手段からの異常音声/異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記画像処理手段から出力される画像データに重畳して出力することを特徴とする監視システム。 In a surveillance system that records a photographed image of a camera that photographs a surveillance area in a surveillance device,
A microphone for picking up sound of the monitoring area photographed by the camera is attached to the camera, and the monitoring device performs image processing on a video signal output from the camera by image processing means, and from the sound picked up by the microphone. The phoneme is recognized by the voice / non-voice recognition means, and after the predetermined voice / non-voice is recognized by the abnormal voice / abnormal sound identification means from the time-series data of the phoneme, it is an abnormal voice or abnormal sound to be warned. If the abnormal voice / abnormal sound from the abnormal voice / abnormal sound identification means is converted to warning character data by the character data output means, the warning character data is converted into the image processing means. A monitoring system for superimposing and outputting the image data output from the image data.
前記カメラとマイクとが所定の監視区域に設置され、前記監視装置が、該カメラの映像信号と該マイクが拾った音をデジタルデータに変換してネットワークに送出する送出手段と、該送出手段からの情報をネットワークを介して受信する監視装置とを備え、該監視装置が、前記カメラからの画像データを収得して記憶手段に記憶し、かつ前記マイクからの音データを音声/非音声認識手段により音素を認識し、該音素の時系列データから異常音声/異常音識別手段にて所定の音声/非音声の認識をした後、警戒対象の異常音声または異常音であるか否かを判定し、異常と判定した場合、該異常音声/異常音識別手段からの異常音声/異常音を文字データ出力手段により警告文字データに変換し、該警告文字データを前記記憶手段から出力される画像データに重畳することを特徴とする監視システム。 In a surveillance system that records a photographed image of a camera that photographs a surveillance area in a surveillance device,
The camera and the microphone are installed in a predetermined monitoring area, and the monitoring device converts the video signal of the camera and the sound picked up by the microphone into digital data and sends it to the network; A monitoring device that receives the information on the network via the network, the monitoring device acquires the image data from the camera and stores it in the storage means, and the sound data from the microphone is voice / non-voice recognition means Is recognized by the abnormal voice / abnormal sound identification means from the time-series data of the phoneme, and then it is determined whether or not it is an abnormal voice or abnormal sound to be warned. If it is determined that there is an abnormality, the abnormal voice / abnormal sound from the abnormal voice / abnormal sound identification means is converted into warning character data by the character data output means, and the warning character data is output from the storage means. Monitoring system, characterized in that superimposed on the image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006049595A JP4861723B2 (en) | 2006-02-27 | 2006-02-27 | Monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006049595A JP4861723B2 (en) | 2006-02-27 | 2006-02-27 | Monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007228459A true JP2007228459A (en) | 2007-09-06 |
JP4861723B2 JP4861723B2 (en) | 2012-01-25 |
Family
ID=38549784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006049595A Expired - Fee Related JP4861723B2 (en) | 2006-02-27 | 2006-02-27 | Monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4861723B2 (en) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739789A (en) * | 2008-11-11 | 2010-06-16 | 北京中星微电子有限公司 | Sound control alarm method and device |
JP2010183417A (en) * | 2009-02-06 | 2010-08-19 | Hitachi Ltd | Voice information display system, voice information display method, and voice information display device |
JP2011097250A (en) * | 2009-10-28 | 2011-05-12 | Digix Inc | Network camera |
JP2011517799A (en) * | 2008-02-22 | 2011-06-16 | イデテック エイエス | Illegal intrusion detection system with signal recognition |
JP2012058944A (en) * | 2010-09-08 | 2012-03-22 | Secom Co Ltd | Abnormality detection device |
JP2012221332A (en) * | 2011-04-12 | 2012-11-12 | Nakayo Telecommun Inc | Abnormal change detection type video transfer device |
KR101378856B1 (en) * | 2012-06-21 | 2014-04-04 | 삼성중공업 주식회사 | Safety management method and device thereof |
JP2014166213A (en) * | 2013-02-28 | 2014-09-11 | Toshiba Tec Corp | Notification apparatus, notification processing program, and assist robot |
WO2014174760A1 (en) * | 2013-04-26 | 2014-10-30 | 日本電気株式会社 | Action analysis device, action analysis method, and action analysis program |
JP2015149039A (en) * | 2014-02-10 | 2015-08-20 | 富士通株式会社 | State notification method, device, and program |
WO2015162645A1 (en) * | 2014-04-25 | 2015-10-29 | パナソニックIpマネジメント株式会社 | Audio processing apparatus, audio processing system, and audio processing method |
CN105898219A (en) * | 2016-04-22 | 2016-08-24 | 北京小米移动软件有限公司 | Method and apparatus for monitoring object |
JP6045051B1 (en) * | 2016-05-12 | 2016-12-14 | 株式会社システム・ケイ | Moving picture transmission apparatus and moving picture transmission method |
JPWO2015151130A1 (en) * | 2014-03-31 | 2017-04-13 | パナソニックIpマネジメント株式会社 | Audio processing method, audio processing system, and storage medium |
JP2017531973A (en) * | 2015-07-31 | 2017-10-26 | 小米科技有限責任公司Xiaomi Inc. | Movie recording method and apparatus, program, and storage medium |
JP2018036964A (en) * | 2016-09-01 | 2018-03-08 | セコム株式会社 | Action recording system, terminal equipment, and action recording method |
JP2018124808A (en) * | 2017-02-01 | 2018-08-09 | 株式会社日立国際八木ソリューションズ | Image processor device and image processing program |
US10182280B2 (en) | 2014-04-23 | 2019-01-15 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing apparatus, sound processing system and sound processing method |
CN109257579A (en) * | 2018-11-26 | 2019-01-22 | 广州供电局有限公司 | Distribution infrastructure project Field Monitoring System |
CN109348186A (en) * | 2018-11-26 | 2019-02-15 | 广州供电局有限公司 | Integrated network distribution infrastructure project Field Monitoring System |
CN109348187A (en) * | 2018-11-26 | 2019-02-15 | 广州供电局有限公司 | Situation Awareness System based on power distribution network construction site |
JPWO2021079463A1 (en) * | 2019-10-24 | 2021-04-29 | ||
CN112732965A (en) * | 2019-10-28 | 2021-04-30 | 中国银联股份有限公司 | Abnormal event detection method and detection system based on image description generation |
CN113658408A (en) * | 2021-06-29 | 2021-11-16 | 深圳市沃特沃德信息有限公司 | Abnormal behavior alarm and system |
CN115223587A (en) * | 2021-05-26 | 2022-10-21 | 广州汽车集团股份有限公司 | Abnormal sound detection method and device, storage medium and equipment |
CN115223587B (en) * | 2021-05-26 | 2024-07-26 | 广州汽车集团股份有限公司 | Abnormal sound detection method, device, storage medium and equipment |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09196825A (en) * | 1996-01-18 | 1997-07-31 | Fuji Facom Corp | Abnormality detecting device for plant |
JPH1013820A (en) * | 1996-06-25 | 1998-01-16 | Hitachi Electron Service Co Ltd | Controller for monitor video audio recording system |
JP2001245069A (en) * | 2000-03-01 | 2001-09-07 | Cpus:Kk | Home security system |
JP2002279560A (en) * | 2001-03-19 | 2002-09-27 | Fujitsu General Ltd | Monitoring method using network camera and monitoring system |
JP2002300569A (en) * | 2001-03-30 | 2002-10-11 | Fujitsu General Ltd | Monitoring method and monitoring system by network camera |
JP2004241817A (en) * | 2003-02-03 | 2004-08-26 | Ps Network:Kk | Image distribution system |
-
2006
- 2006-02-27 JP JP2006049595A patent/JP4861723B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09196825A (en) * | 1996-01-18 | 1997-07-31 | Fuji Facom Corp | Abnormality detecting device for plant |
JPH1013820A (en) * | 1996-06-25 | 1998-01-16 | Hitachi Electron Service Co Ltd | Controller for monitor video audio recording system |
JP2001245069A (en) * | 2000-03-01 | 2001-09-07 | Cpus:Kk | Home security system |
JP2002279560A (en) * | 2001-03-19 | 2002-09-27 | Fujitsu General Ltd | Monitoring method using network camera and monitoring system |
JP2002300569A (en) * | 2001-03-30 | 2002-10-11 | Fujitsu General Ltd | Monitoring method and monitoring system by network camera |
JP2004241817A (en) * | 2003-02-03 | 2004-08-26 | Ps Network:Kk | Image distribution system |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011517799A (en) * | 2008-02-22 | 2011-06-16 | イデテック エイエス | Illegal intrusion detection system with signal recognition |
CN101739789A (en) * | 2008-11-11 | 2010-06-16 | 北京中星微电子有限公司 | Sound control alarm method and device |
JP2010183417A (en) * | 2009-02-06 | 2010-08-19 | Hitachi Ltd | Voice information display system, voice information display method, and voice information display device |
JP2011097250A (en) * | 2009-10-28 | 2011-05-12 | Digix Inc | Network camera |
JP2012058944A (en) * | 2010-09-08 | 2012-03-22 | Secom Co Ltd | Abnormality detection device |
JP2012221332A (en) * | 2011-04-12 | 2012-11-12 | Nakayo Telecommun Inc | Abnormal change detection type video transfer device |
KR101378856B1 (en) * | 2012-06-21 | 2014-04-04 | 삼성중공업 주식회사 | Safety management method and device thereof |
JP2014166213A (en) * | 2013-02-28 | 2014-09-11 | Toshiba Tec Corp | Notification apparatus, notification processing program, and assist robot |
US9761248B2 (en) | 2013-04-26 | 2017-09-12 | Nec Corporation | Action analysis device, action analysis method, and action analysis program |
JPWO2014174760A1 (en) * | 2013-04-26 | 2017-02-23 | 日本電気株式会社 | Behavior analysis device, behavior analysis method, and behavior analysis program |
WO2014174760A1 (en) * | 2013-04-26 | 2014-10-30 | 日本電気株式会社 | Action analysis device, action analysis method, and action analysis program |
JP2015149039A (en) * | 2014-02-10 | 2015-08-20 | 富士通株式会社 | State notification method, device, and program |
JPWO2015151130A1 (en) * | 2014-03-31 | 2017-04-13 | パナソニックIpマネジメント株式会社 | Audio processing method, audio processing system, and storage medium |
US10182280B2 (en) | 2014-04-23 | 2019-01-15 | Panasonic Intellectual Property Management Co., Ltd. | Sound processing apparatus, sound processing system and sound processing method |
WO2015162645A1 (en) * | 2014-04-25 | 2015-10-29 | パナソニックIpマネジメント株式会社 | Audio processing apparatus, audio processing system, and audio processing method |
CN105474666B (en) * | 2014-04-25 | 2018-11-16 | 松下知识产权经营株式会社 | sound processing system and sound processing method |
JPWO2015162645A1 (en) * | 2014-04-25 | 2017-04-13 | パナソニックIpマネジメント株式会社 | Audio processing method, audio processing system, and storage medium |
JP2017531973A (en) * | 2015-07-31 | 2017-10-26 | 小米科技有限責任公司Xiaomi Inc. | Movie recording method and apparatus, program, and storage medium |
US10122916B2 (en) | 2016-04-22 | 2018-11-06 | Beijing Xiaomi Mobile Software Co., Ltd. | Object monitoring method and device |
CN105898219A (en) * | 2016-04-22 | 2016-08-24 | 北京小米移动软件有限公司 | Method and apparatus for monitoring object |
JP2017204767A (en) * | 2016-05-12 | 2017-11-16 | 株式会社システム・ケイ | Video transmitter and video transmission method |
JP6045051B1 (en) * | 2016-05-12 | 2016-12-14 | 株式会社システム・ケイ | Moving picture transmission apparatus and moving picture transmission method |
JP2018036964A (en) * | 2016-09-01 | 2018-03-08 | セコム株式会社 | Action recording system, terminal equipment, and action recording method |
JP2018124808A (en) * | 2017-02-01 | 2018-08-09 | 株式会社日立国際八木ソリューションズ | Image processor device and image processing program |
CN109257579A (en) * | 2018-11-26 | 2019-01-22 | 广州供电局有限公司 | Distribution infrastructure project Field Monitoring System |
CN109348186A (en) * | 2018-11-26 | 2019-02-15 | 广州供电局有限公司 | Integrated network distribution infrastructure project Field Monitoring System |
CN109348187A (en) * | 2018-11-26 | 2019-02-15 | 广州供电局有限公司 | Situation Awareness System based on power distribution network construction site |
JPWO2021079463A1 (en) * | 2019-10-24 | 2021-04-29 | ||
WO2021079463A1 (en) * | 2019-10-24 | 2021-04-29 | 日本電信電話株式会社 | Traffic transfer system, traffic transfer method, data collection device, traffic transfer device, and program |
JP7272456B2 (en) | 2019-10-24 | 2023-05-12 | 日本電信電話株式会社 | Traffic transfer system, traffic transfer method, data collection device, traffic transfer device and program |
US12028258B2 (en) | 2019-10-24 | 2024-07-02 | Nippon Telegraph And Telephone Corporation | Traffic transfer system, traffic transfer method, data collection device, traffic transfer device, and program |
CN112732965A (en) * | 2019-10-28 | 2021-04-30 | 中国银联股份有限公司 | Abnormal event detection method and detection system based on image description generation |
CN115223587A (en) * | 2021-05-26 | 2022-10-21 | 广州汽车集团股份有限公司 | Abnormal sound detection method and device, storage medium and equipment |
CN115223587B (en) * | 2021-05-26 | 2024-07-26 | 广州汽车集团股份有限公司 | Abnormal sound detection method, device, storage medium and equipment |
CN113658408A (en) * | 2021-06-29 | 2021-11-16 | 深圳市沃特沃德信息有限公司 | Abnormal behavior alarm and system |
Also Published As
Publication number | Publication date |
---|---|
JP4861723B2 (en) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4861723B2 (en) | Monitoring system | |
JP5043940B2 (en) | Video surveillance system and method combining video and audio recognition | |
CA2485504C (en) | Portable security platform | |
US8606316B2 (en) | Portable blind aid device | |
US20080309761A1 (en) | Video surveillance system and method with combined video and audio recognition | |
JP2012048689A (en) | Abnormality detection apparatus | |
WO2011025460A1 (en) | Method and system for event detection | |
JP3460680B2 (en) | Field situation notification system and imaging unit used for the same | |
KR102488741B1 (en) | Emergency bell system with improved on-site situation identification | |
JP2009015536A (en) | Suspicious person report device, suspicious person monitoring device and remote monitoring system using the same | |
KR20170136251A (en) | Emegency call from smart-phone through blootuth interconnection at any shopping center s and sports stadium and and etc... | |
US20220189267A1 (en) | Security system | |
RU2665264C2 (en) | Intelligent system of intruder detection | |
CN107146347A (en) | A kind of anti-theft door system | |
JP2005107895A (en) | Security system and security method | |
JP5907487B2 (en) | Information transmission system, transmission device, reception device, information transmission method, and program | |
JP3212615U (en) | Specific person display system | |
JP2004357014A (en) | Monitor report system | |
JP3124169U (en) | Alarm monitoring device | |
US8179439B2 (en) | Security system | |
WO2017190803A1 (en) | Ambient sound monitoring and visualizing system for hearing impaired persons | |
WO2024009526A1 (en) | Digital intrusion detection system | |
JP2018173501A (en) | Display controller and method for display control | |
WO2023002563A1 (en) | Monitoring device, monitoring system, monitoring method, and non-transitory computer-readable medium having program stored therein | |
JP4648800B2 (en) | Monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111004 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111107 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |