JP2008250639A - Security monitoring system - Google Patents

Security monitoring system Download PDF

Info

Publication number
JP2008250639A
JP2008250639A JP2007090646A JP2007090646A JP2008250639A JP 2008250639 A JP2008250639 A JP 2008250639A JP 2007090646 A JP2007090646 A JP 2007090646A JP 2007090646 A JP2007090646 A JP 2007090646A JP 2008250639 A JP2008250639 A JP 2008250639A
Authority
JP
Japan
Prior art keywords
processing unit
return
registration
security
home
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007090646A
Other languages
Japanese (ja)
Inventor
Takahiro Mizushina
隆広 水品
Akihiro Tsukamoto
明弘 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007090646A priority Critical patent/JP2008250639A/en
Publication of JP2008250639A publication Critical patent/JP2008250639A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a security monitoring system by a robot maintaining security and continuity of behavior information in daily life. <P>SOLUTION: In an at-home mode, the robot acquires indoor behavior information of a monitored person, and executes security operation according to the acquired behavior information (S1). When confirming that the monitored person goes out by voice recognition, a mode enters a home security mode, and the robot performs return registration (registration of a return time) and absence registration (registration of a leaving time, a predicted return time, and a place-to-go or the like) by the voice recognition, and changes over the mode to the at-home mode. In the home security mode, when the person leaves without permission or in excess of the set time, the mode enters an anxiety mode (S2-S4), In the anxiety mode, the robot executes security processing of the monitored person (in embodiment, the overtime absence is reported to a preset contact destination) (S5-S8). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、ロボットにより、高齢者等のモニタ対象者の日常生活上における行動情報を取得しセキュリティを維持するセキュリティモニタシステムに関する。   The present invention relates to a security monitor system that acquires behavior information in daily life of a monitoring target person such as an elderly person and maintains security by a robot.

従来、在宅高齢者等の日常生活を支援するシステムとして、健康状況あるいは行動をモニタするロボット等についての各種提案がなされている。
たとえば、特許文献1には高齢者等の独居者の日常生活の状況、健康状態に異常が発生した場合、ケア情報として緊急度を判断し、その結果に基づいて家族及び必要連絡先に連絡できるロボットを用いたケア情報基地が開示されている。
2. Description of the Related Art Conventionally, various proposals have been made on robots and the like that monitor health conditions or behaviors as systems that support daily life of elderly people at home.
For example, in Patent Document 1, when an abnormality occurs in the daily life situation or health condition of a single person such as an elderly person, the degree of urgency can be determined as care information, and the family and necessary contact information can be contacted based on the result. A care information base using a robot is disclosed.

また、高齢者等の外出時のセキュリティ技術として、特許文献2には、介護者(探索者)の負担を軽減するため、徘徊癖のある老人(探索対象者)の徘徊を未然に防ぐことを目的とした装置が開示されている。   In addition, as security technology when going out of the elderly, etc., Patent Document 2 states that in order to reduce the burden on the caregiver (searcher), it is possible to prevent the wrinkle of the old man with a habit (searchee) from occurring. An intended apparatus is disclosed.

また、高齢者等の日常生活を支援するシステムとして、特許文献3には、ユーザの健康状態などに対応する情報の出力および行動を行う情報通信ロボット装置、情報通信方法および情報通信ロボットシステムが開示されている。
特開2006−172410号公報 特開2004−357268号公報 特開2001−246580号公報
Patent Document 3 discloses an information communication robot apparatus, an information communication method, and an information communication robot system that output and act on information corresponding to a user's health condition and the like as a system that supports the daily life of elderly people and the like. Has been.
JP 2006-172410 A JP 2004-357268 A JP 2001-246580 A

在宅高齢者等の日常生活をロボット等の装置を用いて支援し、セキュリティを維持しようとする場合、屋内、屋外を問わず連続的に健康状況や行動をモニタして行動情報を取得して行動情報を蓄積し、行動情報に応じた動作をすることが望ましいが、上記特許文献1に記載の技術では、対象とする高齢者等が室内にいる場合にはその日常生活を支援することができとしても、高齢者のすべてが常に室内にいるわけではなく外出することもあり、外出時の行動等を把握することができず、何時外出して何時帰宅したかがわからないなど行動情報は連続性を欠き、セキュリティは外出中は維持されない。 If you intend to support the daily life of elderly people at home using devices such as robots and maintain security, you can monitor health status and behavior continuously and acquire behavior information, whether indoors or outdoors. It is desirable to accumulate information and perform actions according to behavior information. However, the technique described in Patent Document 1 can support daily life when the target elderly or the like is in a room. However, not all elderly people are always in the room and may go out, so it is impossible to grasp the behavior when they go out, and they do not know when to go out and when to go home. Security is not maintained while on the go.

また、上記特許文献2に記載の技術を応用すると、モニタ対象者が自宅の位置から一定距離だけ離れたら、そのモニタ対象者が携帯する端末(位置情報送信システム)の送信機が自律的に起動し、関係者に位置情報を送信することにより屋外での行動を送信することができるが、徘徊癖のある老人の場合はともかく、それ以外の高齢者の外出先を一定距離で制限することは行動の自由を奪うことになるという課題があった。   In addition, when the technique described in Patent Document 2 is applied, when the monitor target is separated from the home position by a certain distance, the transmitter of the terminal (position information transmission system) carried by the monitor target autonomously starts. However, it is possible to send outdoor actions by sending location information to the parties concerned, but regardless of the elderly with a habit, it is not possible to limit the destination of other elderly people at a certain distance There was a problem of taking away freedom of action.

これに対し、上記特許文献3に記載の情報通信ロボットシステムでは、モニタ対象者が装着しているリストウオッチでユーザの居所および生体情報を検出して検出データをロボットに送信するように構成されているので、屋外にいる場合(GPSによる測位:同特許文献の明細書段落[0068]参照)も屋内にいる場合(室内に設置された3つのアンテナによる測位:同明細書段落[0069]参照)にも対象者をモニタすることができる。   On the other hand, the information communication robot system described in Patent Document 3 is configured to detect the user's whereabouts and biological information with a wristwatch worn by the person to be monitored and transmit the detection data to the robot. Therefore, when it is outdoors (positioning by GPS: see paragraph [0068] of the patent document), it is indoor (positioning with three antennas installed indoors: see paragraph [0069] of the same specification). The target person can also be monitored.

しかしながら、上記特許文献3に記載の情報通信ロボットシステムでは、対象者の行動情報はリストウオッチで検出してロボットに送信するので、
(イ)モニタ対象者は、常時、対象者の行動情報を検出してロボットに送信するように構成されたリストウオッチを装着していなければならないといった課題や、
(ロ)リストウオッチは屋外ではGPSによる測位により位置情報を取得し、屋内では3本のアンテナによる測位により位置情報を取得してロボットに位置情報を送信するので、狭い室内にアンテナを設けたり、位置によっては送受信が困難な場合がありえるといった課題や、
(ハ)検出した行動情報をロボットに送信するために、ほぼ常時、電波を発信することによるリストウオッチの電池の早期消耗といった課題があった。
However, in the information communication robot system described in Patent Document 3, the behavior information of the target person is detected by the wristwatch and transmitted to the robot.
(B) The subject to be monitored must always wear a wristwatch configured to detect and send the behavior information of the subject to the robot,
(B) The wristwatch acquires position information by positioning with GPS outdoors, and acquires position information by positioning with three antennas indoors and transmits the position information to the robot. Depending on the location, it may be difficult to send and receive,
(C) In order to transmit the detected behavior information to the robot, there has been a problem that the wristwatch battery is quickly consumed by transmitting radio waves almost always.

本発明は上記課題を解決するためになされたものであり、日常生活における行動情報の連続性およびセキュリティを維持し得るロボットによるセキュリティモニタシステムの提供を目的とする。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a security monitor system using a robot that can maintain the continuity and security of action information in daily life.

上記課題を解決するために、請求項1に記載の発明のセキュリティモニタシステムは、ロボットによるセキュリティモニタシステムであって、ロボットは、屋内におけるモニタ対象者の動作に追従して該モニタ対象者を認識して行動情報を取得する行動認識部と、行動認識部によって取得された行動情報に応じたセキュリティ処理を実行するセキュリティ処理部と、モニタ対象者が外出する際に外出登録を行う外出登録処理部と、モニタ対象者の帰宅時に帰宅登録を行う帰宅登録処理部と、を備えたことを特徴とする。   In order to solve the above-described problem, the security monitor system according to the first aspect of the present invention is a security monitor system using a robot, and the robot recognizes the monitor target person following the operation of the monitor target person indoors. Action recognition unit for acquiring action information, a security processing unit for executing security processing according to the action information acquired by the action recognition unit, and an outing registration processing unit for performing outing registration when the monitoring target person goes out And a return home registration processing unit for performing return home registration when the monitoring subject returns home.

また、請求項2に記載の発明は請求項1に記載の発明のセキュリティモニタシステムにおいて、行動認識部は音声認識によりモニタ対象者との対話を行う対話処理部を含み、外出登録処理部は、対話処理部によるモニタ対象者との対話結果により外出登録を行ない、帰宅登録処理部は、対話処理部によるモニタ対象者との対話結果により該モニタ対象者の帰宅登録を行なう、ことを特徴とする。   The invention according to claim 2 is the security monitor system of the invention according to claim 1, wherein the action recognition unit includes a dialogue processing unit that performs dialogue with the monitoring target person by voice recognition, and the outing registration processing unit includes: The home registration processing unit performs home registration based on the dialogue result with the monitoring target person by the dialogue processing unit based on the dialogue result with the monitoring target person by the dialogue processing unit. .

また、請求項3に記載の発明は請求項1に記載の発明のセキュリティモニタシステムにおいて、行動認識部は、撮像および撮像した画像を認識する画像認識手段と音声認識によりモニタ対象者との対話を行う対話処理部を含み、外出登録処理部は、前記対話処理部によるモニタ対象者との対話結果により外出登録を行ない、帰宅登録処理部は、モニタ対象者の帰宅を前記屋内行動認識部の画像認識手段による画像認識結果により帰宅認識されたモニタ対象者の帰宅登録を行なう、
ことを特徴とすることを特徴とする。
According to a third aspect of the present invention, in the security monitor system according to the first aspect of the invention, the action recognition unit interacts with the monitoring target person by image recognition means for recognizing the captured image and voice recognition. The outing registration processing unit performs outing registration based on the result of the dialog with the monitor target person by the dialog processing unit, and the return home registration processing unit returns the monitor target person's home image of the indoor action recognition unit. Performing home registration of the monitoring target person who has been home-recognized by the image recognition result by the recognition means.
It is characterized by that.

また、請求項4に記載の発明は請求項1に記載の発明のセキュリティモニタシステムにおいて、外出登録処理部は、モニタ対象者の本人認証を屋内行動認識部による画像認識結果により行なって個人認証されたモニタ対象者の外出登録を行ない、帰宅登録処理部は、屋内行動認識部による画像認識により帰宅認識されたモニタ対象者の帰宅登録を行なう、ことを特徴とする。   According to a fourth aspect of the present invention, in the security monitor system of the first aspect, the outing registration processing unit authenticates the person to be monitored based on the image recognition result by the indoor action recognition unit and is personally authenticated. The monitor target person is registered for going out, and the return home registration processing unit performs return registration of the monitor target person who has been recognized to return home by image recognition by the indoor action recognition unit.

また、請求項5に記載の発明は請求項1乃至4のいずれかに記載の発明のセキュリティモニタシステムにおいて、外出登録処理部は外出開始時間を登録し、帰宅登録処理部は現在時刻と外出開始時間との差が所定時間を超える場合はセキュリティ処理部に外出時間を含む不帰情報を送出し、セキュリティ処理部は帰宅登録処理部から不帰情報を受け取ると不帰通知情報を生成して登録済みの連絡先に通信回線を介して送信する、ことを特徴とする。   According to a fifth aspect of the present invention, in the security monitor system according to any one of the first to fourth aspects, the outing registration processing unit registers the outing start time, and the return home registration processing unit includes the current time and the outing start. If the difference from the time exceeds the specified time, non-return information including the time to go out is sent to the security processing unit. When the non-return information is received from the home return registration processing unit, the security processing unit generates non-return notification information and has registered First, the data is transmitted via a communication line.

また、請求項6に記載の発明は請求項1乃至3のいずれかに記載の発明のセキュリティモニタシステムにおいて、外出登録処理部は外出開始時間と対話結果から取得した帰宅予定時間および/または外出先を登録し、帰宅登録処理部は現在時刻と帰宅予定時間との差が所定時間を超える場合はセキュリティ処理部に外出開始時間と帰宅予定時間および/または外出先を含む不帰情報を送出し、セキュリティ処理部は帰宅登録処理部から不帰情報を受け取ると不帰通知情報を生成して登録済みの連絡先に通信回線を介して通知する、ことを特徴とする。   According to a sixth aspect of the present invention, in the security monitor system according to any of the first to third aspects, the outing registration processing unit has a planned time to go home and / or an outing destination obtained from the outing start time and the conversation result. If the difference between the current time and the planned return time exceeds a predetermined time, the return home registration processing unit sends non-return information including the start time and the planned return time and / or the destination to the security processing unit. When the processing unit receives the non-return information from the return home registration processing unit, it generates non-return notification information and notifies the registered contact address via the communication line.

本発明によれば、ロボットは、在宅時にモニタ対象者から行動情報を取得して行動情報に応じたセキュリティ動作を行うだけでなく、モニタ対象者の外出/帰宅情報を把握できるので行動情報の連続性を維持することができる。   According to the present invention, the robot not only acquires behavior information from the monitoring target person at home and performs a security operation according to the behavior information, but also can grasp the outing / returning home information of the monitoring target person. Sex can be maintained.

<用語の定義>
(1) ロボット
自律型ロボットであり自走型が望ましいが固定型(自走せず一定箇所に設けられたもの)でもよい。
(2) 屋内
家屋やマンション(集合住宅)等の室内、若しくは、複数のモニタ対象者が利用する施設(養護施設等)の建造物内部を意味する。
(3) 屋外
上記建造物の外部である。
(4)外出
後述する外出登録された行動を意味する。外出登録のない外出は「行き先不明」として異常事態の範疇(関係先への通知対象)となる。
<Definition of terms>
(1) Robot
It is an autonomous robot and is preferably a self-propelled type, but may be a fixed type (not self-propelled and provided at a fixed location).
(2) Indoor
It means the interior of a building such as a house or a condominium (group housing) or a facility (nursing facility, etc.) used by a plurality of persons to be monitored.
(3) Outdoor
Outside the building.
(4) going out
It means an action registered for going out, which will be described later. Outings without an outing registration are classified as “unknown destinations” and are in the category of abnormal situations (subject to notification to related parties).

<発明の概要>
本発明のセキュリティモニタシステムにおいて、ロボットはモニタ対象者の行動に応じて在宅モード、留守番モード、心配モードの三つのモードを有している。
在宅モードではロボットはモニタ対象者の屋内での行動情報を取得し、取得した行動情報に応じたセキュリティ動作を実行する(図3のステップS1参照)。
留守番モードではロボットは、音声認識により、外出登録(外出開始時間、帰宅予定時間、外出先等の登録)および帰宅登録(帰宅時間の登録)を行って在宅モードに移行する。また、留守番モードにおいて無断外出や外出時間超過があると心配モードに移行する((図3のステップS2〜S4参照)。)
心配モードでは、ロボットはモニタ対象者のセキュリティ処理を実行する(実施例では、外出時間超過の旨を登録済みの関係先に連絡する(図3のステップS5〜S8参照)。
<Outline of the invention>
In the security monitor system of the present invention, the robot has three modes: a home mode, an answering machine mode, and an anxiety mode according to the behavior of the person being monitored.
In the home mode, the robot acquires the behavior information of the person to be monitored indoors, and executes a security operation according to the acquired behavior information (see step S1 in FIG. 3).
In the answering machine mode, the robot performs out-of-office registration (registration of going-out start time, scheduled return time, going-out destination, etc.) and return home registration (registration of return time) by voice recognition, and shifts to the home mode. In addition, when there is an outing without permission or when the outing time is exceeded in the answering machine mode, the mode shifts to the worry mode (see steps S2 to S4 in FIG. 3).
In the worry mode, the robot executes the security process of the person to be monitored (in the embodiment, notifies the registered related party that the outing time has been exceeded (see steps S5 to S8 in FIG. 3).

なお、外出登録および帰宅登録時に音声認識に代えて画像認識により外出登録(外出開始時間、帰宅予定時間、外出先等の登録)および帰宅登録(帰宅時間の登録)を行うように構成することもできる。また、外出登録時には音声認識により、帰宅登録時には画像認識により外出登録(外出開始時間、帰宅予定時間、外出先等の登録)および帰宅登録(帰宅時間の登録)を行うようにしてもよい。   In addition, it may be configured to perform out-of-home registration (outing start time, scheduled home time, where to go, etc.) and return home registration (registration of home time) by image recognition instead of voice recognition during out-of-home registration and return home registration. it can. In addition, it is possible to perform out-of-office registration (registration of outing start time, scheduled home time, outing destination, etc.) and return home registration (registration of home time) by image recognition during home registration, and by voice recognition during home registration.

図1は本発明に基づくロボットの正面概要図であり、ロボット10は、頭部10−1に、撮像部を構成する撮像レンズ11−1、11−2と、音声入出力部を構成するマイクロフォン12およびスピーカ13を備え、胴体部10−2には、モニタ対象者に対する案内メッセージや警告メッセージやモニタ対象者の画像等を表示する表示部14を備えている。   FIG. 1 is a schematic front view of a robot according to the present invention. A robot 10 includes, on a head 10-1, imaging lenses 11-1 and 11-2 that constitute an imaging unit, and a microphone that constitutes an audio input / output unit. 12 and a speaker 13, and the body unit 10-2 is provided with a display unit 14 that displays a guidance message, a warning message, an image of the monitor target person, and the like for the monitor target person.

なお、図示していないが、胴体10−2には通信回線に接続するための通信インターフェイス34(図2参照)および充電部が設けられている。また、ユーザの動きに追従して自走する自走部(若しくは脚部)を胴体下部に備えるようにしてもよい。自走部(または脚部)を備えた場合には、電圧低下前に充電部に充電部に戻って充電を行うよう構成することもできる。また、外出時や警告時等にモニタ対象者の注意をロボットに集中させるために点滅等を行うためのLED発光部(図示せず)を頭部10−1若しくは胴体部10−2に設けるようにしてもよい。 Although not shown, the body 10-2 is provided with a communication interface 34 (see FIG. 2) for connecting to a communication line and a charging unit. Moreover, you may make it equip the trunk | drum lower part with the self-propelled part (or leg part) which follows a user's movement and self-propels. When the self-propelled part (or the leg part) is provided, the charging part can be returned to the charging part and charged before the voltage drops. Further, an LED light emitting unit (not shown) for blinking or the like is provided in the head unit 10-1 or the body unit 10-2 in order to concentrate the attention of the person to be monitored on the robot when going out or warning. It may be.

図2は、ロボット10の内部構成の一実施例を示す図であり、ロボット10は撮像レンズ11−1、11−2を介して取り込んだ光学像を電気信号に変換して得た画像信号を得る撮像部20と、撮像部からの画像信号を処理して画像データを得てメモリに記録する画像処理部21と、画像を認識処理する画像認識処理部22と、画像認識の結果から屋内におけるモニタ対象者の行動情報(行動情報)を得る行動情報取得部23と、マイク12からの入力音声を処理して音声認識を行い、入力音声に応じた音声を生成して(または取り出して)スピーカ13から出力するようにする対話処理部24と、モニタ対象者の外出時の外出登録処理を行う外出登録処理部25と、モニタ対象者の帰宅時に帰宅登録処理を行う帰宅登録処理部26と、ロボット20の機械的動作を制御するロボット制御部28およびロボット制御部28の制御によりロボット20を機械的に駆動するロボット駆動29と、上記行動情報取得部22および帰宅登録処理部26の処理結果であるモニタ対象者の行動情報を取得し、それら行動情報に応じたセキュリティ処理を実行するセキュリティ処理部27と、時刻を生成して時刻信号を外出登録処理部25および帰宅登録処理部26に与える時刻発生部33と、セキュリティ処理部27から出力されるセキュリティのレベルに応じて関係先に情報を送信するための通信インターフェイス34を備えている。   FIG. 2 is a diagram showing an embodiment of the internal configuration of the robot 10. The robot 10 converts an image signal obtained by converting an optical image captured via the imaging lenses 11-1 and 11-2 into an electrical signal. An image capturing unit 20, an image processing unit 21 that processes image signals from the image capturing unit to obtain image data and records the image data in a memory, an image recognition processing unit 22 that performs image recognition processing, and an indoor result from the image recognition result. The behavior information acquisition unit 23 for obtaining the behavior information (behavior information) of the person to be monitored and the input voice from the microphone 12 are processed and voice recognition is performed to generate (or take out) the voice according to the input voice. 13, a dialog processing unit 24 that performs output from the monitor 13, an outing registration processing unit 25 that performs outing registration processing when the monitoring target person goes out, a return registration processing unit 26 that performs return registration processing when the monitoring target person returns, robot The robot control unit 28 that controls the mechanical operation of the robot 20 and the robot drive 29 that mechanically drives the robot 20 under the control of the robot control unit 28, and the processing results of the behavior information acquisition unit 22 and the return home registration processing unit 26 A security processing unit 27 that acquires behavior information of a certain monitoring target person, executes security processing according to the behavior information, and a time for generating a time and giving a time signal to the outing registration processing unit 25 and the return home registration processing unit 26 A generation unit 33 and a communication interface 34 for transmitting information to a related party according to the security level output from the security processing unit 27 are provided.

撮像部20は所定時間間隔またはセキュリティ処理部27からの制御信号に基づいて屋内でのモニタ対象者の動きに追従してモニタ対象者を撮像し、画像信号を画像処理部に送出する。   The imaging unit 20 captures an image of the monitor subject following the movement of the monitor subject indoors based on a predetermined time interval or a control signal from the security processing unit 27, and sends an image signal to the image processing unit.

画像処理部21、画像認識処理部22、行動情報取得部23、および対話処理部24は屋内行動認識部30を構成する。
表示部16はセキュリティ処理部27から出力により案内メッセージや警告メッセージやモニタ対象者の画像等を表示したり画面を明滅させて警告を行うことができる。
The image processing unit 21, the image recognition processing unit 22, the behavior information acquisition unit 23, and the dialogue processing unit 24 constitute an indoor behavior recognition unit 30.
The display unit 16 can display a guidance message, a warning message, an image of the person to be monitored, or the like by an output from the security processing unit 27, or can perform a warning by blinking the screen.

画像処理部21は画像メモリを備え、撮像部20で撮像された画像の画像処理を行なって、撮像した画像を画像メモリに記録する。画像メモリの記録容量上の制約によりすべての画像を記録しておくことはできないので、撮像画像は循環的に画像メモリに記録するように構成されている。画像処理部21の画像処理動作は公知のデジタルカメラにおける画像処理技術を適用することができる。   The image processing unit 21 includes an image memory, performs image processing on the image captured by the imaging unit 20, and records the captured image in the image memory. Since not all images can be recorded due to restrictions on the recording capacity of the image memory, the captured image is configured to be recorded in the image memory cyclically. For the image processing operation of the image processing unit 21, a known image processing technique in a digital camera can be applied.

画像認識処理部22は、モニタ対象者の顔画像および全身をさまざまな方向から撮影してパターン化した画像認識辞書を有している。ロボット10が屋内の所定の位置に静止している(または固定されている)とき、画像認識処理部22は撮像レンズ11−1または11−2を介して撮像された2つの画像と画像認識辞書に登録したモニタ対象者のパターン画像とを比較してモニタ対象者を特定する。また、画像認識処理部22は特定されたモニタ対象者を中心画像として撮像するように撮像/画像処理部21に制御信号を送出する。これにより画像認識処理部22は一種の撮像制御手段としても機能する。また、画像認識処理部22はモニタ対象者の本人認証を行う個人認証手段としても機能する。   The image recognition processing unit 22 has an image recognition dictionary in which the face image of the person to be monitored and the whole body are photographed and patterned from various directions. When the robot 10 is stationary (or fixed) at a predetermined position indoors, the image recognition processing unit 22 includes two images captured through the imaging lens 11-1 or 11-2 and an image recognition dictionary. The monitor target person is identified by comparing with the pattern image of the monitor target person registered in (1). Further, the image recognition processing unit 22 sends a control signal to the imaging / image processing unit 21 so as to capture the identified monitor subject as a central image. Thereby, the image recognition processing unit 22 also functions as a kind of imaging control means. The image recognition processing unit 22 also functions as a personal authentication unit that authenticates the person to be monitored.

行動情報取得部23は、屋内の間取り等の位置情報を登録した屋内地図を有している。行動情報取得部22は画像処理部21で撮像されたモニタ対象者の画像(中心画像)から視差を得てロボットに対するモニタ対象者の方位を取得し、撮像レンズ11−1、11−2間の距離xを元にロボットとの距離を得ることができる。そして、ロボットの現在位置と取得したモニタ対象者の方位および距離と屋内地図に登録されている屋内の間取り等の位置情報からモニタ対象者の行動情報(位置情報および現在屋内の何処(どの部屋、どの部分)にいるかの情報)を取得することができる。なお、モニタ対象者との距離xとして/画像処理部21に設けられている距離センサからの距離データを用いてもよい。行動情報取得部23で取得した行動情報(行動情報)は外出登録処理部25およびセキュリティ処理部27に送出される。   The behavior information acquisition unit 23 has an indoor map in which position information such as indoor floor plans is registered. The behavior information acquisition unit 22 obtains the parallax from the monitor target person image (center image) captured by the image processing unit 21 to acquire the orientation of the monitor target person with respect to the robot, and between the imaging lenses 11-1 and 11-2. The distance to the robot can be obtained based on the distance x. Then, from the current position of the robot, the orientation and distance of the acquired monitoring target person, and the positional information such as the indoor floor plan registered in the indoor map, the behavior information of the monitoring target person (position information and the current indoor location (which room, Information on which part) is available. Note that distance data from the distance sensor provided in the image processing unit 21 may be used as the distance x to the person to be monitored. The behavior information (behavior information) acquired by the behavior information acquisition unit 23 is sent to the outing registration processing unit 25 and the security processing unit 27.

対話処理部24は、質問音声に対応する応答音声データからなる応答言語辞書および音声パターンと単語を対応させた辞書を備えると共にマイクロフォン12およびスピーカ13に接続されており、マイクロフォン12を介して入力した音声の特徴を抽出して雑音を除去して音声を分離し、音声パターン辞書に登録されている音声パターンと比較し、一致度の高い音声パターンに対応する単語をキーワードとして応答言語辞書から応答音声を取り出してスピーカ13を介して再生することによりモニタ対象者との対話可能に構成されている。また、対話処理部24は会話音声だけでなく、モニタ対象者の声か否かの認識や周囲の音の認識処理も行うことができる(例えば、音声による個人認証を行ったり、ドアの開閉音から人の出入りを認識できる)。対話処理部24における音声認識結果は外出登録処理部25、帰宅登録処理部25、および行動情報取得部23に送出される。なお、対話処理部24による対話処理は上述した方法に限定されず、公知の対話処理方法(例えば、特開2002−261966号公報の発明の詳細な説明の項の段落[0044]、[0045]参照)によることができる。   The dialogue processing unit 24 includes a response language dictionary composed of response voice data corresponding to the question voice and a dictionary in which a voice pattern and a word correspond to each other, and is connected to the microphone 12 and the speaker 13, and is input via the microphone 12. Voice features are extracted and noise is removed to separate the voices, compared with the voice patterns registered in the voice pattern dictionary, and the voice corresponding to the voice pattern with a high degree of coincidence is used as a keyword. Is taken out and reproduced through the speaker 13, so that the user can interact with the person to be monitored. In addition to the conversational voice, the dialogue processing unit 24 can also recognize whether or not it is a voice of the person to be monitored and a process for recognizing surrounding sounds (for example, performing personal authentication by voice, opening / closing sound of the door) Can recognize people coming in and out). The speech recognition result in the dialogue processing unit 24 is sent to the outing registration processing unit 25, the return home registration processing unit 25, and the behavior information acquisition unit 23. Note that the dialogue processing by the dialogue processing unit 24 is not limited to the above-described method, and a known dialogue processing method (for example, paragraphs [0044] and [0045] in the section of the detailed description of the invention of Japanese Patent Laid-Open No. 2002-261966. Reference).

セキュリティ処理部27は、取得した行動情報に対応したセキュリティのレベルに応じて通信インターフェイス34を介して関係先に情報を送信するための通信制御部(図示せず)を備えている。また、セキュリティ処理部27は行動情報取得部23から入力する屋内行動情報、対話部24から入力する異常音声、外出登録処理部25から入力する本人認証結果、または帰宅登録処理部26から入力する外出時の行動情報等に応じたセキュリティ処理を実行する。また、セキュリティ処理部27は、取得した行動情報に応じてロボット10を駆動するための制御信号をロボット制御部28に送出する。   The security processing unit 27 includes a communication control unit (not shown) for transmitting information to a related party via the communication interface 34 in accordance with the security level corresponding to the acquired behavior information. The security processing unit 27 also includes indoor behavior information input from the behavior information acquisition unit 23, abnormal sound input from the dialogue unit 24, personal authentication result input from the outing registration processing unit 25, or outing input from the return home registration processing unit 26. Execute security processing according to the action information at the time. In addition, the security processing unit 27 sends a control signal for driving the robot 10 to the robot control unit 28 in accordance with the acquired behavior information.

セキュリティ処理の例として、例えば、モニタ対象者が浴室にいるとの行動情報を得てから所定時間を越えても浴室から出たという行動情報を得ることがなかった場合は、スピーカ13から警告音を出力し、さらに所定時間たっても浴室から出てこない場合は関係先(登録された機関または親族等)に通信インターフェイス34を介して指定された方法(生成音声による電話連絡、インターネットによるメール送信等)により緊急通知する。トイレの時間が長すぎた場合や就寝時間が異常に長すぎた場合なども同様である。また、モニタ対象者の異常行動についても同様である。   As an example of the security processing, for example, when the behavior information that the person to be monitored is out of the bathroom is not obtained even after a predetermined time has elapsed after obtaining the behavior information that the person being monitored is in the bathroom, a warning sound is output from the speaker 13. If it does not come out of the bathroom even after a predetermined time, the method (phone contact by generated voice, sending mail via the Internet, etc.) specified via the communication interface 34 to the related party (registered institution or relative, etc.) ) To make an emergency notification. The same applies when the toilet time is too long or when the bedtime is abnormally long. The same applies to the abnormal behavior of the person being monitored.

セキュリティ処理の例として、モニタ対象者の「助けて」、「苦しい」、「誰か」・・といった救助要請音声や異常な叫び声等の入力を対話部24から得ると、関係先(登録された機関または親族等)に通信インターフェイス34を介して指定された方法(生成音声による電話連絡やインターネットによるメール送信等)により緊急通知する。   As an example of security processing, when the dialogue target 24 receives an input such as a rescue request voice such as “help”, “stress”, “someone”, etc. of the person to be monitored from the dialogue unit 24, the related party (registered institution) Alternatively, an urgent notification is made to a relative or the like by a method designated by way of the communication interface 34 (telephone contact using generated voice, mail transmission via the Internet, etc.).

セキュリティ処理の例として、外出登録処理部25からモニタ対象者が認証なしに外出しようとしているとの情報を得ると、警告若しくは案内メッセージをスピーカ13から出力する。また、帰宅登録なしに入室しようとする者に対して警告若しくは案内メッセージをスピーカ13から出力する。更に、帰宅登録をしない者に対しては不審者若しくは侵入者として警告音を出力したり、関係機関に緊急連絡を行うこともできる。   As an example of security processing, when information indicating that the person to be monitored is going out without authentication is obtained from the outing registration processing unit 25, a warning or guidance message is output from the speaker 13. In addition, a warning or guidance message is output from the speaker 13 to a person who wants to enter the room without returning home. Furthermore, a warning sound can be output as a suspicious person or an intruder to a person who does not register for return home, or an emergency contact can be made to related organizations.

セキュリティ処理の例として、帰宅登録処理部25からモニタ対象者の外出時間が長すぎるとの情報を得るとその旨を登録された関係者(親族、知人、介護事業者、警察)等に連絡する。また、屋内で外出登録していないモニタ対象者の姿を認識できず、所定時間を過ぎても戻らない場合は、外出先不明の旨を登録された関係者(親族、知人、介護事業者、警察)等に連絡する。   As an example of security processing, when information indicating that the outing time of the monitoring target person is too long is obtained from the return home registration processing unit 25, the registered parties (relatives, acquaintances, care providers, police) and the like are notified. . Also, if you are unable to recognize the person being monitored and are not registered for going out indoors and do not return after a certain period of time, the person who has registered that you are not going to go (relatives, acquaintances, care providers, Contact the police).

(実施形態1)
本実施形態のロボットは、一人暮らしの高齢者をモニタ対象者として想定し、モニタ対象者の話し相手になったり、モニタ対象者の状況を別居している家族や病院へ通知したりすることを目的として開発されたものである。また、ホームオートメーション的な機能、例えばテレビのオンオフ、風呂やエアコンのオンオフをモニタ対象者に代わって実行するなどにも対応指定している。
(Embodiment 1)
The robot of this embodiment is intended for the elderly who live alone as a monitoring target person, to become a partner of the monitoring target person, or to notify the family or hospital where the monitoring target person is separated. It has been developed. It also specifies home automation functions such as TV on / off and bath / air conditioner on / off on behalf of the person being monitored.

図3に、本発明に基づくセキュリティモニタシステムの動作例のフローチャートを示す。
図3で、ロボット10は屋内でのモニタ対象者の動作に追従して撮像部20でモニタ対象者を撮像し、画像処理部21でデジタルデータに変換した画像を画像認識部22で認識し、行動情報取得部23で行動情報を取得して行動情報メモリに記録する。また、取得した屋内の行動情報に応じたセキュリティ動作を実行する。なお、撮像部20はモニタ対象者を所定時間間隔で撮像し、モニタ対象者がほぼ静止状態の場合は撮像を行わないか、行動情報メモリへの記録を行わないように構成することが望ましい(S1)。
FIG. 3 shows a flowchart of an operation example of the security monitor system according to the present invention.
In FIG. 3, the robot 10 follows the movement of the person to be monitored indoors, images the person to be monitored by the imaging unit 20, recognizes the image converted into digital data by the image processing unit 21, and recognizes the image by the image recognition unit 22. The behavior information acquisition unit 23 acquires the behavior information and records it in the behavior information memory. Moreover, the security operation | movement according to the acquired indoor action information is performed. Note that it is desirable that the imaging unit 20 be configured to take an image of the person to be monitored at predetermined time intervals and not to take an image or to record in the behavior information memory when the person to be monitored is almost stationary ( S1).

外出登録処理部25は、行動情報取得部23から受け取るモニタ対象者の行動情報を調べ、モニタ対象者が玄関方向に向かう画像を認識した旨の情報があると、対話処理部24に外出意思の有無や外出先や帰宅予定時間等を問うための質問要請信号を送ってスピーカ13およびマイクロフォン12を介してモニタ対象者との対話を行わせ、モニタ対象者からの応答音声から外出意思がない旨との判定結果を得た場合はステップS6に進む。外出意思がある場合は時刻発生部33から得る現在時刻を外出開始時間としてメモリに登録(記録)すると共に、対話により外出先および帰宅時間を取得した場合は外出開始時間にそれらを関係付けてメモリに登録してステップS3に進む。モニタ対象者との対話による外出意思の判定方法として、まず、対話処理部24を介してスピーカ13から外出意思を問う質問音声(例えば、「外出ですか?」)を出力させたあと、モニタ対象者の応答音声がマイクロフォン12から入力すると対話処理部24では音声認識を行い、認識結果を外出登録処理部25および行動情報取得部23に送出するので、外出登録処理部25は対話処理部24での応答音声の認識結果がモニタ対象者の単純外出意思表現(例えば、「そう」、「そうだよ」等)を意味する場合は、再度、対話処理部24に外出先および帰宅時間を問う質問要請信号を送って対話処理部24を介してスピーカ13から質問音声(例えば、「どこへ行くのですか、何時ころ帰りますか?」等)を出力させる。ロボット10からの質問音声に対するモニタ対象者の応答音声の認識結果が外出先や帰宅予定時間を含んでいる場合は外出開始時間にそれらを関係付けてメモリに登録する。また、外出意思を問う質問に対し所定時間(例えば、5秒間)以上応答のない場合(つまり、無言の場合)は再度質問を行い、再度の質問にも応答のない場合や否定応答(「ちがう」、「家にいるよ」、「そうじだよ」、「うるさい」等)の場合は外出意思なしとしてそのままステップS6に進む(ステップS2)。   The outing registration processing unit 25 checks the behavior information of the monitor target person received from the behavior information acquisition unit 23, and if there is information that the monitor target person has recognized the image heading toward the entrance, the dialog processing unit 24 indicates the intention of going out. A question request signal for inquiring about presence / absence, whereabouts, estimated time to go home, etc. is sent to cause dialogue with the person to be monitored through the speaker 13 and the microphone 12, and there is no intention of going out from the response voice from the person to be monitored If the determination result is obtained, the process proceeds to step S6. When there is an intention to go out, the current time obtained from the time generation unit 33 is registered (recorded) in the memory as the outing start time, and when the outing destination and the return time are obtained through dialogue, the memory is associated with the outing start time. And proceed to step S3. As a method of determining the intention to go out by dialogue with the person to be monitored, first, a question voice (for example, “Is going out?”) That asks the intention to go out is output from the speaker 13 via the dialogue processing unit 24, and then the object to be monitored. When the person's response voice is input from the microphone 12, the dialogue processing unit 24 performs voice recognition and sends the recognition result to the outing registration processing unit 25 and the behavior information acquisition unit 23, so that the outing registration processing unit 25 is the dialogue processing unit 24. If the response result of the response voice means a simple intention to go out (for example, “Yes”, “Yes”, etc.), the question request to ask the dialogue processing unit 24 about the destination and the time to go home again. A signal is sent and a question voice (for example, “Where are you going, when are you going to return?”) Is output from the speaker 13 via the dialogue processing unit 24. When the recognition result of the response voice of the person to be monitored with respect to the question voice from the robot 10 includes the place to go out and the scheduled time to go home, they are related to the start time to go out and registered in the memory. Also, if there is no response to a question asking about going out for a predetermined time (for example, 5 seconds) (that is, if it is silent), the question is asked again. ”,“ I'm at home ”,“ Sojida ”,“ Noisy ”, etc.), the process proceeds to step S6 with no intention to go out (step S2).

帰宅登録処理部26は、外出登録後のモニタ対象者の外出時間Tを所定時間Kと比較し、T≦Kの場合はステップS4に進み、T>Kの場合は外出時超過としてセキュリティ処理部27に外出開始時間、外出超過時間等(帰宅予定時間および外出時間が登録されている場合はそれらも)を含む不帰情報を渡してステップS5に進む(ステップS3)。   The return home registration processing unit 26 compares the outing time T of the monitoring target person after the outing registration with the predetermined time K. When T ≦ K, the process proceeds to step S4, and when T> K, the security processing unit The non-return information including the outing start time, the outing excess time, and the like (and the return time and the outing time, if any) are passed to 27, and the process proceeds to step S5 (step S3).

対話処理部24は会話音声だけでなく周囲の音も認識処理するように構成されており、ドアの開閉音から人の出入りを認識することができる。帰宅登録処理部26は、対話処理部24から玄関のドアの開く音を認識した旨の認識結果を受け取ったあと、モニタ対象者の帰宅音声「例えば「ただいま」、「帰ったよ」、「寒かった」、「くたびれた」、「やれやれ」等」の認識結果を受け取ると帰宅登録を行いステップS1に戻る。帰宅登録を行っていない場合(つまり、まだ帰宅していない場合)はステップS3に戻る。帰宅登録は時刻発生部33から得る現在時刻を帰宅時間として外出開始時間に関係付けてメモリに登録(記録)することにより行うことができる(ステップS4)。   The dialogue processing unit 24 is configured to recognize and process not only the conversation voice but also surrounding sounds, and can recognize the person's entry and exit from the door opening / closing sound. After receiving the recognition result indicating that the sound of the front door opening is recognized from the dialogue processing unit 24, the return home registration processing unit 26 receives the voice of the person to be monitored “for example,“ I ’m right ”,“ I ’m home ”,“ I was cold ” Upon receiving the recognition results such as “I was tired”, “Yareyare”, etc., home return registration is performed and the process returns to step S1. If return home registration has not been performed (that is, if the user has not yet returned home), the process returns to step S3. Returning home registration can be performed by registering (recording) the current time obtained from the time generating unit 33 in the memory in association with the going-out start time as the return time (step S4).

ステップS3でT>Kの場合、つまり、外出時間超過の場合はセキュリティ処理部27は帰宅登録処理部26から受け取った不帰情報(外出開始時間、外出超過時間等(帰宅予定時間および外出時間が登録されている場合はそれらも))を基に電話連絡用の不帰通知メッセージ音声またはメール用の不帰通知メッセージデータ(例えば、「XXさんが10時に外出した後4時間も経っていますが帰宅していません。心当たりを調べてください」等)を生成し、通信インターフェイス34を介して登録された関係者(親族、知人、介護事業者、警察等)に送信し、ステップS4に戻る。なお、モニタ対象者が複数いる場合は帰宅登録処理部24は外出登録時に登録されたモニタ対象者のIDも不帰情報としてセキュリティ処理部27に送信する(ステップS5)。   If T> K in step S3, that is, if the outing time is exceeded, the security processing unit 27 registers the non-return information received from the return home registration processing unit 26 (outing start time, outing time, etc. (scheduled home time and outing time are registered). If not, they will also be a non-return message message for telephone contact or non-return message message data for e-mail (for example, “It ’s been 4 hours since XX went out at 10:00 am, but he ’s gone home.” No. Please check the contact ”, etc.), and send it to the registered parties (relatives, acquaintances, care providers, police, etc.) via the communication interface 34, and return to step S4. If there are a plurality of monitoring subjects, the return home registration processing unit 24 also transmits the ID of the monitoring subject registered at the time of outing registration to the security processing unit 27 as non-return information (step S5).

ステップS2で、外出登録処理部24がモニタ対象者に外出意思がないと判定した場合は、セキュリティ処理部27は行動情報取得部23からモニタ対象者が屋内にいない旨の情報(例えば、外出登録なしに玄関から出て行ったり、窓から出て行ったりした画像が認識された旨の行動情報を受け取ると(ステップS6)、その情報を受け取った時点から不在時間カウンタによる時刻カウントを開始させ、不在時間カウンタの値が所定時間(例えば1時間)を越えても行動情報取得部23からモニタ対象者が屋内に戻った旨の行動情報を受け取らない場合は外出先不明としてステップS8に移行し、所定時間内に行動情報取得部23からモニタ対象者が屋内に戻った旨の行動情報を受け取った場合は不在時間カウンタをクリアしてステップS1に戻る。なお、制御がステップS8を介して戻された場合は所定時間=ステップS8を介して戻った時点での不在時間カウンタの値として判定動作を行い、行動情報取得部23からモニタ対象者が屋内に戻った旨の行動情報を受け取った場合は不明者帰宅として不在時間カウンタをクリアしてステップS8に進むようにする(ステップS7)。   In step S2, if the outing registration processing unit 24 determines that the person to be monitored does not intend to go out, the security processing unit 27 receives information from the behavior information acquisition unit 23 that the person to be monitored is not indoors (for example, outing registration) When receiving the action information indicating that the image that has gone out from the entrance or the window without being recognized has been recognized (step S6), the time counting by the absence time counter is started from the time when the information is received, Even when the value of the absence time counter exceeds a predetermined time (for example, 1 hour), if the behavior information indicating that the monitoring subject has returned to the indoors is not received from the behavior information acquisition unit 23, the process goes to step S8 as unknown whereabouts, If the behavior information indicating that the person to be monitored has returned indoors is received from the behavior information acquisition unit 23 within the predetermined time, the absent time counter is cleared and step S1 is executed. When the control is returned via step S8, a determination operation is performed as a predetermined time = the value of the absence time counter at the time when the control returns via step S8, and the monitoring information is obtained from the behavior information acquisition unit 23. When the behavior information indicating that the user has returned to the indoors has been received, the absence time counter is cleared to return to the unknown person and the process proceeds to step S8 (step S7).

ステップS7で外出先不明と判定した場合は、セキュリティ処理部27は現在時刻および不在時間カウンタの値を基に不在発生時刻および不在時間を含む電話連絡用の行方不明通知メッセージ音声またはメール用の行方不明通知メッセージデータ((例えば、XXさんが10時15分頃から家を出て行方不明です。すでに1時間経過していますが戻っていません。心当たりを調べてください)を生成し、通信インターフェイス34を介して登録された関係者(親族、知人、介護事業者、警察等)に送信し、ステップS6に戻る。また、ステップS7で不明者帰宅と判定した場合は、セキュリティ処理部27は電話連絡用の不明者帰宅通知メッセージ音声またはメール用の不帰通知メッセージデータ((例えば、XXさんは12時20分に家に戻りました)を生成し、通信インターフェイス34を介して登録された関係者(親族、知人、介護事業者、警察等)に送信し、ステップS1に戻る(ステップS8)。   If it is determined in step S7 that the whereabouts are unknown, the security processing unit 27 detects the missing notification message for the telephone contact including the absence occurrence time and the absence time based on the values of the current time and the absence time counter, or the whereabouts for the mail. Generate unknown notification message data (for example, Mr. XX has left the house at around 10:15 and is missing. Already 1 hour has passed but has not returned. Please check the contact) 34 to the related parties (relatives, acquaintances, care providers, police, etc.) registered via step 34. The process returns to step S6, and if it is determined in step S7 that the unknown person has returned home, the security processing unit 27 calls Unidentified person return notification message voice or email non-notification notification message data (for example, Mr. XX is at home at 12:20 Generates ¥ was), parties that are registered via the communication interface 34 (relatives, send acquaintances, care operators, police, etc.), the flow returns to step S1 (step S8).

なお、上記ステップS4で、帰宅登録処理部26が対話処理部24から玄関のドアの開く音を認識した旨の認識結果を受け取ったあと、所定時間(たとえば、15秒間)経過してもモニタ対象者の帰宅音声認識による帰宅の旨の認識結果を受け取ることがない場合は、対話処理部24に誰何要請信号を送り、対話処理部24はスピーカ13を介して誰何音声(例えば、「誰?」、「誰ですか、無断で入ると警察を呼ぶよ」等)を出力し、所定時間(例えば、5秒間)経過してもモニタ対象者からの応答がない場合は不審者侵入と判断してセキュリティ処理部27に不審者侵入情報を送出するようにし、音声認識によりモニタ対象者を認証できた場合は帰宅登録を行ってからステップS1に戻るように構成することができる。また、この場合、セキュリティ処理部27は不審者侵入情報を受け取ると、スピーカ13を介して警告音を発生させると共に、電話連絡用の不明者帰宅通知メッセージ音声またはメール用の不帰通知メッセージデータ(例えば、「本町3丁目24番7号のYYマンション2階5号室のXXさん方に不審者が侵入したようです。調べてください」等)を生成し、通信インターフェイス34を介して登録された関係者(マンション管理者、警備会社、警察等)に送信し、ステップS1に戻るように構成することができる。   In step S4, the return home registration processing unit 26 receives the recognition result indicating that the sound of the front door opening has been received from the dialogue processing unit 24, and the monitor target even after a predetermined time (for example, 15 seconds) has passed. If the recognition result indicating that the person is returning home is not received, the request signal is sent to the dialogue processing unit 24, and the dialogue processing unit 24 sends the voice (eg, “who” ? "," Who are you, call the police if you enter without permission? "), And if there is no response from the monitored person even after a predetermined time (for example, 5 seconds), it is determined that the suspicious person has entered Then, the suspicious person intrusion information can be sent to the security processing unit 27, and when the person to be monitored can be authenticated by voice recognition, it can be configured to return home and return to step S1. Further, in this case, when the security processing unit 27 receives the suspicious person intrusion information, the security processing unit 27 generates a warning sound through the speaker 13 and also transmits an unknown person return notification message voice for telephone contact or non-return notification message data for e-mail (for example, , "It seems that a suspicious person has invaded Mr. XX in the 2nd and 5th floors of YY Mansion, 2-24-7, Honmachi 3)." It can be configured to transmit to (condominium manager, security company, police, etc.) and return to step S1.

(実施形態2)
上記図3のフローチャートに示した例では、外出登録処理部25および帰宅登録処理部26は音声認識によりモニタ対象者の外出意思および帰宅を確認したが、ロボット10に対話処理部24を設けていない場合またはロボット10を外出登録および帰宅登録時に対話処理部24を動作させないように構成した場合には、音声認識なしに、画像認識による本人認証によりモニタ対象者の外出および帰宅を確認するように構成することもできる。
(Embodiment 2)
In the example shown in the flowchart of FIG. 3, the outing registration processing unit 25 and the return home registration processing unit 26 confirm the intention of going out and return home by voice recognition, but the robot 10 is not provided with the dialog processing unit 24. In the case where the robot 10 is configured not to operate the dialogue processing unit 24 at the time of going out registration and returning home registration, it is configured to confirm the going out and returning home of the person to be monitored by the identity authentication by the image recognition without voice recognition. You can also

この場合は、図3のステップS2を、例えば、「外出登録処理部25は、行動情報取得部23から受け取るモニタ対象者の行動情報を調べ、モニタ対象者が玄関方向に向かう画像を認識した旨の情報があると、更に、画像認識による本人認証を行ってから、モニタ対象者がドアを開けて部屋から出た旨の行動情報を行動情報取得部23から受け取ると、現在時刻を外出開始時間としてメモリに登録(記録)してステップS3に進む。また本人認証ができない場合や所定時間(例えば、1分間)以上経ってもドアを開けて部屋から出た旨の行動情報を行動情報取得部23から受け取らない場合はステップS6に進む」ように構成し、ステップS4を「帰宅登録処理部26は、行動情報取得部23からドアが開き人が入ってきた旨の行動情報を受け取ると、画像認識により入出者の画像認識による本人認証を行い、本人認証ができた場合は現在時刻を帰宅時間としてメモリに登録した外出開始時間に関連付けてメモリに登録してステップS1に戻る」ように構成すればよい。また、ステップS4で、本人認証ができなかった場合は不審者侵入と判断してセキュリティ処理部27に不審者侵入情報を送出するようにし、音声認識によりモニタ対象者を認証した場合は帰宅登録を行ってからステップS1に戻るように構成することができる。   In this case, for example, the step S2 in FIG. 3 is performed, for example, “The outing registration processing unit 25 checks the behavior information of the monitoring target person received from the behavior information acquisition unit 23 and recognizes that the monitoring target person has recognized the image toward the entrance. If the action information indicating that the person to be monitored has opened the door and exited the room is received from the action information acquisition unit 23 after the person authentication by the image recognition is performed, the current time is set to the start time of going out. And registering (recording) in the memory and proceeding to step S3, and when the user cannot be authenticated or when a predetermined time (for example, 1 minute) or more has passed, the behavior information indicating that the door has been opened and the room has been exited If not received from 23, the process proceeds to step S6, and step S4 is set to “return home registration processing unit 26 receives action information indicating that a door has been opened and a person has entered from action information acquiring unit 23. Then, the person is authenticated through image recognition, and if the person is authenticated, the current time is registered in the memory in association with the start time registered in the memory as the return time, and the process returns to step S1. " What is necessary is just to comprise. In step S4, if the personal authentication cannot be performed, it is determined that the suspicious person has been intruded and the suspicious person intrusion information is transmitted to the security processing unit 27. It can comprise so that it may return to step S1.

<変形例>
上記実施形態1では音声認識により外出登録および帰宅登録し、実施形態2では画像認識による本人認証により外出登録および帰宅登録を行う例を示したが、外出登録処理部では音声認識により外出登録を行い、帰宅登録処理部では画像認識による本人認証により帰宅登録を行うように構成することもできる。
<Modification>
In the first embodiment, the out-going registration and the home-going registration are performed by voice recognition. In the second embodiment, the out-going registration and the home-going registration are performed by the personal authentication by the image recognition. However, the out-going registration processing unit performs the out-going registration by the voice recognition. The return home registration processing unit can also be configured to perform return home registration through personal authentication based on image recognition.

この場合は、図3のステップS4のみを「帰宅登録処理部26は、行動情報取得部23からドアが開き人が入ってきた旨の行動情報を受け取ると、画像認識により入出者の画像認識による本人認証を行い、本人認証ができた場合は現在時刻を帰宅時間としてメモリに登録した外出開始時間に関連付けてメモリに登録してステップS1に戻る」ように構成すればよい。また、ステップS4で、本人認証ができなかった場合は不審者侵入と判断してセキュリティ処理部27に不審者侵入情報を送出するようにし、音声認識によりモニタ対象者を認証した場合は帰宅登録を行ってからステップS1に戻る」ように構成し、ステップS1〜S3、ステップS5〜S8は図3と同様とすればよい。   In this case, only step S4 of FIG. 3 is performed. When the return home registration processing unit 26 receives the behavior information that the door is opened from the behavior information acquisition unit 23 and the person has entered, the image recognition is performed based on the image recognition of the entering / exiting person. The user authentication is performed, and when the user authentication is successful, the current time is registered in the memory in association with the going-out start time registered in the memory as the return time, and the process returns to step S1. In step S4, if the personal authentication cannot be performed, it is determined that the suspicious person has been intruded and the suspicious person intrusion information is transmitted to the security processing unit 27. Then, the process returns to step S1 ”, and steps S1 to S3 and steps S5 to S8 may be the same as those in FIG.

なお、高度な音声認識若しくは画像認識機能を設けなくても、ロボット10に外出ボタン、帰宅ボタンを設け、モニタ対象者が外出時に外出ボタンを押すと外出登録処理がなされ、帰宅時に帰宅ボタンを押すと帰宅登録処理がなされるようにすることも可能である。   Even if an advanced voice recognition or image recognition function is not provided, the robot 10 is provided with an outing button and a return button. When the person to be monitored presses the outing button when going out, the outing registration process is performed, and the return button is pressed when returning. It is also possible to perform the return home registration process.

本発明に基づくロボットの正面概要図である。It is a front schematic diagram of the robot based on this invention. ロボットの内部構成の一実施例を示す図である。It is a figure which shows one Example of the internal structure of a robot. ロボットの動作例を示すフローチャートである。It is a flowchart which shows the operation example of a robot.

符号の説明Explanation of symbols

10 ロボット
12 マイクロフォン
13 スピーカ
20 撮像部
23 行動情報取得部
24 対話処理部
25 外出登録処理部2
26 帰宅登録処理部
30 屋内行動認識部
31 セキュリティ処理部
DESCRIPTION OF SYMBOLS 10 Robot 12 Microphone 13 Speaker 20 Imaging part 23 Behavior information acquisition part 24 Dialog processing part 25 Outing registration process part 2
26 Home Return Registration Processing Unit 30 Indoor Action Recognition Unit 31 Security Processing Unit

Claims (6)

ロボットによるセキュリティモニタシステムであって、
前記ロボットは、
屋内におけるモニタ対象者の動作に追従して該モニタ対象者を認識して行動情報を取得する行動認識部と、
前記行動認識部によって取得された行動情報に応じたセキュリティ処理を実行するセキュリティ処理部と、
モニタ対象者が外出する際に外出登録を行う外出登録処理部と、
モニタ対象者の帰宅時に帰宅登録を行う帰宅登録処理部と、
を備えたことを特徴とするセキュリティモニタシステム。
A security monitoring system using a robot,
The robot is
An action recognition unit for recognizing the person to be monitored and acquiring action information following the operation of the person to be monitored indoors;
A security processing unit that executes security processing according to the behavior information acquired by the behavior recognition unit;
An outing registration processing unit for performing outing registration when the monitoring target person goes out;
A home registration processing unit for performing home registration when the monitor target person returns home,
A security monitor system comprising:
前記行動認識部は、音声認識によりモニタ対象者との対話を行う対話処理部を含み、
前記外出登録処理部は、前記対話処理部によるモニタ対象者との対話結果により外出登録を行ない、
前記帰宅登録処理部は、前記対話処理部によるモニタ対象者との対話結果により該モニタ対象者の帰宅登録を行なう、
ことを特徴とする請求項1に記載のセキュリティモニタシステム。
The behavior recognition unit includes a dialogue processing unit that conducts dialogue with a monitoring target person by voice recognition,
The outing registration processing unit performs outing registration according to the dialogue result with the monitoring target person by the dialogue processing unit,
The home return registration processing unit performs home return registration of the monitoring target person based on a result of the dialog with the monitoring target person by the dialog processing unit.
The security monitor system according to claim 1.
前記行動認識部は、撮像および撮像した画像を認識する画像認識手段と音声認識によりモニタ対象者との対話を行う対話処理部を含み、
前記外出登録処理部は、前記対話処理部によるモニタ対象者との対話結果により外出登録を行ない、
前記帰宅登録処理部は、モニタ対象者の帰宅を前記屋内行動認識部の画像認識手段による画像認識結果により帰宅認識されたモニタ対象者の帰宅登録を行なう、
ことを特徴とする請求項1に記載のセキュリティモニタシステム。
The action recognizing unit includes an image processing unit for recognizing a captured image and a captured image and a dialogue processing unit for performing a dialogue with a monitor target person by voice recognition.
The outing registration processing unit performs outing registration according to the dialogue result with the monitoring target person by the dialogue processing unit,
The return home registration processing unit performs return registration of the monitor target person who has been recognized to return home from the image recognition result of the image recognition means of the indoor action recognition unit.
The security monitor system according to claim 1.
前記行動認識部は、撮像および撮像した画像を認識する画像認識手段を含み、
前記外出登録処理部は、モニタ対象者の本人認証を前記屋内行動認識部による画像認識結果により行って本人認証できたモニタ対象者の外出登録を行ない、
前記帰宅登録処理部は、前記屋内行動認識部による画像認識結果により帰宅認識されたモニタ対象者の帰宅登録を行なう、
ことを特徴とする請求項1に記載のセキュリティモニタシステム。
The action recognition unit includes image recognition means for recognizing an image and a captured image,
The outing registration processing unit performs the out-going registration of the monitor target person who has been able to authenticate the person who has been authenticated by performing the image recognition result by the indoor action recognition unit,
The return home registration processing unit performs return home registration of the monitor target person who has been returned home based on the image recognition result by the indoor action recognition unit.
The security monitor system according to claim 1.
前記外出登録処理部は外出開始時間を登録し、
前記帰宅登録処理部は現在時刻と外出開始時間との差が所定時間を超える場合は前記セキュリティ処理部に外出時間を含む不帰情報を送出し、
前記セキュリティ処理部は、前記帰宅登録処理部から不帰情報を受け取ると不帰通知情報を生成して登録済みの連絡先に通信回線を介して送信する、ことを特徴とする請求項1乃至4に記載のセキュリティモニタシステム。
The outing registration processing unit registers the outing start time,
If the difference between the current time and the going-out start time exceeds a predetermined time, the return home registration processing unit sends non-return information including the going-out time to the security processing unit,
5. The security processing unit according to claim 1, wherein, when receiving the return information from the return home registration processing unit, the security processing unit generates return notification information and transmits it to a registered contact via a communication line. Security monitor system.
前記外出登録処理部は、外出開始時間と前記対話結果から取得した帰宅予定時間および/または外出先を登録し、
前記帰宅登録処理部は、現在時刻と帰宅予定時間との差が所定時間を超える場合は前記セキュリティ処理部に外出開始時間と帰宅予定時間および/または外出先を含む不帰情報を送出し、
前記セキュリティ処理部は前記帰宅登録処理部から不帰情報を受け取ると不帰通知情報を生成して登録済みの連絡先に通信回線を介して通知する、ことを特徴とする請求項1乃至3に記載のセキュリティモニタシステム。
The outing registration processing unit registers the outing start time and the scheduled return time and / or outing obtained from the conversation result,
When the difference between the current time and the scheduled return time exceeds a predetermined time, the return home registration processing unit sends out non-return information including an outing start time and a planned return time and / or a destination to the security processing unit,
4. The security processing unit according to claim 1, wherein the security processing unit generates non-return notification information upon receiving non-return information from the return home registration processing unit, and notifies a registered contact through a communication line. Security monitor system.
JP2007090646A 2007-03-30 2007-03-30 Security monitoring system Pending JP2008250639A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007090646A JP2008250639A (en) 2007-03-30 2007-03-30 Security monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007090646A JP2008250639A (en) 2007-03-30 2007-03-30 Security monitoring system

Publications (1)

Publication Number Publication Date
JP2008250639A true JP2008250639A (en) 2008-10-16

Family

ID=39975515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007090646A Pending JP2008250639A (en) 2007-03-30 2007-03-30 Security monitoring system

Country Status (1)

Country Link
JP (1) JP2008250639A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147452A (en) * 2017-03-09 2018-09-20 岩崎通信機株式会社 Door system and monitoring method using door system
KR20190055520A (en) * 2017-11-15 2019-05-23 주식회사 아이앤나 Sound Device for Entry Recognition
JP2019101971A (en) * 2017-12-07 2019-06-24 カシオ計算機株式会社 Watching robot, watching method and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018147452A (en) * 2017-03-09 2018-09-20 岩崎通信機株式会社 Door system and monitoring method using door system
KR20190055520A (en) * 2017-11-15 2019-05-23 주식회사 아이앤나 Sound Device for Entry Recognition
KR102645469B1 (en) * 2017-11-15 2024-03-12 주식회사 아이앤나 Sound Device for Entry Recognition
JP2019101971A (en) * 2017-12-07 2019-06-24 カシオ計算機株式会社 Watching robot, watching method and program

Similar Documents

Publication Publication Date Title
US9060074B2 (en) Method and system for communication
JP7265995B2 (en) Scalable system and method for monitoring and concierge services
US20180040230A1 (en) Systems and methods for managing an emergency situation
US8606316B2 (en) Portable blind aid device
JP6862629B2 (en) Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system
JP4026758B2 (en) robot
US20150194034A1 (en) Systems and methods for detecting and/or responding to incapacitated person using video motion analytics
JP2005103679A (en) Robot device
JP2004013871A (en) Security system
JP2008203985A (en) Emergency notification system having emergency notification function, and the emergency response function
CN111971647A (en) Speech recognition apparatus, cooperation system of speech recognition apparatus, and cooperation method of speech recognition apparatus
JP2006137572A (en) Destination story registering device of elevator
CN104620290A (en) Security arrangement and method therfor
JP2007184839A (en) Intercom, and ringtone control method of intercom
JP2015109040A (en) Emergency call device and emergency call system
JP2010226541A (en) Reception apparatus, visitor reception method, and visitor reception control program
JP5304870B2 (en) robot
JP2008250639A (en) Security monitoring system
US10074262B2 (en) Determining entry into or exit from a place while a tracking device is in the place
JP2006172410A (en) Care information base with the use of robot
JP2020052856A (en) Rescue support server, rescue support system and program
JP2005352956A (en) Security system, abnormality report terminal, abnormality report method, and program
JP3975253B2 (en) Activity information communication terminal, monitoring server and remote monitoring system
JP4862734B2 (en) Security system
WO2016006905A1 (en) Supplementary safety system for hearing impaired individual