JP2004180235A

JP2004180235A - Video distribution system

Info

Publication number: JP2004180235A
Application number: JP2002347202A
Authority: JP
Inventors: Tsutomu Ito; 励伊藤; Hirotada Ueda; 博唯上田; Seiichi Hirai; 誠一平井; Mitsue Ito; 光恵伊藤
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2002-11-29
Filing date: 2002-11-29
Publication date: 2004-06-24
Anticipated expiration: 2022-11-29
Also published as: JP4490626B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a video distribution system, report server and mobile terminal which enable a concerned part desired to watch to be displayed on the mobile terminal in a easily understandable manner. <P>SOLUTION: The video distribution system is provided which is composed of: an imaging unit 100; the report server 103 for detecting a person or an object in an image imaged by the imaging unit and composed of a video signal and distributing an image where the person or the object is marked to the mobile terminal; and the mobile terminal 105 for displaying the image acquired from the report server on a display screen, the report server and the mobile terminal are also provided. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置で撮像した映像信号をモバイル端末に配信する映像配信システムおよび通報サーバならびにモバイル端末に関する。
【０００２】
【従来の技術】
従来のネットワーク型監視システムについて説明する。
【０００３】
図２０は、ネットワーク型監視システムの構成を示すブロック図である（文献公知発明に係わるものではない）。ネットワーク型監視システムは、監視カメラ１００、監視装置２０００、モバイル端末１０５によって構成される。各構成要素の内、監視カメラ１００と監視装置２０００は映像ケーブル１１０で接続され、監視装置２０００とモバイル端末１０５は通信媒体１１３で接続されている。
【０００４】
図２０の各構成要素の役割を説明する。監視カメラ１００は撮影した映像信号を、映像ケーブル１１０を通して監視装置２０００に送信する。監視装置２０００は、単体の装置でもよいし、複数の装置が通信媒体で接続されたネットワーク型のシステムでもよい。監視装置２０００は、撮影した映像信号の１フレームの画像に対して画像認識処理を行い、フレーム画像に侵入者がいた場合にはそれを検知し、警報をユーザに通知するため、電子メールにフレーム画像（これを警告画像と称する）を添付して、通信媒体１１３を通して、電子メールを見る手段を持つモバイル端末１０５に電子メールを送信する。モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【０００５】
結果のモバイル端末の表示画面を図５（Ａ）に示す。モバイル端末１０５−１の表示画面６００では、３本の木６２０の中に複数の侵入者６３０、６３５がいる場合の表示例を示した。また結果のモバイル端末の表示画面の例を図５（Ｄ）に示す。モバイル端末１０５−４の表示画面６００では、人込み６４０の中に複数の特定の人６５０、６５５（例えば指名手配の人）が混じっている場合の表示例を示した。
【０００６】
【発明が解決しようとする課題】
しかしながら、いずれの例も、表示面積（画素数）の限られた表示画面６００で警告画像６０１を見ると、侵入者６３０、６３５の表示は小さく、また木６２０の中に混じっているので、侵入者６３０、６３５がどこにいるのか分かりにくい。また、表示画面６００は表示色も限られているため、特に侵入者６３０、６３５が木６２０と同系色の服を着ていた場合は、木６２０との区別がつかなくなり、侵入者６３０、６３５がどこにいるのか更に分かりにくくなる。
【０００７】
また、画像認識処理によって侵入者を検知した場合、その検知の信頼度の高低に関らず同じ内容の電子メールが送信されるため、ユーザにとって、警戒の度合が分かりにくくなる。
【０００８】
本発明の目的は、モバイル端末で見たい注目箇所を分かりやすく表示することが可能な映像配信システムおよび通報サーバならびにモバイル端末を提供することにある。
【０００９】
本発明の他の目的は、モバイル端末で見たい注目箇所を少ない画像で配信することが可能な映像配信システムおよび通報サーバならびにモバイル端末を提供することにある。
【００１０】
本発明のさらに他の目的は、モバイル端末で人または物体の検知の信頼度がわかる通報サーバを提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、撮像装置と、該撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信する通報サーバと、該通報サーバより取得した画像を表示画面に表示する前記モバイル端末からなることを特徴とする映像配信システムである。
【００１２】
本発明は、撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い且つ該人または物体にマークを付けた画像をモバイル端末に配信することを特徴とする通報サーバである。
【００１３】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体のみを切り出した画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１４】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体よりやや大きい領域の画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１５】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体以外を単一色で塗りつぶした画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１６】
本発明は、上記記載において、前記通報サーバは、前記マークを付けた人または物体を拡大し且つ前記マークを付けた人または物体以外を縮小した画像を前記モバイル端末に配信することを特徴とする映像配信システムまたは通報サーバである。
【００１７】
本発明は、通報サーバよりマークを付けた人または物体の画像と前記マークの位置情報を取得し、該位置情報をもとに前記マークを表示画面の中央に表示し、前記画像の他の部分を見るときには該画像をスクロールすることが可能であることを特徴とするモバイル端末である。
【００１８】
本発明は、通報サーバよりマークを付けた人または物体の画像と前記マークの位置情報を取得し、該位置情報をもとに前記マークを表示画面の任意の位置に表示することが可能であることを特徴とするモバイル端末である。
【００１９】
本発明は、撮像装置で撮像した映像信号からなる画像に対して人または物体の検知を行い該検知の信頼度に応じてモバイル端末に配信する通報の内容を変えることを特徴とする通報サーバである。
【００２０】
【発明の実施の形態】
本発明の第１の実施の形態を図１〜５によって説明する。
【００２１】
図１は、ネットワーク型監視システムの構成を示すブロック図である。ネットワーク型監視システムは、監視カメラ１００、ウェブエンコーダ１０１、映像蓄積配信サーバ１０２（以降、蓄配サーバと称す）、通報サーバ１０３（以降、本サーバと称す）、モバイル端末１０５によって構成される。各構成要素の内、監視カメラ１００とウェブエンコーダ１０１は映像ケーブル１１０で接続され、ウェブエンコーダ１０１、蓄配サーバ１０２、本サーバ１０３、モバイル端末１０５は通信媒体１１１〜１１３で接続されている。
【００２２】
図１の各構成要素の役割を説明する。監視カメラ１００は撮影した映像信号を、映像ケーブル１１０を通してウェブエンコーダ１０１に送信する。ウェブエンコーダ１０１は、撮影した映像信号を通信媒体１１１〜１１３に送信できるようなデータ形式に変換し、変換したデータ（これを映像データと称する）を蓄配サーバ１０２に送信する。蓄配サーバ１０２は映像データをサーバ自身がもっている記憶装置に蓄積する。本サーバ１０３は通信媒体１１２を通して蓄配サーバ１０２に蓄積された映像データから１フレームの画像を取得し、フレーム画像に対して画像認識処理を行い、フレーム画像に侵入者がいた場合にはそれを検知し、警報をユーザに通知するため、電子メールにフレーム画像（これを警告画像と称する）を添付して、通信媒体１１３を通して、電子メールを見る手段を持つモバイル端末１０５に電子メールを送信する。モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００２３】
図２は、図１の本サーバ１０３の構成を示すブロック図である。２００はＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、２０１はメモリ、２０２は通信インターフェース、２０３は通信媒体、２０４は記憶装置、２０５はバスである。
【００２４】
ＣＰＵ２００はバス２０５を介して、メモリ２０１、通信インターフェース２０２、記憶装置２０４と接続されており、通信インターフェース２０２は通信媒体２０３を介して図１の他の構成要素と接続されている。ＣＰＵ２００は、バス２０５を介して接続されている他の構成要素と信号を送受し合い、各構成要素はＣＰＵ２００からのアクセス信号により制御される。
【００２５】
図４は、図２のＣＰＵ２００が行う処理を示す第１の実施の形態のフローチャートであり、図３は、図２のＣＰＵ２００が処理の最中にメモリ２０１に作成するデータ領域である。以下、図４のフローチャートを説明する。
【００２６】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００２７】
ＣＰＵ２００が処理を開始すると、ステップ４００で、ＣＰＵ２００は、蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像Ａを取得し、メモリ２０１に格納し、ステップ４０１に移行する。
【００２８】
ステップ４０１で、ＣＰＵ２００は、フレーム画像Ａに対し画像認識処理を行い、ステップ４０２に移行する。
【００２９】
ステップ４０２で、ＣＰＵ２００は、前ステップ４０１の処理の結果を受け、上記認識対象画像と比較して、侵入者を検知したかを判断する。検知した場合は、ステップ４０３に移行して処理を続け、検知していない場合は、何も処理をせずにステップ４０８に移行する。
【００３０】
ステップ４０３で、ＣＰＵ２００は、検知した侵入者の数（仮にＮ人とする）の分だけ、図３の侵入者管理テーブル３００（ｃｏｂｊ［Ｎ］）をメモリ２０１に確保し、ステップ４０４に移行する。
【００３１】
ステップ４０４で、ＣＰＵ２００は、侵入者管理テーブル３００の各要素３０１〜３０３（ｃｏｂｊ［０］〜ｃｏｂｊ［Ｎ−１］のＮ個）が各々指している侵入者管理構造体３５０（ｃｏｂｊ）のメンバ関数３５１〜３５５に、フレーム画像Ａのフレーム番号とフレーム画像Ａに映っている侵入者の外接矩形の座標を格納する。具体的には、フレーム番号３５１（ｆｒａｍｅ）にはフレーム画像Ａのフレーム番号を格納し、ｘ座標３５２（ｘ０）には外接矩形の左上のｘ座標を格納し、ｙ座標３５３（ｙ０）には外接矩形の左上のｙ座標を格納し、ｘ座標３５４（ｘ１）には外接矩形の右下のｘ座標を格納し、ｙ座標３５５（ｙ１）には外接矩形の右下のｙ座標を格納する。
【００３２】
ステップ４０５で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の箇所（Ｎ箇所）に枠を描画するか、もしくは該箇所を切り取り（これが警告画像となる）、ステップ４０６に移行する（ここで、枠を描画した場合の警告画像は１個、切り取りをした場合の警告画像はＮ個である。）。
【００３３】
ステップ４０６で、ＣＰＵ２００は、警告画像を記憶装置２０４に圧縮してファイル保存し（これを警告画像ファイルと称する）、ステップ４０７に移行する（ここで、枠を描画した場合の警告画像ファイルは１個、切り取りをした場合の警告画像ファイルはＮ個である。）。尚、前記圧縮はＪＰＥＧなどの適当な圧縮方式で行われる。
【００３４】
ステップ４０７で、ＣＰＵ２００は、警告画像ファイルを電子メールに添付し、電子メールを通信インターフェース２０２と通信媒体２０３を経由してモバイル端末１０５に送信し、ステップ４０８に移行する。
【００３５】
ステップ４０８で、ＣＰＵ２００は本サーバ１０３の処理が終了したかを判断する。終了した場合は本処理を終了し、終了していない場合はステップ４００に戻り、今まで述べてきた処理を繰り返す。
【００３６】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００３７】
結果のモバイル端末の表示画面を図５に示す。１０５−１〜１０５−６はモバイル端末、６００は表示画面、６０１〜６０３、６１１〜６１３は警告画像、６０４〜６０５、６１４〜６１５は侵入者の外接矩形を表示した枠である。
【００３８】
図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３の表示画面６００では、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。従来の技術で述べたように、モバイル端末１０５−１の表示面積（画素数）が限られた表示画面６００で警告画像６０１を見ると、侵入者６３０、６３５の表示は小さく、また木６２０の中に混じっているので、侵入者６３０、６３５がどこにいるのか分かりにくい。また、表示画面６００の表示色も限られているため、特に侵入者６３０、６３５が木６２０と同系色の服を着ていた場合は、木６２０との区別がつかなくなり、侵入者６３０、６３５がどこにいるのか更に分かりにくくなる。
【００３９】
しかしながら図５（Ｂ）のモバイル端末１０５−２の警告画像６０２では、侵入者に枠６０４、６０５が表示されているため、侵入者６３０、６３５がいることが一目で分かる。同時に、警告画像６０２全体のどこにいるのかもすぐに分かるので、ユーザは警戒の度合すぐに把握することができる。
【００４０】
また、図５（Ｃ）のモバイル端末１０５−３の警告画像６０３、６０４では、侵入者６３０、６３５のみが切り取られているため、侵入者６３０、６３５が誰なのか一目で分かる。それと同時に、送信されるデータ量が減るので、それに比例して通信コストを下げることができる。
【００４１】
また、図５（Ｄ）から（Ｆ）のモバイル端末１０５−４〜１０５−６の警告画面６００では、人込み６４０の中にある特定の人６５０、６５５（例えば指名手配の人）がいる場合の表示例を示した。（この場合、図４のステップ４０１の画像認識処理の中で顔認識処理を行う）。従来の技術で述べたように、モバイル端末１０５−４の表示面積（画素数）の限られた表示画面６００で警告画像６１１を見ると、指名手配の人６５０、６５５の顔の表示は小さく、また人込み６４０の中に混じっているので、指名手配の人６５０、６５５がどこにいるのか分かりにくい。また、表示画面６００の表示色も限られているため、特に指名手配の人６５０、６５５が人込み６４０と同系色の顔の場合は、人込み６４０との区別がつかなくなり、指名手配の人６５０、６５５がどこにいるのか更に分かりにくくなる。
【００４２】
しかしながら、図５（Ｅ）のモバイル端末１０５−５の警告画像６１２では、指名手配の人６５０、６５５に枠６１４、６１５が表示されているため、指名手配の人６５０、６５５がいることが一目で分かる。それと同時に、警告画像６１２全体のどこにいるのかもすぐに分かるので、ユーザは警戒の度合すぐに把握することができる。
【００４３】
また、図５（Ｆ）のモバイル端末１０５−６の警告画像６１３、６１４では、指名手配の人６５０、６５５のみが切り取られているため指名手配の人６５０、６５５が誰なのか一目で分かる。それと同時に、送信されるデータ量が減るので、それに比例して通信コストを下げることができる。
【００４４】
次に、本発明の第２の実施の形態を図６〜７によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所の外接矩形を切り取る形態を述べたが、切り取る領域は、外接矩形よりもやや大きい領域でもよい。該領域を切り取ると、該領域には侵入者だけでなく、その周辺の背景も多少入るので、ユーザは、侵入者が警告画像内のどの場所にいるのか分かりやすくなり、警戒の度合を把握しやすくなる。
【００４５】
図６は、図２のＣＰＵ２００が行う処理を示す第２の実施の形態のフローチャートである。以下、図６のフローチャートを説明する。
【００４６】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００４７】
ステップ６９０〜ステップ６９２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００４８】
ステップ６９３で、ＣＰＵ２００は、Ｎ個の各侵入者管理構造体３５０のメンバ関数３５２〜３５５（外接矩形の座標）の値を外接矩形が大きくなるように変更する。即ち、左上のｘ座標３５２（ｘ０）をΔｘ０だけ左にシフトし、左上のｙ座標３５３（ｙ０）をΔｙ０だけ上にシフトし、右下のｘ座標３５４（ｘ１）をΔｘ１だけ右にシフトし、右下のｙ座標３５５（ｙ１）をΔｙ１だけ下にシフトし、ステップ６９４に移行する（尚、Δｘ０、Δｙ０、Δｘ１、Δｙ１は正の値であり、侵入者の周辺を見るのに適当な値である。）。
【００４９】
ステップ６９４で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、前ステップで設定された領域を切り取り（これが警告画像となる）、ステップ６９５に移行する。
【００５０】
ステップ６９５〜ステップ４０８までの処理は、図４のステップ４０６〜４０８の処理と同じである。
【００５１】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００５２】
結果のモバイル端末の表示画面を図７に示す。１０５−７はモバイル端末、６００は表示画面、７０１〜７０２は警告画像である。
【００５３】
モバイル端末１０５−７の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。
【００５４】
モバイル端末１０５−７の表示画像７０１、７０２は、侵入者６３０、６３５の外接矩形よりもやや大きい領域であるため、侵入者６３５が（左端の）木６２０の隣にいることが一目で分かる。また、侵入者６３０が（右端と真ん中の）木６２０の間にいることが一目で分かる。例えば、警告画像の左ほど警戒レベルが高いとき、表示画像７０１を見れば、（左端の）木６２０の隣に侵入者６３５がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。それと同時に、送信されるデータ量が減るので（但し、モバイル端末１０５−３の警告画像６０３、６０４よりは多い）、それに比例して通信コストを下げることができる。
【００５５】
次に、本発明の第３の実施の形態を図８〜９によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所の外接矩形を切り取る形態を述べたが、これと同様の効果として、注目箇所の中の領域はそのままにして、注目箇所の外の領域は任意の単一色で塗りつぶしてもよい。このようにすると、侵入者が警告画像内のどの場所に位置するのか分かりやすくなり、警戒の度合を把握しやすくなる。
【００５６】
図８は、図２のＣＰＵ２００が行う処理を示す第３の実施の形態のフローチャートである。以下、図８のフローチャートを説明する。
【００５７】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００５８】
ステップ８００〜ステップ８０２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００５９】
ステップ８０３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形（Ｎ箇所）の外の領域を任意の単一色で塗りつぶし、ステップ８０４に移行する（これを警告画像とする。）。
【００６０】
ステップ８０４〜ステップ４０８までの処理は、図４のステップ４０６〜４０８までの処理と同じである。
【００６１】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００６２】
結果のモバイル端末の表示画面を図９に示す。１０５−８はモバイル端末、６００は表示画面、９０１は警告画像、９０２は外接矩形の中の領域、９０３は外接矩形の外の領域である。
【００６３】
モバイル端末１０５−８の表示画面６００では、モバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。
【００６４】
モバイル端末１０５−８の表示画像９０１は、侵入者６３０、６３５が警告画像９０１内のどの場所に位置するのか分かる。例えば、警告画像の左ほど警戒レベルが高いとき、警告画像９０１を見れば、左側に侵入者６３５がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。それと同時に、送信されるデータ量が減るので（原画像に比べ、外接矩形の外の領域９０３が単一色で塗りつぶしてあるため、圧縮してファイルに保存するとデータ量は減る）、それに比例して通信コストを下げることができる。
【００６５】
次に、本発明の第４の実施の形態を図１０〜１１によって説明する。
警告画像内の侵入者がいる箇所をユーザに注目させる場合、注目箇所の画像は拡大し、注目箇所以外の画像を縮小してもよい。このようにすると、侵入者の映像が拡大され、侵入者が誰なのかよりはっきり分かり、かつ、侵入者が警告画像内のどの場所に位置するのかも分かり、警戒の度合を把握しやすくなる。
【００６６】
図１０は、図２のＣＰＵ２００が行う処理を示す第４の実施の形態のフローチャートである。以下、図１０のフローチャートを説明する。
【００６７】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００６８】
ステップ１０００〜ステップ１００２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００６９】
ステップ１００３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形で囲まれた領域（これを領域Ｂとする。Ｎ箇所ある。）を適当な比率で拡大し、領域Ｂ以外の領域（これを領域Ｃとする）を領域Ｂから離れるほど縮小するように画像処理し、ステップ１００４に移行する（これを警告画像とする。）。
【００７０】
ステップ１００４〜４０８の処理は、図４のステップ４０６〜４０８の処理と同じである。
【００７１】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００７２】
結果のモバイル端末の表示画面を図１１に示す。１０５−９はモバイル端末、６００は表示画面、１１００は警告画像、６３０−１、６３５−１は拡大表示された侵入者、６２０−１は縮小表示された３本の木である。
【００７３】
モバイル端末１０５−９の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木の間に侵入者が２人いる場合の表示例を示した。
【００７４】
侵入者６３０−１、６３５−１は、モバイル端末１０５−１の表示画面６００にいる侵入者６３０、６３５よりも拡大表示されているので、警告画像１１００内に侵入者がいること、そして侵入者が誰なのかがよりはっきりとわかる。また、木６２０−１は、モバイル端末１０５−１の表示画面６００にある木６２０よりも縮小表示されているものの、侵入者６３０−１、６３５−１との位置関係は変わらないので、侵入者６３０−１、６３５−１が警告画像１１００内のどの場所に位置するのか分かる。よって、例えば、警告画像の左ほど警戒レベルが高いとき、警告画像１１００を見れば、左側に侵入者６３５−１がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。
【００７５】
次に、本発明の第５の実施の形態を図１２〜１５によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所に外接矩形枠を描画する形態を述べ、モバイル端末の表示画面で警告画像をみた場合の表示例を、図５（Ｂ）のモバイル端末１０５−２に示し、侵入者６３０、６３５に枠６０４、６０５が表示されることを述べたが、モバイル端末の表示画面で警告画像をスクロール操作できるような場合は、枠の一つがモバイル端末の表示画面の中央に表示されるようにしてもよい。このようにすると、大事な箇所をまずユーザが見て、その後で、スクロール操作によって警告画像の見たい部分をチェックできるようになり、モバイル端末の操作性がよくなる。
【００７６】
初めに、本サーバ１０３の処理について説明する。
【００７７】
図１２は、図２のＣＰＵ２００が行う第５の実施の形態の処理を示すフローチャートである。以下、図１２のフローチャートを説明する。
【００７８】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【００７９】
ステップ１２００〜ステップ１２０２までの処理は、図４のステップ４００〜４０４までの処理と同じである。
【００８０】
ステップ１２０３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の箇所（Ｎ箇所）に枠を描画し、ステップ４０６に移行する（これを警告画像とする。）。
【００８１】
ステップ１２０４で、ＣＰＵ２００は、侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の中心座標を計算し、該座標（Ｎ個）と侵入者の数（Ｎ）を電子メールの本文に記述する。
【００８２】
ステップ１２０５〜４０８の処理は、図４のステップ４０６〜４０８の処理と同じである。
【００８３】
次に、モバイル端末１０５の処理について説明する。
【００８４】
図１３は、図１のモバイル端末１０５の構成を示すブロック図である。１３００はＣＰＵ、１３０１はメモリ、１３０２は通信インターフェース、１３０３は通信媒体、１３０４は記憶装置、１３０５はバス、１３０６はボタンインターフェース、１３０７は表示画面である。
【００８５】
ＣＰＵ１３００は、バス１３０５を介して、メモリ１３０１、通信インターフェース１３０２、記憶装置１３０４、ボタンインターフェース１３０６、表示画面１３０７と接続されており、通信インターフェース１３０２は、通信媒体１３０３を介して図１の他の構成要素と接続されている。ＣＰＵ１３００は、バス１３０５を介して接続されている他の構成要素と信号を送受し合い、各構成要素はＣＰＵ１３００からのアクセス信号により制御される。
【００８６】
図１４は、図１３のＣＰＵ１３００が行う第５の実施の形態の処理を示すフローチャートであり、図３は、ＣＰＵ２００と同様に、ＣＰＵ１３００が処理の最中にメモリ１３０１に作成するデータ領域である。以下、図１４のフローチャートを説明する。
【００８７】
ＣＰＵ１３００が処理を開始すると、ステップ１４００で、ＣＰＵ１３００は、本サーバ１０３から通信媒体１３０３と通信インターフェース１３０２を経由して電子メール（これを電子メールＡと称する）を取得し、記憶装置１３０４に格納し、ステップ１４０１に移行する。
【００８８】
ステップ１４０１で、ボタンインターフェース１３０６からＣＰＵ１３００に電子メールＡに添付された警告画像ファイル（これを警告画像ファイルＡと称する）を閲覧する要求が来たかどうかを判断する。要求が来た場合はステップ１４０２に移行し、要求が来ない場合はステップ１４０１に戻り、本ステップの処理を繰り返す。
【００８９】
ステップ１４０２で、ＣＰＵ１３００は、記憶装置１３０４から警告画像ファイルＡの画像データをメモリ１３０１に読み込み（これを警告画像Ａとする）、ステップ１４０３に移行する。
【００９０】
ステップ１４０３で、ＣＰＵ１３００は、記憶装置１３０４から電子メールＡの本文の文字データをメモリ１３０１に読み込み（これを本文Ａとする）、ステップ１４０４に移行する。
【００９１】
ステップ１４０４で、ＣＰＵ１３００は、本文Ａに記述された侵入者の数（Ｎ）の分だけ侵入者管理テーブル３００をメモリ１３０１に確保し、ステップ１４０５に移行する。
【００９２】
ステップ１４０５で、ＣＰＵ１３００は、本文Ａに記述された侵入者の外接矩形の中心座標を、侵入者管理テーブル３００の各要素３０１〜３０３（Ｎ個）が各々指している侵入者管理構造体３５０のメンバ変数、ｘ座標３５２、ｙ座標３５３に格納し、ステップ１４０６に移行する。
【００９３】
ステップ１４０６で、ＣＰＵ１３００は、侵入者管理テーブル３００のデータをもとに、一つの侵入者の外接矩形の中心が表示画面１３０７の中心に来るように、警告画像Ａを表示画面１３０７に表示し、本処理を終了する。尚、表示画面１３０７の中心に表示される侵入者として、例えば、警告画像Ａの右側ほど警戒レベルが高い場合、最も右側に位置している侵入者などが考えられる。
【００９４】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【００９５】
結果のモバイル端末の表示画面を図１５に示す。１０５−１０はモバイル端末、６００は表示画面、１５００は警告画像、６３０は侵入者、６２０は木、６０４は外接矩形枠、１５０１はボタン群である。
【００９６】
モバイル端末１０５−１０の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の一部分を示した。
【００９７】
ボタン群１５０１は、図１３のボタンインターフェース１３０６に相当し、表示画面６００に表示される警告画像１５００をスクロールすることができる。また、警告画像１５００の面積は、図５（Ｂ）のモバイル端末１０５−２の警告画像６０２より大きめに表示されている。また、モバイル端末１５０−１０では、枠６０４の中心が表示画面６００の中心にくるように、即ち、侵入者６３０が中央にくるように表示されている。
【００９８】
このようにモバイ端末１５０−１０で、警告画像の表示を制御することで、ユーザはまず大事な箇所を見ることができ、その後、ボタン群１５０１を操作して警告画像１５００をスクロールし、警告画像１５００の見たい部分をチェックできるようになり、モバイル端末１５０−１０の操作性がよくなる。
【００９９】
次に、本発明の第６の実施の形態を図１６〜１８によって説明する。
前記第１の実施の形態では、警告画像内の注目箇所の外接矩形を切り取る形態を述べ、モバイル端末の表示画面で、切り出した警告画像をみた場合の表示例を図５（Ｂ）のモバイル端末１０５−３に示し、表示画面６００に侵入者６３０、６３５のみが映された警告画像６０３、６０４が表示されることを述べたが、注目箇所の位置情報を利用して、モバイル端末の表示画面上でも、切り出した警告画像を適切な位置に表示するようにしてもよい。このようにすると、侵入者が警告画像内のどの場所に位置するのか分かりやすくなり、警戒の度合を把握しやすくなる。
【０１００】
初めに、本サーバ１０３の処理について説明する。
【０１０１】
図１６は、図２のＣＰＵ２００が行う処理を示す第６の実施の形態のフローチャートである。以下、図１６のフローチャートを説明する。
【０１０２】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【０１０３】
ステップ１６００〜ステップ１６０２の処理は、図４のステップ４００〜４０４の処理と同じである。
【０１０４】
ステップ１６０３で、ＣＰＵ２００は、フレーム画像Ａに対して侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の箇所（Ｎ箇所）を切り取り、ステップ１６０４に移行する（これを警告画像とする。）。
【０１０５】
ステップ１６０４で、ＣＰＵ２００は、侵入者管理テーブル３００のデータをもとに、侵入者の外接矩形の座標（Ｎ個）と侵入者の数（Ｎ）を電子メールの本文に記述する。
【０１０６】
ステップ１６０５〜４０８の処理は、図４のステップ４０６〜４０８の処理と同じである。
【０１０７】
次に、モバイル端末１０５の処理について説明する。
【０１０８】
図１７は、図１３のＣＰＵ１３００が行う第６の実施の形態の処理を示すフローチャートであり、図３は、ＣＰＵ２００と同様に、ＣＰＵ１３００が該処理の最中にメモリ１３０１に作成するデータ領域である。以下、図１７のフローチャートを説明する。
【０１０９】
ＣＰＵ１３００が処理を開始すると、ステップ１７００で、ＣＰＵ１３００は図１４のステップ１４００と同じ処理をし、ステップ１７０１に移行する。
【０１１０】
ステップ１７０１で、ボタンインターフェース１３０６（図１３）からＣＰＵ１３００に、電子メールＡに添付された警告画像ファイル（これを警告画像ファイルＡと称する。Ｎ個ある。）を閲覧する要求が来たかどうかを判断する。要求が来た場合はステップ１７０２に移行し、要求が来ない場合はステップ１７０１に戻り、本ステップの処理を繰り返す。
【０１１１】
ステップ１７０２で、ＣＰＵ１３００は、記憶装置１３０４から警告画像ファイルＡの画像データをメモリ１３０１に読み込み（これを警告画像Ａとする。Ｎ個ある。）、ステップ１７０３に移行する。
【０１１２】
ステップ１７０３で、ＣＰＵ１３００は、図１４のステップ１４０３と同じ処理をし、ステップ１７０４に移行する。
【０１１３】
ステップ１７０４で、ＣＰＵ１３００は、図１４のステップ１４０４と同じ処理をし、ステップ１７０５に移行する。
【０１１４】
ステップ１７０５で、ＣＰＵ１３００は、本文Ａに記述された侵入者の外接矩形の座標を、侵入者管理テーブル３００の各要素３０１〜３０３（Ｎ個）が各々指している侵入者管理構造体３５０のメンバ変数、ｘ座標３５２、ｙ座標３５３（以上、左上の座標）、ｘ座標３５４、ｙ座標３５５（以上、右下の座標）に格納し、ステップ１７０６に移行する。
【０１１５】
ステップ１７０６で、ＣＰＵ１３００は、侵入者管理テーブル３００のデータをもとに、格納された座標の座標値を変えることにより、警告画像Ａ（Ｎ個）を表示画面１３０７上の任意の位置に表示し、本処理を終了する。
【０１１６】
この結果により、モバイル端末１０５を携帯しているユーザは、電子メールに添付された警告画像をモバイル端末１０５の表示画面で閲覧できる。
【０１１７】
結果のモバイル端末の表示画面を図１８に示す。１０５−１１はモバイル端末、６００は表示画面、６０３、６０４は警告画像、６３０、６３５は侵入者である。
【０１１８】
モバイル端末１０５−１１の表示画面６００では、図５（Ａ）から（Ｃ）のモバイル端末１０５−１〜１０５−３と同様、３本の木６２０の間に侵入者６３０、６３５がいる場合の表示例を示した。
【０１１９】
モバイル端末１０５−１１の警告画像６０３、６０４で、侵入者６３０、６３５が警告画像全体の中どの場所に位置するのか分かる。よって、例えば、警告画像の左ほど警戒レベルが高いとき、警告画像６０４を見れば、左側に侵入者６３５がいることがユーザに一目でわかり、ユーザは警戒の度合を把握しやすくなる。それと同時に、送信されるデータ量が減るので、それに比例して通信コストを下げることができる。
【０１２０】
次に、本発明の第７の実施の形態を図１９によって説明する。
前記第１から第６の実施の形態では、監視カメラからの映像に対して画像認識処理を行い、侵入者を検知した場合、検知時の画像を電子メールに添付し、電子メールをモバイル端末に送信していたが、その検知の信頼度に応じて、電子メールの内容を変えてもよい。このようにすると、電子メールの内容によって、ユーザは警戒の度合を認識しやすくなり、場合によっては、送信するデータも減り、通信コストを下げることもできる。
【０１２１】
図１９は、図１３のＣＰＵ２００が行う第７の実施の形態の処理を示すフローチャートである。以下、図１９のフローチャートを説明する。
【０１２２】
ＣＰＵ２００の侵入者検知にさきだち、ＣＰＵ２００は侵入者のない画像を蓄配サーバ１０２から通信媒体２０３と通信インターフェース２０２を経由してフレーム画像（これをフレーム画像Ａと称する）を取得し、画像認識処理を行い、その結果の画像（これを認識対象画像と称する）をメモリ２０１に格納している。
【０１２３】
ステップ１９００の処理は、図４のステップ４００〜４０１の処理と同じである。
【０１２４】
ステップ１９０１で、ＣＰＵ２００は、前ステップ１９００の処理の結果を受け、上記認識対象画像と比較して、侵入者を検知したか判断する。検知した場合は、ステップ１９０２に移行して処理を続け、検知していない場合は、何も処理をせずにステップ４０８に移行する。
【０１２５】
ステップ１９０２で、ＣＰＵ２００は、ステップ１９００の処理の結果を受けて、検知信頼度を電子メールの本文に記述し、ステップ１９０３に移行する。検知信頼度としては、例えば、ステップ１９００の画像認識処理において顔認識処理を行った結果、認識対象の顔と、特定の人（例えば指名手配の人）の顔がどの程度合致しているかを示す値などが考えられる。値は百分率でよいし、Ａ、Ｂ、Ｃの様なランク付けでもよい。
【０１２６】
ステップ１９０３で、ＣＰＵ２００は、検知信頼度が適当な条件を満たしたかどうかを判断する。満たした場合は、ステップ１９０４に移行し、満たしていない場合は、ステップ１９０６に移行する。適当な条件としては、顔認識の例でいえば、検知信頼度が９０％以上であった場合、即ち９０％以上の割合で顔が一致している場合などが考えられるし、またその逆でもよい。
【０１２７】
ステップ１９０４の処理は、図４のステップ４０３〜４０６の処理と同じである。
【０１２８】
ステップ１９０５で、ＣＰＵ２００は、警告画像ファイルを電子メールに添付し、ステップ１９０６に移行する。
【０１２９】
ステップ１９０６で、ＣＰＵ２００は、電子メールを通信インターフェース２０２と通信媒体２０３を経由して、モバイル端末１０５に送信し、ステップ４０８に移行する。
【０１３０】
ステップ４０８で、ＣＰＵ２００は、本サーバ１０３の処理が終了したかを判断する。終了した場合は本処理を終了し、終了していない場合はステップ１９００に戻り、今まで述べてきた処理を繰り返す。
【０１３１】
この結果、電子メールの内容によって、ユーザは警戒の度合を認識しやすくなる。例えば前述の顔認識の例でいうと、ステップ１９０３の条件が検知信頼度７０％以上であったとすると、電子メールに警告画像が添付してあった場合、指名手配の人に７０％以上似ている人が検知された事を示しているので、ユーザはこのことから、警戒の度合が高いことを理解する。一方、電子メールに警告画像が添付していなかった場合、指名手配の人に７０％までは似ていない人が検知された事を示しているので、ユーザはこのことから、警戒の度合が低いことを理解する。また、後者の場合、警告画像のデータは送信されないので、それに比例して通信コストを下げることができる。
【０１３２】
また、ステップ１９０３の条件が検知信頼度９０％未満、５０％以上であったとすると、電子メールに警告画像が添付してあった場合、指名手配の人に似ていそうだけどはっきりしない人が検知された事を示しているので、ユーザはこのことから、警告画像を自分の目で判断しなければならないことを理解する。一方、電子メールに警告画像が添付していなかった場合、検知信頼度が９０％以上なら、指名手配の人であるとほぼはっきりしており、また検知信頼度が５０％未満であれば、指名手配の人ではないとほぼはっきりしているので、両者共に警告画像をあえてみる必要が無くなり、ユーザの手間が省け、また、通信コストを下げることができる。
【０１３３】
なお、上記の本発明の各実施の形態においては、進入者すなわち人を検知したが、それにかぎらず、特定の物体を検知するのでも良く、また画像を電子メールに添付して送信しているが、画像を直接送信するようにしても良く、またカメラは監視カメラに限定されず、通常のカメラであっても良く、また監視カメラに限定されず、他の映像配信システムであっても良く、また本発明の構成として図１では映像蓄積配信サーバを介在させているが、本発明においては必須の構成ではないので削除しても良いことはいうまでもない。
【０１３４】
【発明の効果】
本発明によれば、モバイル端末で見たい注目箇所を分かりやすく表示することが可能な映像配信システムおよび通報サーバならびにモバイル端末を得ることができる。また本発明によれば、モバイル端末で見たい注目箇所を少ない画像で配信することが可能な映像配信システムおよび通報サーバならびにモバイル端末を得ることができる。さらに本発明によれば、モバイル端末で人または物体の検知の信頼度がわかる通報サーバを得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のネットワーク型監視システムを構成するブロック図である。
【図２】図１の通報サーバを構成するブロック図である。
【図３】図２のＣＰＵが処理の最中にメモリに作成するデータ領域である。
【図４】図２のＣＰＵが行う処理を示す第１の実施の形態のフローチャートである。
【図５】従来と第１の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図６】図２のＣＰＵが行う処理を示す第２の実施の形態のフローチャートである。
【図７】第２の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図８】図２のＣＰＵが行う処理を示す第３の実施の形態のフローチャートである。
【図９】第３の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１０】図２のＣＰＵが行う処理を示す第４の実施の形態のフローチャートである。
【図１１】第４の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１２】図２のＣＰＵが行う第５の実施の形態処理を示すフローチャートである。
【図１３】図１のモバイル端末の構成を示すブロック図である。
【図１４】図１３のＣＰＵが行う第５の実施の形態の処理を示すフローチャートである。
【図１５】第５の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１６】図２のＣＰＵが行う第６の実施の形態の処理を示すフローチャートである。
【図１７】図１３のＣＰＵが行う第６の実施の形態の処理を示すフローチャートである。
【図１８】第６の実施の形態の結果のモバイル端末の表示画面を示す図である。
【図１９】図１３のＣＰＵが行う第７の実施の形態の処理を示すフローチャートである。
【図２０】従来のネットワーク型監視システムを構成するブロック図である。
【符号の説明】
１００…監視カメラ、１０１…ウェブエンコーダ、１０２…映像蓄積配信サーバ、１０３…通報サーバ、１０５…モバイル端末、１１０…映像ケーブル、１１１〜１１３…通信媒体、２００…ＣＰＵ、２０１…メモリ、２０２…通信インターフェース、２０３…通信媒体、２０４…記憶装置、２０５…バス、３００…侵入者管理テーブル、３０１〜３０３…配列要素、３５０…侵入者管理構造体、３５１…フレーム番号、３５２…ｘ座標、３５３…ｙ座標、３５４…ｘ座標、３５５…ｙ座標、１０５−１〜１０５−１１…モバイル端末、６００…表示画面、６０１〜６０４、６１１〜６１４、７０１〜７０２、９０１、１１００、１５００…警告画像、６０４〜６０５、６１４〜６１５…外接矩形枠、６２０、６２０−１…木、６３０、６３５、６３０−１、６３５−１…侵入者、６４０…人込み、６５０、６５５…指名手配の人、９０２…外接矩形の中の領域、９０３…外接矩形の外、１３００…ＣＰＵ、１３０１…メモリ、１３０２…通信インターフェース、１３０３…通信媒体、１３０４…記憶装置、１３０５…バス、１３０６…ボタンインターフェース、１３０７…表示画面、１５０１…ボタン群、２０００…監視装置。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video distribution system that distributes a video signal captured by an imaging device to a mobile terminal, a notification server, and a mobile terminal.
[0002]
[Prior art]
A conventional network type monitoring system will be described.
[0003]
FIG. 20 is a block diagram showing the configuration of a network-type monitoring system (not related to the invention disclosed in the literature). The network-type monitoring system includes a monitoring camera 100, a monitoring device 2000, and a mobile terminal 105. Among the components, the monitoring camera 100 and the monitoring device 2000 are connected by a video cable 110, and the monitoring device 2000 and the mobile terminal 105 are connected by a communication medium 113.
[0004]
The role of each component in FIG. 20 will be described. The monitoring camera 100 transmits the captured video signal to the monitoring device 2000 via the video cable 110. The monitoring device 2000 may be a single device or a network-type system in which a plurality of devices are connected by a communication medium. The monitoring apparatus 2000 performs image recognition processing on an image of one frame of the captured video signal, detects an intruder in the frame image, and notifies the user of an alarm. An e-mail is attached to the mobile terminal 105 having means for viewing the e-mail via the communication medium 113 with an image (this is called a warning image) attached. The user carrying the mobile terminal 105 can browse the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0005]
The resulting display screen of the mobile terminal is shown in FIG. The display screen 600 of the mobile terminal 105-1 shows a display example in the case where a plurality of intruders 630 and 635 are present in three trees 620. FIG. 5D shows an example of the resulting display screen of the mobile terminal. The display screen 600 of the mobile terminal 105-4 shows a display example in the case where a plurality of specific people 650 and 655 (for example, a wanted person) are mixed in the crowd 640.
[0006]
[Problems to be solved by the invention]
However, in any of the examples, when the warning image 601 is viewed on the display screen 600 having a limited display area (number of pixels), the display of the intruders 630 and 635 is small, and the intruders 630 and 635 are mixed in the tree 620. It is difficult to know where the persons 630 and 635 are. In addition, since the display screen 600 has limited display colors, especially when the intruders 630 and 635 are dressed in colors similar to the tree 620, the intruders 630 and 635 cannot be distinguished from the tree 620. Where it is.
[0007]
Further, when an intruder is detected by the image recognition process, an e-mail of the same content is transmitted regardless of the degree of reliability of the detection, so that it is difficult for the user to understand the degree of caution.
[0008]
An object of the present invention is to provide a video distribution system, a report server, and a mobile terminal that can easily display a point of interest to be viewed on the mobile terminal.
[0009]
It is another object of the present invention to provide a video distribution system, a notification server, and a mobile terminal capable of distributing a point of interest to be viewed on the mobile terminal with a small number of images.
[0010]
It is still another object of the present invention to provide a notification server that can detect the reliability of detection of a person or an object in a mobile terminal.
[0011]
[Means for Solving the Problems]
The present invention is an imaging device, a notification server that performs detection of a person or an object on an image composed of a video signal captured by the imaging device, and distributes an image with a mark on the person or the object to a mobile terminal, A video distribution system comprising the mobile terminal for displaying an image acquired from the notification server on a display screen.
[0012]
The present invention is a notification server that detects a person or an object with respect to an image composed of a video signal captured by an imaging device, and distributes an image in which the person or the object is marked to a mobile terminal. .
[0013]
The present invention is the video distribution system or the notification server according to the above description, wherein the notification server distributes an image obtained by cutting out only the marked person or object to the mobile terminal.
[0014]
The present invention is the video distribution system or the notification server according to the above description, wherein the notification server distributes an image of an area slightly larger than the marked person or object to the mobile terminal.
[0015]
The present invention is the video distribution system or the notification server according to the above description, wherein the notification server distributes an image in which a person or an object other than the marked person or object is filled with a single color to the mobile terminal.
[0016]
The present invention is characterized in that, in the above description, the notification server distributes an image obtained by enlarging the marked person or object and reducing an image other than the marked person or object to the mobile terminal. It is a video distribution system or a report server.
[0017]
The present invention obtains an image of a marked person or object and position information of the mark from a notification server, displays the mark at the center of a display screen based on the position information, and displays another portion of the image. Is a mobile terminal characterized in that it is possible to scroll the image when viewing.
[0018]
According to the present invention, it is possible to obtain an image of a marked person or object and position information of the mark from a notification server, and display the mark at an arbitrary position on a display screen based on the position information. A mobile terminal characterized in that:
[0019]
The present invention provides a notification server, which detects a person or an object with respect to an image composed of a video signal captured by an imaging device and changes the content of a notification delivered to a mobile terminal according to the reliability of the detection. is there.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
A first embodiment of the present invention will be described with reference to FIGS.
[0021]
FIG. 1 is a block diagram showing the configuration of the network type monitoring system. The network-type monitoring system includes a monitoring camera 100, a web encoder 101, a video accumulation / delivery server 102 (hereinafter, referred to as a storage server), a notification server 103 (hereinafter, referred to as the present server), and a mobile terminal 105. Among the components, the monitoring camera 100 and the web encoder 101 are connected by a video cable 110, and the web encoder 101, the storage server 102, the server 103, and the mobile terminal 105 are connected by communication media 111 to 113.
[0022]
The role of each component in FIG. 1 will be described. Surveillance camera 100 transmits the captured video signal to web encoder 101 via video cable 110. The web encoder 101 converts the captured video signal into a data format that can be transmitted to the communication media 111 to 113, and transmits the converted data (referred to as video data) to the storage server 102. The storage server 102 stores the video data in the storage device of the server itself. The server 103 acquires an image of one frame from the video data stored in the storage server 102 via the communication medium 112, performs image recognition processing on the frame image, and, if there is an intruder in the frame image, deletes it. To detect and notify a user of an alarm, a frame image (referred to as a warning image) is attached to the electronic mail, and the electronic mail is transmitted to the mobile terminal 105 having means for viewing the electronic mail through the communication medium 113. . The user carrying the mobile terminal 105 can browse the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0023]
FIG. 2 is a block diagram showing the configuration of the server 103 of FIG. 200 is a CPU (Central Processing Unit), 201 is a memory, 202 is a communication interface, 203 is a communication medium, 204 is a storage device, and 205 is a bus.
[0024]
The CPU 200 is connected to a memory 201, a communication interface 202, and a storage device 204 via a bus 205, and the communication interface 202 is connected to other components in FIG. The CPU 200 sends and receives signals to and from other components connected via the bus 205, and each component is controlled by an access signal from the CPU 200.
[0025]
FIG. 4 is a flowchart of the first embodiment showing processing performed by the CPU 200 of FIG. 2, and FIG. 3 is a data area created in the memory 201 by the CPU 200 of FIG. 2 during the processing. Hereinafter, the flowchart of FIG. 4 will be described.
[0026]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0027]
When the CPU 200 starts processing, the CPU 200 acquires the frame image A from the storage server 102 via the communication medium 203 and the communication interface 202, stores the frame image A in the memory 201, and proceeds to step 401 in step 400.
[0028]
In step 401, the CPU 200 performs an image recognition process on the frame image A, and proceeds to step 402.
[0029]
In step 402, the CPU 200 receives the result of the process in the previous step 401, and compares it with the recognition target image to determine whether an intruder has been detected. If detected, the process proceeds to step 403 to continue the process. If not detected, the process proceeds to step 408 without performing any processing.
[0030]
In step 403, the CPU 200 secures the intruder management table 300 (cobj [N]) of FIG. 3 in the memory 201 for the number of detected intruders (assuming that the number is N), and proceeds to step 404. .
[0031]
At step 404, the CPU 200 determines the members of the intruder management structure 350 (cobj) to which the respective elements 301 to 303 (N of cobj [0] to coobj [N-1]) of the intruder management table 300 respectively point. The functions 351 to 355 store the frame number of the frame image A and the coordinates of the circumscribed rectangle of the intruder shown in the frame image A. Specifically, the frame number of the frame image A is stored in the frame number 351 (frame), the upper left x coordinate of the circumscribed rectangle is stored in the x coordinate 352 (x0), and the y coordinate 353 (y0) is stored. The upper left y coordinate of the circumscribed rectangle is stored, the lower right x coordinate of the circumscribed rectangle is stored in the x coordinate 354 (x1), and the lower right y coordinate of the circumscribed rectangle is stored in the y coordinate 355 (y1). .
[0032]
In step 405, based on the data in the intruder management table 300, the CPU 200 draws a frame at the circumscribed rectangle (N places) of the intruder or cuts out the frame image A (this is The process proceeds to step 406 (where one warning image is displayed when a frame is drawn, and N warning images are obtained when a frame is cut out).
[0033]
In step 406, the CPU 200 compresses the warning image in the storage device 204 and saves the file (this is referred to as a warning image file), and proceeds to step 407 (where the warning image file when the frame is drawn is 1). And the number of warning image files when cut out is N.) The compression is performed by an appropriate compression method such as JPEG.
[0034]
At step 407, CPU 200 attaches the warning image file to the e-mail, transmits the e-mail to mobile terminal 105 via communication interface 202 and communication medium 203, and proceeds to step 408.
[0035]
At step 408, CPU 200 determines whether the processing of server 103 has been completed or not. If the processing has been completed, this processing ends. If not, the processing returns to step 400, and the processing described so far is repeated.
[0036]
As a result, the user carrying the mobile terminal 105 can view the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0037]
The resulting display screen of the mobile terminal is shown in FIG. 105-1 to 105-6 are mobile terminals, 600 is a display screen, 601 to 603, 611 to 613 are warning images, and 604 to 605 and 614 to 615 are frames displaying a circumscribed rectangle of the intruder.
[0038]
5A to 5C show display examples when the intruders 630 and 635 are present between the three trees 620 on the display screens 600 of the mobile terminals 105-1 to 105-3. As described in the related art, when the warning image 601 is viewed on the display screen 600 having a limited display area (number of pixels) of the mobile terminal 105-1, the displays of the intruders 630 and 635 are small, and the display of the tree 620 is small. Because it is mixed in, it is difficult to know where the intruders 630 and 635 are. In addition, since the display colors of the display screen 600 are also limited, especially when the intruders 630 and 635 are dressed in colors similar to the tree 620, the intruders 630 and 635 cannot be distinguished from the tree 620. Where it is.
[0039]
However, in the warning image 602 of the mobile terminal 105-2 in FIG. 5B, the frames 604 and 605 are displayed for the intruder, so that the intruders 630 and 635 can be seen at a glance. At the same time, the user can immediately know where the entire warning image 602 is located, so that the user can immediately grasp the degree of caution.
[0040]
Further, in the warning images 603 and 604 of the mobile terminal 105-3 in FIG. 5C, only the intruders 630 and 635 are cut out, so that it is possible to know at a glance who the intruders 630 and 635 are. At the same time, since the amount of data to be transmitted is reduced, the communication cost can be reduced in proportion thereto.
[0041]
Also, in the warning screen 600 of the mobile terminal 105-4 to 105-6 in FIGS. 5D to 5F, when there are specific people 650 and 655 (for example, a wanted person) in the crowd 640. An example of display was shown. (In this case, face recognition processing is performed in the image recognition processing in step 401 of FIG. 4). As described in the related art, when the warning image 611 is viewed on the display screen 600 having a limited display area (the number of pixels) of the mobile terminal 105-4, the display of the faces of the wanted persons 650 and 655 is small, Also, since it is mixed in the crowd 640, it is difficult to know where the wanted people 650 and 655 are. In addition, since the display colors of the display screen 600 are also limited, in particular, when the wanted persons 650 and 655 have faces similar in color to the crowd 640, it is difficult to distinguish the people 650 and 655 from the crowd 640, and the wanted person 650 and 655 cannot distinguish between the people 650 and 655. It is even harder to know where 650 and 655 are.
[0042]
However, in the warning image 612 of the mobile terminal 105-5 in FIG. 5E, since the frames 614 and 615 are displayed on the wanted persons 650 and 655, it is obvious that the wanted persons 650 and 655 are present. You can see At the same time, the user can immediately know where the entire warning image 612 is, so that the user can immediately grasp the degree of caution.
[0043]
Further, in the warning images 613 and 614 of the mobile terminal 105-6 in FIG. 5F, only the wanted persons 650 and 655 are cut out, so that it is possible to know at a glance who the wanted persons 650 and 655 are. At the same time, since the amount of data to be transmitted is reduced, the communication cost can be reduced in proportion thereto.
[0044]
Next, a second embodiment of the present invention will be described with reference to FIGS.
In the first embodiment, the mode in which the circumscribed rectangle of the point of interest in the warning image is cut out has been described. However, the area to be cut out may be an area slightly larger than the circumscribed rectangle. When the area is cut out, not only the intruder but also some background around the area enters the area, so that the user can easily understand where the intruder is in the warning image and grasp the degree of alertness. It will be easier.
[0045]
FIG. 6 is a flowchart of the second embodiment illustrating the processing performed by the CPU 200 of FIG. Hereinafter, the flowchart of FIG. 6 will be described.
[0046]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0047]
The processing from step 690 to step 692 is the same as the processing from step 400 to 404 in FIG.
[0048]
In step 693, the CPU 200 changes the values of the member functions 352 to 355 (coordinates of the circumscribed rectangle) of the N intruder management structures 350 so that the circumscribed rectangle becomes large. That is, the upper left x coordinate 352 (x0) is shifted left by Δx0, the upper left y coordinate 353 (y0) is shifted upward by Δy0, and the lower right x coordinate 354 (x1) is shifted right by Δx1. , The lower right y-coordinate 355 (y1) is shifted downward by Δy1, and the process proceeds to step 694 (note that Δx0, Δy0, Δx1, and Δy1 are positive values and are suitable for viewing the periphery of the intruder. Value.)
[0049]
In step 694, the CPU 200 cuts out the area set in the previous step for the frame image A based on the data in the intruder management table 300 (this becomes a warning image), and proceeds to step 695.
[0050]
The processing from step 695 to step 408 is the same as the processing from step 406 to 408 in FIG.
[0051]
As a result, the user carrying the mobile terminal 105 can view the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0052]
The resulting display screen of the mobile terminal is shown in FIG. 105-7 is a mobile terminal, 600 is a display screen, and 701 to 702 are warning images.
[0053]
On the display screen 600 of the mobile terminal 105-7, similar to the mobile terminals 105-1 to 105-3 in FIGS. 5A to 5C, when there are intruders 630 and 635 between three trees 620. The display example was shown.
[0054]
Since the display images 701 and 702 of the mobile terminal 105-7 are areas slightly larger than the circumscribed rectangle of the intruders 630 and 635, it can be seen at a glance that the intruder 635 is next to the tree 620 (at the left end). Also, it can be seen at a glance that the intruder 630 is between the trees 620 (right end and the middle). For example, when the alert level is higher toward the left of the warning image, looking at the display image 701, the user can see at a glance that the intruder 635 is next to the tree 620 (at the left end), and the user can grasp the degree of alertness. It will be easier. At the same time, the amount of data to be transmitted is reduced (however, more than the warning images 603 and 604 of the mobile terminal 105-3), so that the communication cost can be reduced in proportion thereto.
[0055]
Next, a third embodiment of the present invention will be described with reference to FIGS.
In the first embodiment, the form in which the circumscribed rectangle of the point of interest in the warning image is cut out has been described. However, as a similar effect, the area inside the point of interest is left as it is, and the area outside the point of interest is removed. May be filled with any single color. By doing so, it is easy to know where the intruder is located in the warning image, and it is easy to grasp the degree of caution.
[0056]
FIG. 8 is a flowchart of the third embodiment showing the processing performed by the CPU 200 of FIG. Hereinafter, the flowchart of FIG. 8 will be described.
[0057]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0058]
The processing from step 800 to step 802 is the same as the processing from step 400 to 404 in FIG.
[0059]
In step 803, the CPU 200 paints the area outside the circumscribed rectangle (N places) of the intruder with any single color based on the data of the intruder management table 300 for the frame image A, and proceeds to step 804. (This is referred to as a warning image).
[0060]
The processing from step 804 to step 408 is the same as the processing from step 406 to 408 in FIG.
[0061]
As a result, the user carrying the mobile terminal 105 can view the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0062]
The resulting display screen of the mobile terminal is shown in FIG. 105-8 is a mobile terminal, 600 is a display screen, 901 is a warning image, 902 is an area inside a circumscribed rectangle, and 903 is an area outside the circumscribed rectangle.
[0063]
On the display screen 600 of the mobile terminal 105-8, similar to the mobile terminals 105-1 to 105-3, a display example in which intruders 630 and 635 are present between three trees 620 is shown.
[0064]
The display image 901 of the mobile terminal 105-8 indicates where the intruders 630 and 635 are located in the warning image 901. For example, when the alert level is higher toward the left of the alert image, the alert image 901 allows the user to see at a glance that the intruder 635 is on the left side, and the user can easily grasp the alert level. At the same time, the amount of data to be transmitted is reduced (compared to the original image, the area 903 outside the circumscribed rectangle is filled with a single color, so the data amount is reduced when compressed and saved in a file). Communication costs can be reduced.
[0065]
Next, a fourth embodiment of the present invention will be described with reference to FIGS.
When making the user pay attention to the location of the intruder in the warning image, the image of the location of interest may be enlarged and the image other than the location of interest may be reduced. By doing so, the image of the intruder is enlarged, it is possible to more clearly know who the intruder is, and also to know where the intruder is located in the warning image, and it is easier to grasp the degree of vigilance.
[0066]
FIG. 10 is a flowchart of the fourth embodiment showing the processing performed by the CPU 200 of FIG. Hereinafter, the flowchart of FIG. 10 will be described.
[0067]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0068]
The processing from step 1000 to step 1002 is the same as the processing from step 400 to 404 in FIG.
[0069]
In step 1003, the CPU 200 appropriately sets an area surrounded by a circumscribed rectangle of the intruder (this area is referred to as an area B. There are N places) based on the data of the intruder management table 300 for the frame image A. Then, image processing is performed so that the area other than the area B (this area is referred to as area C) is reduced as the distance from the area B is reduced, and the process proceeds to step 1004 (this is referred to as a warning image).
[0070]
The processing in steps 1004 to 408 is the same as the processing in steps 406 to 408 in FIG.
[0071]
As a result, the user carrying the mobile terminal 105 can view the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0072]
The resulting display screen of the mobile terminal is shown in FIG. 105-9 is a mobile terminal, 600 is a display screen, 1100 is a warning image, 630-1 and 635-1 are enlarged intruders, and 620-1 is three reduced trees.
[0073]
The display screen 600 of the mobile terminal 105-9 shows a display example when there are two intruders between three trees, similarly to the mobile terminals 105-1 to 105-3 in FIGS. 5A to 5C. Was.
[0074]
Since the intruders 630-1 and 635-1 are displayed larger than the intruders 630 and 635 on the display screen 600 of the mobile terminal 105-1, the presence of the intruder in the warning image 1100 and the intruder Who is more clearly understood. Although the tree 620-1 is displayed in a smaller size than the tree 620 on the display screen 600 of the mobile terminal 105-1, the positional relationship between the tree 620-1 and the intruders 630-1 and 635-1 does not change. It can be seen where 630-1 and 635-1 are located in the warning image 1100. Therefore, for example, when the alert level is higher toward the left of the alert image, the alert image 1100 allows the user to see at a glance that the intruder 635-1 is on the left side, and the user can easily grasp the alert level.
[0075]
Next, a fifth embodiment of the present invention will be described with reference to FIGS.
In the first embodiment, a form in which a circumscribed rectangular frame is drawn at a point of interest in a warning image is described, and a display example when a warning image is viewed on a display screen of the mobile terminal is shown in FIG. 105-2, it has been described that the frames 604 and 605 are displayed on the intruders 630 and 635. However, when the warning image can be scrolled on the display screen of the mobile terminal, one of the frames is displayed on the mobile terminal. It may be displayed at the center of the display screen. In this way, the user can see important parts first, and then check the desired part of the warning image by scrolling, thereby improving the operability of the mobile terminal.
[0076]
First, the processing of the server 103 will be described.
[0077]
FIG. 12 is a flowchart showing the processing of the fifth embodiment performed by the CPU 200 of FIG. Hereinafter, the flowchart of FIG. 12 will be described.
[0078]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0079]
The processing of steps 1200 to 1202 is the same as the processing of steps 400 to 404 in FIG.
[0080]
In step 1203, the CPU 200 draws a frame on the frame image A based on the data of the intruder management table 300 at the circumscribed rectangle (N places) of the intruder, and moves to step 406. Warning image.)
[0081]
In step 1204, CPU 200 calculates the center coordinates of the circumscribed rectangle of the intruder based on the data in intruder management table 300, and determines the coordinates (N) and the number of intruders (N) in the body of the e-mail. Describe in.
[0082]
The processing of steps 1205 to 408 is the same as the processing of steps 406 to 408 in FIG.
[0083]
Next, processing of the mobile terminal 105 will be described.
[0084]
FIG. 13 is a block diagram showing a configuration of the mobile terminal 105 in FIG. Reference numeral 1300 denotes a CPU, 1301 denotes a memory, 1302 denotes a communication interface, 1303 denotes a communication medium, 1304 denotes a storage device, 1305 denotes a bus, 1306 denotes a button interface, and 1307 denotes a display screen.
[0085]
The CPU 1300 is connected to a memory 1301, a communication interface 1302, a storage device 1304, a button interface 1306, and a display screen 1307 via a bus 1305. The communication interface 1302 has another configuration shown in FIG. Connected with the element. The CPU 1300 sends and receives signals to and from other components connected via the bus 1305, and each component is controlled by an access signal from the CPU 1300.
[0086]
FIG. 14 is a flowchart showing the processing of the fifth embodiment performed by the CPU 1300 of FIG. 13. FIG. 3 is a data area created in the memory 1301 by the CPU 1300 during the processing, similarly to the CPU 200. Hereinafter, the flowchart of FIG. 14 will be described.
[0087]
When the CPU 1300 starts processing, in step 1400, the CPU 1300 acquires an e-mail (this is referred to as an e-mail A) from the server 103 via the communication medium 1303 and the communication interface 1302, and stores it in the storage device 1304. , To step 1401.
[0088]
In step 1401, it is determined whether a request to view a warning image file attached to the electronic mail A (referred to as a warning image file A) has been received from the button interface 1306 to the CPU 1300. If a request has been received, the process proceeds to step 1402, and if not, the process returns to step 1401 to repeat the processing of this step.
[0089]
In step 1402, the CPU 1300 reads the image data of the warning image file A from the storage device 1304 into the memory 1301 (this is referred to as a warning image A), and proceeds to step 1403.
[0090]
In step 1403, CPU 1300 reads the character data of the body of electronic mail A from storage device 1304 into memory 1301 (this is referred to as body A), and proceeds to step 1404.
[0091]
In step 1404, the CPU 1300 secures the intruder management table 300 in the memory 1301 by the number (N) of intruders described in the text A, and proceeds to step 1405.
[0092]
In step 1405, the CPU 1300 determines the center coordinates of the circumscribed rectangle of the intruder described in the main text A by the elements 301 to 303 (N) of the intruder management table 300 in the intruder management structure 350. The values are stored in the member variables, x coordinate 352 and y coordinate 353, and the process proceeds to step 1406.
[0093]
In step 1406, the CPU 1300 displays the warning image A on the display screen 1307 based on the data of the intruder management table 300 such that the center of the circumscribed rectangle of one intruder is at the center of the display screen 1307. This processing ends. As the intruder displayed at the center of the display screen 1307, for example, when the alert level is higher toward the right side of the warning image A, the intruder located at the rightmost side may be considered.
[0094]
As a result, the user carrying the mobile terminal 105 can view the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0095]
The resulting display screen of the mobile terminal is shown in FIG. 105-10 is a mobile terminal, 600 is a display screen, 1500 is a warning image, 630 is an intruder, 620 is a tree, 604 is a circumscribed rectangular frame, and 1501 is a button group.
[0096]
On the display screen 600 of the mobile terminal 105-10, as in the case of the mobile terminals 105-1 to 105-3 in FIGS. 5A to 5C, when there are intruders 630 and 635 between three trees 620. Partially shown.
[0097]
The button group 1501 corresponds to the button interface 1306 in FIG. 13, and can scroll the warning image 1500 displayed on the display screen 600. The area of the warning image 1500 is displayed larger than the warning image 602 of the mobile terminal 105-2 in FIG. 5B. Further, in the mobile terminal 150-10, the center of the frame 604 is displayed at the center of the display screen 600, that is, the intruder 630 is displayed at the center.
[0098]
By controlling the display of the warning image on the mobile terminal 150-10 in this manner, the user can first see an important part, and then operate the button group 1501 to scroll the warning image 1500 to display the warning image. The user can check the desired portion of 1500, and the operability of the mobile terminal 150-10 is improved.
[0099]
Next, a sixth embodiment of the present invention will be described with reference to FIGS.
In the first embodiment, a form in which a circumscribed rectangle of a point of interest in a warning image is cut out is described, and a display example when the cut-out warning image is viewed on the display screen of the mobile terminal is shown in FIG. 105-3, it is described that the warning images 603 and 604 in which only the intruders 630 and 635 are displayed on the display screen 600 are displayed. Also above, the clipped warning image may be displayed at an appropriate position. By doing so, it is easy to know where the intruder is located in the warning image, and it is easy to grasp the degree of caution.
[0100]
First, the processing of the server 103 will be described.
[0101]
FIG. 16 is a flowchart of the sixth embodiment illustrating the processing performed by the CPU 200 of FIG. Hereinafter, the flowchart of FIG. 16 will be described.
[0102]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0103]
The processing in steps 1600 to 1602 is the same as the processing in steps 400 to 404 in FIG.
[0104]
In step 1603, the CPU 200 cuts out the circumscribed rectangle of the intruder (N places) on the frame image A based on the data in the intruder management table 300, and proceeds to step 1604 (this is called a warning image). Yes.)
[0105]
In step 1604, the CPU 200 describes the coordinates (N) of the circumscribed rectangle of the intruder and the number of intruders (N) in the body of the e-mail based on the data of the intruder management table 300.
[0106]
The processing of steps 1605 to 408 is the same as the processing of steps 406 to 408 in FIG.
[0107]
Next, processing of the mobile terminal 105 will be described.
[0108]
FIG. 17 is a flowchart showing processing of the sixth embodiment performed by the CPU 1300 of FIG. 13. FIG. 3 is a data area created by the CPU 1300 in the memory 1301 during the processing, similarly to the CPU 200. . Hereinafter, the flowchart of FIG. 17 will be described.
[0109]
When the CPU 1300 starts the process, the CPU 1300 performs the same process as the step 1400 in FIG.
[0110]
At step 1701, it is determined whether or not a request to view a warning image file attached to the electronic mail A (this is called a warning image file A. There are N) is sent from the button interface 1306 (FIG. 13) to the CPU 1300. I do. If a request has been received, the process proceeds to step 1702, and if not, the process returns to step 1701 to repeat the processing of this step.
[0111]
In step 1702, the CPU 1300 reads the image data of the warning image file A from the storage device 1304 into the memory 1301 (this is referred to as a warning image A. There are N pieces), and the process proceeds to step 1703.
[0112]
In step 1703, the CPU 1300 performs the same process as step 1403 in FIG. 14, and proceeds to step 1704.
[0113]
In step 1704, the CPU 1300 performs the same processing as in step 1404 in FIG. 14, and proceeds to step 1705.
[0114]
In step 1705, the CPU 1300 determines the coordinates of the circumscribed rectangle of the intruder described in the main text A by the members 301 to 303 (N) of the intruder management table 300. The variables are stored in the x coordinate 352, the y coordinate 353 (the upper left coordinate), the x coordinate 354, and the y coordinate 355 (the lower right coordinate), and the process proceeds to step 1706.
[0115]
In step 1706, the CPU 1300 displays the warning image A (N) at an arbitrary position on the display screen 1307 by changing the coordinate values of the stored coordinates based on the data of the intruder management table 300. Then, the present process ends.
[0116]
As a result, the user carrying the mobile terminal 105 can view the warning image attached to the e-mail on the display screen of the mobile terminal 105.
[0117]
The resulting display screen of the mobile terminal is shown in FIG. 105-11 is a mobile terminal, 600 is a display screen, 603 and 604 are warning images, and 630 and 635 are intruders.
[0118]
On the display screen 600 of the mobile terminal 105-11, as in the case of the mobile terminals 105-1 to 105-3 in FIGS. 5A to 5C, when there are intruders 630 and 635 between three trees 620. The display example was shown.
[0119]
The warning images 603 and 604 of the mobile terminal 105-11 indicate where the intruders 630 and 635 are located in the entire warning image. Therefore, for example, when the alert level is higher toward the left of the alert image, the alert image 604 indicates to the user at a glance that the intruder 635 is on the left side, and the user can easily grasp the alert level. At the same time, since the amount of data to be transmitted is reduced, the communication cost can be reduced in proportion thereto.
[0120]
Next, a seventh embodiment of the present invention will be described with reference to FIG.
In the first to sixth embodiments, the image from the surveillance camera is subjected to image recognition processing, and when an intruder is detected, the image at the time of detection is attached to an e-mail, and the e-mail is transmitted to the mobile terminal. Although the content was transmitted, the content of the email may be changed according to the reliability of the detection. This makes it easier for the user to recognize the degree of caution based on the content of the e-mail, and in some cases, reduces the amount of data to be transmitted and lowers communication costs.
[0121]
FIG. 19 is a flowchart showing processing of the seventh embodiment performed by the CPU 200 of FIG. Hereinafter, the flowchart of FIG. 19 will be described.
[0122]
Before the CPU 200 detects an intruder, the CPU 200 obtains a frame image (referred to as a frame image A) from the storage server 102 via the communication medium 203 and the communication interface 202 from an image without an intruder, and performs image recognition processing. Is performed, and the resulting image (referred to as a recognition target image) is stored in the memory 201.
[0123]
The processing in step 1900 is the same as the processing in steps 400 to 401 in FIG.
[0124]
In step 1901, the CPU 200 receives the result of the process of the previous step 1900, and compares it with the recognition target image to determine whether an intruder has been detected. If detected, the process proceeds to step 1902 to continue the process. If not detected, the process proceeds to step 408 without performing any processing.
[0125]
In step 1902, the CPU 200 receives the result of the processing in step 1900, describes the detection reliability in the text of the e-mail, and proceeds to step 1903. The detection reliability indicates, for example, the degree to which the face to be recognized matches the face of a specific person (for example, a wanted person) as a result of performing face recognition processing in the image recognition processing in step 1900. Values can be considered. The value may be a percentage or a ranking such as A, B, C.
[0126]
At step 1903, CPU 200 determines whether or not the detection reliability satisfies an appropriate condition. If so, the process proceeds to step 1904; otherwise, the process proceeds to step 1906. As an appropriate condition, in the case of face recognition, for example, the case where the detection reliability is 90% or more, that is, the case where the faces match at a rate of 90% or more, and vice versa are considered. Good.
[0127]
The processing in step 1904 is the same as the processing in steps 403 to 406 in FIG.
[0128]
In step 1905, CPU 200 attaches the warning image file to the e-mail, and proceeds to step 1906.
[0129]
In step 1906, the CPU 200 transmits the e-mail to the mobile terminal 105 via the communication interface 202 and the communication medium 203, and proceeds to step 408.
[0130]
At step 408, CPU 200 determines whether the processing of server 103 has been completed or not. If the processing has been completed, this processing ends. If not completed, the processing returns to step 1900, and the processing described so far is repeated.
[0131]
As a result, depending on the content of the e-mail, the user can easily recognize the degree of caution. For example, in the above-described example of face recognition, if the condition of step 1903 is 70% or more in detection reliability, and if a warning image is attached to an e-mail, it is more than 70% similar to a wanted person. Since this indicates that a person has been detected, the user understands from this that the degree of caution is high. On the other hand, if the warning image is not attached to the e-mail, it indicates that a person who does not resemble the wanted person by up to 70% has been detected, and the user is thus less alert. Understand that. In the latter case, since the data of the warning image is not transmitted, the communication cost can be reduced in proportion thereto.
[0132]
Further, if the condition of step 1903 is that the detection reliability is less than 90% and 50% or more, if a warning image is attached to the e-mail, a person who looks similar to a wanted person but is not clear is detected. Therefore, the user understands from this that the warning image must be judged with his / her own eyes. On the other hand, when the warning image is not attached to the e-mail, if the detection reliability is 90% or more, it is almost clear that the person is a wanted person, and if the detection reliability is less than 50%, the person is nominated. Since it is almost clear that the person is not an arrangement person, it is not necessary for both of them to dare to check the warning image, so that the user can save time and communication cost.
[0133]
In each of the above embodiments of the present invention, an intruder, that is, a person is detected. However, the present invention is not limited to this, and a specific object may be detected, and an image is attached to an e-mail and transmitted. However, the image may be transmitted directly, and the camera is not limited to the surveillance camera, may be a normal camera, and is not limited to the surveillance camera, and may be another video distribution system. In addition, although the video storage / delivery server is interposed in FIG. 1 as a configuration of the present invention, it is needless to say that the present invention is not essential in the present invention and may be deleted.
[0134]
【The invention's effect】
Advantageous Effects of Invention According to the present invention, it is possible to obtain a video distribution system, a notification server, and a mobile terminal that can easily display a point of interest to be viewed on a mobile terminal. Further, according to the present invention, it is possible to obtain a video distribution system, a notification server, and a mobile terminal capable of distributing a point of interest to be viewed on the mobile terminal with a small number of images. Further, according to the present invention, it is possible to obtain a notification server that can detect the reliability of detection of a person or an object by a mobile terminal.
[Brief description of the drawings]
FIG. 1 is a block diagram of a network-type monitoring system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of the notification server of FIG. 1;
FIG. 3 is a data area created in a memory by the CPU in FIG. 2 during processing.
FIG. 4 is a flowchart of a first embodiment illustrating a process performed by the CPU of FIG. 2;
FIG. 5 is a diagram showing a display screen of a mobile terminal as a result of the conventional and the first embodiment.
FIG. 6 is a flowchart illustrating a process performed by a CPU in FIG. 2 according to a second embodiment;
FIG. 7 is a diagram illustrating a display screen of a mobile terminal as a result of the second embodiment.
FIG. 8 is a flowchart of a third embodiment illustrating processing performed by the CPU in FIG. 2;
FIG. 9 is a diagram illustrating a display screen of a mobile terminal as a result of the third embodiment.
FIG. 10 is a flowchart of a fourth embodiment illustrating processing performed by the CPU in FIG. 2;
FIG. 11 is a diagram illustrating a display screen of a mobile terminal as a result of the fourth embodiment.
FIG. 12 is a flowchart showing a fifth embodiment process performed by the CPU of FIG. 2;
FIG. 13 is a block diagram showing a configuration of the mobile terminal of FIG.
FIG. 14 is a flowchart illustrating a process according to a fifth embodiment performed by the CPU in FIG. 13;
FIG. 15 is a diagram showing a display screen of a mobile terminal as a result of the fifth embodiment.
FIG. 16 is a flowchart illustrating processing according to a sixth embodiment performed by the CPU in FIG. 2;
FIG. 17 is a flowchart illustrating a process according to a sixth embodiment performed by the CPU in FIG. 13;
FIG. 18 is a diagram illustrating a display screen of a mobile terminal as a result of the sixth embodiment.
FIG. 19 is a flowchart illustrating a process according to a seventh embodiment performed by the CPU in FIG. 13;
FIG. 20 is a block diagram of a conventional network-type monitoring system.
[Explanation of symbols]
Reference Signs List 100 surveillance camera, 101 web encoder, 102 video storage / distribution server, 103 notification server, 105 mobile terminal, 110 video cable, 111-113 communication medium, 200 CPU, 201 memory, 202 communication Interface, 203, communication medium, 204, storage device, 205, bus, 300, intruder management table, 301 to 303, array element, 350, intruder management structure, 351, frame number, 352, x coordinate, 353 y coordinate, 354 x coordinate, 355 y coordinate, 105-1 to 105-11 mobile terminal, 600 display screen, 601 to 604, 611 to 614, 701 to 702, 901, 1100, 1500 ... warning image, 604 to 605, 614 to 615: circumscribed rectangular frame, 620, 620-1: tree, 630, 63 630-1, 635-1 ... intruder, 640 ... crowd, 650, 655 ... wanted person, 902 ... area in the circumscribed rectangle, 903 ... outside the circumscribed rectangle, 1300 ... CPU, 1301 ... memory, 1302 communication interface, 1303 communication medium, 1304 storage device, 1305 bus, 1306 button interface, 1307 display screen, 1501 button group, 2000 monitoring device.

Claims

An imaging device, a notification server that detects a person or an object with respect to an image composed of a video signal captured by the imaging device, and distributes an image in which the person or the object is marked to a mobile terminal; and A video distribution system comprising the mobile terminal for displaying an acquired image on a display screen.

A notification server that detects a person or an object with respect to an image composed of a video signal captured by an imaging device and distributes an image in which the person or the object is marked to a mobile terminal.

3. The video distribution system or the notification server according to claim 1, wherein the notification server distributes an image obtained by cutting out only the marked person or object to the mobile terminal.

3. The video distribution system or the notification server according to claim 1, wherein the notification server distributes an image of an area slightly larger than the marked person or object to the mobile terminal. 4.

3. The video distribution system or the notification server according to claim 1, wherein the notification server distributes an image in which a person or an object other than the marked person or the object is filled with a single color to the mobile terminal. 4.

3. The mobile phone according to claim 1, wherein the notification server distributes an image obtained by enlarging the marked person or object and reducing an image other than the marked person or object to the mobile terminal. 4. Video distribution system or report server.

Obtain the image of the marked person or object and the position information of the mark from the notification server, display the mark in the center of the display screen based on the position information, and when viewing another part of the image, A mobile terminal capable of scrolling an image.

It is possible to acquire an image of a marked person or object and position information of the mark from a notification server, and to display the mark at an arbitrary position on a display screen based on the position information. Mobile terminal.

A notification server, which detects a person or an object from an image formed by a video signal captured by an imaging device and changes the content of a notification to be delivered to a mobile terminal according to the reliability of the detection.