JP2016009451A - 情報処理装置、及びその制御方法、プログラム - Google Patents

情報処理装置、及びその制御方法、プログラム Download PDF

Info

Publication number
JP2016009451A
JP2016009451A JP2014131525A JP2014131525A JP2016009451A JP 2016009451 A JP2016009451 A JP 2016009451A JP 2014131525 A JP2014131525 A JP 2014131525A JP 2014131525 A JP2014131525 A JP 2014131525A JP 2016009451 A JP2016009451 A JP 2016009451A
Authority
JP
Japan
Prior art keywords
area
user
information indicating
area information
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014131525A
Other languages
English (en)
Other versions
JP2016009451A5 (ja
JP6350024B2 (ja
Inventor
翔人 小野
Shoto Ono
翔人 小野
絵里奈 伊藤
Erina Ito
絵里奈 伊藤
諒 飯渕
Ryo Iibuchi
諒 飯渕
加藤 卓也
Takuya Kato
卓也 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2014131525A priority Critical patent/JP6350024B2/ja
Publication of JP2016009451A publication Critical patent/JP2016009451A/ja
Publication of JP2016009451A5 publication Critical patent/JP2016009451A5/ja
Application granted granted Critical
Publication of JP6350024B2 publication Critical patent/JP6350024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らす仕組みを提供すること。【解決手段】 ネットワークに接続されたカメラにより撮影された画像データの解析結果を用いて、ユーザのいるエリアと当該ユーザが引率する他のユーザのいるエリアとが異なると判定され、かつ、当該ユーザと当該他のユーザの移動経路が異なると判定された場合には、他のユーザが迷子である旨を通知し、一方、当該ユーザのいるエリアと当該他のユーザのいるエリアが異なると判定された場合でも、当該ユーザと他のユーザの移動経路が一致する場合には、当該他のユーザが迷子である旨を通知しないように制御することを特徴とする。【選択図】図5

Description

本発明は、情報処理装置、及びその制御方法、プログラムに関し、特に、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らすための技術に関するものである。
近年、ネットワークカメラを用いて、例えば、親(ユーザ)と子供(ユーザに引率された他のユーザ)がいる施設内で、子供が迷子になったことを検出して通知する仕組みが知られている。
特許文献1には、例えば、監視カメラで撮影された引率者の顔と、当該撮影された監視カメラとから特定された引率者がいる現在地と、監視カメラで撮影された子供の顔と、当該撮影された監視カメラとから特定された子供がいる現在地とが一定時間離れた状態であれば、その子供が迷子になったと判断して通知することが開示されている。
特開2007−60528号公報
しかしながら、上記特許文献1で提案されている内容は、親子が一定時間離れていることを検出した場合に、子供が迷子になったと判断するものであるため、例えば、実際は親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると連続して認識された場合でも、親子が一定時間離れていると判定されてしまい、子供が迷子になったと誤判定してしまうおそれがある。
そこで、本発明の目的は、ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らす仕組みを提供することである。
本発明は、ネットワークに接続されたカメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置であって、カメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段と、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段と、を備えることを特徴とする情報処理装置。
また、本発明は、ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置における制御方法であって、前記情報処理装置の取得手段が、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得工程と、前記情報処理装置のユーザ特定手段が、前記取得工程により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定工程と、前記情報処理装置のエリア特定手段が、前記ユーザ特定工程によりユーザが特定された画像データを前記取得工程により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定工程により特定されたユーザのいるエリアを特定するエリア特定工程と、前記情報処理装置の格納手段が、前記エリア特定工程により特定された、前記ユーザ特定工程により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定工程により特定された、前記ユーザ特定工程により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納工程と、前記情報処理装置の判定手段が、前記エリア特定工程により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定工程と、前記情報処理装置の特定手段が、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定工程により特定されたエリア情報が前記格納工程により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定工程と、前記情報処理装置の移動経路判定手段が、前記特定工程により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定工程と、前記情報処理装置の制御手段が、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御工程と、を備えることを特徴とする。
また、本発明は、ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段として機能させることを特徴とする。
本発明によれば、ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らすことができる。
本発明の実施形態に係る情報処理システムの構成を示す図である。 図1に示したサーバ101、携帯端末102に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係るサーバ101が実行する処理を示すフローチャートである。 図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。 図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。 図3に示すステップS304で実行される出口付近アラート処理の詳細処理を示すフローチャートの一例を示す図である。 図3に示すステップS304で実行される子供置き去りアラート処理の詳細処理を示すフローチャートの一例を示す図である。 管理テーブルの一例を示す図である。 管理テーブルの他の例を示す図である。 サーバ101が通知する通知内容の一例を示す図である。 ネットワークカメラの識別情報と、当該ネットワークカメラが配置されているエリアのエリア名とが対応付けられた対応テーブルの一例を示す図である。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
図1は、本発明の実施形態に係る情報処理システムの構成を示す図である。
図1に示す101は、サーバであり、有線、又は無線のネットワーク114を介して、各ネットワークカメラ103〜114と相互に通信可能に接続されている。
また、サーバ101は、無線のネットワークを介して携帯端末102と相互に通信可能に接続されている。
サーバ101は、ネットワークに接続されたカメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置の適用例である。
各ネットワークカメラ103〜114は、同一の施設内に設けられており、ネットワーク114に接続可能な撮像装置(カメラ)である。各ネットワークカメラ103〜114は、動画、及び/又は静止画を撮影可能なカメラである。以下、動画、及び/又は静止画を映像とも言う。
各ネットワークカメラ103〜114は、撮影された映像のデータを、サーバ101に送信する機能を備えている。
ネットワークカメラ103〜106は、当該施設内のエリアAに設置されたカメラであり、各ネットワークカメラ103〜106は、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶している。
また、ネットワークカメラ107〜110は、当該施設内のエリアBに設置されたカメラであり、各ネットワークカメラ107〜110は、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶している。
また、ネットワークカメラ111〜114は、当該施設内のエリアCに設置されたカメラであり、各ネットワークカメラ111〜114は、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶している。エリアCは、出口エリア、又は出口近傍のエリアである。
各ネットワークカメラ103〜114は、被写体として、施設内にいる親115(保護者)、子供117を撮影する。親115(保護者)には、当該親(個人)を識別するための識別情報を示すカラーコードが付されている。たとえば、親115(保護者)の洋服に当該カラーコードのシールが付されている。また、当該親の子供117には、当該子供(個人)を識別するための識別情報を示すカラーコードが付されている。たとえば、子供117の洋服に当該カラーコードのシールが付されている。
すなわち、各ネットワークカメラ103〜114は、被写体として、施設内にいる親115(保護者)のカラーコード、子供117のカラーコードを撮影する。
ここでは、個人を識別するためのものとしてカラーコードを用いるようにしたが、カラーコード以外に、バーコードや、個人の顔の画像などを、個人を識別可能なものであれば、何でもよい。
携帯端末102は、親115が所持する携帯端末である。
図1では、各ネットワークカメラが設置されたエリアが、エリアA〜Cであることを説明したが、エリアA〜C以外に、エリアD〜Zにも、それぞれ同様にネットワークカメラが設けられている。
以下、図2を用いて、図1に示したサーバ101、携帯端末102に適用可能な情報処理装置のハードウェア構成について説明する。
図2は、図1に示したサーバ101、携帯端末102に適用可能な情報処理装置のハードウェア構成を示すブロック図である。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM203あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
202はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM203あるいは外部メモリ211からRAM202にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)や不図示のマウス等のポインティングデバイス等の入力装置209からの入力を制御する。206はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置210への表示を制御する。なお、210のディスプレイ装置は、タッチパネルになっており、ディスプレイ上の画面を押下されることにより操作することが可能な入力装置としても機能する。
207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM202内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ装置210上での表示を可能としている。また、CPU201は、ディスプレイ装置210上の不図示のマウスカーソル等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM202にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。
<図3の説明>
図3は、本発明の実施形態に係るサーバ101が実行する処理を示すフローチャートである。
ステップS301〜S305に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
まず、各ネットワークカメラ(103〜114)は、撮影された映像のデータをサーバ101に逐次送信する。ここでの例は、撮影された映像のデータを、所定時間(例えば1分)間隔で送信する。
また、ここで、各ネットワークカメラは、それぞれ、ネットワークカメラ(個体)を識別するための識別情報をメモリに記憶しているため、各ネットワークカメラは、映像データだけではなく、それぞれメモリに記憶している識別情報をサーバ101に送信する。
そして、サーバ101は、各ネットワークカメラから、各ネットワークカメラから映像データと、ネットワークカメラを識別するための識別情報を受信する(S301)。
ここで映像データとは、静止画像データだけではなく、動画データも含まれる。動画データを構成するフレーム画像のデータを、静止画像データと同様に、後述する処理の対象とすることができる。
ステップS301は、各カメラにより時間の経過と共に継続的に撮影された画像データ(映像データ)を当該各カメラから順次取得する取得手段の適用例である。
そして、サーバ101は、S301で受信した映像データを解析して、被写体を識別するための識別情報を取得する(S302)。例えば、サーバ101は、被写体に付されているカラーコードを、当該受信した映像データの中から特定し、当該特定されたカラーコードを読み取り解析することで、被写体を識別するための識別情報(カラーコードのID(個人を識別するための識別情報))を取得する。この識別情報を取得することで撮影されたユーザを特定することができる。
すなわち、ステップS301は、取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段の適用例である。
次に、サーバ101は、ステップS301で受信したネットワークカメラの識別情報と、図11に示す対応テーブルとに従って、当該ネットワークカメラのエリア(被写体のいるエリア)を特定する。
<図11の説明>
図11は、ネットワークカメラの識別情報と、当該ネットワークカメラが配置されているエリアのエリア名とが対応付けられた対応テーブルの一例を示す図である。
図11のテーブルは、カメラが設置されているエリアを示すエリア情報(エリア名)をカメラごとに記憶手段(メモリ)に記憶されている。
図11に示す対応テーブルには、各ネットワークカメラの識別情報(001、002、003、・・・)と、それぞれのネットワークカメラが設置されているエリアのエリア名(エリアA、エリアB、エリアC、・・・)とが、それぞれ紐付けられてメモリに予め登録されている。
例えば、ネットワークカメラの識別情報が001のネットワークカメラが設置されているエリアは、エリアAであることを示している。
図3のステップS303では、ステップS301で受信したネットワークカメラの識別情報に対応して対応テーブル(図11)に記憶されているエリア名を取得することにより、当該ネットワークカメラが設置されているエリアを特定する。
すなわち、ステップS303は、ステップS302でユーザが特定された画像データをステップS301で取得したカメラが設置されているエリアを示すエリア情報(図11)に基づき、ステップS302により特定されたユーザのいるエリアを特定するエリア特定手段の適用例である。
そして、サーバ101は、ここで特定されたエリアのエリア名と、ステップS302で取得した、被写体を識別するための識別情報(カラーコードのID(個人を識別するための識別情報))と、現在時刻(現在の時間)とをそれぞれ紐付けて、図8、又は図9に示す管理テーブルに登録する(S303)。
ステップS303は、ステップS303により特定された、ステップS302により特定されたユーザ(親)のいるエリアを示すエリア情報、及び、ステップS303により特定された、ステップS302により特定された、当該ユーザに引率された他のユーザ(子供)のいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれメモリ(記憶手段)に格納する格納手段の適用例である。
<図8、9の説明>
図8は、管理テーブルの一例を示す図である。
また、図9は、管理テーブルの他の例を示す図である。
図8、及び図9に示す管理テーブルは、「ID」、「家族ID」、「保護者フラグ」、「通知先」、「時間」の項目が紐付けられて構成されている。
「ID」は、被写体を識別するための識別情報(カラーコードのID)(例えば100)である。
「家族ID」は、家族などのグループを識別するためのID(たとえば1)である。ここで同一の値が格納されている被写体(人)は、それぞれ同一の家族(グループ)であることを示している。
「保護者フラグ」は、保護者であるか否かを示すフラグである。ここで、「1」は保護者であることを示し、「0」は保護者ではない者(例えば子供)であることを示している。
「通知先」は、通知先の情報が格納される。ここで通知先とは、例として、保護者の携帯端末102に配信可能な電子メールのメールアドレス(たとえば、aaa@a.ne.jp)が格納されている。
「時間」の項目には、所定時間(例えば1分)ごとの時間(・・・、「10:55」、「10:56」、「10:57」、「10:58」、「10:59」、「11:00」(現在時刻))が項目として設けられており、それぞれの時間に、「ID」(たとえば100)で識別される被写体がいたエリアのエリア名が、それぞれ格納されている。
図8の「ID」が100の被写体(人)を例に説明すると、図8は、「ID」が100の被写体(人)が、「ID」が101の被写体(人)と同一の家族(グループ)であり、保護者であること(「ID」が101の被写体(人)は保護者ではない(子供))、通知先がaaa@a.ne.jpであること、「10:55」にエリアFにいたこと、「10:56」にエリアEにいたこと、「10:57」にエリアDにいたこと、「10:58」にエリアCにいたこと、「10:59」にエリアBにいたこと、「11:00」(現在時刻)にエリアAにいたことを示している。
図8、又は図9に示す「ID」、「家族ID」、「保護者フラグ」、「通知先」、「時間」は、予め登録されており、ステップS303では、ステップS302で取得した「ID」(被写体を識別するための識別情報(カラーコードのID)と、現在時刻(現在の時間)とが紐付いた欄に、ステップS303で特定されたエリアのエリア名が登録される。
このようにして、サーバ101は、図8、又は図9に示す管理テーブルを所定期間(例えば1分)ごとに更新して登録することで、図8、又は図9に示す管理テーブルを生成する。
次に、サーバ101は、図4に示す迷子アラート処理、又は図5に示す迷子アラート処理を実行する(ステップS304)。更に、サーバ101は、ステップS304において、図6に示す出口付近アラート処理、及び図7に示す子供置き去りアラート処理を並行して処理する。
すなわち、サーバ101は、図4に示す迷子アラート処理、又は図5に示す迷子アラート処理、図6に示す出口付近アラート処理、及び図7に示す子供置き去りアラート処理を並行して処理する。
そして、サーバ101は、ステップS304の処理を実行すると、管理者(ユーザ)により終了の指示を受け付けた否かを判定し、終了指示を受け付けたと判定した場合には(YES)、処理を終了し、終了指示を受け付けていないと判定された場合には(NO)、処理をステップS301に戻す。
<図4の説明>
次に、図4を用いて、図3に示すステップS304で実行される迷子アラート処理の詳細処理について説明する。
図4は、図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。
ステップS401〜S404に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図4に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図4に示す処理を実行する。
まず、サーバ101は、管理テーブル(図8又は図9)から、家族IDが同一のレコードのうち、「ID」、「家族ID」、「保護者フラグ」、「通知先」の各データと、現在時刻のエリア名と、現在時刻から所定時間分(ここでは例えば6秒分)のエリア名とを取得する(ステップS401)。
例えば、「家族ID」が1のレコードを例に説明する。
ステップS401では、「ID」が100と101のレコードのうち、「ID」が100の情報(「ID」が100、「家族ID」が1、「保護者フラグ」が1、「通知先」がaaa@a.ne.jp、「10:55」のときにいたエリア:エリアF、「10:56」のときにいたエリア:エリアE、「10:57」のときにいたエリア:エリアD、「10:58」のときにいたエリア:エリアC、「10:59」のときにいたエリア:エリアB、「11:00」のときにいたエリア:エリアA)と、「ID」が101の情報(「ID」が101、「家族ID」が1、「保護者フラグ」が0、「通知先」はNULL、「10:55」のときにいたエリア:エリアF、「10:56」のときにいたエリア:エリアE、「10:57」のときにいたエリア:エリアD、「10:58」のときにいたエリア:エリアC、「10:59」のときにいたエリア:エリアB、「11:00」のエリアB)と、を取得する。
そして、サーバ101は、ステップS401で取得した親子の現在時刻のエリア名に従って、現在の親子がいるエリアが異なるか否かを判定する(S402)。
例えば、保護者フラグが1と設定されている現在時刻(11:00)のエリア名と、保護者フラグが0と設定されている現在時刻(11:00)のエリア名を比較して、同一であれば、親子が同じエリアにいると判定し(NO)、一方、同一でなければ、親子が同じエリアにいない(現在の親子がいるエリアが異なる)と判定する(YES)。
サーバ101は、ステップS402において、親子が同じエリアにいると判定された場合(NO)には、処理をステップS305に移行し、親子が異なるエリアにいると判定された場合(YES)には、処理をステップS403に移行する。
そして、サーバ101は、ステップS401で取得した、現在時刻から所定時間分(ここでは例えば6秒分)の親子のエリア名のうち、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なるかを判定する(ステップS403)。
例えば、ステップS403において、保護者フラグが1と設定されている時刻(10:58)のエリア名と、保護者フラグが0と設定されている時刻(10:58)のエリア名とが一致しており、かつ、保護者フラグが1と設定されている時刻(10:59)のエリア名と、保護者フラグが0と設定されている時刻(10:59)のエリア名とが一致しているか、を判定する。
サーバ101は、保護者フラグが1と設定されている時刻(10:58)のエリア名と、保護者フラグが0と設定されている時刻(10:58)のエリア名とが一致しており、かつ、保護者フラグが1と設定されている時刻(10:59)のエリア名と、保護者フラグが0と設定されている時刻(10:59)のエリア名とが一致していると判定された場合には、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異ならない(親子のいるエリアが同じ)(NO)と判定し、一方、保護者フラグが1と設定されている時刻(10:58)のエリア名と、保護者フラグが0と設定されている時刻(10:58)のエリア名とが一致していない、又は、保護者フラグが1と設定されている時刻(10:59)のエリア名と、保護者フラグが0と設定されている時刻(10:59)のエリア名とが一致していないと判定された場合には、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異なる(YES)と判定する。
ステップS402、ステップS403は、ステップS303(エリア特定手段)により特定されたエリア情報がメモリ(記憶手段)に格納された最後の撮影時間(例えば、図8の11:00(現在))から過去の所定時間内における、ステップS303(格納手段)により格納された親(ユーザ)のいるエリアを示すエリア情報(エリア名)と、子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とがそれぞれ異なるか否かを判定する判定手段の適用例である。
サーバ101は、ステップS403で、直近の過去の所定期間(たとえば2秒)の親子のエリアが異なる(YES)と判定された場合には、子供が迷子である旨を、同一家族IDで保護者フラグが1が設定されている通知先(例えば、aaa@a.ne.jp)に通知する。
ここで通知される内容の例を、図10の1001に示す。
例えば、図8の家族IDが1の場合、保護者(親)(保護者フラグが1)と子供(保護者フラグが0)の移動経路が、10:55から10:59までは同じであるが、11:00では、親子のいるエリアが異なる。
このように現在の時刻で親と子のいるエリアが異なる場合であっても、現在時刻から直近の所定期間内は、親と子がいるエリアが同じであるため、S403でNOと判定され、親に子供が迷子である通知が行われない。
それゆえ、例えば、管理テーブルの更新のタイミングで、たまたま、親が子供とは異なるエリアに移動した場合であっても、迷子であるとの誤判定することを低減させることが可能となる。
このように、図4に示す処理を行うことにより、例えば、障害物によりカラーコードを一時的に認識出来なかった場合や、親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると認識された場合であっても、迷子の誤判定を減らすことができる。
また、例えば、図8の家族ID4の場合のように、現在、たまたま、カラーコードが障害物等により撮像できず、親又は子のいるエリアが認識できなかった場合(現在いるエリアがNULLの場合)であっても、親に子供が迷子である通知を行わないため、迷子であるとの誤判定することを低減させることが可能となる。
このように、図8に示す管理テーブルを例に、図4に示す迷子アラート処理を実行した場合、家族IDが1、4については、親に子供が迷子である通知を行わないが、家族IDが2、3の場合については、親に子供が迷子である通知を行うこととなる。
ただ、子供の歩く速度が親の歩く速度よりも遅く、たまたま、子供がいるエリアよりも先のエリアに親がいた場合、図8に示す管理テーブルの家族IDが2の場合のように、親子のエリアが検出されてしまうことがある。
すなわち、図4の処理の場合、親子の経路は同一であるが、各時刻の親子のいるエリアが異なる場合でも、親に子供が迷子である通知を行うこととなる。このような誤判定を低減させるための仕組みを、図5を用いて、後で説明する。
<図10の説明>
図10は、サーバ101が通知する通知内容の一例を示す図である。
図10の1001では、子供が迷子である旨と共に、子供が現在撮影されたネットワークカメラの位置を、子供がいる現在地として通知する。
また、サーバ101は、ステップS403で、直近の過去の所定期間(たとえば2秒)の親子のエリアが一致していると判定された場合には(NO)、処理ステップS305に移行する。
サーバ101は、図4に示す迷子アラート処理の代わりに、図5に示す迷子アラート処理を実行することもできる。
<図5の説明>
次に、図5を用いて、図3に示すステップS304で実行される迷子アラート処理の詳細処理について説明する。
図5は、図3に示すステップS304で実行される迷子アラート処理の詳細処理を示すフローチャートの一例を示す図である。
図5に示すステップS401〜S404、S405、S406に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図5に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図5に示す処理を実行する。
図5では、図4と同じ処理を行うステップについては、同一の符号を付している。
そのため、図5では、図4と異なる処理についてのみ説明する。
図5に示すフローチャートは、図4のフローチャートに、ステップS405とステップS406が追加されている点のみが異なる。
サーバ101は、ステップS403において、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異なると判定された場合(ステップS403:YES)、ステップS401で取得された、親子の各時間にいたエリア名から、親子それぞれの所定時間(例えば5秒)分の移動経路を特定する(ステップS405)。
ステップS405は、ステップS303(格納手段)により格納された親(ユーザ)のいるエリアを示すエリア情報(エリア名)と、子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)と(図8、又は図9)に従って、ステップS303(エリア特定手段)により特定されたエリア情報(エリア名)がステップS304(格納手段)によりメモリ(記憶手段)に格納された最後の撮影時間(例えば図8の11:00(現在))から過去の所定時間内における、親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とを特定する特定手段の適用例である。
ここで、ステップS405の具体例について、説明する。
例えば、図8に示す家族IDが2のレコード(カラーコードのIDが102のレコードと、カラーコードのIDが103のレコード)をステップS401で取得して処理対象としている場合、カラーコードのIDが102の被写体(人)は、エリアF(10:56)、エリアE(10:57)、エリアD(10:58)、エリアC(10:59)、エリアB(11:00)の移動経路でエリアを移動しており、カラーコードのIDが103の被写体(人)は、エリアF(10:55)、エリアE(10:56)、エリアD(10:57)、エリアC(10:58)、エリアB(10:59)の移動経路でエリアを移動している。すなわち、1分ずれて、カラーコードのIDが102の被写体(人:親)と、カラーコードのIDが103の被写体(人:子)が同じ移動経路で移動している。
このように、ステップS405では、ステップS401で取得された、親子の各時間にいたエリア名から、親子それぞれの所定時間(例えば5秒)分の移動経路を特定することができる。
次に、サーバ101は、ステップS405で特定された、親子の所定時間(たとえば5秒)分の移動経路が異なるか否かを判定し(ステップS406)、異なると判定された場合には(YES)、子供が迷子である旨を通知する(ステップS404)。一方、親子の所定時間(たとえば5秒)分の移動経路が同じと判定された場合には(NO)、子供が迷子である旨を通知することなく、処理をステップS305に移行する。ステップS404は、図4のステップS404と同じ処理であるため、ここでは説明を省略する。
ステップS406は、ステップS405(特定手段)により特定された親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とが異なるか否かを判定する移動経路判定手段の適用例である。
ステップS404は、ステップS402、S403(判定手段)により、親(ユーザ)のいるエリアを示すエリア情報(エリア名)と子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とがそれぞれ異なると判定され、かつ、ステップS406(移動経路判定手段)により、親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とが異なると判定された場合に(ステップS406:YES)、子供(他のユーザ)が迷子である旨を親又は管理者が操作する端末に通知するようにサーバ101は制御する(制御手段)。
また、ステップS402、ステップS403(判定手段)により、親(ユーザ)のいるエリアを示すエリア情報(エリア名)と子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とが一致する(ステップS402:NO、ステップS403:NO)、又は、ステップS402、S403(判定手段)により、親(ユーザ)のいるエリアを示すエリア情報(エリア名)と子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)とがそれぞれ異なると判定された場合であっても、ステップS406(移動経路判定手段)により、親(ユーザ)の移動経路と、子供(他のユーザ)の移動経路とが一致すると判定された場合には(ステップS406:NO)、子供(他のユーザ)が迷子である旨を通知しないようにサーバ101は制御する(制御手段)。
また、サーバ101は、テップ404では、子供(他のユーザ)が迷子である旨と共に、当該他のユーザのエリア情報(エリア名)がステップS303(格納手段)によりメモリ(記憶手段)に格納された最後の撮影時間(例えば図9の11:00(現在))における当該他のユーザ(子供)のエリア情報(エリア名)を通知する。
このように、図5に示す処理により、図4に示す処理による上述の効果に加えて、実際は親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると連続して認識された場合であっても、迷子の誤判定を減らすことが可能となるという効果を奏することができる。
<図6の説明>
次に、図6を用いて、図3に示すステップS304で実行される出口付近アラート処理の詳細処理について説明する。
図6は、図3に示すステップS304で実行される出口付近アラート処理の詳細処理を示すフローチャートの一例を示す図である。
ステップS601〜S609に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図6に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図6に示す処理を実行する。
まず、サーバ101は、ステップS401と同様に、管理テーブル(図8又は図9)から、家族IDが同一のレコードのうち、「ID」、「家族ID」、「保護者フラグ」、「通知先」の各データと、現在時刻のエリア名と、現在時刻から所定時間分(ここでは例えば6秒分)のエリア名とを取得する(ステップS601)。
そして、サーバ101は、ステップS601で取得した親子の現在時刻のエリア名に従って、現在の親子がいるエリアが異なるか否かを判定する(S602)。
ステップS602の処理は、上述したステップS402と同様の処理であるため、ここでは具体例を用いた説明は、省略する。
サーバ101は、ステップS602において、親子が同じエリアにいると判定された場合(NO)には、処理をステップS305に移行し、親子が異なるエリアにいると判定された場合(YES)には、処理をステップS603に移行する。
そして、サーバ101は、ステップS601で取得した、現在時刻から所定時間分(ここでは例えば6秒分)の親子のエリア名のうち、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なるかを判定する(ステップS603)。
ステップS603の処理も、上述したステップS403と同様の処理であるため、ここでは具体例を用いた説明は省略する。
そして、サーバ101は、ステップS603で、直近の過去の所定期間(たとえば2秒)の親子のエリアが異なると判定された場合には(YES)、処理をステップS604に移行する。一方、直近の過去の所定期間(たとえば2秒)の親子のエリアが異ならない(同じである)と判定された場合には(NO)、処理をステップS608に移行する。
サーバ101は、ステップS603において、直近の過去の所定期間(たとえば2秒)の親子のいるエリアが異なると判定された場合(ステップS603:YES)、ステップS601で取得された、親子の各時間にいたエリア名から、親子それぞれの所定時間(例えば5秒)分の移動経路を特定する(ステップS604)。
ステップS604も、上述したステップS405と同様の処理であるため、ここでは具体例を用いた説明は省略する。
そして、サーバ101は、ステップS604で特定された、親子の所定時間(たとえば5秒)分の移動経路が異なるか否かを判定し(ステップS605)、異なると判定された場合には(YES)、処理をステップS606に移行し、一方、親子の所定時間(たとえば5秒)分の移動経路が同じと判定された場合には(NO)、処理をステップS608に移行する。
ステップS605は、図5のステップS406と同じ処理であるため、ここでは具体例を用いた説明は省略する。
サーバ101は、ステップS606において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいるか否かを判定する。
例えば、図9の管理テーブル900に示す家族IDが3のレコード(IDが104のレコードと、IDが105のレコード)が処理対象の場合、ステップS606の判定処理が行われる。この場合、11:00(現在)、親(IDが104である被写体)は、エリアAにおり、子(IDが105である被写体)は、エリアC(出口エリア、又は出口付近エリア)にいることが分かる。
そのため、図9の管理テーブル900に示す家族IDが3のレコードの場合、ステップS606において、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいる(ステップS606:YES)と判定される。
サーバ101は、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいると判定された場合(ステップS606:YES)、子供が迷子である旨、及び子供が施設外に出てしまうおそれがある旨を、現在処理対象のレコードの保護者フラグに1が設定されたレコードの通知先に、通知する(ステップS607)。
ステップS607で通知される内容の例を、図10の1002に示す。
そして、サーバ101は、ステップS607の処理を実行すると、処理をステップS305に移行する。
サーバ101は、ステップS606において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアである、又は子供が出口エリア、又は出口付近エリアにいないと判定された場合(ステップS606:NO)、処理をステップS305に移行する。
サーバ101は、ステップS608において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいるか否かを判定する。
ステップS608の処理も、ステップS606の処理と同様であるため、ここでは、具体例を用いた説明を省略する。
そして、サーバ101は、ステップS608において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアではなく、子供が出口エリア、又は出口付近エリアにいると判定された場合には(YES)、子供が施設外に出てしまうおそれがある旨を、現在処理対象のレコードの保護者フラグに1が設定されたレコードの通知先に、通知する(ステップS609)。
ステップS609で通知される内容の例を、図10の1003に示す。そして、サーバ101は、ステップS607の処理を実行すると、処理をステップS305に移行する。
また、サーバ101は、ステップS608において、ステップS601で取得したエリア名から、現在、親のいるエリアが出口エリア、又は出口付近エリアである、又は、子供が出口エリア、又は出口付近エリアにはいないと判定された場合には(NO)、処理をステップS305に移行する。
ステップS606、ステップS608は、図8、又は図9のテーブルの最後の撮影時間(例えば、図8、図9の11:00(現在))における、親(ユーザ)のエリア情報(エリア名)が出口エリアまたは出口付近エリアを示すエリア情報(エリアC)ではなく、子供(他のユーザ)のエリア情報(エリア名)が出口エリアまたは出口付近エリアを示すエリア情報(エリアC)であるか否かを判定する出口判定手段の適用例である。
そして、サーバ101は、ステップS607、ステップS609では、他のユーザが施設外に出てしまう旨を通知する。
図6に示す処理を実行することにより、親のいるエリアが出口エリアではなく、かつ、子供のいるエリアが出口エリアある場合、保護者にアラートを通知するため、例えば、子供が施設外に出てしまい、カラーコードによる捜索が出来なくなってしまうことを防止することができる。
さらに、子供が迷子の状態で、出口エリアに来てしまった場合(S602でYES、S603でYES、S605でYES、S606でYESと判定された場合)には、ステップS607で、子供が迷子である旨と子供が施設外に出てしまう旨を保護者に通知するため、親が施設内にいる状態で、迷子の子供が施設外に出てしまい、カラーコードによる捜索が出来なくなってしまうことを防止することができる。
また、親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると認識された場合(S604、S605でNO)、S607で子供が迷子である旨の通知を行わないので、迷子の誤判定を防止することができる。
また、親子が一緒に移動しているが、たまたま、親と子とがそれぞれ異なるエリアにいると認識された場合でも(S604、S605でNO)、ステップS608で、親は出口エリアにはいないが子供が出口エリアにいると判定された場合には(YES)、子供が施設外に出てしまう旨を通知するため、例えば、子供が迷子の状態ではなかったが、子供がいきなり出口に向かって走って親から離れて、(親が子供の位置を把握できず、)子供が出口から施設外に出そうになった場合でも、子供が出口エリアにいることを親が把握でき、施設外に子供が出てしまうことを防止することができる。
<図7の説明>
次に、図7を用いて、図3に示すステップS304で実行される子供置き去りアラート処理の詳細処理について説明する。
図7は、図3に示すステップS304で実行される子供置き去りアラート処理の詳細処理を示すフローチャートの一例を示す図である。
ステップS701〜S707に示す各ステップの処理は、サーバ101の外部メモリ211に記録されているプログラムによる制御に従ってサーバ101のCPU201が実行する。
図7に示すフローチャートは、同一の家族IDごとに繰り返し実行する。
まず、サーバ101は、管理テーブル(図8、又は図9)の上部の先頭レコードから順番に、同一の家族IDごとに、図7に示す処理を実行する。
まず、サーバ101は、ステップS401と同様に、管理テーブル(図8又は図9)から、家族IDが同一のレコードのうち、「ID」、「家族ID」、「保護者フラグ」、「通知先」の各データと、現在時刻のエリア名と、現在時刻から所定時間分(ここでは例えば6秒分)のエリア名とを取得する(ステップS701)。
ステップS701の処理は、上述したステップS401と同様の処理であるため、ここでは具体例を用いた説明は、省略する。
そして、サーバ101は、ステップS701で取得した親子の現在時刻のエリア名に従って、現在の親子がいるエリアが異なるか否かを判定する(S702)。
ステップS702の処理は、上述したステップS402と同様の処理であるため、ここでは具体例を用いた説明は、省略する。
サーバ101は、ステップS702において、親子が同じエリアにいると判定された場合(NO)には、処理をステップS305に移行し、親子が異なるエリアにいると判定された場合(YES)には、処理をステップS703に移行する。
そして、サーバ101は、ステップS701で取得した、現在時刻から所定時間分(ここでは例えば6秒分)の親子のエリア名のうち、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なるかを判定する(ステップS703)。
サーバ101は、ステップS703において、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異なると判定された場合(YES)には、処理をステップS704に移行し、直近の過去の所定期間(たとえば2秒)分の親子のいるエリアが異ならない(同一である)と判定された場合(NO)には、処理をステップS305に移行する。
ステップS703の処理も、上述したステップS403と同様の処理であるため、ここでは具体例を用いた説明は省略する。
次に、サーバ101は、現在、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアを認識できているか否かを判定する(ステップS704)。具体的には、ステップS701で取得したエリア名のうち、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアがNULLであるか否かを判定する。NULLは、カラーコードからIDを読み取れない出来ない場合に管理テーブル(図8又は図9)登録される値である。
そして、サーバ101は、現在、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアを認識できてい(NULL)と判定された場合には(YES)、処理をステップS705に移行して、一方、現在、及び直近の過去の所定期間(たとえば2秒)分の親のいるエリアを認識できていると判定された場合には(NO)、処理をステップS305に移行する。
次に、サーバ101は、現在、子供がいるエリアが施設内のエリアであるか否かを判定する(ステップS705)
具体的には、ステップS701で取得した保護者フラグが0のレコードの現在のエリアがNULLになっているか否かを判定することにより、現在、子供がいるエリアが施設内のエリアであるか否かを判定する。
サーバ101は、現在、子供がいるエリアが施設内のエリアである(ステップS701で取得した保護者フラグが0のレコードの現在のエリアがNULLではない)と判定された場合には(YES)、処理をステップS706に移行し、一方、現在、子供がいるエリアが施設内のエリアではない(ステップS701で取得した保護者フラグが0のレコードの現在のエリアがNULLである)と判定された場合には、処理をステップS305に移行する。
サーバ101は、ステップS706において、直近で過去に検出された親のエリアが出口エリアであるか否かを判定する。具体的には、ステップS701で取得した保護者フラグが1のレコードのデータのうち、現在から最も近い時間(直近)で、親がいるエリアが検出されたエリア名がエリアC(出口エリア)であるか否かを判定する。
サーバ101は、ステップS706において、直近で過去に検出された親のエリアが出口エリアである(現在から最も近い時間(直近)で、親がいるエリアが検出されたエリア名がエリアC(出口エリア)である)と判定された場合には(ステップS706:YES)、子供が施設内に置き去りになっている旨を、ステップS701で取得したレコードのうち、保護者フラグが1のレコードの通知先に、通知する(ステップS707)。
ステップS707で通知する内容の例を、図10の1004に示す。
ステップS704、ステップS705、ステップS706は、図8、図9の最後の撮影時間(例えば11:00(現在))から過去の所定時間内における、親(ユーザ)のいるエリアを示すエリア情報(エリア名)が施設内のエリアを示さないNULLであり、かつ、当該最後の撮影時間における、子供(他のユーザ)のいるエリアを示すエリア情報(エリア名)が施設内のエリア(NULL以外)を示し、かつ、エリア情報(エリア名)が施設内のエリア(NULL以外)を示す最後の撮影時間における親(ユーザ)のエリア情報(エリア名)が施設内の出口エリアまたは出口付近エリアを示すエリア情報(エリアC)であるか否かを判定する置き去り判定手段の適用例である。
そして、ステップS707では、子供(他のユーザ)が施設内に置き去りになっている旨を通知する。
以上、図7に示す処理を実行することにより、現在、及び直近の過去の所定期間、親のいるエリアがNULLで、かつ、現在、子供のいるエリアが施設内のエリアであり、直近で過去に検出された親のエリアが出口エリアである場合、施設内に子供を置き去りにした旨を、親に通知することができる。
それゆえ、例えば、子供を施設内に置き去りにして、親が施設外に出てしまった場合、子供を施設内に置き去りにしたことを親が把握することができると共に、障害物によりカラーコードを一時的に認識出来なかった場合や、親子が一緒に移動しているが、たまたま、親が先に施設外に出て、子供が後で施設外に出る場合であっても、子供を施設内に置き去りにしたと判定することを減らすことができる。
以上、本発明によれば、ユーザとユーザに引率された他のユーザが一緒に移動しているものの、ユーザとユーザに引率された他のユーザとがそれぞれ異なるエリアにいると連続して判定された場合でも、他のユーザが迷子になったと誤って判定することを減らすことが出来る。
また、本発明によれば、子供が親と離れて一人で施設外に出てしまうことや、親が子供を施設内に置き去りにして施設外に出てしまうことを防ぐことができる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のカード、ROM等を用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このプログラムコードを読み出し実行可能な情報処理装置(コンピュータ)が前述した実施形態の機能を実現する。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
101 サーバ
102 携帯端末
103 ネットワークカメラ
104 ネットワークカメラ
105 ネットワークカメラ
106 ネットワークカメラ
107 ネットワークカメラ
108 ネットワークカメラ
109 ネットワークカメラ
110 ネットワークカメラ
111 ネットワークカメラ
112 ネットワークカメラ
113 ネットワークカメラ
114 ネットワークカメラ
115 親(被写体)
116 カラーコード
117 子(被写体)
118 カラーコード
119 ネットワーク

Claims (6)

  1. ネットワークに接続されたカメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置であって、
    カメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段と、
    各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、
    前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、
    前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、
    前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、
    前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、
    前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、
    前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、
    前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記制御手段は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨と共に、当該他のユーザのエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間における当該他のユーザのエリア情報を通知することを特徴とする請求項1に記載の情報処理装置。
  3. 前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に登録された最後の撮影時間における、前記格納手段により格納された前記ユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報ではなく、前記格納手段により格納された前記他のユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報であるか否かを判定する出口判定手段を更に備え、
    前記制御手段は、前記出口判定手段により、前記格納手段により格納された前記ユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報ではなく、前記格納手段により格納された前記他のユーザのエリア情報が出口エリアまたは出口付近エリアを示すエリア情報であると判定された場合には、前記他のユーザが施設外に出てしまう旨を通知することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報が施設内のエリアを示さず、かつ、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間における、前記他のユーザのいるエリアを示すエリア情報が施設内のエリアを示し、かつ、前記エリア特定手段により特定されたエリア情報が施設内のエリアを示す最後の撮影時間における前記ユーザのエリア情報が施設内の出口エリアまたは出口付近エリアを示すエリア情報であるか否かを判定する置き去り判定手段を更に備え、
    前記制御手段は、前記置き去り判定手段により、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報が施設内のエリアを示さず、かつ、前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間における、前記他のユーザのいるエリアを示すエリア情報が施設内のエリアを示し、かつ、前記エリア特定手段により特定されたエリア情報が施設内のエリアを示す最後の撮影時間における前記ユーザのエリア情報が施設内の出口エリアまたは出口付近エリアを示すエリア情報であると判定された場合に、前記他のユーザが施設内に置き去りになっている旨を通知することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
  5. ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置における制御方法であって、
    前記情報処理装置の取得手段が、各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得工程と、
    前記情報処理装置のユーザ特定手段が、前記取得工程により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定工程と、
    前記情報処理装置のエリア特定手段が、前記ユーザ特定工程によりユーザが特定された画像データを前記取得工程により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定工程により特定されたユーザのいるエリアを特定するエリア特定工程と、
    前記情報処理装置の格納手段が、前記エリア特定工程により特定された、前記ユーザ特定工程により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定工程により特定された、前記ユーザ特定工程により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納工程と、
    前記情報処理装置の判定手段が、前記エリア特定工程により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定工程と、
    前記情報処理装置の特定手段が、前記格納工程により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定工程により特定されたエリア情報が前記格納工程により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定工程と、
    前記情報処理装置の移動経路判定手段が、前記特定工程により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定工程と、
    前記情報処理装置の制御手段が、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定工程により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定工程により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御工程と、
    を備えることを特徴とする制御方法。
  6. ネットワークに接続されたカメラが設置されているエリアを示すエリア情報をカメラごとに記憶する記憶手段を備え、前記カメラから当該カメラで撮影された画像データを、当該ネットワークを介して受信し、当該画像データを用いて迷子を特定して通知する情報処理装置で読み取り実行可能なプログラムであって、
    前記情報処理装置を、
    各カメラにより継続的に撮影された画像データを当該各カメラから取得する取得手段と、
    前記取得手段により取得された画像データを解析することにより当該画像データに撮影されたユーザを特定するユーザ特定手段と、
    前記ユーザ特定手段によりユーザが特定された画像データを前記取得手段により取得したカメラが設置されているエリアを示す前記エリア情報に基づき、前記ユーザ特定手段により特定されたユーザのいるエリアを特定するエリア特定手段と、
    前記エリア特定手段により特定された、前記ユーザ特定手段により特定されたユーザのいるエリアを示すエリア情報、及び、前記エリア特定手段により特定された、前記ユーザ特定手段により特定された、当該ユーザに引率された他のユーザのいるエリアを示すエリア情報を、当該画像データが前記カメラにより撮影された撮影時間ごとに、それぞれ前記記憶手段に格納する格納手段と、
    前記エリア特定手段により特定されたエリア情報が前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なるか否かを判定する判定手段と、
    前記格納手段により格納された前記ユーザのいるエリアを示すエリア情報と、前記他のユーザのいるエリアを示すエリア情報とに従って、前記エリア特定手段により特定されたエリア情報が前記格納手段により前記記憶手段に格納された最後の撮影時間から過去の所定時間内における、前記ユーザの移動経路と、前記他のユーザの移動経路とを特定する特定手段と、
    前記特定手段により特定された、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なるか否かを判定する移動経路判定手段と、
    前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定され、かつ、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが異なると判定された場合に、前記他のユーザが迷子である旨を通知し、一方、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とが一致する、又は、前記判定手段により、前記ユーザのいるエリアを示すエリア情報と前記他のユーザのいるエリアを示すエリア情報とがそれぞれ異なると判定された場合であっても、前記移動経路判定手段により、前記ユーザの移動経路と、前記他のユーザの移動経路とが一致すると判定された場合には、前記他のユーザが迷子である旨を通知しないように制御する制御手段として機能させることを特徴とするプログラム。


JP2014131525A 2014-06-26 2014-06-26 情報処理装置、及びその制御方法、プログラム Active JP6350024B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014131525A JP6350024B2 (ja) 2014-06-26 2014-06-26 情報処理装置、及びその制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014131525A JP6350024B2 (ja) 2014-06-26 2014-06-26 情報処理装置、及びその制御方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018108459A Division JP6734546B2 (ja) 2018-06-06 2018-06-06 情報処理装置、及びその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2016009451A true JP2016009451A (ja) 2016-01-18
JP2016009451A5 JP2016009451A5 (ja) 2017-05-18
JP6350024B2 JP6350024B2 (ja) 2018-07-04

Family

ID=55226938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014131525A Active JP6350024B2 (ja) 2014-06-26 2014-06-26 情報処理装置、及びその制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP6350024B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017022108A (ja) * 2015-07-07 2017-01-26 ステラケミファ株式会社 二次電池用非水電解液、その製造方法及びそれを備えた二次電池
JP2018151834A (ja) * 2017-03-13 2018-09-27 パナソニック株式会社 迷子検出装置および迷子検出方法
JP2022173553A (ja) * 2019-05-21 2022-11-18 日本電気株式会社 エリア管理装置、エリア管理方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206584A (ja) * 2002-12-26 2004-07-22 Casio Comput Co Ltd 画像データ処理装置及びプログラム
JP2007060528A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 施設における利用者管理システムおよび利用者管理方法
JP2007299127A (ja) * 2006-04-28 2007-11-15 Sanyo Electric Co Ltd 通信端末および通信システム
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206584A (ja) * 2002-12-26 2004-07-22 Casio Comput Co Ltd 画像データ処理装置及びプログラム
JP2007060528A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 施設における利用者管理システムおよび利用者管理方法
JP2007299127A (ja) * 2006-04-28 2007-11-15 Sanyo Electric Co Ltd 通信端末および通信システム
JP2013069128A (ja) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd 迷子発見システム及び方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017022108A (ja) * 2015-07-07 2017-01-26 ステラケミファ株式会社 二次電池用非水電解液、その製造方法及びそれを備えた二次電池
JP2018151834A (ja) * 2017-03-13 2018-09-27 パナソニック株式会社 迷子検出装置および迷子検出方法
JP2022173553A (ja) * 2019-05-21 2022-11-18 日本電気株式会社 エリア管理装置、エリア管理方法及びプログラム

Also Published As

Publication number Publication date
JP6350024B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
CN110084153B (zh) 用于自动共享图片的智能相机
US10237494B2 (en) Display control apparatus and display control method
US20130201344A1 (en) Smart camera for taking pictures automatically
JP6959495B2 (ja) 情報処理装置、情報処理方法、プログラム
KR20180022568A (ko) 정보 처리장치 및 그 방법과, 컴퓨터 판독가능한 기억매체
JPWO2009142098A1 (ja) 画像処理装置、カメラ、画像処理方法およびプログラム
JP6810359B2 (ja) 情報処理装置、制御方法、プログラム
JPWO2014045843A1 (ja) 画像処理システム、画像処理方法及びプログラム
JP6350024B2 (ja) 情報処理装置、及びその制御方法、プログラム
JP2013131919A (ja) 撮像装置、その制御方法、及びプログラム
US20190370992A1 (en) Image processing apparatus, information processing apparatus, information processing method, and recording medium
JP6056375B2 (ja) 情報処理システム、情報処理方法、及び、コンピュータプログラム
JP2013203481A (ja) 物品管理システムおよび物品管理方法
WO2023160728A1 (zh) 信息通知方法、装置、终端及存储介质
JP6734546B2 (ja) 情報処理装置、及びその制御方法、プログラム
GB2513865A (en) A method for interacting with an augmented reality scene
JP2017091062A (ja) 情報処理装置、情報処理方法
JP2009205617A (ja) 警備装置および警備システム更新方法
US20220076465A1 (en) Electronic device and method for editing content of external device
JP2018074429A (ja) 情報処理装置、情報処理方法、プログラム
JP7185537B2 (ja) 撮像システム
JP2019159587A (ja) オンラインサービスシステム、オンラインサービス提供方法、コンテンツ管理装置及びコンピュータプログラム
CN108496363A (zh) 用于跟踪拍摄的方法和设备
JP2013025689A (ja) 情報提供装置および情報提供システム
JP5095839B2 (ja) 情報端末及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R150 Certificate of patent or registration of utility model

Ref document number: 6350024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250